Resumen Técnico: Más allá del lenguaje: Subespacios de razonamiento agnósticos al formato en Modelos de Lenguaje Grandes

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) procesan inferencias lógicas idénticas expresadas en formas superficiales vastamente diferentes, que van desde la prosa en inglés y el texto en chino hasta el código Python y la notación matemática. Si bien investigaciones anteriores han establecido que los LLM multilingües desarrollan representaciones internas compartidas entre lenguas naturales, se desconoce si esta invarianza se extiende a sistemas simbólicos genuinamente diferentes. La pregunta central es si los LLM poseen un sustrato interno común para el razonamiento que trascienda codificaciones simbólicas específicas (lingüísticas, formales y estructurales), y de ser así, si esta estructura está causalmente involucrada en el cómputo y es universal entre arquitecturas.

Metodología

Los autores introducen la Benchmarck TriForm, un conjunto de datos controlado que comprende 324 estímulos derivados de 18 conceptos de razonamiento (que abarcan dominios aritméticos, lógicos, relacionales, causales y espaciales). Cada concepto se expresa en seis formas superficiales organizadas a lo largo de tres dimensiones:

1. Lingüística: Prosa en inglés, chino y francés.
2. Simbólica: Código Python y notación matemática.
3. Estructural: Datos estructurados paso a paso.

El estudio evalúa cinco LLM de solo decodificador (de 1.6B a 8B parámetros) de tres familias de arquitecturas (GPT, Qwen, Llama/Mistral) utilizando el siguiente marco analítico:

• RSA Corregido por Permutación: Para identificar la estructura a nivel de concepto, los autores emplean el Análisis de Similitud Representacional (RSA) con pruebas de permutación para corregir la no independencia de las distancias pareadas, distinguiendo señales de concepto de señales de forma superficial.
• Sondeo Cruzado de Formas: Se entrenan clasificadores regularizados con Ridge sobre activaciones de una forma superficial para predecir la identidad del concepto en otra, probando la decodificabilidad lineal entre formatos.
• Entropía de Neuronas Agnósticas al Formato: Inspirados en LAPE, los autores cuantifican la especificidad neuronal midiendo la entropía de las distribuciones de activación entre formas, identificando neuronas que se activan uniformemente (agnósticas al formato) frente a aquellas específicas de ciertas formas.
• Extracción de Subespacio (FARS): Se extrae un Subespacio de Razonamiento Agnóstico al Formato utilizando un Análisis de Componentes Principales (PCA) centrado en el concepto. Al promediar las activaciones entre todas las formas e instancias para cada concepto, los autores aíslan los $k$ componentes principales superiores que capturan la varianza del concepto mientras suprimen la varianza de la forma.
• Intervención Causal: El estudio utiliza parcheo de activaciones y ablación de subespacio.
  • Parcheo cruzado de formas: Reemplazar estados ocultos de una forma fuente (ej. inglés) en una forma objetivo (ej. matemáticas) para medir la preservación de la salida.
  • Parcheo de subespacio: Reemplazar solo los componentes proyectados de FARS (10 dimensiones) durante la transferencia cruzada de formas.
  • Ablación de subespacio: Eliminar las direcciones de FARS para medir la perturbación en la salida del modelo.

Resultados Clave

1. Existencia de un Subespacio de Razonamiento Agnóstico al Formato (FARS)

• Evidencia Correlacional: El RSA revela que las señales a nivel de concepto alcanzan su punto máximo en las capas medias de todos los modelos, fortaleciéndose con la escala. Aunque la forma superficial sigue siendo el principio organizador dominante (RSA de Forma $\rho \approx 0.43\text{--}0.53$), las señales de concepto son significativas ($\rho \approx 0.10\text{--}0.20$) y crecen más rápido con el tamaño del modelo.
• Decodificabilidad: La precisión del sondeo cruzado de formas supera significativamente al azar (5.6%), alcanzando hasta un 60.3% (Mistral-7B).
• Localización Neuronal: Las neuronas agnósticas al formato se concentran en las capas medias (20–23% de las neuronas), reflejando la distribución de las neuronas agnósticas al lenguaje encontrada en estudios previos cruzados entre idiomas.

2. Relevancia Causal y Eficiencia del Subespacio

• Transferencia de Alta Fidelidad: Reemplazar solo las 10 dimensiones superiores del subespacio FARS durante el parcheo cruzado de formas preserva el 90–96% de la salida de los 10 tokens superiores del modelo.
• Comparación con Controles: Este rendimiento supera ampliamente al reemplazo completo de activaciones (44–56%) y al reemplazo de PCA que maximiza la varianza (60–74%).
• Ablación: Eliminar el subespacio FARS causa una perturbación dirigida (baja divergencia KL para FARS frente a alta para direcciones específicas de la forma), confirmando que estas dimensiones específicas son causalmente suficientes para el razonamiento cruzado de formas.
• Dimensionalidad: La estructura relevante para el razonamiento es genuinamente de baja dimensión, estabilizándose en $k=8\text{--}10$ componentes dentro de un espacio de 1600–4096 dimensiones.

3. La Asimetría Declarativa-Procedural

Un hallazgo crítico es la divergencia en la compatibilidad basada en la naturaleza del sistema simbólico y no solo en el idioma:

• Compatibilidad Declarativa: El parcheo entre prosa en inglés y notación matemática preserva el 65–73% de la salida.
• Divergencia Procedural: El parcheo entre prosa en inglés y código Python preserva solo el 16–22% de la salida.
• Conclusión: El eje crítico de divergencia no es "lingüístico vs. formal", sino declarativo vs. procedimental. Las representaciones son altamente compatibles entre formatos declarativos (prosa, matemáticas, datos estructurados) pero significativamente menos compatibles al conectar con codificaciones procedimentales (código).

4. Universalidad y Convergencia

• Generalización: FARS extraído de un subconjunto de conceptos se generaliza a conceptos retenidos con una degradación suave.
• Convergencia Cruzada de Arquitecturas: Diferentes familias de modelos convergen hacia la misma geometría de subespacio. El Análisis de Correlación Canónica (CCA) cruzado entre modelos supera 0.79 para todos los pares, y el RSA centrado en el centroide supera 0.77, proporcionando evidencia dentro de la modalidad para la Hipótesis de la Representación Platónica.

Significado y Afirmaciones

El artículo afirma proporcionar la primera evidencia sistemática de que los LLM desarrollan un subespacio concreto, de baja dimensión y agnóstico al formato para el razonamiento que es causalmente suficiente para la transferencia cruzada de símbolos.

• Contribución Teórica: Los hallazgos apoyan la Hipótesis de la Representación Platónica dentro de una sola modalidad, sugiriendo que las representaciones del razonamiento abstracto convergen a través de diferentes codificaciones simbólicas.
• Perspectiva Mecanística: El descubrimiento de la asimetría declarativa-procedimental refina la comprensión de la invarianza de formato, identificando una frontera fundamental entre el razonamiento declarativo (prosa, matemáticas) y la ejecución procedimental (código) que previamente no estaba caracterizada.
• Utilidad Práctica: FARS ofrece una herramienta concreta y extraíble (una base de 10 dimensiones) para la ingeniería de representaciones. Sugiere que intervenciones de seguridad o vectores de dirección descubiertos en un formato declarativo (ej. inglés) pueden transferirse a otros (ej. matemáticas) a través de este subespacio, pero podrían fallar al conectar con formatos procedimentales (código), destacando una posible brecha de seguridad donde el razonamiento dañino en código podría eludir filtros entrenados en prosa.

Los autores señalan limitaciones, incluyendo la evaluación de modelos base únicamente, la naturaleza supervisada de la extracción de FARS y el uso de estímulos generados programáticamente, reconociendo que la dimensionalidad y la geometría de FARS en modelos más grandes o ajustados con instrucciones siguen siendo preguntas abiertas.