On the Emergence and Test-Time Use of Structural Information in Large Language Models

Resumen Técnico: Sobre la Emergencia y el Uso en Tiempo de Prueba de la Información Estructural en Modelos de Lenguaje de Gran Escala

Motivación del Problema
El artículo aborda la capacidad de los Modelos de Lenguaje de Gran Escala (LLMs) para aprender información estructural abstracta a partir de datos observacionales y utilizar este conocimiento para generar combinaciones genuinamente nuevas en el tiempo de prueba. Mientras que los humanos pueden reorganizar elementos lingüísticos básicos para comprender combinaciones no vistas (generalización composicional), los modelos actuales suelen tener dificultades con la generalización sistemática a conceptos fuera de la distribución (OOD). Los autores postulan que comprender cómo los LLMs aprenden y componen la información estructural es fundamental para producir nuevo conocimiento fuera del corpus de entrenamiento, una capacidad vinculada a la comprensión mecánica y la predicción robusta. Para estudiar esto en un entorno controlado, los autores van más allá de los benchmarks estándar para centrarse en transformaciones estructurales lingüísticas derivadas de la Gramática Transformacional.

Metodología
Los autores introducen un patio de recreo sintético controlado basado en la Gramática Transformacional (TG).

• Construcción del Conjunto de Datos: Generaron un conjunto de datos de lenguaje natural que comprende diez tipos de transformaciones distintas (por ejemplo, elevación de NP, pasivización, movimiento de I) agrupadas en cinco categorías sintácticas. El conjunto de datos incluye:
  • Transformaciones de un solo nivel: Aplicar un operador a una oración base.
  • Transformaciones anidadas: Aplicación secuencial de operadores (por ejemplo, $B(A(s))$).
  • Ambigüedad composicional: Casos donde ciertas transformaciones no pueden componerse significativamente, requiriendo que el modelo identifique implícitamente patrones compatibles.
  • El conjunto de datos fue generado utilizando DeepSeek-V3 con prompts específicos para asegurar la consistencia, produciendo aproximadamente 2000 muestras para transformaciones de un solo nivel y aproximadamente 500 para transformaciones anidadas.
• Configuración Experimental:
  • Análisis de Emergencia: Utilizando el modelo Pythia-410M, los autores rastrearon la evolución de las representaciones estructurales durante el entrenamiento. Calcularon la distancia $L_2$ entre las representaciones del flujo residual de las oraciones base y sus versiones transformadas ($\Delta A(s)$) para medir la sensibilidad estructural.
  • Generalización Composicional: Evaluaron LLaMA3-8B utilizando tanto el ajuste fino de todos los parámetros como el ajuste fino eficiente de parámetros (LoRA). La evaluación probó la capacidad del modelo para realizar transformaciones anidadas y combinaciones OOD (por ejemplo, entrenar en $A(B(s))$ y $B(C(s))$, luego probar en $A(C(s))$) sin que se proporcionen pasos intermedios durante la inferencia.
  • Interpretabilidad Mecanística: Los autores realizaron un análisis de intervención causal (anulación de cabezales de atención y bloques MLP) y sondaje lineal (LDA) para identificar qué componentes de la red y qué capas son responsables de las transformaciones sintácticas.

Contribuciones Clave

1. Conjunto de Datos: Introducción de un conjunto de datos de lenguaje natural basado en transformaciones de información estructural lingüística para estudiar formalmente el aprendizaje de información estructural.
2. Correlaciones Empíricas: Demostración de que la emergencia de la información estructural durante el aprendizaje se correlaciona con el éxito en tareas de razonamiento complejo, en lugar de solo con la perplejidad estándar de modelado de lenguaje.
3. Limitaciones en la Composición: Evidencia de que, si bien los modelos aprenden representaciones estructurales, su capacidad para realizar la generación composicional en el tiempo de prueba (específicamente para transformaciones anidadas no vistas) sigue siendo limitada bajo el ajuste fino.
4. Perspectivas Mecanísticas: Identificación de componentes de red específicos responsables del aprendizaje estructural, revelando una concentración de la computación relevante para la transformación en las capas tardías y un dominio de los bloques MLP sobre los mecanismos de atención.

Resultos

• Emergencia de la Estructura:
  • Diferentes transformaciones de oraciones forman grupos distintos y separables en el espacio de embeddings.
  • La norma $L_2$ entre las representaciones de la oración base y la transformada aumenta constantemente durante el entrenamiento, con un aumento brusco alrededor del paso 64k, lo que indica una transición de fase donde las distinciones estructurales se vuelven pronunciadas.
  • Esta refinación estructural se correlaciona más estrechamente con las ganancias en tareas de razonamiento complejo que con la perplejidad estándar de predicción de la siguiente palabra.
• Generalización Composicional:
  • El ajuste fino de todos los parámetros tuvo un desempeño deficiente, probablemente debido al sobreajuste en el limitado conjunto de datos.
  • El ajuste fino LoRA mostró una mejora significativa respecto al ajuste fino de todos los parámetros. Sin embargo, el modelo tuvo dificultades con coincidencias exactas para transformaciones anidadas cuando no se proporcionaban resultados intermedios durante la inferencia.
  • El desempeño en transformaciones anidadas OOD (por ejemplo, $A+C$) se mantuvo bajo (0.00% de coincidencia exacta, ~45-49% de coincidencia parcial), lo que sugiere que el modelo no logra desenredar completamente las operaciones de transformación para componerlas de manera flexible en el tiempo de prueba.
  • Proporcionar pasos intermedios explícitos durante el entrenamiento y la inferencia mejoró el desempeño, indicando que el modelo se beneficia de la guía estructural pero aún no puede generalizar robustamente a composiciones no vistas sin ella.
• Ablación e Interpretabilidad:
  • Concentración de Capas: La probabilidad de predecir el token de transformación correcto aumenta bruscamente en el último tercio de la red (capas 24–32), con un 38% de la contribución concentrada allí.
  • Preferencia de Componentes: Los bloques MLP contribuyen más al éxito de la transformación sintáctica (65% de la contribución causal) que los mecanismos de atención (35%).
  • Separabilidad Lineal: Los sondajes lineales muestran una separación casi perfecta entre los tipos de transformación en el flujo residual, apoyando la hipótesis de la representación lineal.

Significancia y Reivindicaciones
El artículo afirma proporcionar evidencia sobre los límites y mecanismos de los LLMs en la generación de nuevo conocimiento a través de la composición estructural. Los autores concluyen que, si bien los LLMs pueden aprender información estructural y exhibir una transición de fase en la sensibilidad estructural durante el entrenamiento, actualmente carecen de la capacidad de recomponer flexiblemente estructuras fuera de la distribución para producir nuevo conocimiento sin guía intermedia explícita. Los hallazgos sugieren que el razonamiento puede requerir información estructural, pero los regímenes de ajuste fino actuales en modelos como LLaMA3-8B aún no logran una generalización composicional robusta. El trabajo destaca que las transformaciones sintácticas dependen fuertemente de los MLPs de capas tardías y que la separación de conceptos emerge linealmente en el flujo residual a medida que el ajuste fino progresa.

Limitaciones
Los autores reconocen que su análisis está limitado al inglés, lo que podría restringir la generalizabilidad a patrones translingüísticos. El uso de transformaciones de un solo nivel para la atribución causal puede confundir suboperaciones. Además, los hallazgos en un modelo de 8B pueden no escalar directamente a modelos más grandes, los cuales requerirían conjuntos de datos más complejos para evitar la memorización.