Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors

1. El Problema

Los modelos de lenguaje grandes (LLMs) se entrenan típicamente con el objetivo de predicción del siguiente token (NTP). Bajo esta lógica, uno esperaría que las representaciones ocultas en una posición $t$ contuvieran únicamente la información necesaria para predecir el token $t+1$. Sin embargo, investigaciones recientes han demostrado que los Transformers aprenden características abstractas y "útiles" que parecen redundantes para la predicción inmediata del siguiente token (por ejemplo, modelos del mundo en OthelloGPT o estructuras sintácticas complejas).

La pregunta central del trabajo es: ¿Cómo aprenden los Transformers entrenados para NTP características que no ayudan a predecir el siguiente token inmediato? La literatura previa ha estudiado estas características desde una perspectiva teleológica (su función en el algoritmo final), pero ha ignorado la señal de gradiente específica que impulsa su desarrollo durante el entrenamiento.

2. Metodología: Descomposición del Flujo de Información

Los autores proponen un marco teórico y experimental para descomponer la señal de gradiente del objetivo NTP en tres componentes distintos que influyen en el aprendizaje de una característica específica en la posición $i$ y capa $k$:

1. Aprendizaje Directo (Direct Learning): Gradientes que provienen exclusivamente de la pérdida de predicción del siguiente token inmediato ($t+1$). Estos impulsan características "NTP-útiles".
2. Precacheo (Pre-caching): Gradientes que provienen de la pérdida en posiciones futuras ($j > i+1$). Debido a la atención, la información en la posición $i$ puede influir en la predicción de tokens lejanos. Esto permite que el modelo aprenda características "NTP-inútiles" en $i$ si son útiles para $j$.
3. Compartición de Circuitos (Circuit Sharing): Gradientes que surgen independientemente de la representación en la posición $i$, pero que afectan los parámetros compartidos del modelo. Si una característica es útil en una posición $j$, los parámetros compartidos pueden codificarla también en la posición $i$, incluso si no es útil allí.

Técnicas Experimentales:

• Ablación: Entrenamiento "miope" (bloqueando gradientes hacia el futuro para eliminar el precacheo) y entrenamiento "desemparejado" (untied) para aislar la compartición de circuitos.
• Atribución de Gradientes: Definición de una métrica de "influencia" ($I$) que cuantifica cuánto contribuye cada componente del gradiente (directo, precacheado, compartido) a reducir la discrepancia (mismatch) de una característica específica a lo largo del entrenamiento.
• Intervención en Modelos Grandes: Para LLMs preentrenados (donde no se puede reentrenar), proponen estimar la relación entre componentes directos y de precacheo mediante la intervención (ablation) en el flujo residual y midiendo la divergencia KL en las predicciones futuras ($Q(w)$).

3. Contribuciones Clave

1. Explicación Teórica: Proporcionan una justificación teórica de por qué los Transformers aprenden características complejas no inmediatas, identificando el precacheo y la compartición de circuitos como los mecanismos habilitadores.
2. Método de Atribución: Desarrollan un método para rastrear qué componentes del gradiente del objetivo NTP dieron origen a una característica específica, permitiendo distinguir entre aprendizaje directo y aprendizaje inducido por el futuro.
3. Nuevos Hallazgos Empíricos:
   • Explican la fragilidad del modelo del mundo en OthelloGPT.
   • Demuestran que el precacheo es esencial para la generación de texto coherente, pero no para la sintaxis básica.
   • Identifican que en LLMs grandes, las características con alta influencia de precacheo están fuertemente correlacionadas con dominios de razonamiento formal (código, matemáticas).

4. Resultados Principales

A. Tareas Simples (Toy Tasks)

En tareas de "Mayoría" y "Mayoría Condicionada", demostraron que:

• Sin precacheo ni compartición de circuitos (modelos miope y desemparejados), las características NTP-inútiles no emergen.
• El precacheo es estrictamente necesario para circuitos de dos capas (como las "cabezas de inducción") que requieren información de tokens anteriores para predecir tokens futuros.

B. OthelloGPT (Modelos del Mundo)

• Las características de las casillas del tablero que no afectan los movimientos legales inmediatos (NTP-inútiles) se aprenden, pero de manera menos robusta que las casillas útiles.
• La diferencia en la calidad de representación se debe a que las casillas útiles reciben señal de gradiente directa, mientras que las inútiles dependen casi exclusivamente de los componentes de precacheo y compartición. Esto explica por qué el modelo del mundo es frágil ante estados que comparten movimientos legales pero difieren en la historia.

C. Modelos de Lenguaje Pequeños (TinyStories)

• Generación Coherente: Los modelos miope (sin precacheo) tienen una pérdida significativamente mayor, indicando que el precacheo es vital para la coherencia a largo plazo.
• Sintaxis: Las características sintácticas básicas (POS, dependencias) se aprenden principalmente mediante aprendizaje directo; el precacheo tiene una influencia mínima en ellas.
• Propiedades de Alto Nivel: Características como la posición en la historia original (que no afecta la predicción inmediata) se aprenden gracias al componente de precacheo.

D. Grandes Modelos de Lenguaje (Gemma 2)

Al aplicar su marco a un LLM preentrenado (Gemma 2 2B) mediante intervención:

• Definieron $Q(w)$ como la relación entre la influencia futura y la inmediata de una característica.
• Hallazgo Sorprendente: Las características con valores extremos de $Q(w)$ (muy alto o muy bajo) están fuertemente asociadas con dominios de razonamiento formal (código, matemáticas, estructuras de programación).
• Las características con alto precacheo ($Q(w)$ alto) tienden a generar más código y puntuación al ser "dirigidas" (steering).
• Desacoplamiento del Look-ahead: Contrario a la hipótesis previa, encontraron una correlación negativa entre el grado de precacheo de una característica y su utilidad para predecir tokens futuros (look-ahead). Esto sugiere que el "look-ahead" no surge de una planificación implícita basada en características precacheadas, sino de la similitud de características necesarias en diferentes posiciones (hipótesis de las "crumbs" o migajas).

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la interpretabilidad mecánica:

• De Estático a Dinámico: Cambia el enfoque de analizar las características como engranajes fijos en un algoritmo final a entenderlas como resultados de un proceso de aprendizaje impulsado por gradientes específicos.
• Validación de Mecanismos: Confirma empíricamente que el precacheo no es un artefacto accidental, sino un mecanismo fundamental que permite a los modelos construir representaciones abstractas y modelos del mundo, incluso cuando el objetivo de entrenamiento es puramente local (siguiente token).
• Implicaciones para Razonamiento: Sugiere que las capacidades de razonamiento formal en LLMs pueden depender críticamente de la señal de gradiente que proviene de la predicción de tokens lejanos, lo que tiene implicaciones para el diseño de objetivos de entrenamiento y la arquitectura de modelos.

En resumen, el artículo demuestra que las características "inútiles" para la predicción inmediata son, de hecho, esenciales para la coherencia global y el razonamiento complejo, y que su emergencia es una consecuencia directa de cómo los gradientes de pérdida futura fluyen a través de la arquitectura del Transformer.