Resumen Técnico: La Verdad Se Encuentra en algún Punto Intermedio (de los Tokens Generados)

Enunciado del Problema

En los modelos de lenguaje autoregresivos (LLM), los estados ocultos se generan secuencialmente bajo enmascaramiento causal, lo que significa que la representación de cada token depende del prompt y de todos los tokens generados previamente. Surge una pregunta metodológica crítica: ¿cómo deben colapsarse estos estados ocultos distribuidos temporalmente en una única representación vectorial que refleje con precisión el estado semántico interno del modelo?

Trabajos anteriores sobre codificadores bidireccionales suelen emplear el agrupamiento promedio (mean pooling) o el agrupamiento del token final. Sin embargo, en entornos autoregresivos, se ha demostrado que el promedio simple funciona mal porque mezcla estados ocultos calculados bajo contextos desiguales. En consecuencia, los enfoques existentes a menudo dependen de seleccionar un solo token (por ejemplo, el último token) o de entrenar modelos con objetivos específicos para mejorar la calidad de las incrustaciones. Sigue sin estar claro si la información semántica en modelos autoregresivos estándar y preentrenados está localizada en una posición de token específica o distribuida a lo largo de la trayectoria de generación, y si el agrupamiento promedio puede producir representaciones semánticas superiores sin entrenamiento adicional.

Metodología

Los autores evalúan la calidad semántica de las representaciones derivadas de los tokens generados midiendo su alineación con espacios de referencia en tres dominios distintos: visión-lenguaje, razonamiento y estructuras de proteínas.

Métrica de Evaluación: Alineación de Kernel

La métrica central es la Alineación de Kernel Centrada (CKA), específicamente la versión desviada para evitar artefactos de inflación. Los autores comparan la estructura de similitud (kernel) inducida por las incrustaciones del modelo de lenguaje frente a un kernel de referencia construido a partir de estructuras semánticas de verdad fundamental:

• Visión-Lenguaje: Los kernels de referencia se derivan de incrustaciones de imágenes (utilizando DINOv2) correspondientes a los textos descriptivos de las imágenes. Una alta alineación implica que el modelo coloca los textos descriptivos de imágenes visualmente similares más cerca entre sí.
• Razonamiento: Los kernels de referencia se derivan de soluciones de referencia estándar a problemas de matemáticas y ciencias.
• Proteínas: Los kernels de referencia se derivan de incrustaciones de estructuras de proteínas (utilizando ESM-3).

Configuración Experimental

• Modelos: Los experimentos principales utilizan Qwen3-14B (un Transformer solo de codificador). Se realizan comparaciones con OLMo3-7B-Think y gpt-oss-20B.
• Estrategias de Agrupamiento: Los autores comparan el agrupamiento del último token (seleccionar el estado final de la trayectoria) frente al agrupamiento del token promedio (promediar los estados ocultos a lo largo de toda la secuencia generada).
• Análisis de Mezcla: Para determinar si la información semántica está localizada o distribuida, los autores construyen combinaciones convexas de incrustaciones de segmentos de tokens distintos (por ejemplo, los tercios primero, medio y final de la generación) y evalúan la alineación en todo el simplex resultante.
• Condiciones de Control: Los experimentos incluyen barajar el orden de los tokens, barajar los pares imagen-texto e incrustar texto generado por un modelo utilizando el espacio de incrustaciones de otro para aislar los efectos de la dinámica de generación.

Contribuciones y Resultados Clave

1. El Agrupamiento Promedio de Tokens Generados Supera a la Selección de un Solo Token

Contrario a las limitaciones observadas en las incrustaciones del lado del prompt, el agrupamiento promedio a través de los tokens generados produce una alineación semántica significativamente mayor que cualquier token individual, incluido el último token.

• En tareas de visión-lenguaje, las representaciones generadas con agrupamiento promedio alcanzaron una puntuación de alineación de 0.410, en comparación con 0.291 para el mejor token individual y 0.184 para los tokens del prompt.
• Esta mejora es consistente a través de las semillas de decodificación, lo que indica que la estructura semántica subyacente es estable a pesar de la variación del texto.
• El beneficio se mantiene a través de diferentes métodos de agrupamiento (el agrupamiento promedio supera al agrupamiento por atención, máximo y mejor por token).

2. La Información Semántica está Distribuida a lo Largo de la Generación

El artículo demuestra que la información semántica no está localizada en una sola posición, sino que está distribuida a lo largo de la trayectoria de tokens.

• Efecto de Mezcla: Las combinaciones convexas de incrustaciones de diferentes segmentos de tokens (por ejemplo, mezclar los tercios primero, medio y final) logran consistentemente una mayor alineación que cualquier segmento individual por sí solo.
• Granularidad: Este beneficio de "mezcla" persiste incluso cuando los segmentos de tokens se subdividen recursivamente, lo que sugiere que diferentes partes de la generación portan información semántica complementaria.
• Generalización de Dominio: Este fenómeno se observa no solo en tareas de visión-lenguaje, sino también en razonamiento (Math-500, GPQA) y tareas de estructura de proteínas, lo que indica que es una propiedad general de la generación autoregresiva.

3. Tokens Generados vs. Tokens del Prompt

Un hallazgo contra intuitivo es que las representaciones derivadas de los tokens generados están mejor alineadas que las de los tokens del prompt, incluso cuando el prompt contiene todo el contenido semántico.

• Las representaciones de tokens del prompt no se benefician del agrupamiento promedio; promediarlos a menudo diluye la información debido a las limitaciones del enmascaramiento causal.
• La generación parece "hacer que el mismo contenido semántico sea más fácil de recuperar" en el espacio de estados ocultos. A medida que el modelo produce una continuación, sus estados internos se alinean mejor con la estructura de referencia vinculada al prompt original.

4. Fases Representacionales y Dinámicas del Estado Interno

La trayectoria de alineación a través de los tokens generados revela fases interpretables del comportamiento del modelo:

• Fases: El proceso de generación exhibe fases distintas: preámbulo genérico, repetición del prompt, recuperación y respuesta específica del texto descriptivo. La alineación aumenta a medida que la generación pasa de texto genérico a descripciones específicas del contenido.
• Sondas Causales: Frases genéricas específicas (por ejemplo, "Déjame recordar lo que sé") inducen picos agudos en la alineación, incluso antes de que aparezca el contenido relevante de la escena. Esto sugiere que tales tokens corresponden a cambios en el estado interno del modelo hacia la estructura de referencia.
• Especificidad del Modelo: Estas estructuras de fase desaparecen cuando un modelo incrusta texto generado por un modelo diferente. Por ejemplo, la trayectoria de alineación de Qwen3 se degrada al procesar las generaciones de OLMo3 si OLMo3 alucina hechos (por ejemplo, identificando incorrectamente la ubicación de una central eléctrica). Esto indica que las dinámicas observadas están vinculadas al cálculo interno y la consistencia específicos del modelo, no solo al texto en sí.

5. Profundidad de Capa vs. Dimensión de Token

Mientras que el agrupamiento promedio a través de la dimensión de token mejora la alineación, el agrupamiento promedio a través de la profundidad de capa no lo hace. Promediar a través de las capas produce un rendimiento comparable a la mejor capa individual (típicamente la capa final) pero no lo supera. Esto contrasta con las incrustaciones del lado del prompt, donde las capas intermedias a menudo funcionan mejor.

Significado y Afirmaciones

El artículo afirma que los estados ocultos formados durante la generación autoregresiva se colapsan mejor en una representación vectorial mediante el agrupamiento promedio a través de los tokens, en lugar de seleccionar un solo token. Esto desafía la visión predominante de que el enmascaramiento causal hace que el agrupamiento promedio sea ineficaz para los modelos solo de codificador.

Los autores argumentan que:

1. Generación como Contexto: La propia continuación del modelo actúa como una fuente de contexto que hace que el contenido semántico de la entrada sea más accesible en el espacio de estados ocultos.
2. Representación Basada en Trayectoria: La información semántica en modelos autoregresivos debe considerarse distribuida a lo largo de la trayectoria de generación en lugar de estar localizada en un único estado oculto.
3. Interpretabilidad: La alineación de kernel sirve como una sonda causal para los estados internos del modelo, revelando que las salidas de tokens específicos (como frases de "pensamiento" o "recuerdo") corresponden a cambios medibles en la geometría representacional del modelo.

El trabajo sugiere que para tareas que requieren incrustaciones de texto de alta calidad de modelos autoregresivos, generar una continuación y promediar los estados ocultos resultantes es un método simple, efectivo y libre de entrenamiento que supera a las incrustaciones basadas en prompts estándar. Sin embargo, los autores señalan limitaciones: este enfoque incurre en un costo computacional proporcional a la longitud de la generación y produce representaciones que son sondas del estado interno en lugar de "tokens suaves" utilizables para una generación posterior.