Resumen Técnico: Leyendo entre los puntos

Planteamiento del problema

La monitorización de la cadena de pensamiento (CoT, por sus siglas en inglés) se basa en la suposición de que los tokens de salida superficiales de un modelo reflejan fielmente su proceso de razonamiento subyacente. Sin embargo, la literatura reciente sugiere que esta suposición es frágil; los modelos pueden realizar una "computación oculta" donde el razonamiento ocurre de formas no visibles en el texto generado. Un modo de fallo específico de la monitorización de CoT es la computación mediante tokens de relleno (filler-token computation), donde los Modelos de Lenguaje de Gran Escala (LLMs) realizan razonamientos de múltiples pasos sobre tokens carentes de contenido (por ejemplo, secuencias de puntos, conteo de números o secuencias alfabéticas) insertados entre la pregunta y el espacio de la respuesta. En estos escenarios, los tokens superficiales no portan información semántica sobre el razonamiento, lo que vuelve ineficaz la auditoría conductual tradicional. La pregunta central que aborda este artículo es si tal computación oculta es verdaderamente inobservable o si permanece decodificable a partir de los estados internos del modelo.

Metodología

Los autores investigan este fenómeno utilizando dos modelos de escala de frontera y pesos abiertos: DeepSeek V3 (671B de parámetros, ~37B activados) y Kimi K2 (1T de parámetros, ~32B activados). Evalúan el rendimiento y la mecánica interna a través de cuatro familias de tareas que requieren valores intermedios:

1. Suma de 1 factor: Recuperar un dato y sumar un número aleatorio.
2. Suma de 2 factores: Recuperar dos datos y sumarlos.
3. Posición de letra de 2 saltos (2-hop): Recuperar una capital o elemento y encontrar una letra específica.
4. Sistema de ecuaciones: Resolver relaciones lineales definidas en el contexto.

La configuración experimental consiste en añadir tokens de relleno sin contenido (puntos, secuencias de conteo, secuencias alfabéticas) entre el prompt y el espacio de la respuesta. El estudio se desarrolla en tres fases:

1. Análisis conductual: Medir la mejora en la precisión con y sin tokens de relleno.
2. Análisis mecánico: Utilizar mapas de atención, lecturas de logit-lens y trasplantes de la caché KV para determinar cómo fluye y se codifica la información dentro de la región de relleno.
3. Decodificación no supervisada: Desarrollar un flujo de trabajo para recuperar valores intermedios únicamente a partir de los estados ocultos, sin etiquetas de verdad fundamental (ground-truth) ni entrenamiento.

Contribuciones clave y resultados

1. Los tokens de relleno habilitan la computación oculta

El artículo establece que los tokens de relleno no son meramente un relleno inerte, sino que facilitan un "relevo de procesamiento".

• Mejora conductual: Ambos modelos muestran ganancias significativas de precisión cuando los tokens de relleno están presentes. Por ejemplo, la precisión de DeepSeek V3 en la suma de 1 factor aumenta del 54% al 72%, y en sistemas de ecuaciones del 31% al 61%. Las secuencias de relleno desordenadas rinden por debajo, lo que indica que el beneficio proviene de secuencias de tokens no disruptivas en lugar de un contenido específico.
• Enrutamiento de atención: El análisis de atención revela que, ante la presencia de relleno, el modelo reencamina su computación. La ruta de atención directa desde la posición de la respuesta hacia la pregunta es reemplada por un relevo: Pregunta → Relleno → Respuesta. La región de relleno actúa como un búfer donde se lee la pregunta y se procesan los valores intermedios antes de ser transmitidos a la posición de la respuesta.

2. Evidencia mecánica de los intermedios codificados

Los autores proporcionan tres líneas de evidencia de que las posiciones de relleno portan causalmente información relevante para la tarea:

• Lecturas de Logit-Lens: Proyectar los estados del flujo residual a través de la matriz de unembedding revela que los valores intermedios (por ejemplo, los datos recuperados $A_1, A_2$ y su suma) están explícitamente codificados en el flujo residual en las posiciones de relleno. En la suma de 2 factores, $A_1$ aparece temprano en la secuencia de relleno, $A_2$ más tarde, y la suma se cristaliza en las últimas capas antes de la respuesta.
• Trasplantes de Caché KV (Verificación causal): Al trasplantar la caché de Clave-Valor (KV) de la región de relleno de un ejemplo "donante" a un ejemplo "objetivo", los autores demuestran la dependencia causal. Intercambiar la caché de relleno hace que el modelo objetivo produzca la respuesta del donante, con mejoras de rango de decenas a cientos de posiciones. Esto confirma que el contenido dentro de la región de relleno no solo está correlacionado con, sino que es causalmente necesario para la salida.
• Especificidad posicional: En la suma de 2 factores, la estructura posicional de la codificación es causal. Trasplantar solo las posiciones específicas donde se decodifica $A_1$ recupera la mayor parte del efecto, mientras que las posiciones complementarias tienen un impacto insignificante.

3. Flujo de trabajo de decodificación no supervisada

El artículo introduce un flujo de trabajo que recupera los pasos de razonamiento ocultos a partir de los estados residuales sin supervisión:

• Proceso:
  1. Extraer las activaciones del flujo residual en todas las capas y posiciones de relleno.
  2. Aplicar el logit lens para proyectar los estados a probabilidades de tokens.
  3. Restar las medias entre ejemplos para eliminar artefactos de formato e aislar las señales específicas del ejemplo.
  4. Agregar los puntajes residuales a través de las posiciones y seleccionar los 50 tokens superiores.
  5. Pasar estos tokens a un juez de LLM (por ejemplo, Claude Haiku/Sonnet) para interpretar el razonamiento.
• Rendimiento: El flujo de trabajo logra una precisión del 80–95% en la recuperación de valores intermedios en las cuatro tareas y ambos modelos.
  • Para la suma de 1 factor, el dato objetivo se recupera en los 2 mejores tokens en aproximadamente el 85% de los casos sin un juez; con un juez, esto aumenta a ~94%.
  • Para tareas complejas como la suma de 2 factores, el juez mejora significativamente la recuperación (de ~35% a ~82% en DeepSeek V3) al utilizar señales contextuales de la lista completa de los 50 mejores.
  • El flujo de trabajo decodifica con éxito tanto los datos recuperados como los valores computados en contexto (por ejemplo, variables en sistemas de ecuaciones).

Significado y afirmaciones

El artículo argumenta que la computación oculta no es sinónimo de computación no auditable. Si bien el razonamiento mediante tokens de relleno derrota la monitorización conductual de CoT (porque el texto de salida carece de razonamiento), la computación sigue siendo directamente legible desde el flujo residual del modelo.

• La monitorización como propiedad del trazo: Los autores postulan que la monitorización es una propiedad del rastro computacional completo del modelo, no solo de sus tokens superficiales.
• Auditoría parcial: El estudio demuestra que para tareas con intermedios discretos y nombrables, las herramientas de interpretabilidad "baratas" (logit lens + normalización + juez de LLM) pueden cerrar la brecha dejada por los tokens superficiales opacos.
• Limitaciones: Los autores afirman modestamente que este enfoque funciona para tareas con intermedios limpios. Reconocen limitaciones respecto a la computación que está optimizada para ser ortogonal a la proyección del vocabulario, que involucra conceptos no tokenizables (como estrategias o intenciones), o que depende de patrones de atención invisibles para las proyecciones de logit-lens.

En conclusión, el artículo sugiere que, aunque la monitorización de CoT es frágil, la existencia de computación oculta en los tokens de relleno no vuelve a los modelos enteramente opacos. En su lugar, destaca el potencial de estrategias de auditoría híbridas que combinen la observación conductual con la interpretación del flujo residual.