How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning

Resumen Técnico: Patrones de Auto-lectura en LLMs de Razonamiento

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) de "pensamiento" (como DeepSeek-R1, GPT-5 o Gemini 3) generan una traza de razonamiento extensa antes de producir la respuesta final. Aunque el trabajo previo en dirección de activaciones (activation steering) se ha centrado en moldear la generación de estas trazas de razonamiento, existe un vacío de conocimiento sobre cómo los tokens de respuesta leen e integran realmente dicha información para producir resultados fiables.

En tareas de razonamiento cuantitativo, donde las cadenas de razonamiento pueden abarcar miles de tokens, es crucial entender si los tokens de respuesta:

• Escanean la traza de manera indiscriminada y ruidosa.
• O bien, siguen un patrón estructurado que refleja una certeza interna y una integración efectiva de la evidencia clave.

La falta de comprensión de este mecanismo de "auto-lectura" impide optimizar la fiabilidad de los modelos en la fase de decodificación de la respuesta.

2. Metodología

El estudio se basa en un análisis de atención (attention analysis) entre los tokens de respuesta y los tokens de razonamiento, seguido de la propuesta de un método de dirección (steering) sin entrenamiento.

A. Análisis de Patrones de Auto-lectura (Self-Reading)
Los autores analizaron modelos de vanguardia (R1-Distill-Llama-8B, R1-Distill-Qwen-7B, Qwen3-4B-Thinking) en tareas de razonamiento cuantitativo (GSM8K, MATH500). Observaron que las soluciones correctas exhiben un patrón de "auto-lectura benigna" en las capas medias y tardías, caracterizado por dos rasgos distintivos:

1. Desplazamiento progresivo del centroide de atención: A medida que se decodifica la respuesta, el foco de atención de los tokens de respuesta se desplaza sistemáticamente hacia adelante a lo largo de la traza de razonamiento (siguiendo el flujo lógico).
2. Concentración persistente en anclajes semánticos: La atención se concentra repetidamente en pasos clave semánticos (restricciones del problema, planes de solución, reflexiones y conclusiones), en lugar de dispersarse uniformemente.

En contraste, las soluciones incorrectas muestran patrones de atención difusos, irregulares y sin un desplazamiento coherente, lo que se interpreta como una señal de incertidumbre cognitiva.

B. Métrica de Calidad de Auto-lectura (SRQ)
Para cuantificar este fenómeno, proponen el puntaje Self-Reading Quality (SRQ), que combina dos dimensiones:

• Dimensión Geométrica: Mide el control del proceso. Evalúa si la atención sigue una tendencia diagonal hacia adelante (correlación de Pearson entre la posición de la respuesta y el centroide de atención en el razonamiento) y la consistencia local de este avance.
• Dimensión Semántica: Mide la calidad del monitoreo del contenido. Evalúa si la atención se concentra en "anclajes" semánticos buenos (pasos correctos, restricciones) y evita tokens de razonamiento erróneos o ruidosos.

C. Método de Dirección (Steering) Basado en SRQ
Utilizando los puntajes SRQ, los autores desarrollan un método de dirección sin entrenamiento (training-free):

1. Selección de Muestras: Seleccionan un conjunto de contraste de alta calidad:
   • Soluciones correctas con alto SRQ (lectura benigna).
   • Soluciones incorrectas con bajo SRQ (lectura desorganizada).
2. Construcción de Vectores: Calculan vectores de dirección (steering vectors) basados en la diferencia de activaciones entre estos dos conjuntos.
3. Aplicación: Durante la inferencia, inyectan estos vectores en las activaciones de los tokens de respuesta (y opcionalmente en el razonamiento) para guiar al modelo hacia un estado de "auto-lectura benigna" y alejarlo de la incertidumbre.

3. Contribuciones Clave

1. Descubrimiento de un Patrón de Certidumbre Interna: Identifican que la "auto-lectura benigna" (desplazamiento hacia adelante + anclaje semántico) es una firma conductual de la certeza interna del modelo durante la generación de la respuesta, correlacionándose fuertemente con la corrección de la solución.
2. Propuesta de SRQ: Introducen una métrica cuantitativa que formaliza la calidad de la lectura interna del modelo, combinando métricas geométricas (estructura del proceso) y semánticas (calidad del contenido).
3. Método de Dirección Eficiente: Desarrollan un método de intervención que mejora el rendimiento sin requerir fine-tuning, utilizando solo la selección de datos basada en SRQ para construir vectores de dirección.
4. Validación Empírica: Demuestran que alinear el modelo con patrones de lectura benigna mejora la precisión en múltiples benchmarks y modelos, confirmando la relación causal entre la estructura de atención y la corrección de la respuesta.

4. Resultados Experimentales

Los experimentos se realizaron en tres benchmarks de razonamiento cuantitativo: GSM8K, MATH500 y SVAMP, utilizando tres modelos de vanguardia.

• Mejoras de Precisión: El método de dirección basado en SRQ logró mejoras consistentes en la precisión sobre los modelos base.
  • En GSM8K, se observaron ganancias de hasta 2.6 puntos porcentuales (ej. R1-Distill-Llama-8B pasó de 85.8% a 88.4% con CAA + SRQ).
  • En MATH500 (tareas más difíciles), las mejoras fueron igualmente consistentes, estabilizando el control interno del modelo incluso con trazas ruidosas.
  • En SVAMP, el método mostró una fuerte capacidad de transferencia, mejorando el rendimiento al aplicar vectores entrenados en GSM8K, lo que indica que el patrón de lectura es una estrategia intrínseca y generalizable.
• Comparación con Otros Métodos: El enfoque SRQ superó a otros métodos de dirección basados en razonamiento (como RepE, SAE-free y SEAL), demostrando que guiar hacia estados de certeza interna es más efectivo que simplemente comprimir o reorganizar el razonamiento.
• Confianza y Longitud: La intervención aumentó la confianza (probabilidad de generación) del modelo. Además, aunque el modelo se volvió más decisivo, la longitud de la generación no aumentó significativamente; en algunos casos, incluso se redujo ligeramente al eliminar la divagación.
• Análisis de Ablación: Se demostró que tanto la dimensión geométrica como la semántica son necesarias, aunque la geométrica tiene un impacto ligeramente mayor en la efectividad de la dirección.

5. Significado e Implicaciones

Este trabajo ofrece una perspectiva fundamental sobre la mecánica interna de los LLMs de razonamiento:

• Interpretación Cognitiva: Vincula la arquitectura de atención de los LLMs con teorías cognitivas de metacognición (Nelson, 1990), donde los tokens de respuesta actúan como un nivel meta que monitorea y controla la ejecución del nivel objeto (razonamiento).
• Diagnóstico de Fallos: Proporciona una herramienta para diagnosticar por qué fallan los modelos: no solo por errores de cálculo en el razonamiento, sino por una incapacidad para "leer" y consolidar la evidencia correcta al momento de responder.
• Herramienta Práctica: Ofrece un método de bajo costo computacional (sin entrenamiento) para mejorar la fiabilidad de modelos de razonamiento existentes, guiándolos hacia estados de mayor certeza y organización interna.
• Futuro: Abre la puerta a intervenciones más sofisticadas que no solo corrijan el razonamiento, sino que optimicen la interfaz entre el pensamiento y la respuesta final, asegurando que la "conclusión" se derive de una lectura fiel y estructurada de la evidencia generada.

En resumen, el paper demuestra que la calidad de cómo un modelo "lee" su propio pensamiento es un predictor crítico de su éxito, y que forzar patrones de lectura ordenados y centrados puede mejorar significativamente su capacidad de resolución de problemas.