Resumen Técnico: Direcciones de Razonamiento Invariantes en Trayectorias Latentes de Modelos de Lenguaje

Declaración del Proble

Los modelos de razonamiento latente, como Coconut, realizan inferencia de múltiples pasos actualizando iterativamente los estados ocultos en el espacio de embeddings sin generar tokens intermedios explícitos. Si bien este paradigma evita la sobrecarga de tokens del prompting de Cadena de Pensamiento (CoT), la estructura interna de estas trayectorias de razonamiento latente permanece insuficientemente comprendida.

El problema central identificado es la fragilidad de la trayectoria. Las observaciones empíricas muestran que entradas semánticamente equivalentes (paráfrasis) a menudo inducen trayectorias latentes divergentes, incluso cuando las respuestas finales son correctas. Por el contrario, los métodos de refinamiento de post-entrenamiento existentes (por ejemplo, Wang et al., 2026) que dirigen las trayectorias utilizando señales contrastivas entre checkpoints de referencia fuertes y débiles, sufren de inestabilidad. Estos métodos aplican actualizaciones contrastivas de manera uniforme en todo el espacio de embeddings, propagando inadvertidamente ruido específico de la instancia, variaciones sensibles a la paráfrasis y artefactos específicos del checkpoint junto con la señal genuina de razonamiento. Esto conduce a tres modos de falla recurrentes: sensibilidad a los hiperparámetros, dependencia de pares de checkpoints de referencia específicos y divergencia bajo reformulaciones de entrada.

Los autores hipotetizan que las trayectorias de razonamiento latente contienen una descomposición estructurada: un pequeño conjunto de direcciones estables e invariantes asociadas con la calidad del razonamiento, mezcladas con componentes inestables y específicos de la instancia. Los métodos actuales fallan porque tratan la señal contrastiva como un vector homogéneo, sin distinguir entre estos componentes estables e inestables.

Metodología: Refinamiento de Latencia Invariante de Trayectoria (TILR)

El artículo presenta el Refinamiento de Latencia Invariante de Trayectoria (TILR), un marco de intervención libre de entrenamiento diseñado para aislar y manipular direcciones de razonamiento estables. TILR opera sobre el vector de diferencia contrastiva ($\delta_t = h^{\text{good}}_t - h^{\text{bad}}_t$) derivado de los pasos hacia adelante a través de modelos de referencia.

El marco consta de tres etapas clave:

1. Identificación del Subespacio Invariante:
   Utilizando un conjunto de calibración modesto, el método computa diferencias contrastivas a través de entradas y pasos de razonamiento. Realiza una Descomposición en Valores Singulares truncada (SVD) sobre la matriz de diferencias apilada para identificar un subespacio de bajo rango ($S_r$). Este subespacio captura las direcciones donde las trayectorias de razonamiento fuertes y débiles difieren consistentemente, filtrando las direcciones dominadas por la varianza genérica de la entrada o el estilo léxico.

2. Proyección Restringida al Subespacio:
   Durante la inferencia, la dirección contrastiva bruta $d_t$ se proyecta sobre el subespacio invariante aprendido ($\Pi d_t$). Este paso filtra los componentes de la actualización que yacen fuera del manifold de razonamiento estable, eliminando efectivamente el ruido específico de la instancia y los artefactos del par de referencia antes de que influyan en la trayectoria.

3. Puerta de Estabilidad Adaptativa:
   Para asegurar una mayor robustez, TILR emplea una puerta adaptativa que modula la fuerza de la actualización basándose en la alineación de la señal actual con el subespacio invariante. Se computa una puntuación de alineación $\gamma_t$ como la relación entre la norma proyectada y la norma total. El tamaño del paso $\eta_t$ se escala por $\gamma_t$.

   • Si $\gamma_t \approx 1$, la señal está bien alineada con los patrones de razonamiento históricos, y se aplica la corrección proyectada completa.
   • Si $\gamma_t \approx 0$, la señal está dominada por ruido o componentes inestables; la corrección se suprime y el sistema revierte al comportamiento base no corregido. Esto proporciona una garantía de "no daño" para entradas de baja confianza.

Contribuciones Clave

1. Caracterización Geométrica: El artículo proporciona evidencia empírica de que las señales de refinamiento contrastivo en el razonamiento latente están altamente concentradas en subespacios de baja dimensión. Estas direcciones invariantes son distintas de los componentes principales de los embeddings de entrada brutos, capturando la varianza de la calidad del razonamiento en lugar de la variación léxica o estilística.
2. Marco TILR: Los autores proponen un método de intervención libre de entrenamiento que descompone las señales contrastivas en componentes estables e inestables, aplicando solo la parte estable escalada por su fiabilidad.
3. Validación Causal: A través de intervenciones de subespacio, los autores demuestran que estas direcciones invariantes desempeñan un papel funcional y causal en la consistencia del razonamiento y la estabilidad de la trayectoria, en lugar de ser meros correlatos de la varianza del estado oculto.
4. Nuevas Métricas: El artículo introduce análisis a nivel de trayectoria para evaluar el razonamiento latente más allá de la precisión estándar, incluyendo la consistencia de paráfrasis (acuerdo de respuesta a través de reformulaciones), la varianza de la trayectoria latente y la sensibilidad a la elección de los checkpoints de referencia.

Resultados Experimentales

Los autores evaluaron TILR a través de seis benchmarks de razonamiento (GSM8K, MathQA, AQUA-RAT, SVAMP, GSM-Plus, StrategyQA) utilizando backbones GPT-2 y Qwen2.5.

• Estructura de Bajo Rango: El análisis espectral confirmó que un pequeño número de direcciones latentes (a menudo $r < 10$, a veces $r=1$) explica más del 90% de la energía contrastiva entre trayectorias fuertes y débiles.
• Robustez ante Paráfrasis: TILR redujo la varianza de la trayectoria latente entre un 25–53% (media de 39%) en comparación con los métodos de refinamiento no restringidos cuando las entradas fueron parafraseadas. Consecuentemente, el acuerdo de respuestas a través de reformulaciones semánticamente equivalentes mejoró aproximadamente un 10% en promedio.
• Preservación de la Precisión: TILR mejoró la precisión del razonamiento sobre el refinamiento no restringido en un promedio de 2.1% manteniendo la eficiencia de tokens del razonamiento latente. Se observaron ganancias notables en conjuntos de datos enfocados en la robustez como SVAMP (+3.9%) y StrategyQA (+5.5%).
• Estabilidad de Checkpoint: TILR redujo significativamente la sensibilidad a la elección de pares de checkpoints de referencia, logrando reducciones de desviación estándar de hasta el 74.2% en GSM8K y AQuA-RAT.
• Análisis de Componentes: Los estudios de ablación mostraron que tanto la proyección de subespacio como la puerta adaptativa contribuyen de forma independiente al rendimiento, siendo la proyección la que proporciona la mayor parte de la ganancia al restringir las actualizaciones a direcciones consistentes.

Significado y Afirmaciones

El artículo aboga por una visión geométrica del razonamiento, postulando que el comportamiento de razonamiento transferible emerge de estructuras estables y de baja dimensión dentro de las trayectorias de los estados ocultos. Los autores afirman que las fallas de razonamiento en modelos latentes a menudo no se deben a la falta de una señal útil, sino a la mezcla de la estructura asociada al razonamiento estable con la variación inestable y específica de la instancia.

TILR demuestra que, al separar estos componentes y restringir las intervenciones a las direcciones invariantes, es posible mejorar significativamente la fiabilidad y la consistencia del razonamiento latente sin reentrenar el modelo. Los autores señalan modestamente que, aunque TILR reduce sustancialmente la divergencia de la trayectoria, no elimina por completo la inestabilidad latente, y el objetivo no es identificar "neuronas de razonamiento" explícitas, sino estudiar la estructura geométrica de las trayectorias mediante intervenciones a nivel de subespacio. Este trabajo sugiere que las mejoras futuras en el razonamiento latente pueden depender de una mejor comprensión y manipulación de estas estructuras geométricas invariantes.