Resumen Técnico: Decodificable pero no Fiel: Acoplamiento de Racionales de Lenguaje Natural a Verificadores Programáticos

Declaración del Problema

Si bien los modelos de lenguaje de gran tamaño (LLM) pueden generar racionales plausibles en lenguaje natural para sus predicciones, estas explicaciones a menudo no representan fielmente el proceso de toma de decisiones interno del modelo. Los modelos pueden "racionalizar" decisiones post-hoc, omitir la verdadera fuente de una respuesta o utilizar atajos invisibles en el texto generado. Trabajos previos indican que, aunque el prompting de cadena de pensamiento (chain-of-thought) mejora la precisión de las tareas, las explicaciones generadas no son necesariamente evidencia de un razonamiento causal.

Los verificadores programáticos externos (por ejemplo, demostradores de teoremas, motores de juegos, ejecutores de código) ofrecen un mecanismo para comprobar afirmaciones, pero su uso actual suele limitarse a la supervisión a nivel de resultado (comprobar la respuesta final). Esto deja un vacío: un modelo puede producir una afirmación correcta mientras que la explicación que la acompaña no está sustentada, o codificar la información del verificador internamente sin verbalizarla coherentemente. La cuestión central abordada es si forzar a las representaciones de los racionales de un modelo a ser decodificables por un verificador garantiza que las explicaciones generadas sean fieles a su razonamiento.

Metodología: Razonamiento Acoplado al Verificador

El artículo propone un marco llamado Razonamiento Acoplado al Verificador para cerrar la brecha entre las afirmaciones verificadas y los racionales de lenguaje natural.

Formato de Secuencia y Objetivo

El modelo genera una secuencia que contiene un racional de lenguaje natural ($r$) y una afirmación explícita en línea ($c$) en el formato: [CONTEXTO] x [RAT] r [CLAIM] c [EOS]. Un verificador programático $V$ proporciona una etiqueta objetivo $y = V(x)$ (por ejemplo, aceptación/rechazo de la prueba, categoría de tasa de victoria, clase de complejidad).

Una cabeza de consistencia auxiliar (un clasificador lineal) se entrena para predecir el objetivo del verificador $y$ a partir de los estados ocultos agrupados (mean-pooled) del intervalo del racional ($z_{rat}$). El objetivo de entrenamiento combina la predicción del siguiente token estándar ($L_{LLM}$), la supervisión opcional de la afirmación ($L_{claim}$) y la pérdida de consistencia ($L_{cons}$):
$$L = L_{LLM} + \lambda_{claim}L_{claim} + \lambda_{cons}L_{cons}$$

Restricciones de Flujo de Información

Para asegurar que la cabeza de la afirmación no pueda eludir el racional, los autores emplean una máscara de atención Board-Explanation-Claim (BEC) en experimentos específicos. Esto evita estructuralmente que los tokens de la afirmación atiendan a los tokens del contexto de entrada, obligándolos a depender únicamente del intervalo de la explicación.

Escalera Diagnóstica

El artículo introduce un marco de diagnóstico multinivel para distinguir entre decodificabilidad (la información del verificador está presente en la representación) y fidelidad (la generación refleja esa información):

1. Decodificabilidad: Precisión de la cabeza de consistencia (¿puede el label del verificador ser linealmente decodificado de los estados del racional?).
2. Seguimiento Contrafáctico: ¿Cambian los intervalos intercambiados (por ejemplo, intercambiar un racional con un label diferente) la predicción de la cabeza?
3. Influencia Causal: ¿Desplaza el parcheo de activación (reemplazar los estados ocultos del racional con los de un estado latente diferente) los logits de la afirmación posterior?
4. Calidad de Generación: ¿Produce el modelo explicaciones coherentes y fieles?

Entornos Experimentales

El marco se evalúa en cinco entornos distintos:

1. Sintético: Validación controlada con estados latentes para aislar mecanismos y probar intervenciones causales mediante parcheo de activación.
2. LeanCheck: Demostración formal de teoremas usando Lean 4. Prueba el acoplamiento específico de intervalos (racional vs. prueba) bajo conflictos contrafácticos.
3. KataGo: Un motor de Go que proporciona etiquetas densas y no binarias (categorías de tasa de victoria) para estados de tablero complejos.
4. Acoplamiento de Código (Code Coupling): Afirmaciones algorítmicas (clase de complejidad de tiempo/espacio, clase de algoritmo) donde el modo de fallo de la generación infiel es más visible.
5. FEVER: Verificación de evidencia en lenguaje real, probando el compromiso entre la precisión bruta y la sensibilidad a la evidencia.

Resultados Clave

1. La Brecha Decodificabilidad–Fidelidad

El hallazgo central es que la decodificabilidad no garantiza la fidelidad.

• Sintético y LeanCheck: El entrenamiento de consistencia logra que la información del verificador sea decodificable y causalmente influyente. En LeanCheck, el agrupamiento de solo el racional y solo la prueba logra una separación direccional perfecta bajo conflicto contrafáctico (100% de seguimiento del label del intervalo intercambiado).
• KataGo: Los intervalos de comentario en lenguaje natural codifican categorías de tasa de victoria de 10 vías con un 81.1% de precisión, demostrando que el método escala a dominios densos y no binarios.
• Código (El Modo de Fallo Crítico): En el entorno de código, el modelo alcanza un 98.6% de acoplamiento de representación (los estados ocultos codifican perfectamente las afirmaciones del verificador), pero la prosa generada sigue siendo infiel. El modelo emite explicaciones fluidas y gramaticales que describen un algoritmo no relacionado (por ejemplo, describiendo una "suma de una lista" mientras el código implementa un "ordenamiento por selección") mientras emite correctamente las etiquetas de afirmación estructuradas (por ejemplo, $O(n^2)$).
  • Esta brecha es estructural, no de capacidad: se observan resultados idénticos tanto en GPT-2 preentrenado como en modelos entrenados desde cero.
  • La brecha no es impulsada por los pesos: Aumentar el peso de la pérdida de consistencia ($\lambda_{cons}$) hasta $10^4$ no mejora la calidad de la generación, ya que la pérdida de consistencia actúa sobre las representaciones, no sobre los tokens emitidos.

2. Perspectivas de la Escalera Diagnóstica

• Influencia Causal: En entornos sintéticos, el parcheo de activación de los estados del racional desplaza el comportamiento de la afirmación en el 73–89% de los casos con entrenamiento de consistencia (frente al 31% del baseline), confirmando que el acoplamiento es causal, no meramente correlacional.
• Compromiso FEVER: En entornos de lenguaje real, el agrupamiento sobre la secuencia completa (incluyendo el texto de la afirmación) produce una precisión casi perfecta (99%), pero falla en aislar la sensibilidad de la evidencia. El agrupamiento de solo la evidencia produce una precisión menor (44%) pero aísla mejor si el modelo realmente procesa la evidencia, revelando un compromiso entre precisión y sensibilidad oculto por la evaluación estándar.

3. Análisis por Afirmación

En el entorno de código, la pérdida de consistencia beneficia desproporcionadamente a las afirmaciones finas (por ejemplo, clase de algoritmo, operación clave) sobre las binarias. Las afirmaciones binarias son parcialmente aprendibles de la estructura del código, mientras que las afirmaciones finas dependen fuertemente del objetivo de consistencia para lograr una alta precisión.

Significado y Reivindicaciones

El artículo establece que las pérdidas de consistencia son herramientas de diagnóstico y de moldeado de representaciones efectivas, pero no son condiciones suficientes para un razonamiento fiel.

• Representación vs. Generación: El mecanismo moldea con éxito la representación interna para codificar información relevante para el verificador (decodificabilidad), pero sin un objetivo a nivel de generación que premie al texto por coincidir con el verificador, el modelo puede emitir explicaciones fluidas pero infieles.
• Limitaciones del Sondeo (Probing): La alta precisión de un sondeo (decodificabilidad) no debe equipararse con un razonamiento fiel. Un modelo puede "saber" la respuesta en sus estados ocultos mientras "dice" algo completamente distinto en su salida.
• Camino a Seguir: Cerrar la brecha requiere objetivos donde el gradiente alcance los tokens generados y los premie por la consistencia con el verificador. Los autores sugieren el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) como el instrumento natural, donde el modelo es recompensado basándose en las afirmaciones comprobables que realmente produce, en lugar de un sondeo auxiliar.

El trabajo proporciona una escalera diagnóstica rigurosa para evaluar sistemas de razonamiento, demostrando que, si bien podemos forzar a los modelos a "saber" la verdad en sus representaciones, asegurar que "digan" la verdad requiere más que simples restricciones del lado de la representación.