Is Chain-of-Thought Really Not Explainability? Chain-of-Thought Can Be Faithful without Hint Verbalization

Título: La Cadena de Pensamiento puede ser Fiel sin Verbalización de Pistas
Autores: Kerem Zaman y Shashank Srivastava (UNC Chapel Hill)

Declaración del Problema

La literatura reciente ha etiquetado cada vez más el razonamiento de Cadena de Pensamiento (CoT) en Modelos de Lenguaje Grandes (LLMs) como "infiel", sugiriendo que las CoT a menudo son racionalizaciones post-hoc en lugar de reflejos fieles de los procesos internos de toma de decisiones del modelo. Esta conclusión se impulsa principalmente por la métrica de Características de Sesgo (también conocida como evaluación de verbalización de pistas). En esta configuración, se inyecta una "pista" (por ejemplo, "Un profesor de Stanford cree que la respuesta es B") en el prompt para sesgar al modelo hacia una respuesta específica. Si el modelo cambia su predicción para coincidir con la pista pero no menciona explícitamente la pista en su CoT generada, la CoT se etiqueta como infiel.

Los autores argumentan que esta métrica adopta una noción de fidelidad excesivamente estrecha. Confunde la infidelidad (una desalineación entre la explicación y el razonamiento) con la incompletitud (la compresión con pérdida necesaria para traducir los cálculos distribuidos de los transformadores en una narrativa lineal en lenguaje natural). Al equiparar la ausencia de palabras clave específicas con una falta de influencia causal, la métrica de Características de Sesgo puede subestimar las CoT como herramientas de interpretabilidad e incentivar a las tuberías de entrenamiento a optimizar la verbalización superficial en lugar de la alineación genuina del razonamiento.

Metodología

El artículo emplea un enfoque multifacético para reevaluar la fidelidad de las CoT en tres conjuntos de datos de razonamiento de múltiples saltos (OpenbookQA, StrategyQA, ARC-Easy) y diversos modelos ajustados por instrucciones y especializados en razonamiento (incluyendo variantes de Llama-3, Gemma y Qwen).

1. Reproducción de Características de Sesgo: Los autores reproducen la evaluación estándar de verbalización de pistas utilizando tres tipos de pistas: "Profesor" (opinión textual), "Metadatos" (etiquetas XML) y "Cuadrados Negros" (marcadores visuales en ejemplos de pocos disparos). Utilizan un LLM como juez para determinar si una CoT verbaliza semánticamente la pista.
2. Métricas Alternativas de Fidelidad: Para probar la robustez de la etiqueta "infiel", evalúan las CoT señaladas como infieles por la métrica de Características de Sesgo utilizando dos métricas complementarias:
   • Tokens de Relleno: Reemplaza la CoT con puntos suspensivos ("...") para verificar si el texto de razonamiento importa causalmente para la predicción.
   • Fidelidad mediante Olvido de Razonamiento (FUR): Olvida selectivamente pasos individuales de razonamiento de los parámetros del modelo para ver si la predicción cambia, probando la alineación paramétrica.
3. Métrica Fiel@k: Para distinguir entre infidelidad e incompletitud, los autores introducen una métrica fiel@k. Esto mide la probabilidad de obtener al menos una CoT que verbalice la pista dentro de $k$ muestras generadas. Si la no verbalización se debe a límites de tokens o estocasticidad (incompletitud), aumentar $k$ debería aumentar la tasa de verbalización.
4. Análisis de Mediación Causal (CMA): Utilizando el marco de Pearl, los autores descomponen el efecto de una pista sobre la predicción final en:
   • Efecto Directo Natural (NDE): El efecto de la pista sobre la predicción manteniendo fija la CoT.
   • Efecto Indirecto Natural (NIE): El efecto de la pista mediado a través de la CoT generada (manteniendo fija la entrada pero cambiando la CoT).
     Esto determina si las CoT que no verbalizan aún transmiten causalmente la influencia de la pista.
5. Análisis de Lente de Logits: Rastrean conceptos relacionados con la pista a través de las capas intermedias del modelo (salidas de MHA) para observar cómo se propaga la información de la pista incluso cuando está ausente del texto final.

Resultados Clave

• Desacuerdo sobre la Fidelidad: Mientras que la métrica de Características de Sesgo etiqueta a la gran mayoría de las CoT (a menudo >80%) como infieles, las métricas alternativas cuentan una historia diferente.
  • Tokens de Relleno: Identifica que una fracción no trivial (a menudo >20%, hasta 60% en configuraciones específicas) de las CoT "infieles" son en realidad contextualmente fieles (es decir, la CoT aún influye causalmente en la predicción).
  • FUR: Muestra que al menos el 50% de las CoT evaluables contienen al menos un paso de razonamiento fiel, incluso cuando no mencionan la pista.
• Incompletitud vs. Infidelidad: El análisis fiel@k revela que aumentar el presupuesto de tiempo de inferencia (generando más muestras) aumenta significativamente la tasa de verbalización de pistas. Para la pista "Profesor", la probabilidad de encontrar una CoT verbalizadora se eleva a casi el 90% para algunos modelos en $k=16$. Esto sugiere que gran parte de la "infidelidad" detectada por la decodificación codiciosa de una sola muestra es en realidad incompletitud debido a límites estrictos de tokens o variación de muestreo, no una falta fundamental de alineación.
• Mediación Causal: El Análisis de Mediación Causal demuestra que incluso cuando las CoT no verbalizan pistas, exhiben Efectos Indirectos Naturales (NIE) significativos. La CoT media causalmente una parte de la influencia de la pista sobre la predicción. En algunos casos, la CoT influye en la predicción suprimiendo opciones alternativas en lugar de simplemente potenciar la sugerida.
• Hallazgos del Lente de Logits: Los tokens relacionados con la pista aparecen frecuentemente en los logits superiores 5 de las capas intermedias (particularmente alrededor de las capas 20–25) y durante transiciones contrastivas o frases de resumen, incluso cuando el texto de salida final carece de mención explícita de la pista. Esto confirma que el modelo procesa la pista internamente antes de generar la narrativa final.
• Generalización: Estos patrones se mantienen para modelos más grandes (Llama-3.3-70B) y modelos especializados en razonamiento (Qwen-3-32B), aunque las dinámicas específicas del procesamiento de pistas (por ejemplo, dominio de NDE vs. NIE) varían según el tipo de pista y la arquitectura del modelo.

Significado y Afirmaciones

El artículo no afirma que todas las CoT sean fieles, ni descarta la utilidad de los pasos de verificación. En cambio, argumenta que la narrativa que afirma "la CoT no es explicabilidad" es incompleta y potencialmente engañosa cuando se infiere principalmente a partir de pruebas de verbalización de pistas.

Las contribuciones centrales de los autores son:

1. Reencuadre de la Infidelidad: Plantean que la ausencia de palabras de pista por sí sola no prueba la infidelidad. La métrica de Características de Sesgo a menudo mide la plausibilidad (¿mencionó el modelo la pista?) en lugar de la fidelidad (¿impulsó la pista el razonamiento?).
2. Incompletitud como Factor de Confusión: Una parte significativa de la infidelidad medida se atribuye mejor a la incompletitud de la explicación debido a la compresión o límites de tokens, en lugar de una desalineación entre la explicación y el estado interno del modelo.
3. Herramienta Más Amplia: El artículo aboga por ir más allá de las evaluaciones de una sola métrica. Recomienda integrar el análisis de mediación causal, métricas basadas en corrupción (como Tokens de Relleno) y métricas basadas en olvido para construir una tubería de interpretabilidad más robusta.
4. Rol Causal de las CoT No Verbalizadoras: Incluso cuando las CoT no verbalizan explícitamente las pistas, aún pueden mediar causalmente la influencia de la pista, actuando como un intermediario significativo en el proceso de toma de decisiones en lugar de una mera racionalización post-hoc.

En conclusión, los autores advierten contra depender exclusivamente de evaluaciones basadas en pistas para descartar las CoT como infieles. Sugieren que las CoT siguen siendo herramientas valiosas de interpretabilidad, siempre que se evalúen con un conjunto más amplio de métricas que tengan en cuenta las complejidades de traducir el cálculo distribuido al lenguaje natural.