Resumen Técnico: No todas las explicaciones simulan por igual

Declaración del Problema

Las explicaciones en lenguaje natural para los Modelos de Lenguaje de Gran Escala (LLM) suelen tratarse como una interfaz unificada para comprender el comportamiento del modelo. Sin embargo, estas explicaciones se originan en fuentes diversas, que van desde atribuciones de características de entrada (identificación de tokens o frases importantes) hasta razonamientos autogenerados (como justificaciones post-hoc o razonamiento de Cadena de Pensamiento o Chain-of-Thought). A pesar de compartir la etiqueta de "explicación", estos objetos difieren fundamentalmente en su fuente, granularidad, formato y uso previsto.

Los protocolos de evaluación previos suelen evaluar las explicaciones según dimensiones específicas de tipo, tales como la fidelidad al proceso de decisión, la plausibilidad para los lectores humanos o el acuerdo con los razonamientos humanos. Este artículo sostiene que estas métricas de tipo específico dificultan la comparación de distintos formatos de explicación sobre una base común. El desafío central abordado es: ¿Cómo podemos comparar sistemáticamente diferentes tipos de explicaciones de LLM para determinar cuáles apoyan genuinamente la comprensión y la predicción del comportamiento del modelo?

Metodología

Los autores proponen un marco de evaluación unificado basado en la simulabilidad contrafáctica. En lugar de preguntar si una explicación es plausible de forma aislada, este marco pregunta si la explicación ayuda a un predictor a anticipar con precisión el comportamiento del modelo bajo nuevas entradas perturbadas.

Configuración Experimental

1. Formulación de la Tarea: La evaluación se enmarca como un problema de simulación contrafáctica. Dada una entrada original $x = (c, q)$ (contexto y pregunta) y una respuesta del modelo $y = M(x)$, se construye una entrada contrafáctica $x_{cf} = (c, q_{cf})$ utilizando el mismo contexto pero una pregunta modificada. El modelo objetivo $M$ produce una respuesta contrafáctica real $y_{cf}$.
2. Protocolo de Simulación: Un juez LLM ($P$) actúa como predictor para adivinar $y_{cf}$.
   • Fase 1 (Línea Base): El predictor ve $x$, $y$ y $x_{cf}$, pero sin explicación.
   • Fase 2 (Explicación): El predictor ve las mismas entradas más una explicación $e$ para la respuesta original $y$.
   • Métrica: La simulabilidad se mide como la ganancia de precisión ($\Delta$) al predecir $y_{cf}$ cuando se proporciona la explicación: $\Delta = \text{Score}(2) - \text{Score}(1)$. Un $\Delta$ positivo indica que la explicación mejora la comprensión predictiva.
3. Tipos de Explicación Comparados:
   • Atribuciones de Características Verbalizadas: Utilizando el marco MExGen, los autores identifican fragmentos de entrada influyentes (frases o tokens) y los convierten en lenguaje natural. Prueban dos estrategias de verbalización:
     • Basada en plantillas: Inserción determinista de evidencia de alto rango en plantillas fijas (a nivel de frase, de token e híbrida).
     • Reescritor de LLM: Un LLM reescribe las características de atribución seleccionadas en un texto fluido sin añadir nueva información.
   • Razonamientos Autogenerados: Explicaciones generadas por los propios modelos de QA objetivo mediante prompting:
     • Post-hoc: El modelo responde primero y luego proporciona una justificación.
     • Cadena de Pensamiento (CoT): El modelo razona paso a paso antes de responder.
4. Modelos y Datos: Los experimentos se realizaron en el conjunto de datos SQuAD 2.0 utilizando tres modelos objetivo ajustados por instrucciones (Llama-3-8B, Qwen2.5-7B, Mistral-7B) y GPT-5-mini como juez principal. La robustez se verificó con DeepSeek-R1 y un paradigma de entrenamiento profesor-alumno.

Contribuciones Clave

1. Criterio de Evaluación Unificado: El artículo aplica la simulabilidad contrafáctica como una métrica única para comparar explicaciones basadas en atribuciones y razonamientos autogenerados, permitiendo la comparación directa entre formatos que anteriormente se evaluaban de forma aislada.
2. Comparación Controlada de la Verbalización: El estudio contrasta las verbalizaciones basadas en plantillas con las versiones reescritas por LLM de los mismos datos de atribución, aislando los efectos de la granularidad de la evidencia (frase vs. token) de la fluidez lingüística.
3. Análisis de Granularidad y Fuente: El trabajo analiza sistemáticamente cómo la fuente de la explicación, la estrategia de verbalización y la granularidad de las características afectan la simulabilidad a través de múltiples modelos.

Resultados

El estudio arroja varios hallazgos distintos sobre qué hace que una explicación sea "útil" para la simulación:

• La Granularidad Importa: Las atribuciones a nivel de frase proporcionan las mayores ganancias de simulabilidad entre los métodos basados en atribuciones. Las atribuciones a nivel de token (incluso cuando están altamente clasificadas) suelen producir ganancias cercanas a cero o negativas, lo que sugiere que los términos aislados carecen del contexto necesario para predecir el comportamiento del modelo. Los enfoques híbridos (frase + tokens) funcionan mejor que los tokens solos, pero peor que las atribuciones puras a nivel de frase.
• Fluidez $\neq$ Utilidad: Las explicaciones reescritas por LLM, aunque más fluidas que las basadas en plantillas, no mejoran significativamente la simulabilidad. En algunos casos, funcionan peor. Esto sugiere que el contenido informativo (la evidencia seleccionada) impulsa la simulabilidad más que la forma lingüística.
• Los Razonamientos Autogenerados Varían: Existe un contraste marcado entre las explicaciones post-hoc y los razonamientos CoT. Las explicaciones post-hoc ofrecen mejoras modestas, mientras que los razonamientos CoT proporcionan las mayores ganancias en la predicción contrafáctica en todos los modelos y métricas.
• Transferencia entre Modelos: Los razonamientos CoT contienen información sustancial relevante para la tarea que se generaliza a través de diferentes modelos (transferencia entre modelos), aunque también codifican señales específicas del modelo.
• Divergencia del Paradigma de Evaluación: Mientras que los razonamientos CoT muestran ganancias positivas consistentes tanto en las evaluaciones de juez LLM como en las de profesor-alumno, las explicaciones basadas en atribuciones muestran una discrepancia. Funcionan bien en el entorno de juez (en contexto), pero muestran ganancias débiles o negativas en el entorno de profesor-alumno (entrenamiento), lo que sugiere que las señales de atribución son útiles para la predicción inmediata pero pueden no ser fácilmente internalizables como supervisión aprendible.

Significancia y Reivindicaciones

El artículo sostiene que no todas las explicaciones en lenguaje natural cumplen el mismo rol en el apoyo a la comprensión del comportamiento del modelo. La significancia de estos hallazgos radica en el cambio del enfoque de evaluación de la "plausibilidad" o "fidelidad" aislada hacia la utilidad funcional: ¿ayuda la explicación realmente a un usuario (o a un agente automatizado) a predecir cómo se comportará el modelo ante nuevas entradas?

Los autores concluyen que:

1. El formato de la explicación es crítico: La evidencia a nivel de frase es superior a la evidencia a nivel de token para la simulación.
2. La fuente importa: Los razonamientos CoT son actualmente el tipo de explicación más efectivo para anticipar el comportamiento del modelo, superando tanto a las justificaciones post-hoc como a las atribuciones verbalizadas.
3. La evaluación debe ser consciente del contexto: La utilidad de una explicación depende de si se utiliza para la predicción inmediata en contexto (donde CoT y las atribuciones de frase sobresalen) o para el entrenamiento de modelos internos (donde CoT sigue siendo robusto, pero las atribuciones pueden no transferirse).

En última instancia, el trabajo proporciona orientación empírica para la selección de formatos de explicación en entornos de QA, advirtiendo contra la suposición de que todas las explicaciones en lenguaje natural son igualmente efectivas para la simulación.