ICE: Intervention-Consistent Explanation Evaluation with Statistical Grounding for LLMs

1. El Problema: Evaluación de la Fidelidad en Explicaciones de LLMs

La evaluación de si las explicaciones generadas por modelos de lenguaje grandes (LLMs) reflejan fielmente su razonamiento interno sigue siendo un problema abierto. Los enfoques actuales, como el estándar ERASER, presentan limitaciones críticas:

• Falta de rigor estadístico: Utilizan puntuaciones crudas (suficiencia y comprensividad) sin pruebas estadísticas, lo que impide distinguir entre una fidelidad genuina y el rendimiento por azar.
• Intervenciones únicas: Se basan en un solo operador de intervención (generalmente la eliminación de tokens). Esto puede inflar artificialmente las puntuaciones de fidelidad al crear entradas fuera de distribución (OOD) que degradan cualquier predicción, no solo aquellas que dependen de los tokens destacados.
• Ceguera ante la "Anti-fidelidad": Sin líneas base aleatorias, estos métodos no pueden detectar cuando una explicación es engañosa (es decir, cuando el modelo se comporta peor si se siguen los tokens sugeridos que si se eligen al azar).
• Dependencia del operador: La elección del método de intervención afecta drásticamente las conclusiones, pero los marcos actuales no lo consideran una variable de diseño.

2. Metodología: El Marco ICE

Los autores proponen ICE (Intervention-Consistent Explanation), un marco que evalúa la fidelidad mediante pruebas de aleatorización bajo múltiples operadores de intervención.

Conceptos Clave:

• Pregunta Central: ¿Los tokens identificados por un método de explicación superan a los tokens seleccionados aleatoriamente?
• Métrica Principal (NSR): Se utiliza la Retención de Puntuación Normalizada (Normalized Score Retention). Mide cuánto se preserva la puntuación de predicción original cuando solo se mantienen los tokens de la justificación (rationale).
  $$NSR(r) = \frac{s(x_r^o) - s(\emptyset)}{s(x) - s(\emptyset)}$$
  Donde $s(x)$ es la puntuación original, $s(x_r^o)$ es la puntuación con solo los tokens de la justificación bajo el operador $o$, y $s(\emptyset)$ es la línea base (entrada vacía).

Operadores de Intervención:

ICE compara dos operadores para mitigar sesgos específicos:

1. Eliminación (Deletion): Elimina los tokens no seleccionados. Es rápido pero genera texto truncado y antinatural (OOD).
2. Relleno por Recuperación (Retrieval Infill): Reemplaza los tokens no seleccionados con fragmentos continuos extraídos de otros ejemplos del corpus (excluyendo el ejemplo actual y palabras clave de la etiqueta). Esto preserva la forma superficial y la longitud del texto, manteniendo el contexto natural pero destruyendo el contenido relevante para la tarea.

Prueba de Aleatorización:

En lugar de una puntuación única, ICE compara la NSR de la justificación real contra $M$ justificaciones generadas aleatoriamente (baselines).

• Tasa de Victoria (Win Rate): El porcentaje de veces que la justificación real supera a las aleatorias.
• Intervalos de Confianza: Se calculan mediante bootstrap (95% CI).
• Tamaño del Efecto: Se utiliza la $d$ de Cohen para cuantificar la magnitud de la fidelidad.
• Detección de Anti-fidelidad: Si la tasa de victoria es < 50%, la explicación es "anti-fiel" (peor que el azar).

3. Contribuciones Clave

1. Fidelidad Dependiente del Operador: Demuestran que la fidelidad no es un número único. La elección del operador cambia las conclusiones sustancialmente, con brechas de hasta 44 puntos porcentuales. La dirección de esta brecha depende de la longitud del texto (la eliminación infla en textos cortos, pero el relleno por recuperación suele ser mejor en textos largos).
2. Fundamentación Estadística: El uso de líneas base aleatorias y pruebas de hipótesis permite distinguir la fidelidad genuina del ruido y detectar la anti-fidelidad (presente en ~1/3 de las configuraciones evaluadas), algo invisible para métodos anteriores.
3. Generalización Multilingüe y de Arquitectura: Evalúan 7 LLMs en 4 tareas en inglés y 6 idiomas no ingleses (francés, alemán, hindi, chino, turco, árabe). Revelan interacciones modelo-idioma que no pueden explicarse solo por la tokenización.

4. Resultados Principales

• Impacto del Operador y Longitud del Texto:
  • En textos cortos (ej. SST-2), la eliminación tiende a producir tasas de victoria más altas que el relleno por recuperación.
  • En textos largos (ej. IMDB), el patrón se invierte: el relleno por recuperación suele superar a la eliminación, ya que eliminar la mayor parte de una reseña larga crea una entrada demasiado degradada para que el modelo funcione.
• Anti-fidelidad: En aproximadamente un tercio de las configuraciones (especialmente con métodos basados en gradientes), las explicaciones son anti-fieles. Por ejemplo, en GPT-2 para francés, los gradientes asignan alta importancia a palabras funcionales iniciales ("a", "the") en lugar de adjetivos de sentimiento, llevando a un rendimiento peor que el azar.
• Fidelidad vs. Plausibilidad: Se encontró una correlación cero ($|r| < 0.04$) entre la fidelidad computacional (ICE) y la alineación humana (plausibilidad). Esto confirma que una explicación puede parecer plausible para un humano pero no reflejar el mecanismo real del modelo, y viceversa.
• Resultados Multilingües:
  • No hay un modelo que domine en todos los idiomas.
  • La tokenización no predice la fidelidad (ej. GPT-2 en hindi tiene una expansión de tokens de 8.1x pero mantiene un rendimiento decente, mientras que en francés falla).
  • Se observan interacciones complejas entre la estructura morfológica del idioma y el tipo de atribución (atención vs. gradiente).

5. Significado y Conclusión

El artículo ICE cambia el paradigma de la evaluación de explicaciones en IA:

• De una métrica única a una evaluación comparativa: La fidelidad debe interpretarse como una cantidad dependiente del operador y del contexto, no como una puntuación absoluta.
• Necesidad de Baselines Aleatorias: Sin comparar contra el azar, es imposible saber si una explicación es útil o engañosa.
• Herramientas Prácticas: Los autores lanzan ICEBench, un benchmark completo con datos y código para reproducir estos resultados, permitiendo a los investigadores y practicantes evaluar la fiabilidad de sus modelos antes de su despliegue.

En resumen, ICE demuestra que muchas explicaciones actuales de LLMs son estadísticamente insignificantes o directamente engañosas, y proporciona el marco riguroso necesario para identificarlas y mejorar la interpretabilidad de los modelos.