Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity

Resumen Técnico: ¿Está el modelo perplejo por la razón correcta?

1. Planteamiento del Problema

Las evaluaciones estándar de los Modelos de Lenguaje Grandes (LLMs) se centran predominantemente en el rendimiento en tareas (precisión, exactitud), lo que ofrece una visión limitada sobre si el comportamiento correcto refleja mecanismos subyacentes apropiados.

• Sesgo de confirmación: Existe el riesgo de inferir que un modelo ha comprendido un concepto lingüístico simplemente porque produce una respuesta correcta, proyectando expectativas humanas sobre la salida del modelo.
• Limitación de las técnicas actuales: Los métodos de atribución de características (feature-attribution) utilizados en IA Explicable (XAI) suelen ser inestables y engañosos.
• La pregunta central: ¿Un modelo que clasifica correctamente una oración lo hace basándose en las pistas lingüísticas relevantes (tokens pivotales) o en heurísticas alternativas no deseadas?

2. Metodología Propuesta

Los autores introducen un marco de interpretabilidad basado en la perplejidad a nivel de token (Token-Level Perplexity) para probar hipótesis específicas sobre el comportamiento del modelo sin depender de técnicas de atribución inestables.

A. Configuración Experimental (Pares Mínimos):
Se utilizan pares mínimos de prompts: dos oraciones idénticas excepto por uno o pocos "tokens pivotales" que determinan la gramaticalidad, la ambigüedad o el significado (ej. himself vs. herself, o tree vs. trees).

• Prompt Correcto: La oración que cumple con la regla lingüística deseada.
• Prompt Incorrecto: La oración que viola la regla.

B. Métricas de Evaluación:
El objetivo es analizar si la diferencia en la perplejidad total ($\Delta PPL$) entre el prompt correcto y el incorrecto se debe principalmente a los tokens pivotales. Se proponen dos métricas nuevas:

1. Proporción Simple (Plain Proportion):

   • Calcula qué fracción del $\Delta PPL$ total se explica sumando las diferencias absolutas de perplejidad de los tokens pivotales.
   • Valor 1: Los tokens pivotales explican todo el cambio. Valor 0: No explican nada.
   • Limitación: No considera la dirección del efecto (si apoya la decisión correcta o incorrecta).

2. Proporción Normalizada (Normalized Proportion):

   • Corrige las limitaciones de la métrica anterior considerando la dirección del efecto y normalizando por el número de tokens.
   • Calcula la proporción promedio de los tokens pivotales y resta la mediana de la proporción de todos los demás tokens.
   • Interpretación: Un valor de 1 indica que los tokens pivotales impulsan el cambio en la dirección correcta; -1 indica que lo hacen en la dirección incorrecta; 0 indica que son tan informativos como un token promedio.

C. Modelos y Tareas:

• Modelos: Gemma3-4B, Mistral0.3-7B, Llama3.2-3B y Qwen2.5-7B (versiones base).
• Tareas:
  • Sanity Check: Palabras sin sentido (nonsense words).
  • Sesgos: Parejas CrowS-pairs (estereotipos).
  • Lingüística: BLiMP (acuerdo de anáforas, verificación de animacidad) y DUST (detección de ambigüedad).

3. Resultados Clave

• Desacoplamiento entre Precisión y Mecanismo: Se encontró que la alta precisión en las tareas de benchmark no garantiza que el modelo esté utilizando los tokens lingüísticos correctos. Los modelos pueden obtener puntuaciones altas sin exhibir el comportamiento de perplejidad esperado a nivel de token.
• Incompletitud de los Tokens Pivotales:
  • En la tarea de "palabras sin sentido" (sanity check), los tokens pivotales explicaron la mayor parte del cambio, validando la metodología.
  • En las tareas lingüísticas reales (BLiMP, DUST, Estereotipos), los tokens pivotales nunca explicaron completamente el cambio de perplejidad ($\Delta PPL$).
  • BLiMP (Animacidad/Anáforas): Los tokens pivotales explicaron como máximo el 50% del cambio.
  • Estereotipos: Los tokens pivotales explicaron hasta el 50%, pero los tokens de puntuación (puntos finales) también contribuyeron significativamente al cambio.
  • DUST (Ambigüedad): Fue la tarea donde los tokens pivotales tuvieron mayor impacto, acercándose a explicar la totalidad del cambio, pero aún con variabilidad.
• Variabilidad entre Modelos: La contribución de los tokens cruciales varía ampliamente entre diferentes modelos y tareas, revelando que los LLMs codifican las pistas lingüísticas finas de manera inconsistente.

4. Contribuciones Principales

1. Marco de Interpretabilidad Basado en Perplejidad: Un enfoque simple y principista que evita las inestabilidades de las técnicas de atribución de características tradicionales.
2. Nuevas Métricas: Introducción de la "Proporción Simple" y "Proporción Normalizada" para cuantificar objetivamente si un modelo se basa en las pistas lingüísticas correctas.
3. Evidencia Empírica: Demostración de que, incluso en configuraciones controladas, los LLMs actuales a menudo divergen del comportamiento lingüístico esperado, confiando en heurísticas alternativas.

5. Significado e Implicaciones

• Crítica a los Benchmarks: Los resultados sugieren que la precisión en los benchmarks es un proxy demasiado optimista de la habilidad lingüística real. Un modelo puede "resolver" una tarea por las razones equivocadas.
• Necesidad de Nuevas Evaluaciones: Se requiere un cambio hacia métodos de evaluación que minimicen el sesgo de confirmación y prueben directamente si los modelos dependen de los mecanismos asumidos.
• Herramienta Diagnóstica: La métrica de "Proporción Normalizada" se presenta como una herramienta útil para diagnosticar si un modelo está aprendiendo la regla lingüística deseada o si está aprovechando atajos (cortocircuitos) en los datos.

En conclusión, el estudio revela que estar "perplejo por la razón correcta" es una excepción, no la norma, en los LLMs actuales, lo que subraya la necesidad de profundizar en la interpretabilidad más allá del rendimiento superficial.