ABCD: All Biases Come Disguised

Resumen Técnico: ABCD - All Biases Come Disguised

1. El Problema

Las preguntas de opción múltiple (MCQ, por sus siglas en inglés) son el estándar para evaluar la capacidad de razonamiento y conocimiento de los Modelos de Lenguaje Grandes (LLM). Sin embargo, los autores identifican que estos modelos son extremadamente sensibles a artefactos superficiales de la evaluación en lugar de realizar un razonamiento genuino.

Los sesgos conocidos incluyen:

• Sesgo de posición: El modelo favorece respuestas en ciertas posiciones (ej. la opción C).
• Sesgo de etiqueta: El modelo se basa en el símbolo de la etiqueta (A, B, C, D) en lugar del contenido.
• Sesgo de distribución en pocos ejemplos (Few-shot): El modelo explota patrones estadísticos en las respuestas correctas de los ejemplos de demostración (few-shot) para adivinar la respuesta, incluso si los ejemplos son sin sentido.

El problema central es que las métricas actuales (como la precisión estándar) pueden inflar artificialmente el rendimiento de los modelos al permitirles "hacer trampa" mediante estos atajos, ocultando sus verdaderas capacidades de razonamiento.

2. Metodología Propuesta

Para abordar esto, los autores proponen un protocolo de evaluación reducido de sesgos y una nueva herramienta de diagnóstico.

A. NonsenseQA (Herramienta de Diagnóstico)

• Es un conjunto de datos sintético generado con palabras aleatorias para las preguntas y las opciones.
• La respuesta correcta se asigna aleatoriamente, garantizando una distribución uniforme (25% de probabilidad por opción).
• Objetivo: Si un modelo obtiene una precisión superior al 25% en este dataset, está explotando sesgos (etiquetas, posición o distribución de pocos ejemplos) en lugar de razonar, ya que no hay contenido semántico que analizar.

B. Protocolo de Evaluación "Matched-and-Dashed" (M&D)
El protocolo estándar actual es "Select-and-Letter" (S&L), donde el modelo elige una letra (A, B, C, D). El nuevo protocolo M&D introduce tres cambios clave:

1. Etiquetas Homogéneas: Se reemplazan las letras distintivas (A, B, C, D) por guiones uniformes (-, -, -, -). Esto elimina el sesgo semántico o de orden inherente a las letras.
2. Generación de Texto Completo: En lugar de predecir una etiqueta, el modelo debe generar la frase completa de la respuesta. Esto obliga al modelo a procesar el contenido semántico.
3. Emparejamiento Semántico: Se utiliza un modelo de similitud de oraciones (embedding) para comparar la respuesta generada por el modelo con las opciones originales y seleccionar la más similar.

3. Contribuciones Clave

1. Solución Práctica de Desviación: Un protocolo de evaluación de un solo paso que no requiere ajuste fino (fine-tuning) ni acceso a los logits internos del modelo. Solo requiere un tiempo de cómputo adicional del ~3% para la extracción y el emparejamiento.
2. NonsenseQA: Un nuevo benchmark sintético diseñado específicamente para cuantificar y descomponer los diferentes tipos de sesgos (etiqueta, modo de respuesta, posición y distribución few-shot).
3. Análisis de Sesgos No Explorados: Identificación y caracterización del sesgo de distribución en pocos ejemplos y el sesgo del modo de respuesta, demostrando que los modelos pueden alcanzar >95% de precisión en entradas sin sentido si se les permite explotar estos patrones.

4. Resultados Principales

Los autores evaluaron 13 LLMs (rango de 8B a 32B parámetros) en 5 benchmarks reales (MMLU-Pro, GPQA, CommonsenseQA, ARC, INCLUDE) y en NonsenseQA.

• En NonsenseQA:

  • Bajo el protocolo estándar (S&L), muchos modelos alcanzaron precisiones absurdamente altas (>95%), demostrando que aprendieron a adivinar basándose en la distribución de las respuestas en los ejemplos few-shot.
  • Bajo el protocolo M&D, la precisión de la mayoría de los modelos cayó drásticamente hacia el nivel de azar (25%), confirmando que el rendimiento anterior era artificial.

• En Benchmarks Reales:

  • Robustez: El protocolo M&D redujo la varianza de la precisión ante ataques de "movimiento de respuesta" (cambiar la posición de la respuesta correcta) en un factor de 3x en promedio.
  • Estabilidad: La diferencia entre la precisión original y la precisión bajo ataques disminuyó significativamente, indicando que los modelos son menos dependientes de atajos.
  • Métricas SCORE: Aunque algunos modelos mostraron una puntuación SCORE (métrica de consistencia) más baja con M&D, esto se interpreta como una mejora: indica que el modelo ya no está "haciendo trampa" para mantener una consistencia artificial basada en sesgos, sino que su rendimiento es más honesto y estable.

• Ablación: Se demostró que la elección del modelo de similitud de oraciones o la función de similitud tiene un impacto mínimo; la mejora proviene principalmente del cambio en el protocolo de entrada/salida (etiquetas uniformes + generación de texto).

5. Significado e Impacto

• Evaluación Más Justa: El trabajo demuestra que las métricas actuales de MCQ a menudo miden la capacidad del modelo para explotar artefactos de formato en lugar de su capacidad de razonamiento.
• Guía para la Industria: Proporciona un método de bajo costo computacional para obtener evaluaciones más fiables de los LLMs, crucial para aplicaciones de alto riesgo donde la fiabilidad es prioritaria.
• Cambio de Paradigma: Sugiere que para evaluar verdaderamente el razonamiento, es necesario eliminar las pistas superficiales (etiquetas y posiciones) y obligar a los modelos a generar y justificar sus respuestas semánticamente.
• Generalización: El método funciona consistentemente a través de diferentes tamaños de modelos, idiomas (español, francés, italiano, alemán) y niveles de dificultad (desde razonamiento común hasta preguntas de nivel doctoral en GPQA).

En conclusión, el artículo "ABCD" revela que muchos de los logros reportados en benchmarks de MCQ están "disfrazados" por sesgos de evaluación, y propone un protocolo simple pero efectivo para desvelar las capacidades reales de los modelos.