RBCorr: Response Bias Correction in Language Models

1. El Problema: Sesgo de Respuesta en Modelos de Lenguaje

Los Modelos de Lenguaje (LMs) sufren de sesgos de respuesta en configuraciones de evaluación de respuesta fija (preguntas de opción múltiple, sí/no, etc.). Este sesgo se manifiesta como una preferencia inherente del modelo por ciertas opciones de respuesta, independientemente del contenido de la pregunta.

• Consecuencias: Este comportamiento reduce el rendimiento real del modelo y distorsiona las evaluaciones de sus capacidades de razonamiento, haciendo que los modelos parezcan menos competentes o, paradójicamente, más competentes de lo que realmente son debido a adivinanzas sistemáticas.
• Limitaciones actuales: Los esfuerzos anteriores para mitigar este problema se han centrado en manipulaciones de log-probabilidades (LogProbs), pero a menudo carecen de una exploración sistemática de cómo el modelo, el conjunto de datos y el formato del prompt interactúan con el sesgo.

2. Metodología: RBCorr (Corrección de Sesgo de Respuesta)

Los autores proponen RBCorr, una estrategia de corrección simple, de bajo costo y basada en LogProbs.

• Principio Fundamental: En un modelo sin sesgo, las log-probabilidades promedio para diferentes opciones de respuesta deberían ser iguales (distribución uniforme), asumiendo un conjunto de datos equilibrado por clases. RBCorr mide la desviación de esta distribución uniforme y aplica una corrección.
• Proceso de Corrección:
  1. Extracción: Se extraen los valores de LogProbs de la última capa del LM para los tokens de respuesta antes de la transformación softmax.
  2. Estimación de la Media: Se utiliza un pequeño conjunto de calibración (equilibrado por clases) para calcular la media de los LogProbs para cada token de opción.
  3. Normalización: Se resta la media calculada de los LogProbs de cada ítem en el conjunto de evaluación. Esto elimina la tendencia base del modelo hacia ciertas etiquetas.
  4. Eficiencia: El método no requiere computación adicional durante la inferencia, solo el ajuste de los valores base.
• Tamaño del Conjunto de Calibración: Los experimentos muestran que un conjunto de calibración pequeño (alrededor de 100 preguntas) es suficiente para obtener correcciones estables, lo que hace que el método sea viable incluso con datos limitados.

3. Configuración Experimental

• Modelos: Se probaron 12 LMs de tres familias (Falcon3, Gemma3, Llama3.1), variando en tamaño (desde 3B hasta 70B) y en versiones (base vs. ajustadas por instrucciones).
• Conjuntos de Datos: Se evaluaron tareas con 2, 3 y 4 opciones:
  • 2 Opciones: ARITH (aritmética), bAbI (comprensión lectora), COMPS (herencia de propiedades), EWoK (conocimiento contextual).
  • 3 Opciones: SNLI y MultiNLI (inferencia de texto natural).
  • 4 Opciones: MMLU (STEM, Humanidades, Ciencias Sociales, Otros).
• Formatos de Prompt: Zero-shot, Instrucción-only y Few-shot.

4. Resultados Clave

A. Existencia y Caracterización del Sesgo (Experimento 1)

• Los modelos muestran sesgos inherentes significativos antes de la corrección.
  • En preguntas de sí/no, hay una tendencia moderada a responder "No".
  • En tareas de NLI (3 opciones), hay un fuerte sesgo hacia la opción '1' (neutralidad/entailment), con modelos específicos (como Gemma3-27B) mostrando preferencias extremas.
• Los modelos más grandes y las versiones ajustadas por instrucciones tienden a tener distribuciones de etiquetas más uniformes que sus contrapartes más pequeñas o base, pero el sesgo persiste.

B. Mejora del Rendimiento (Experimento 2)

• Reducción del Sesgo: RBCorr reduce consistentemente la Distancia de Variación Total (TVD), una métrica que mide la diferencia entre la distribución de respuestas del modelo y la distribución uniforme ideal.
• Aumento de Precisión: La corrección no solo elimina el sesgo, sino que recupera la precisión perdida.
  • Los modelos más pequeños (ej. 8B) experimentaron las mayores ganancias de precisión (hasta un 29% en el conjunto de datos bAbI).
  • En general, se observa una mejora o mantenimiento de la precisión mientras se reduce drásticamente el sesgo.
• Significado: La corrección permite distinguir entre la capacidad real de razonamiento del modelo y el rendimiento inflado o deprimido por el sesgo de etiqueta.

C. Comparación con Métodos Existentes (Experimento 3)

• Se comparó RBCorr con Contextual Calibration (CC) y Batch Calibration (BC).
• Resultados: RBCorr generalmente logra las mayores ganancias de precisión en conjuntos de datos de 2 y 3 opciones, y reduce el sesgo (TVD) más que cualquier otro método en casi todos los casos. BC funciona bien en opciones de 4, pero RBCorr es más consistente en la reducción del sesgo global.

D. Falta de Transferibilidad (Experimento 4)

• Un hallazgo crucial es que los términos de corrección no son transferibles.
• Intentar aplicar términos de corrección derivados de un modelo, conjunto de datos o formato de prompt a otro diferente (cambio de configuración) resulta en una tasa de éxito muy baja (~10-22%).
• Implicación: El sesgo es altamente específico al contexto (modelo + datos + prompt). Se requiere una calibración específica para cada configuración para una mitigación fiable.

5. Contribuciones y Significancia

1. Método Eficaz y Económico: RBCorr ofrece una solución simple que no requiere reentrenamiento ni computación costosa, siendo aplicable a modelos de código abierto accesibles.
2. Diagnóstico de Evaluación: Más allá de mejorar la precisión, RBCorr sirve como una herramienta de diagnóstico para evaluar si el rendimiento de un modelo en una tarea está siendo enmascarado por sesgos de respuesta. Esto es vital para una evaluación fiel de las capacidades de razonamiento.
3. Relevancia para Modelos Pequeños: La técnica es particularmente beneficiosa para modelos pequeños y medianos, permitiendo su uso en tareas de etiquetado a gran escala con mayor fiabilidad.
4. Advertencia sobre la Generalización: El estudio demuestra que no existe una "corrección universal" para el sesgo; las estrategias de mitigación deben ser específicas del contexto experimental.

Conclusión

El artículo concluye que, en la era del escepticismo sobre las evaluaciones de LMs, los benchmarks basados en tareas cerradas siguen teniendo valor si se combinan con técnicas de desviación (debiasing) como RBCorr. Esto permite descubrir el rendimiento latente de los modelos y realizar comparaciones más justas de sus capacidades de razonamiento. El trabajo sugiere futuras direcciones hacia el ajuste intrínseco de los modelos usando probabilidades corregidas y la interpretación mecánica de los sesgos en las capas del modelo.