Resumen Técnico: Rompiendo el Espejo – Mitigación Basada en Activaciones de la Auto-preferencia en Evaluadores de LLM

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) se están desplegando cada vez más como evaluadores automatizados ("LLMs-como-jueces") para tareas que carecen de una verdad fundamental (ground truth), tales como el ajuste de preferencias y el enrutamiento de modelos. Sin embargo, estos evaluadores sufren de sesgo de auto-preferencia: una tendencia a favorecer desproporcionadamente sus propios resultados sobre los de otros modelos, incluso cuando la autoría está oculta. Este sesgo escala con el tamaño y el rendimiento del modelo, socavando la imparcialidad y la fiabilidad de los procesos de evaluación. Si bien trabajos previos se han centrado en detectar este sesgo o mitigarlo mediante un costoso ajuste fino (por ejemplo, Optimización de Preferencia Directa o DPO) o cambios de estilo, existe una falta de intervenciones ligeras en tiempo de inferencia que puedan corregir la auto-preferencia injustificada sin reentrenar el modelo.

Metodología

Los autores proponen un marco para desenredar el sesgo de auto-preferencia de la calidad real del resultado y aplicar vectores de dirección (steering vectors) para mitigar el sesgo en el tiempo de inferencia.

1. Desenredar el Sesgo de la Calidad

Para distinguir entre la auto-preferencia ilegítima (sesgo) y la auto-preferencia legítima (donde el resultado del modelo es objetivamente mejor), los autores construyen un conjunto de evaluación curado basado en el conjunto de datos XSUM.

• Configuración: Un modelo de auto-evaluación $J$ y un modelo de comparación $K$ generan resúmenes de artículos fuente.
• Estándar de Oro: Un conjunto de "jueces de oro" ($G$) de diversas familias de modelos (Phi-4, DeepSeek V3, Claude 3.5-Sonnet) determina el resumen objetivamente mejor para cada par.
• Categorización: Cada instancia de evaluación se clasifica en tres resultados:
  1. Auto-preferencia Ilegítima: El modelo $J$ prefiere su propio resultado, pero los jueces de oro prefieren el de $K$.
  2. Auto-preferencia Legítima: Tanto $J$ como los jueces de oro prefieren el resultado de $J$.
  3. Acuerdo Sin Sesgo: Tanto $J$ como los jueces de oro prefieren el resultado de $K$.
• Validación: La validación humana confirma una alta concordancia entre los jueces de oro y los humanos para los casos legítimos y el acuerdo sin sesgo, aunque la concordancia disminuye para el subconjunto de sesgo, resaltando la dificultad de la tarea.

2. Construcción de Vectores de Dirección

Los autores construyen vectores de dirección ligeros para modular las activaciones del modelo durante la inferencia utilizando dos métodos:

• Adición de Activación Contrastiva (CAA): Calcula la diferencia en las activaciones de los estados ocultos entre los prompts que conducen a completaciones sin sesgo ($X^+$) y completaciones con sesgo ($X^-$). El vector es la diferencia promedio: $v_{CAA} = \text{media}(h_L(X^+)) - \text{media}(h_L(X^-))$.
• Dirección Basada en Optimización: Utiliza el descenso de gradiente para aprender un vector aditivo que minimice una función de pérdida contrastiva, promoviendo la completación deseada ($Y^+$) y suprimiendo la no deseada ($Y^-$). Esto se optimiza en las capas 14–16 de Llama-3.1-8B-Instruct.

3. Métricas de Evaluación

La efectividad de los vectores de dirección se mide por:

• Efectividad: La "tasa de inversión" (flip rate) de la auto-preferencia ilegítima (qué tan seguido el modelo dirigido corrige una decisión sesgada).
• Estabilidad: La preservación de decisiones correctas en los casos de auto-preferencia legítima y acuerdo sin sesgo (se desean tasas de inversión bajas en estas categorías).

Resultados Clave

El estudio evalúa los vectores de dirección en Llama-3.1-8B-Instruct frente a líneas base que incluyen el uso de prompts y la Optimización de Preferencia Directa (DPO).

• Alta Efectividad en el Sesgo: Los vectores de dirección lograron reducir la auto-preferencia injustificada hasta en un 97%. Tanto los métodos CAA como los basados en optimización superaron al uso de prompts (0% de tasa de inversión) y al DPO (49% de tasa de inversión).
• Generalización Sorprendente: Los vectores construidos en un entorno de "desconocimiento" (ocultando la autoría) funcionaron de manera comparable o mejor que aquellos en un entorno de "conocimiento", lo que sugiere que la representación de la auto-preferencia tiene una estructura parcialmente lineal en el espacio de activación.
• Inestabilidad en Casos Legítimos: Una limitación crítica es la falta de estabilidad. Los mismos vectores que logran invertir el sesgo ilegítimo también invierten frecuentemente la auto-preferencia legítima y el acuerdo sin sesgo. Por ejemplo, los vectores CAA invirtieron el 93% de los casos de auto-preferencia legítima y el 20% de los casos de acuerdo sin sesgo.
• Implicación: Esta inestabilidad sugiere que, si bien la auto-preferencia ilegítima puede codificarse de forma lineal, la auto-preferencia legítima y el acuerdo sin sesgo probablemente abarcan direcciones múltiples o no lineales en el espacio de activación, lo que dificulta su aislamiento con un solo vector lineal.

Significado y Reivindicaciones

El artículo afirma demostrar que los vectores de dirección ligeros ofrecen una alternativa prometedora y de bajo costo al ajuste fino para mitigar el sesgo de auto-preferencia en los evaluadores de LLM. La contribución principal es la demostración empírica de que las ediciones de activación en tiempo de inferencia pueden reducir drásticamente la auto-preferencia injustificada (hasta un 97% de corrección).

Sin embargo, los autores mantienen una postura modesta respecto a la universalidad de esta solución. Declaran explícitamente que el enfoque actual no es robusto para preservar los juicios legítimos. Los resultados subrayan que la auto-preferencia es un fenómeno complejo donde el sesgo y la calidad están entrelazados en la representación del modelo. El artículo concluye que, si bien los vectores de dirección son una herramienta poderosa para "romper el espejo" de la auto-preferencia, sus limitaciones lineales actuales requieren intervenciones potencialmente más robustas y no lineales para salvaguardar los sistemas de LLM-como-juez sin comprometer las evaluaciones válidas.

Los autores enfatizan que su trabajo proporciona un conjunto de datos curado y un marco reproducible para la investigación futura en interpretabilidad mecánica y mitigación de sesgos, en lugar de ser una solución final y perfecta para todos los escenarios de evaluación.