Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?

Resumen Técnico: Calibración del Evaluador para Mitigar el Acoplamiento de Preferencias

Planteamiento del Problema
En sistemas de agentes de Modelos de Lenguaje de Gran Escala (LLM) multi-agente, los agentes suelen adaptar su comportamiento basándose en la retroalimentación de un evaluador LLM. Investigaciones recientes han identificado un fenómeno denominado Acoplamiento de Preferencia del Evaluador (EPC, por sus siglas en inglés), donde los sesgos sistemáticos del evaluador se propagan a través de bucles de retroalimentación, distorsionando la distribución de la estrategia aprendida por el agente y potencialmente conduciendo al colapso de la preferencia. Si bien el marco de trabajo de EPC ha establecido herramientas de diagnóstico para medir este acoplamiento (utilizando métricas como el coeficiente de acoplamiento $\gamma$ y la Divergencia de Jensen-Shannon), la literatura previa se ha centrado exclusivamente en el diagnóstico. Ningún trabajo previo ha investigado si las técnicas de calibración pueden mitigar estos efectos.

Metodología
Este estudio introduce la primera aplicación de la calibración de probabilidad como una estrategia de mitigación para el acoplamiento de preferencias en sistemas de agentes de bucle cerrado. Los autores comparan un protocolo estándar de Aprendizaje por Refuerzo en Tiempo de Prueba (TTRL) frente a una variante de TTRL con Confianza Calibrada.

• Configuración Experimental:

  • Ejecutor: DeepSeek-V4-Pro (actuando como el agente).
  • Evaluador: GLM5.2 (actuando como el juez).
  • Diseño: Un experimento controlado dentro de sujetos ($N=5$ semillas) que compara el TTRL binario estándar (ganar/perder) con el TTRL de confianza calibrada a través de cuatro fases: Texto Puro, Visual Puro y dos direcciones de acoplamiento (Texto$\to$Visual y Visual$\to$Texto).
  • Controles: El estudio incluye un control de normalización de longitud (limitando las respuestas a 500 caracteres) y un control de tasa de aprendizaje simétrica ($\alpha_{win} = \alpha_{lose}$) para descartar que los efectos del formato de salida y la asimetría de actualización sean los principales impulsores de los resultados.

• El Protocolo Calibrado:

  1. Elicitación de Confianza: En lugar de un juicio binario de "A o B", se le pide al evaluador que produzca una estimación de probabilidad ($c_t \in [0, 1]$) que represente la probabilidad de que la respuesta A sea mejor que la B.
  2. Calibración Continua: Se aplica una regresión isotónica de ventana deslizante a los últimos 10 pares de (confianza, resultado binario) para calibrar las estimaciones de confianza subsiguientes.
  3. Actualizaciones Ponderadas por Confianza: Los pesos de la estrategia del agente se actualizan basándose en la confianza calibrada en lugar de una señal binaria. La magnitud de la actualización se mapea desde la puntuación de confianza $c_t$ al rango $[-\alpha_{win}, +\alpha_{win}]$ utilizando la fórmula:
     $$w^{(t+1)}_{s_t} = \max(0.001, w^{(t)}_{s_t} + \alpha_{win} \cdot (2c_t - 1))$$
     Este mecanismo efectivamente controla las actualizaciones: los juicios inciertos ($c_t \approx 0.5$) resultan en cambios de peso cercanos a cero, evitando la acumulación de preferencias espurias.

Resultos Clave
El estudio demuestra que el TTRL con confianza calibrada reduce significativamente el acoplamiento de preferencias en comparación con el TTRL binario estándar:

• Coeficiente de Acoplamiento ($\gamma$): La calibración redujo $\gamma_{T\to V}$ en un 20% (de 0.924 a 0.744) y $\gamma_{V\to T}$ en un 49% (de 1.580 a 0.806).
• Divergencia de Jensen-Shannon (JSD): La reducción en la divergencia de la distribución fue aún más pronunciada, con disminuciones del 45% ($T\to V$) y 67% ($V\to T$).
• Mecanismo: La reducción se atribuye al "control de confianza" (confidence gating). Aproximadamente el 31% de los juicios del evaluador cayeron en el rango de incertidumbre ($c_t \in [0.4, 0.6]$). En el TTRL estándar, estos contribuirían con actualizaciones de peso completo; en la variante calibrada, contribuyen con actualizaciones insignificantes.
• Robustez: El efecto persistió bajo tasas de aprendizaje simétricas y condiciones de normalización de longitud, confirmando que la reducción es impulsada por el propio mecanismo de calibración y no por la asimetría de la tasa de aprendizaje o el formato de salida.

Significancia y Reivindicaciones
El artículo afirma ser el primer estudio en aplicar la calibración del evaluador como una mitigación para el acoplamiento de preferencias en los bucles de retroalimentación de agentes LLM. Sus principales contribuciones son:

1. Evidencia Empírica: Proporcionar datos de que la retroalimentación con confianza calibrada reduce los coeficientes de acoplamiento entre un 23 y un 31% y la JSD en magnitudes similares.
2. Mitigación Ligera: Proponer un protocolo de "incorporación directa" (drop-in) que no requiere cambios en el modelo ejecutor ni el reentrenamiento del evaluador, basándose únicamente en ingeniería de prompts y una regla de actualización simple.
3. Recomendación Práctica: Aconsejar a los profesionales que eliciten estimaciones de probabilidad en lugar de juicios binarios y que utilicen actualizaciones ponderadas por confianza en los procesos de "LLM-as-judge".

Limitaciones y Modestia
Los autores señalan explícitamente que la calibración reduce pero no elimina el acoplamiento. El acoplamiento residual (por ejemplo, $\gamma \approx 0.8$) probablemente refleja preferencias genuinas y de alta confianza del evaluador en lugar de ruido. El estudio está limitado a instantáneas específicas de modelos (GLM5.2, DeepSeek-V4-Pro) y un enfoque simplificado de calibración de ventana deslizante. Los autores concluyen que, si bien el método es efectivo, el monitoreo rutinario de las métricas de EPC sigue siendo esencial, ya que la calibración puede crear una falsa sensación de seguridad si se ignora el acoplamiento residual.