EPC: A Standardized Protocol for Measuring Evaluator Preference Dynamics in LLM Agent Systems

Resumen Técnico: EPC – Un Protocolo Estandarizado para Medir la Dinámica de Preferencia del Evaluador en Sistemas de Agentes LLM

Planteamiento del Problema
En los sistemas de agentes LLM de bucle cerrado, los agentes adaptan sus distribuciones de estrategia basándose en la retroalimentación de los evaluadores (a menudo otros LLM). Este proceso conduce al "acoplamiento de preferencia del evaluador", donde los sesgos inherentes del evaluador se propagan y distorsionan la distribución de estrategia del agente. El trabajo previo ha documentado este fenómeno en diversos modelos, pero el campo carece de un protocolo estandarizado. La investigación actual sufre de:

1. No reproducibilidad: Los estudios utilizan conjuntos de tareas, definiciones de estrategia e implementaciones de métricas divergentes, lo que imposibilita la comparación entre estudios.
2. Decaimiento de la Medición: Los evaluadores propietarios se actualizan silenciosamente, lo que provoca que las mediciones de acoplamiento reportadas previamente pierdan validez en cuestión de semanas.
3. Falta de Versionado: No existe un mecanismo para rastrear a qué versiones específicas de modelos o endpoints de API corresponde una medición, lo que conduce a la acumulación de líneas base obsoletas en la literatura.

Metodología: El Protocolo EPC
El artículo introduce EPC (Evaluator Preference Coupling - Acoplamiento de Preferencia del Evaluador), una especificación de protocolo detallada, de estilo RFC, diseñada para estandarizar la medición de estas dinámicas. La metodología se basa en un paradigma de aislamiento de cuatro fases:

• Fase 1 (Texto Puro): El agente se somete a Aprendizaje por Refuerzo en Tiempo de Prueba (TTRL) en tareas de solo texto para establecer una distribución de pesos base.
• Fase 2 (Visual Puro): El agente se somete a TTRL en tareas visualmente adyacentes para establecer una línea base separada.
• Fase 3 (Acoplamiento T→V): El agente comienza con los pesos de la Fase 1 y entrena en tareas visuales.
• Fase 4 (Acoplamiento V→T): El agente comienza con los pesos de la Fase 2 y entrena en tareas de texto.

Componentes Técnicos Clave:

• Algoritmo TTRL: El agente mantiene un vector de pesos normalizado en L1 sobre 11 estrategias (8 de texto, 3 visuales). Las actualizaciones ocurren mediante comparaciones por pares contra una línea base fija de paso a paso (step_by_step). El protocolo fija las tasas de aprendizaje ($\alpha_{win}=0.08, \alpha_{lose}=0.04$) y un suelo de peso (0.001) para asegurar la estabilidad.
• Métricas:
  • $\gamma$ (Coeficiente de Acoplamiento): La métrica principal, definida como la distancia euclidiana normalizada en L2 entre el vector de pesos post-acoplamiento y el vector de referencia del dominio puro.
  • JSD (Divergencia de Jensen-Shannon): Requerida para informar si se almacenan los vectores de pesos, para rastrear la concentración de la distribución.
  • ECE y Puntuación de Brier: Métricas opcionales para el análisis de calibración y error.
• Configuración Estricta: El protocolo exige prompts de evaluador específicos, configuraciones de decodificación (temperatura=0.0) y documentación de tareas (verbatim) para minimizar la varianza.
• Conformidad: Una suite de pruebas con evaluadores simulados (mock) asegura que implementaciones independientes produzcan resultados idénticos ante entradas fijas.

Contribuciones Clave
El artículo establece explícitamente que no introduce nuevos hallazgos empíricos, métricas o afirmaciones científicas sobre las capacidades de los agentes. En su lugar, sus contribuciones son infraestructurales y disciplinares:

1. Protocolo Estandarizado: Una especificación completa de estilo RFC (EPC-v1.0) que cubre configuración, algoritmo, diseño de tareas y esquemas de salida.
2. Instantánea de Referencia v1.0: Una línea base versionada que contiene mediciones de acoplamiento ($\gamma$, JSD, tasas de acoplamiento cero) para ocho condiciones de evaluador (incluyendo GPT-4o, Qwen, DeepSeek) derivadas de cinco estudios independientes realizados entre mayo y junio de 2026.
3. Convención de Versionado: Un esquema de tres componentes ($vX.Y-Z$) que codifica la versión del protocolo, la versión de la instantánea y la generación del evaluador para rastrear explícitamente la validez y el decaimiento de la medición.
4. Infraestructura Abierta: Lanzamiento de la implementación del protocolo, datos de referencia (JSON) y una plantilla de envío para instantáneas contribuidas por la comunidad.

Resultados y Observaciones
La Instantánea de Referencia v1.0 proporciona líneas base empíricas que resaltan la volatilidad del acoplamiento del evaluador:

• Variabilidad: Los coeficientes de acoplamiento ($\gamma$) varían significamente entre evaluadores. Por ejemplo, GPT-4o (2024-08-06) mostró un $\gamma$ medio de 1.176, mientras que DeepSeek-chat (autoevaluación) mostró 0.033.
• Decaimiento y Deriva: La instantánea demuestra que las mediciones pueden invertirse o cambiar drásticamente en periodos cortos de tiempo. Las mediciones de GPT-4o tomadas en mayo frente a junio mostraron un cambio de un alto acoplamiento a un acoplamiento casi nulo (0.187) con una tasa de acoplamiento cero del 83%, atribuido a las actualizaciones de la versión del modelo.
• Problemas de Calibración: Las líneas base de autoevaluación revelaron que los evaluadores pueden estar sustancialmente descalibrados (ECE $\approx$ 0.31) incluso cuando muestran un bajo acoplamiento, lo que sugiere que un bajo acoplamiento puede reflejar a veces la incapacidad del evaluador en lugar de la estabilidad del agente.

Significancia y Afirmaciones
Los autores posicionan este trabajo como un artículo de especificación de protocolo, análogo a un RFC en redes o un estándar de medición en las ciencias físicas.

• Disciplina sobre Descubrimiento: El artículo afirma introducir una "disciplina" que permite a la comunidad mantener la vigencia de forma colectiva a medida que los modelos evaluadores evolucionan, transformando observaciones aisladas en un sistema de medición reproducible, comparable y auditable.
• Abordar el Decaimiento: Al hacer explícito el decaimiento de la medición mediante el versionado y las fechas de expiración, el protocolo busca evitar la dependencia de líneas base obsoletas, un problema resaltado por auditorías recientes que muestran que los benchmarks de IA tienen puntuaciones de longevidad bajas.
• Complementariedad: EPC está diseñado para complementar los benchmarks de capacidad de agentes existentes (que miden qué tan bien se desempeñan los agentes) al medir la influencia del evaluador (cómo se propagan los sesgos a través de los bucles de retroalimentación).

El artículo concluye lanzando el protocolo y los datos como infraestructura abierta, invitando a la comunidad a contribuir con instantáneas actualizadas a medida que los modelos de los evaluadores evolucionan, asegurando así la longevidad y relevancia del sistema de medición.