EPC: A Standardized Protocol for Measuring Evaluator Preference Dynamics in LLM Agent Systems

Resumo Técnico: EPC – Um Protocolo Padronizado para Medir a Dinâmica de Preferência de Avaliadores em Sistemas de Agentes de LLM

Declaração do Problema
Em sistemas de agentes de LLM de ciclo fechado, os agentes adaptam suas distribuições de estratégia com base no feedback de avaliadores (frequentemente outros LLMs). Este processo leva ao "acoplamento de preferência do avaliador", onde os vieses inerentes do avaliador se propagam e distorcem a distribuição de estratégia do agente. Embora trabalhos anteriores tenham documentado este fenômeno em vários modelos, a área carece de um protocolo padronizado. As pesquisas atuais sofrem de:

1. Não-reprodutibilidade: Estudos utilizam conjuntos de tarefas, definições de estratégia e implementações de métricas divergentes, tornando impossível a comparação entre estudos.
2. Decaimento de Medição: Avaliadores proprietários atualizam-se silenciosamente, fazendo com que as medições de acoplamento reportadas anteriormente tornem-se inválidas em questão de semanas.
3. Falta de Versionamento: Não há um mecanismo para rastrear a qual versões específicas de modelos ou endpoints de API uma medição corresponde, levando ao acúmulo de basais obsoletos na literatura.

Metodologia: O Protocolo EPC
O artigo introduz o EPC (Evaluator Preference Coupling - Acoplamento de Preferência do Avaliador), uma especificação de protocolo detalhada, em estilo RFC, projetada para padronizar a medição dessas dinâmicas. A metodologia é construída sobre um paradigma de isolamento de quatro fases:

• Fase 1 (Texto Puro): O agente passa por Aprendizado por Reforço em Tempo de Teste (TTRL) em tarefas apenas de texto para estabelecer uma distribuição de pesos de base.
• Fase 2 (Visual Puro): O agente passa por TTRL em tarefas visualmente adjacentes para estabelecer uma base separada.
• Fase 3 (Acoplamento T→V): O agente inicia com os pesos da Fase 1 e treina em tarefas visuais.
• Fase 4 (Acoplamento V→T): O agente inicia com os pesos da Fase 2 e treina em tarefas de texto.

Componentes Técnicos Principais:

• Algoritmo TTRL: O agente mantém um vetor de pesos L1-normalizado sobre 11 estratégias (8 de texto, 3 visuais). As atualizações ocorrem via comparações pareadas contra uma base fixa step_by_step. O protocolo fixa taxas de aprendizado ($\alpha_{win}=0.08, \alpha_{lose}=0.04$) e um piso de peso (0.001) para garantir estabilidade.
• Métricas:
  • $\gamma$ (Coeficiente de Acoplamento): A métrica primária, definida como a distância euclidiana L2-normalizada entre o vetor de pesos pós-acoplamento e o vetor de referência do domínio puro.
  • JSD (Divergência de Jensen-Shannon): Requerida para reportar se os vetores de pesos forem armazenados, para rastrear a concentração da distribuição.
  • ECE & Pontuação de Brier: Métricas opcionais para calibração e análise de erro.
• Configuração Estrita: O protocolo exige prompts de avaliador específicos, configurações de decodificação (temperatura=0.0) e documentação de tarefa (verbatim) para minimizar a variância.
• Conformidade: Um conjunto de testes com avaliadores simulados (mock) garante que implementações independentes produzam resultados idênticos em entradas fixas.

Principais Contribuições
O artigo afirma explicitamente que não introduz novas descobertas empíricas, métricas ou alegações científicas sobre as capacidades dos agentes. Em vez disso, suas contribuições são infraestruturais e disciplinares:

1. Protocolo Padronizado: Uma especificação completa de protocolo em estilo RFC (EPC-v1.0) cobrindo configuração, algoritmo, design de tarefas e esquemas de saída.
2. Snapshot de Referência v1.0: Um baseline versionado contendo medições de acoplamento ($\gamma$, JSD, taxas de acoplamento zero) para oito condições de avaliador (incluindo GPT-4o, Qwen, DeepSeek) derivadas de cinco estudos independentes conduzidos entre maio e junho de 2026.
3. Convenção de Versionamento: Um esquema de três componentes ($vX.Y-Z$) codificando a versão do protocolo, a versão do snapshot e a geração do avaliador para rastrear explicitamente a validade e o decaimento da medição.
4. Infraestrutura Aberta: Lançamento da implementação do protocolo, dados de referência (JSON) e um template de submissão para snapshots contribuídos pela comunidade.

Resultos e Observações
O Snapshot de Referência v1.0 fornece bases empíricas que destacam a volatilidade do acoplamento do avaliador:

• Variabilidade: Os coeficientes de acoplamento ($\gamma$) variam significamente entre os avaliadores. Por exemplo, o GPT-4o (2024-08-06) mostrou um $\gamma$ médio de 1.176, enquanto o DeepSeek-chat (auto-avaliação) mostrou 0.033.
• Decaimento e Deriva: O snapshot demonstra que as medições podem inverter ou mudar drasticamente em curtos períodos de tempo. As medições do GPT-4o feitas em maio vs. junho mostraram uma mudança de alto acoplamento para acoplamento quase zero (0.187) com uma taxa de acoplamento zero de 83%, atribuída a atualizações de versão do modelo.
• Problemas de Calibração: Basais de autoavaliação revelaram que os avaliadores podem estar substancialmente descalibrados (ECE $\approx$ 0.31) mesmo quando apresentam baixo acoplamento, sugerindo que o baixo acoplamento pode refletir incapacidade do avaliador em vez de estabilidade do agente.

Significância e Alegações
Os autores posicionam este trabalho como um artigo de especificação de protocolo, análogo a um RFC em redes ou um padrão de medição em ciências físicas.

• Disciplina sobre Descoberta: O artigo afirma introduzir uma "disciplina" que permite à comunidade manter a atualidade coletiva conforme os modelos de avaliadores evoluem, transformando observações pontuais em um sistema de medição reprodutível, comparável e auditável.
• Abordagem do Decaimento: Ao tornar o decaimento da medição explícito através de versionamento e datas de expiração, o protocolo visa evitar a dependência de basais obsoletos, um problema destacado por auditorias recentes que mostram que os benchmarks de IA possuem baixos escores de longevidade.
• Complementaridade: O EPC foi projetado para complementar os benchmarks de capacidade de agentes existentes (que medem o quão bem os agentes performam) ao medir a influência do avaliador (como os vieses se propagam através de loops de feedback).

O artigo conclui lançando o protocolo e os dados como infraestrutura aberta, convidando a comunidade a contribuir com snapshots atualizados conforme os modelos de avaliadores evoluem, garantindo assim a longevidade e relevância do sistema de medição.