Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?

Resumo Técnico: Calibrando o Avaliador para Mitigar o Acoplamento de Preferência

Definição do Problema
Em sistemas multiagentes de Grandes Modelos de Linguagem (LLMs), os agentes frequentemente adaptam seu comportamento com base no feedback de um avaliador LLM. Pesquisas recentes identificaram um fenômeno denominado Acoplamento de Preferência do Avaliador (EPC - Evaluator Preference Coupling), onde vieses sistemáticos no avaliador se propagam através de loops de feedback, distorcendo a distribuição da estratégia aprendida pelo agente e potencialmente levando ao colapso da preferência. Embora o framework de EPC tenha estabelecido ferramentas diagnósticas para medir esse acoplamento (usando métricas como o coeficiente de acoplamento $\gamma$ e a Divergência de Jensen-Shannon), a literatura anterior concentrou-se exclusivamente no diagnóstico. Nenhum trabalho prévio investigou se técnicas de calibração podem mitigar esses efeitos.

Metodologia
Este estudo introduz a primeira aplicação de calibração de probabilidade como uma estratégia de mitigação para o acoplamento de preferência em sistemas de agentes de loop fechado. Os autores comparam um protocolo padrão de Aprendizado por Reforço em Tempo de Teste (TTRL - Test-Time Reinforcement Learning) contra uma variante de TTRL com Confiança Calibrada.

• Configuração Experimental:

  • Executor: DeepSeek-V4-Pro (atuando como o agente).
  • Avaliador: GLM5.2 (atuando como o juiz).
  • Design: Um experimento controlado dentro de sujeitos ($N=5$ sementes) comparando o TTRL binário padrão (vitória/derrota) com o TTRL de confiança calibrada através de quatro fases: Texto Puro, Visual Puro e dois direcionamentos de acoplamento (Texto$\to$Visual e Visual$\to$Texto).
  • Controles: O estudo inclui um controle de normalização de comprimento (limitando as respostas a 500 caracteres) e um controle de taxa de aprendizado simétrica ($\alpha_{win} = \alpha_{lose}$) para descartar efeitos de formato de saída ou assimetria de atualização como os principais drivers dos resultados.

• O Protocolo Calibrado:

  1. Elicitação de Confiança: Em vez de um julgamento binário "A ou B", o avaliador é instruído a fornecer uma estimativa de probabilidade ($c_t \in [0, 1]$) representando a probabilidade de a resposta A ser melhor que a B.
  2. Calibração Contínua: Uma regressão isotônica de janela deslizante é aplicada aos 10 pares mais recentes de (confiança, resultado binário) para calibrar as estimativas de confiança subsequentes.
  3. Atualizações Ponderadas pela Confiança: O peso da estratégia do agente é atualizado com base na confiança calibrada, em vez de um sinal binário. A magnitude da atualização é mapeada da pontuação de confiança $c_t$ para o intervalo $[-\alpha_{win}, +\alpha_{win}]$ usando a fórmula:
     $$w^{(t+1)}_{s_t} = \max(0.001, w^{(t)}_{s_t} + \alpha_{win} \cdot (2c_t - 1))$$
     Este mecanismo efetivamente controla as atualizações: julgamentos incertos ($c_t \approx 0.5$) resultam em mudanças de peso próximas de zero, evitando a acumulação de preferências espúrias.

Principais Resultados
O estudo demonstra que o TTRL com confiança calibrada reduz significamente o acoplamento de preferência em comparação ao TTRL binário padrão:

• Coeficiente de Acoplamento ($\gamma$): A calibração reduziu $\gamma_{T\to V}$ em 20% (de 0,924 para 0,744) e $\gamma_{V\to T}$ em 49% (de 1,580 para 0,806).
• Divergência de Jensen-Shannon (JSD): A redução na divergência de distribuição foi ainda mais pronunciada, com reduções de 45% ($T\to V$) e 67% ($V\to T$).
• Mecanismo: A redução é atribuída ao "controle de confiança" (confidence gating). Aproximadamente 31% dos julgamentos do avaliador caíram na faixa de incerteza ($c_t \in [0.4, 0.6]$). No TTRL padrão, estes contribuiriam com atualizações de peso total; na variante calibrada, eles contribuem com atualizações negligenciáveis.
• Robustez: O efeito persistiu sob taxas de aprendizado simétricas e condições de normalização de comprimento, confirmando que a redução é impulsionada pelo próprio mecanismo de calibração, e não pela assimetria da taxa de aprendizado ou formatação de saída.

Significância e Alegações
O artigo afirma ser o primeiro estudo a aplicar a calibração do avaliador como uma mitigação para o acoplamento de preferência em loops de feedback de agentes LLM. Suas principais contribuições são:

1. Evidência Empírica: Fornecer dados de que o feedback com confiança calibrada reduz os coeficientes de acoplamento em 23–31% e a JSD em magnitudes semelhantes.
2. Mitigação Leve: Propor um protocolo "drop-in" que não requer mudanças no modelo executor ou retreinamento do avaliador, baseando-se apenas em engenharia de prompt e uma regra de atualização simples.
3. Recomendação Prática: Aconselhar profissionais a elicitar estimativas de probabilidade em vez de julgamentos binários e a utilizar atualizações ponderadas pela confiança em pipelines de LLM-as-judge.

Limitações e Modéstia
Os autores observam explicitamente que a calibração reduz, mas não elimina o acoplamento. O acoplamento residual (ex: $\gamma \approx 0,8$) provavelmente reflete preferências genuínas e de alta confiança do avaliador, em vez de ruído. O estudo é limitado a snapshots específicos de modelos (GLM5.2, DeepSeek-V4-Pro) e uma abordagem simplificada de calibração de janela deslizante. Os autores concluem que, embora o método seja eficaz, o monitoramento rotineiro das métricas de EPC permanece essencial, pois a calibração pode criar uma falsa sensação de segurança se o acoplamento residual for ignorado.