Resumo Técnico: Um Framework de Diagnóstico e Auditoria de Múltiplos Avaliadores sobre a Dinâmica de Preferência Impulsionada pelo Avaliador em Agentes LLM Autoadaptáveis

1. Declaração do Problema

O artigo aborda uma fragilidade crítica na implantação de Grandes Modelos de Linguagem (LLMs) como avaliadores automatizados em sistemas de agentes de ciclo fechado. Nesses sistemas, um agente gera respostas, um avaliador as julga e o agente adapta sua estratégia com base nesse feedback. Os autores argumentam que, se um avaliador possui preferências sistemáticas (por exemplo, por saídas mais longas ou estilos de raciocínio específicos), esses vieses se propagam através do loop de feedback, distorcendo o comportamento aprendido do agente.

O problema central identificado é a falta de um framework de diagnóstico padronizado para medir essas "dinâmicas de preferência impulsionadas pelo avaliador" entre diferentes famílias de modelos e modalidades. Além disso, o artigo destaca um risco específico, frequentemente negligenciado: a "vida útil" das medições de avaliadores proprietários. Os autores demonstram que atualizações silenciosas de API nos modelos avaliadores podem alterar fundamentalmente seus perfis de preferência em questão de semanas, tornando inválidos estudos de snapshot único e tornando o próprio instrumento de medição instável.

2. Metodologia: O Framework EPC

Para abordar essas questões, os autores introduzem o framework Evaluator Preference Collapse (EPC) (Colapso de Preferência do Avaliador). Este framework foi projetado para quantificar como as preferências de um avaliador influenciam a distribuição de estratégia de um agente ao longo do tempo.

2.1 Configuração Experimental

• Aprendizado por Reforço em Tempo de Teste (TTRL): O agente adapta sua distribuição de estratégia usando uma abordagem de bandit estocástico livre de parâmetros sobre um conjunto de 11 estratégias ($|S|=11$).
• Agentes e Avaliadores:
  • Executor: DeepSeek-chat (apenas texto) gera as respostas.
  • Avaliadores: O estudo audita múltiplos avaliadores através de diferentes versões e provedores, incluindo GPT-4o (lotes de maio e junho de 2026), GPT-4o-mini Vision, Qwen3.7-plus, qwen-plus (DashScope) e DeepSeek-chat (autoavaliação).
  • Tarefas: 8 tarefas baseadas em texto e 8 tarefas visuais mediadas por texto.
• Protocolo: O sistema opera em fases, alternando entre domínios de texto e visual para medir o acoplamento cross-domain. O agente atualiza seus pesos de estratégia com base em comparações pareadas ($r_t \in \{0, 1\}$) fornecidas pelo avaliador.

2.2 Métricas Principais

O framework EPC utiliza três métricas primárias:

1. Índice de Colapso de Preferência (PCI): Mede a concentração do vetor de peso da estratégia $w$. Definido como $\sigma(w)/\mu(w)$.
2. Índice de Colapso de Preferência Multimodal (MPCI): Uma métrica composta que combina o PCI de texto e visual com um termo de acoplamento cross-domain ($CPCI$).
3. Matriz de Acoplamento Indexada pelo Avaliador ($\Gamma(J)$):
   • Coeficiente de Acoplamento ($\gamma$): Quantifica a distância entre a distribuição de estratégia aprendida em um domínio (ex: texto) e a distribuição em outro (ex: visual).
   • Fórmula: $\gamma_{A \to B} = \|w_{A \to B} - w_B\|_2 / \|w_B\|_2$.
   • Interpretação: $\gamma \approx 0$ indica acoplamento mínimo; $\gamma \gtrsim 0.5$ indica acoplamento substancial.
4. Divergência de Jensen-Shannon (JSD): Utilizada como uma métrica limitada primária para medir a divergência entre distribuições de estratégia.
5. Métricas de Calibração: O Erro de Calibração Esperada (ECE) e o score de Brier são usados para determinar se as preferências concentradas alinham-se com a precisão da verdade fundamental (ground-truth).

3. Resultados Principais

O estudo relata 122 repetições experimentais únicas através de oito condições. Os resultados revelam um padrão de alta instabilidade em vez de um único achado estável.

3.1 Instabilidade Condicional à Versão

O achado mais significativo é o drift de versão do GPT-4o.

• Lote de Maio de 2026: Um forte acoplamento foi observado ($\bar{\gamma}_{T \to V} = 1.176$, $\bar{\gamma}_{V \to T} = 1.089$).
• Lote de Junho de 2026: Usando o mesmo protocolo e endpoint ($gpt-4o-2024-08-06$), o acoplamento colapsou para zero em todas as 8 repetições ($\bar{\gamma} = 0.0$).
• Significância: Esta inversão de resultados dentro de uma janela de 4 semanas demonstra que o perfil de preferência do avaliador mudou silenciosamente. Os autores observam que o tamanho do efeito é grande (Cohen's $d=4.37$), tornando a significância estatística robusta apesar do pequeno tamanho da amostra ($N=8$).

3.2 Auditoria de Múltiplos Avaliadores

• Condições de Forte Acoplamento: GPT-4o (Maio), GPT-4o-mini Vision, Qwen3.7-plus e DashScope 30r mostraram forte acoplamento ($\gamma$ variando de 1.0 a 1.18).
• Condições de Colapso: GPT-4o (Junho), Qwen/DashScope (N maior = 30), variantes de Taxa de Aprendizado (LR) simétrica e autoavaliação do DeepSeek mostraram acoplamento próximo de zero.
• Autoavaliação: A autoavaliação do DeepSeek mostrou uma taxa de zero-acoplamento de 97%. No entanto, a análise de calibração revelou um ECE alto ($0.31$), sugerindo que esta "estabilidade" pode ser um efeito de piso (floor effect), onde o avaliador carece de capacidade discriminativa para diferenciar estratégias, em vez de uma confiabilidade genuína.

3.3 Análise de Confundimento (Confound Analysis)

• Formato de Saída: Embora a análise agregada tenha sugerido uma forte correlação entre o comprimento da saída e o peso da estratégia ($\rho \approx 0.89$), a análise ao nível de instância ($n=60$) não mostrou correlação significativa ($\rho=0.219, p=0.093$). Isso indica que o "colapso de estratégia" reflete a preferência do avaliador pelo formato/estilo de saída, em vez de uma diferenciação profunda de raciocínio.
• LR Simétrica vs. Assimétrica: Resultados iniciais sugeriram que a LR simétrica colapsava o acoplamento. No entanto, uma nova execução em um snapshot travado por versão mostrou que ambas as variantes produziram forte acoplamento, confirmando que o resultado inicial de zero foi um artefato do drift de versão, não da regra de aprendizado.

4. Contribuições

1. O Framework EPC: Um kit de ferramentas de diagnóstico composto por MPCI, a matriz de acoplamento $\Gamma(J)$ e JSD para medir dinâmicas de preferência do avaliador.
2. Evidência Empírica de Instabilidade: Um caso documentado onde o comportamento de um avaliador proprietário inverteu a conclusão de um estudo em poucas semanas devido a uma atualização silenciosa.
3. Auditoria de Múltiplos Avaliadores: Um conjunto de dados abrangente ($N=122$) mostrando que as dinâmicas de acoplamento são altamente condicionais à identidade do avaliador, versão e tamanho da amostra.
4. Esclarecimento Metodológico: Demonstração de que a sensibilidade ao tamanho da amostra ($N=8$ vs. $N=30$) e as escolhas de taxa de aprendizado podem gerar resultados divergentes dependendo do snapshot do avaliador, alertando para a cautela em estudos de snapshot único.

5. Significância e Alegações

O artigo alega que o principal achado não é uma magnitude específica de acoplamento, mas o padrão de instabilidade condicional à versão.

• Fragilidade dos Avaliadores Proprietários: Os autores argumentam que estudos de snapshot único de avaliadores proprietários são inerentemente frágeis porque o "instrumento de medição" (o modelo avaliador) pode mudar sem aviso. Um instrumento de diagnóstico que detecta sua própria instabilidade (como o framework EPC fez com o drift do GPT-4o) demonstra a fragilidade que foi desenhado para medir.
• Chamada para Padronização: O artigo defende o relato da identidade e datas de versão do avaliador, o uso de múltiplas famílias de avaliadores e a adoção do EPC como um diagnóstico padrão para monitorar o drift.
• Escopo Modesto: Os autores declaram explicitamente que um caso documentado (drift do GPT-4o) não estabelece uma lei geral, mas serve como um aviso de que as medições têm uma "vida útil medida em semanas". Eles não alegam resolver o problema do drift, mas fornecem a infraestrutura para detectá-lo.

O artigo conclui disponibilizando o framework EPC e todos os dados experimentais para facilitar a reprodutibilidade e investigações adicionais sobre essas dinâmicas.