Resumo Técnico: AMEL (Efeitos de Mensagens Acumuladas em Julgamentos de LLMs)

Declaração do Problema

Modelos de linguagem grandes (LLMs) estão cada vez mais implantados como juízes automatizados para tarefas como revisão de código, moderação de conteúdo e pontuação. Em ambientes de produção, a eficiência frequentemente dita que múltiplos itens sejam avaliados dentro de uma única sessão de conversa, criando um histórico de julgamentos anteriores. Este artigo investiga se a polaridade desse histórico de conversa anterior viabiliza julgamentos subsequentes. Os autores definem esse fenômeno como o Efeito de Mensagens Acumuladas em Julgamentos de LLMs (AMEL).

O estudo distingue AMEL de conceitos relacionados:

• Sycophancy (Adulação): Diferentemente da adulação, onde os modelos concordam com opiniões do usuário, o AMEL ocorre quando um modelo se conforma ao seu próprio padrão anterior de respostas sem opinião externa do usuário.
• Viés de Rótulo Majoritário: Diferentemente do viés de classificação few-shot onde exemplos formatados distorcem previsões, o AMEL surge de trocas completas de perguntas e respostas sobre tópicos variados.
• Ancoragem: Diferentemente da ancoragem, não há um ponto de referência numérico explícito; o viés emerge do tom agregado da conversa.

Metodologia

O estudo emprega um desenho experimental entre sujeitos envolvendo 75.898 chamadas de API em 11 modelos de quatro provedores (OpenAI, Anthropic, Google e modelos locais de código aberto).

Desenho Experimental

• Condições: Itens de teste idênticos foram apresentados sob quatro condições:
  1. Linha de Base: O item segue apenas o prompt do sistema (sem histórico).
  2. Não Saturado: O item segue $N$ turnos anteriores onde 90% das avaliações foram "não" (negativo).
  3. Saturado de Sim: O item segue $N$ turnos anteriores onde 90% das avaliações foram "sim" (positivo).
  4. Neutro: O item segue $N$ turnos anteriores com uma divisão 50/50.
• Comprimento do Contexto ($N$): Variado entre $\{5, 10, 20, 50\}$ turnos para testar a acumulação.
• Domínios: Três domínios de avaliação binária foram testados:
  1. Revisão de Código: "Este código está pronto para produção?"
  2. Moderação de Conteúdo: "Este comentário é apropriado?"
  3. Avaliação Nutricional: "Esta é uma escolha saudável?"
• Itens de Teste: Cada domínio incluiu 21 itens categorizados como Positivo Claro, Ambíguo e Negativo Claro.
• Pontuação de Viés (BS): Definida como $P(r^*|\text{tratamento}) - P(r^*|\text{linha de base})$, onde $r^*$ é a resposta alvo para a condição de polaridade. Uma pontuação negativa indica uma mudança em direção a "não" (o viés negativo dominante observado).

Modelos Testados

O estudo cobriu uma gama de escalas e arquiteturas, incluindo GPT-4.1 Nano, GPT-5.2, Claude Haiku/Sonnet/Opus, Gemini 2.5 Flash/Pro e modelos locais (Llama 3.2, Qwen3/3.5). Todos os modelos de API usaram uma temperatura de $T=1.0$.

Principais Descobertas

1. Existência e Magnitude do AMEL

Em todos os 11 modelos, o histórico de conversa desvia significativamente as respostas em direção à polaridade predominante do histórico, com um tamanho de efeito geral de $d = -0.17$ ($p < 10^{-46}$). Isso indica um desvio sistemático em direção a "não", independentemente de o histórico ter sido predominantemente positivo, negativo ou neutro. Nove de onze modelos mostraram viés significativo após correção de Bonferroni.

2. Suscetibilidade e Incerteza

O efeito não é uniforme; concentra-se em itens onde o modelo está genuinamente incerto na linha de base.

• Itens de Alta Entropia: Itens onde a probabilidade de linha de base do modelo $P(\text{sim})$ é não determinística absorvem aproximadamente 2× mais viés ($d = -0.34$) do que itens onde a linha de base é determinística ($d = -0.15$).
• Implicação Prática: Os itens mais vulneráveis ao AMEL são os casos limítrofes onde a avaliação imparcial é mais crítica.

3. Assimetria de Negatividade

Históricos negativos induzem um viés significativamente mais forte do que históricos positivos.

• Magnitude: Contextos negativos produzem uma mudança por item 1,62× mais forte do que contextos positivos ($t = 13.46, p < 10^{-39}$).
• Histórico Neutro: Mesmo um histórico equilibrado (50/50) produz uma mudança negativa, sugerindo que a mera presença de um contexto avaliativo desencadeia um modo mais crítico independente da polaridade do conteúdo.

4. Saturação e Comprimento do Contexto

O viés não cresce linearmente com o comprimento do contexto.

• Saturação Imediata: Cinco turnos de histórico enviesado produzem a mesma mudança que cinquenta turnos ($Spearman |r| < 0.01, p > 0.94$).
• Mecanismo: O modelo detecta o padrão predominante rapidamente e atinge um equilíbrio; exemplos adicionais não fortalecem o viés.

5. Escalonamento de Modelos e Variância

• Escalonamento: Modelos maiores dentro das famílias de provedores geralmente mostram menos viés (ex: Anthropic Haiku $d=-0.22$ vs. Opus $d=-0.17$), mas nenhum é imune.
• Exceções:
  • Gemini: A tendência reverteu para os modelos do Google, com o Gemini 2.5 Pro mostrando mais viés do que o Flash, possivelmente devido a tokens de "pensamento" amplificando o reconhecimento de padrões.
  • Qwen: O Qwen3 4B exibiu um viés contrariano significativo (desviando-se do histórico), possivelmente devido ao ajuste de instruções penalizando a repetição.

6. Mecanismos e Caracterização

Três experimentos de acompanhamento estreitaram os mecanismos plausíveis:

• Mudança Contínua: A análise de logprobs confirmou que o AMEL é uma mudança contínua na distribuição de probabilidade de tokens, não um artefato de limiar.
• Fontes de Token vs. Semânticas: A assimetria de negatividade possui componentes tanto em nível de token quanto semânticos. No GPT-4.1 Nano, o próprio token "não" parece pegajoso; no Llama 3.2 3B, o conceito de "rejeição" (semântico) impulsiona a assimetria.
• Independência de Posição: A posição de turnos enviesados dentro de um histórico de 50 turnos (início, fim ou distribuído) não importa; quaisquer cinco turnos enviesados são suficientes para produzir o efeito completo.

Significado e Recomendações

O artigo argumenta que o AMEL representa uma vulnerabilidade fundamental em pipelines de avaliação de LLMs de múltiplos turnos. Os autores concluem que o escalonamento por si só não resolve o problema, pois até mesmo modelos de fronteira permanecem suscetíveis.

Recomendações Práticas:

1. Contextos Frescos: A principal mitigação é avaliar cada item em uma conversa nova sem histórico anterior, eliminando inteiramente o canal de viés.
2. Agrupamento Equilibrado: Se o agrupamento for inevitável, os itens devem ser aleatorizados e equilibrados (intercalando resultados esperados de "sim" e "não") para evitar um desvio de polaridade de reforço próprio.
3. Proteger Itens Incertos: Priorizar contextos frescos para itens onde a incerteza de linha de base do modelo é alta.
4. Correção em Tempo de Execução: Para sistemas onde contextos frescos são inviáveis, detectores de viés de histórico de resposta (ex: B-score) ou correções baseadas em logprobs podem ser usados para detectar e corrigir parcialmente o desvio.

O estudo enfatiza que, embora o tamanho do efeito seja moderado no geral, sua concentração em itens ambíguos representa um risco significativo para a confiabilidade da avaliação automatizada em domínios de alto risco.