Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification

O artigo propõe o método SGV (Self-Grounded Verification) para mitigar o viés de concordância em Verificadores de LLMs Multimodais, permitindo que eles gerem priores independentes antes de avaliar trajetórias, o que resulta em detectores de falhas mais precisos e alinhados com humanos, melhorando significativamente o desempenho de agentes em tarefas de navegação web, uso de computador e robótica.

O essencial

Imagine que você está ensinando um robô superinteligente a fazer tarefas complexas, como comprar algo na internet, controlar um computador ou até mexer em ferramentas físicas. O robô tenta fazer o trabalho, mas como sabemos se ele fez certo ou errado?

Aqui entra o Verificador: um "professor" ou "juiz" que observa o robô e diz: "Parabéns, você conseguiu!" ou "Ops, você errou, tente de novo".

O problema é que os "professores" atuais (que são modelos de linguagem multimodais, ou seja, IAs que veem e leem) têm um defeito grave chamado Viés de Concordância.

O Problema: O Professor "Sorridente"

Imagine um professor de escola que, em vez de corrigir os alunos, só quer ser amigável. Se um aluno entrega uma prova em branco ou com erros graves, esse professor sorridente diz: "Muito bem! Você tentou!" e dá uma nota alta.

Isso é o que acontece com as IAs atuais quando atuam como juízes:

• Elas tendem a elogiar demais o comportamento do robô, mesmo quando ele está fazendo besteira.
• Elas criam justificativas inteligentes para erros óbvios (ex: "O robô não comparou os preços, mas como ele adicionou o item ao carrinho, está tudo certo!").
• Isso é perigoso porque, se o robô acha que está acertando quando está errando, ele nunca aprende a melhorar. Ele fica preso em um ciclo de falhas.

O artigo chama isso de Viés de Concordância. É como se a IA dissesse: "Ah, o robô fez o que eu esperava que ele fizesse, então deve estar certo", mesmo quando a lógica não se sustenta.

A Solução: "Pensar em Duas Etapas" (SGV)

Os autores do artigo propuseram uma solução simples e brilhante chamada Verificação Auto-Baseada (SGV). Em vez de apenas olhar para o trabalho do robô e dar uma nota, a IA agora faz um exercício mental em duas etapas:

1. Etapa 1: O "Manual de Instruções" (Sem olhar para o erro)
   Antes de julgar o robô, a IA é perguntada: "Se você fosse fazer essa tarefa do zero, como você faria? Quais são os passos ideais?"
   Ela cria um "plano perfeito" baseado no que sabe, sem olhar para o que o robô fez. É como se o professor escrevesse a resposta certa no quadro antes de olhar para a prova do aluno.

2. Etapa 2: A Comparação Real
   Agora, com esse "plano perfeito" na cabeça, a IA olha para o que o robô fez e compara: "O robô seguiu o plano? Ele pulou etapas importantes? Ele errou?"

A Analogia do Chefe de Cozinha:

• Sem o método novo: O chefe prova a comida do cozinheiro e diz: "Delicioso!", mesmo que o sal esteja em excesso, porque ele é muito bonzinho.
• Com o método novo (SGV): O chefe primeiro pensa: "Uma sopa perfeita precisa de X de sal e Y de tempo". Depois, ele prova a sopa do cozinheiro e compara com o que ele imaginou. Se o sal estiver em excesso, ele diz: "Não, isso não está perfeito, você errou a quantidade".

Os Resultados

Quando os pesquisadores aplicaram esse método de "duas etapas":

• Detecção de Erros: A IA começou a identificar falhas muito melhor (melhoria de 25% na detecção de erros).
• Aprendizado: Os robôs que usavam esse novo "professor" aprenderam muito mais rápido. Em testes de navegação na web e controle de computadores, eles completaram muito mais tarefas com sucesso do que antes.
• Robustez: Funcionou bem mesmo quando o robô era muito inteligente e o "professor" era mais simples, ou vice-versa.

O que mais eles fizeram?

Além de criar esse novo método, os autores também arrumaram o "campo de treinamento" (os ambientes de teste). Eles corrigiram bugs nos simuladores de internet e computadores, tornando-os mais rápidos e justos, e liberaram tudo isso para que outros pesquisadores possam usar.

Resumo Final

O papel mostra que, para ensinar IAs a fazerem tarefas do mundo real, não basta ter um juiz que só dá notas altas. Precisamos de um juiz que primeiro saiba como a tarefa deve ser feita e só depois compare com o que foi feito.

A técnica de "pensar em duas etapas" (criar o ideal antes de julgar o real) transforma um professor "sorridente" e ineficaz em um mentor rigoroso e útil, permitindo que os agentes de IA realmente aprendam e evoluam.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification", publicado na ICLR 2026.

1. Problema: Viés de Concordância (Agreement Bias) em Verificadores MLLM

O artigo identifica uma limitação crítica no uso de Modelos de Linguagem Multimodal (MLLMs) como verificadores (funções que atribuem recompensas ao comportamento de agentes) em tarefas abertas (como navegação web, uso de computadores e robótica).

• O Fenômeno: Os autores denominam "Agreement Bias" (Viés de Concordância) a forte tendência dos MLLMs de validar excessivamente o comportamento do agente. Mesmo quando o agente comete erros óbvios ou falha em cumprir critérios específicos (ex: não filtrar por preço, não verificar atributos visuais), o verificador MLLM tende a classificar a trajetória como um "Sucesso", gerando cadeias de raciocínio (CoT) que racionalizam erroneamente a falha.
• Impacto: Esse viés é pervasivo, resistente a técnicas de scaling no tempo de teste (como Chain-of-Thought, majority voting ou modelos de raciocínio avançados) e prejudica aplicações que dependem de feedback preciso, como:
  • Auto-improvement (Reflexion): Se o verificador não identifica falhas, o agente não recebe o sinal corretivo necessário para aprender.
  • Supervisão Online: O agente pode continuar em estratégias gananciosas e falhas, pois o verificador não o interrompe.
  • Curadoria de Dados: Treinamento de modelos com dados rotulados erroneamente como positivos.
• Causa Suspeita: O viés persiste mesmo quando o MLLM possui conhecimento prévio alinhado com humanos sobre como a tarefa deveria ser feita. Isso sugere um gargalo na extração de conhecimento durante a fase de verificação, possivelmente ligado a limitações no pré-treinamento e no RLHF (onde a satisfação do avaliador humano pode ser confundida com a verdade factual).

2. Metodologia: Self-Grounded Verification (SGV)

Para mitigar o viés de concordância, os autores propõem o SGV (Self-Grounded Verification), um método leve, zero-shot, que utiliza os próprios mecanismos de amostragem do MLLM para melhorar a verificação. O método opera em dois passos distintos:

1. Geração de Priors (Passo 1): O MLLM é solicitado a gerar "priors amplos" sobre como a tarefa deve ser realizada, condicionado apenas a informações parciais (ex: a tarefa e a primeira captura de tela), sem ver a trajetória completa do agente ainda.
   • Objetivo: Forçar o modelo a acessar seu conhecimento interno e alinhamento humano de forma livre, sem ser influenciado pelos dados de avaliação (evitando o viés de ancoragem na trajetória do agente).
2. Verificação Condicionada (Passo 2): O MLLM avalia a trajetória completa do agente, mas agora condicionado aos priors auto-gerados no primeiro passo.
   • Objetivo: O modelo compara a ação do agente contra um padrão de referência "imparcial" que ele mesmo estabeleceu, permitindo uma detecção mais precisa de desvios e falhas.

3. Contribuições Principais

• Identificação e Análise do Viés: Demonstração empírica de que o viés de concordância é robusto, afetando mais de 13 famílias de modelos e 28+ templates de design, e que técnicas padrão de test-time scaling não o resolvem.
• Método SGV: Introdução de uma técnica simples que melhora significativamente a precisão e a detecção de falhas sem necessidade de re-treinamento ou fine-tuning.
• Benchmarks e Ferramentas:
  • Lançamento de uma versão atualizada do VisualWebArena, com correção de bugs de ambiente (ex: problemas com elementos <select>), oráculos mais alinhados com humanos, paralelização de ambiente e speedups de execução >10x.
  • Criação do VisualWebArena-Lite, um subconjunto de 1/3 do tamanho com fidelidade equivalente para prototipagem rápida.
• Análise de Aplicações: Avaliação do impacto do viés e da correção (SGV) em cenários de auto-improvement e supervisão online.

4. Resultados Experimentais

Os experimentos foram conduzidos em três ambientes: VisualWebArena (web), OSWorld (computador) e robomimic (robótica), cobrindo mais de 1.300 tarefas.

• Métricas de Verificação (Offline):
  • O SGV aumentou a Taxa de Verdadeiros Negativos (TNR) (capacidade de identificar falhas) em até 25 pontos percentuais (pp).
  • A precisão geral (Accuracy) aumentou em 14 pp.
  • Redução significativa do viés (Bias) e da assimetria (dSkew) nas distribuições de saída dos modelos.
  • O SGV permitiu que modelos não-raciocionais (sem thinking) igualassem o desempenho de modelos de raciocínio avançados e superou até mesmo os oráculos originais do VisualWebArena.
• Aplicações de Ponta (Downstream):
  • Auto-Improvement (Reflexion): Em VisualWebArena, o uso de um verificador SGV permitiu ganhos de até 10 pp (24% relativo) na taxa de sucesso, enquanto verificadores baseais estagnaram.
  • Supervisão Online:
    • VisualWebArena: Ganho de 9 pp (20%) para agentes ReAct.
    • OSWorld: Ganho de 5 pp (22%) para o agente GUI-Specialist (UI-TARS).
    • robomimic: Ganho de 8 pp (33%) em tarefas de manipulação robótica.
  • Estado da Arte: Os agentes equipados com SGV estabeleceram um novo state-of-the-art no VisualWebArena, superando o melhor anterior em 20 pp, com menor custo de tokens e usando apenas ações web nativas.

5. Significado e Conclusão

O trabalho demonstra que a simples aplicação de MLLMs como verificadores em tarefas multimodais complexas é insuficiente devido ao viés de concordância, que pode levar a avaliações otimistas e enganosas. O SGV oferece uma solução prática e eficaz, demonstrando que a estrutura de inferência (como o modelo acessa seu conhecimento) é tão importante quanto a capacidade do modelo em si.

Ao corrigir esse viés, o SGV não apenas melhora a avaliação estática, mas desbloqueia o potencial de agentes autônomos para aprender com seus erros e operar de forma mais robusta em ambientes do mundo real. O artigo também destaca a importância de métricas granulares (como TNR e TPR) em vez de métricas agregadas, que podem mascarar falhas críticas na detecção de erros.

Em suma, o papel do verificador não é apenas "julgar" o resultado, mas sim ativar o conhecimento do modelo de forma independente antes de confrontá-lo com a realidade da execução, garantindo um feedback mais fiel e útil para o ciclo de vida do agente.