🤖 AI

When Agents Disagree With Themselves: Behavioral Consistency as an Uncertainty Signal for LLM Agents

Este artigo demonstra que a variância comportamental nas sequências de ações de agentes de LLM serve como um sinal de incerteza livre de treinamento, permitindo classificação seletiva e calibração livre de distribuição que melhora significativamente a acurácia e a confiabilidade do ranking do modelo sem exigir dados de calibração reservados.

Autores originais: Aman Mehta

Publicado 2026-07-16

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aman Mehta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Verificação Digital Dupla: Por que Perguntar a uma IA Duas Vezes Pode Ser Melhor do que Perguntar Uma Só

Imagine que você está tentando resolver um enigma difícil, como um enigma complexo ou um problema de matemática. Se você perguntar a um amigo a resposta, ele pode acertar ou pode apenas adivinhar e errar. Mas e se você pudesse fazer exatamente a mesma pergunta ao mesmo amigo dez vezes seguidas? Se ele lhe der a mesma resposta todas as vezes, você provavelmente se sentirá bastante confiante de que ele está certo. Se, no entanto, ele lhe der dez respostas diferentes, você saberá que algo está errado — ele está confuso, adivinhando ou a pergunta é difícil demais para ele.

Esta é a ideia central por trás dos Modelos de Linguagem de Grande Escala (LLMs), que são os programas de computador superinteligentes que alimentam os agentes de IA de hoje. Esses agentes são como detetives digitais que podem usar ferramentas (como pesquisar na web ou escrever código) para resolver problemas de várias etapas. Mas, assim como os humanos, eles não são perfeitos. Às vezes eles alucinam (inventam coisas) ou ficam presos em um loop. Cientistas há muito tempo se perguntam: Como podemos saber quando uma IA está insegura de si mesma sem apenas perguntar a ela: "Você tem certeza?" (Porque a IA pode mentir sobre estar certa). Este artigo explora um truque inteligente: em vez de confiar em uma única resposta, observamos como a IA se comporta quando tenta a mesma tarefa repetidas vezes. Se o comportamento da IA estiver totalmente disperso, é um enorme sinal de alerta de que a resposta pode estar errada.

Quando os Agentes de IA Não Conseguem Decidir por Si Mesmos

Os pesquisadores por trás deste estudo decidiram testar uma ideia simples, mas poderosa: a Consistência Comportamental. Eles trataram o agente de IA como um estudante fazendo uma prova. Em vez de apenas dar uma nota à resposta final, eles observaram como o estudante resolvia o problema. Eles executaram o mesmo agente de IA nas mesmas perguntas 10 vezes cada, usando diferentes "sementes aleatórias" (que é como embaralhar o baralho de cartas do qual a IA tira para tomar suas decisões).

Aqui está o que eles descobriram, e é um pouco surpreendente:

1. A IA é um Pensador Instável
Mesmo quando você dá a uma IA as mesmas instruções e o mesmo ponto de partida, ela nem sempre pensa da mesma maneira. Em seus testes, executar o mesmo agente 10 vezes produziu entre 2,3 e 4,2 caminhos diferentes para a solução. Às vezes, a IA pegaria um atalho; outras vezes, ela vagaria por um beco longo e confuso. Esse "vagar" não é apenas um erro; é um sinal. Quanto mais a IA muda de ideia sobre como resolver um problema, menor é a probabilidade de ela obter a resposta correta.

2. A Consistência é uma Bola de Cristal para a Precisão
A equipe descobriu uma forte ligação entre o quão consistente a IA é e o quão correta ela é.

O Grupo "Estável": Quando a IA mantinha o mesmo caminho (2 ou menos caminhos únicos), ela acertava a resposta de 82% a 87% das vezes.
O Grupo "Vagante": Quando a IA seguia muitas direções diferentes (4 ou mais caminhos únicos), sua precisão caía para entre 41% e 65%.

Essa diferença era enorme. Isso significa que, se você vir uma IA tomando uma rota muito diferente toda vez que você faz uma pergunta, você deve provavelmente confiar menos na resposta dela.

3. A Surpresa do "Passo 2"
Os pesquisadores observaram de perto quando a IA começou a ficar confusa. Eles descobriram que, para alguns modelos (como o Llama), o problema começava quase imediatamente. Cerca de 50,5% das vezes, a IA daria um primeiro ou segundo passo diferente em comparação com suas outras tentativas. É como se a IA estivesse diante de uma bifurcação na estrada e não conseguisse decidir para qual lado ir logo desde o início. Para outros modelos (como o Claude), eles permaneciam no mesmo caminho por muito mais tempo antes de divergir.

4. O "Filtro" vs. O "Votante"
Uma das descobertas mais interessantes foi sobre como usar essa informação.

A Abordagem do "Votante": Você pode pensar: "Se eu perguntar à IA 3 vezes e pegar a maioria dos votos, terei uma resposta melhor". O artigo diz que isso funciona, mas apenas um pouco (melhorando a precisão em apenas 0–2%). Por quê? Porque àsamente a IA está confiantemente errada. Se ela cometer um erro no início, pode cometer o mesmo erro todas as vezes, então o "voto" apenas confirma o erro.
A Abordagem do "Filtro": Em vez de votar, os pesquisadores tentaram uma estratégia diferente: Só responda se a IA concordar consigo mesma. Eles disseram: "Se a IA executar a tarefa 3 vezes e as 3 execuções derem exatamente a mesma resposta, então aceitamos. Se elas discordarem, dizemos 'eu não sei' e pulamos a pergunta".
- Este "filtro" funcionou incrivelmente bem. Ao pular as perguntas incertas, a precisão da IA nas perguntas que ela de fato respondeu saltou para 87–88%. Isso é um aumento de 6 a 14 pontos percentuais em relação a apenas dar um único palpite!

5. Melhor do que "Perguntar" à IA
A equipe também comparou este truque de "consistência comportamental" com perguntar à IA: "Qual é o seu nível de confiança?" (Isso é chamado de "confiança verbalizada"). Os resultados foram claros: as ações da IA eram um detector de mentiras muito melhor do que suas palavras. A IA frequentemente dizia que estava confiante mesmo quando estava andando em círculos. O sinal comportamental (observar se ela muda de ideia) era uma forma muito mais confiável de detectar um erro.

6. Funciona em Todo Lugar
Para garantir que isso não fosse apenas um acaso para um tipo específico de pergunta, eles testaram a IA em um tipo completamente diferente de tarefa: corrigir erros em código de computador (usando um benchmark chamado SWE-bench). Embora a programação seja muito diferente de responder perguntas de conhecimentos gerais, a mesma regra se aplicou. A IA que foi mais consistente em seu comportamento também foi a mais precisa. A "hierarquia de consistência" (quais modelos eram estáveis e quais eram instáveis) permaneceu exatamente a mesma em ambos os testes.

Por que Isso Importa

O artigo sugere que não precisamos mudar o cérebro da IA ou ensinar coisas novas a ela para torná-la mais confiável. Nós apenas precisamos observá-la. Ao executar uma tarefa algumas vezes e verificar se a "história" da IA permanece a mesma, podemos agir como um editor inteligente. Podemos escolher confiar nas respostas que são consistentes e ignorar aquelas onde a IA parece confusa.

Este é um método "livre de treinamento", o que significa que funciona com qualquer modelo de IA diretamente da caixa. Ele transforma a própria incerteza da IA em um sinal útil. Em vez de confiar cegamente em uma única resposta, podemos usar essa "verificação de consistência" para saber quando dizer: "Não tenho certeza sobre esta", o que é um grande passo à frente para tornar os agentes de IA mais seguros e confiáveis no mundo real.

Em resumo: Se uma IA não consegue decidir um plano para si mesma, provavelmente não é o melhor momento para confiar em sua resposta. Mas se ela mantiver o mesmo plano todas as vezes, você pode apostar que ela está no caminho certo.

Resumo Técnico: Consistência Comportamental como um Sinal de Incerteza para Agentes de LLM

Declaração do Problema

À medida que os agentes de Grandes Modelos de Linguagem (LLMs) transitam de protótipos para sistemas de produção, compreender sua confiabilidade torna-se crítico. Uma questão fundamental, mas pouco estudada, é a consistência comportamental desses agentes: dado um input idêntico, o agente seguirá o mesmo caminho de raciocínio e chegará à mesma resposta? A inconsistência complica a depuração, obscurece a detecção de incerteza e desafia os métodos padrão de avaliação de benchmarks. Embora trabalhos existentes tenham quantificado a inconsistência de agentes (ex: $\tau$ -bench), há uma falta de análise sistemática sobre onde e por que ocorre a divergência, e se essa variância pode servir como um sinal de incerteza acionável e livre de treinamento para predição seletiva e detecção de falhas.

Metodologia

Os autores apresentam um estudo empírico sistemático da consistência comportamental em agentes do tipo ReAct em quatro modelos (Llama 3.1 70B, GPT-5, Claude Sonnet 4.5 e Gemini 3 Pro) e dois benchmarks (HotpotQA e SWE-bench).

Configuração Experimental: O estudo envolveu um total de 8.000 execuções (200 perguntas do HotpotQA $\times$ 4 modelos $\times$ 10 execuções independentes cada) e 1.000 execuções no SWE-bench (50 tarefas $\times$ 5 execuções). As execuções foram executadas com temperatura 0.7 (com ajustes específicos para o Gemini) para garantir a amostragem estocástica.
Métricas: A métrica central é a consistência comportamental, definida pelo número de sequências de ações únicas (trajetórias) geradas ao longo de $k$ execuções. Métricas adicionais incluem razão de variância de passos, o ponto da primeira divergência e correção da resposta (via correspondência de string difusa [fuzzy string matching] e F1 de tokens).
Frameworks Estatísticos: O artigo instancia três frameworks estatísticos usando o acordo entre execuções como um sinal único de caixa-preta:
1. Classificação Seletiva: Usando pontuações de acordo para filtrar inputs incertos.
2. Calibração Livre de Distribuição: Validando curvas de risco-cobertura sem conjuntos de calibração retidos.
3. Monitoramento Sequencial: Analisando o acordo ao nível de passo para detectar divergência precocemente.
Base Teórica: Os autores formalizam a pontuação de acordo $s(x)$ como a fração de execuções que produzem a resposta de pluralidade. Eles provam um limite de concentração do tipo Hoeffding (Proposição 1) mostrando que a pontuação de acordo empírica converge para a verdadeira probabilidade de pluralidade, assumindo execuções independentes e identicamente distribuídas (i.i.d.).

Principais Contribuições

1. Assimetria Filtro > Agregador

O artigo identifica uma assimetria crítica em agentes de múltiplos passos comparados ao Chain-of-Thought (CoT) de turno único. Enquanto a votação majoritária (agregação) melhora a precisão do CoT de turno único em 5 a 17 pontos percentuais (pp), ela rende apenas +0–2pp para agentes de múltiplos passos. Isso ocorre porque os erros agentes são frequentemente sistemáticos; uma ação errada precoce compromete o agente a uma trajetória incorreta, resultando em respostas "consistentemente erradas" que a votação não consegue corrigir. Por outro lado, o filtragem baseado em desacordo (abster-se quando as execuções não concordam) gera ganhos significativos de 6–14pp para três dos quatro modelos.

2. Predição Seletiva com Validação Livre de Distribuição

Os autores demonstram que a consistência comportamental funciona como uma função de seleção válida dentro do framework de classificação seletiva de Geifman–El-Yaniv. Ao responder apenas quando $k=3$ execuções concordam, o sistema atinge 87–88% de precisão com 54–62% de cobertura. Essa abordagem iguala o desempenho das baselines de conformal split (que exigem um conjunto de calibração retido) sem a necessidade de qualquer dado de calibração separado, pois as $k$ execuções usadas para predição fornecem inerentemente o sinal.

3. Consistência Comportamental > Confiança Verbalizada

Em uma comparação direta em um split comum de 100 perguntas, a consistência comportamental (AUROC 0.65–0.74) supera significativamente a autoconfiança verbalizada (AUROC 0.48–0.55) como um detector de falhas para Claude, GPT-5 e Llama. Combinar os dois sinais não melhorou o desempenho em relação à consistência comportamental isoladamente. Crucialmente, a consistência comportamental não requer engenharia de prompt, não requer acesso a log-probabilities e não requer modificação do modelo.

4. Estabilidade entre Benchmarks e Instabilidade de Ranking

A hierarquia de consistência (Claude < GPT-5 < Gemini < Llama em termos de variância) é preservada exatamente entre HotpotQA (tarefas de QA) e SWE-bench (tarefas de codificação), sugerindo que a consistência é uma propriedade do modelo estável e independente de benchmark. Além disso, o artigo revela que avaliações de execução única classificam mal os modelos em 29,3% das vezes devido à variância, minando as metodologias padrão de benchmark.

5. Mecanismo de Divergência

A divergência se concentra cedo no processo de raciocínio. Para o Llama, 50,5% das tarefas divergem até o passo 2, comparado a apenas 4–6% para Claude e GPT-5. A primeira consulta de busca determina amplamente a trajetória. Adicionalmente, o comprimento do caminho está fortemente correlacionado com a variância comportamental; caminhos mais longos indicam backtracking e maiores oportunidades de erro.

Resultados

Consistência vs. Correção: Tarefas consistentes (≤2 sequências únicas) alcançam 82–87% de precisão, enquanto tarefas inconsistentes (≥4 sequências) caem para 41–65%. Esse gap persiste mesmo após controlar a dificuldade da tarefa, embora tarefas "consistentemente erradas" (onde o agente produz uma resposta errada com confiança) estabeleçam um teto rígido nos ganhos de filtragem (5,5–10% das tarefas).
Detecção de Falhas: Métricas de consistência (ex: contagem de sequências únicas >4) alcançam pontuações AUROC de 0.62–0.78 para detecção de falhas, superando substancialmente as baselines aleatórias.
Calibração: Embora a consistência comportamental seja um sinal de incerteza útil, ela não é perfeitamente calibrada (o Erro de Calibração Esperado varia de 0.09 a 0.17), indicando que os níveis de acordo não mapeiam perfeitamente as probabilidades de correção.
Validação SWE-bench: A hierarquia de consistência mantém-se em tarefas de codificação bash irrestritas, com o Llama apresentando a maior variância (CV 68.9%) e o Claude a menor (CV 17.7%).

Significância e Alegações

O artigo afirma que a consistência comportamental é um sinal de incerteza de caixa-preta e livre de treinamento que emerge naturalmente da execução repetida. Sua principal significância reside em permitir a predição seletiva (abster-se em inputs incertos) e a detecção de falhas em tempo de execução sem exigir modificação do modelo ou acesso ao estado interno.

Os autores argumentam que este sinal aborda uma lacuna na confiabilidade de agentes: ao contrário da confiança verbalizada ou da calibração aprendida, ele é robusto e não requer fine-tuning. Ao tratar cada execução independente como um membro implícito de um ensemble, o trabalho conecta o comportamento do agente a frameworks estatísticos estabelecidos para estimativa de incerteza. As descobertas sugerem que, para implementações de alto risco, confiar em avaliações de execução única é insuficiente; em vez disso, monitorar o acordo entre execuções fornece um mecanismo confiável para filtrar erros e melhorar a confiabilidade do sistema, embora ao custo de redução do throughput (cobertura). O artigo conclui que a consistência não é meramente uma métrica de confiabilidade, mas uma propriedade fundamental que pode ser explorada para tornar sistemas agênticos mais seguros e previsíveis.