💻 computer science

When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals

Este artigo desafia a confiabilidade do uso de autoconsistência e concordância entre modelos como sinais de confiança para Grandes Modelos de Linguagem, demonstrando, por meio de um estudo em larga escala, que embora a concordância seja um preditor positivo, porém fraco, da correção, ela frequentemente leva à excessiva confiança em modelos de fronteira, onde a alta concordância coincide com erros frequentes.

Autores originais: Kaihua Ding

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kaihua Ding

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está organizando um talent show massivo para encontrar o melhor cérebro de IA. Você tem um painel de juízes (os modelos de IA) e faz a eles um milhão de perguntas difíceis. A grande regra que todos seguem é: "Se todos os juízes concordarem com uma resposta, ela deve estar certa." Parece senso comum, certo? Se dez pessoas dizem que o céu é verde, talvez todas estejam vendo um filtro estranho? Mas se cem pessoas dizem isso, provavelmente é verdade!

Este artigo é como uma história de detetive que vai aos bastidores para verificar se essa regra realmente funciona. O autor, Kaihua Ding, realizou um experimento enorme com 53 diferentes "corredores" (pessoas executando os testes de IA) e pediu que gerassem 265.000 respostas para algumas das questões de matemática e ciência mais difíceis disponíveis (chamadas de GPQA Diamond e AIME).

Aqui está a reviravolta que o artigo revela: Concordância não é o mesmo que estar correto.

A Armadilha da "Câmara de Eco"

Pense nos modelos de IA como um grupo de estudantes que todos estudaram pelo mesmo livro didático levemente falho. Se todos memorizaram a mesma resposta errada para uma pergunta, todos levantarão a mão e concordarão com essa resposta errada. Eles não estão concordando porque são inteligentes; eles estão concordando porque compartilham o mesmo viés ou uma "heurística memorizada".

O artigo descobriu que, quando os modelos de IA concordam consigo mesmos (ou entre si), muitas vezes é apenas um eco de um erro compartilhado, não um sinal de verdade.

O Aluno Estrela "Superconfiante"

A descoberta mais surpreendente envolve os modelos "fronteira" — as versões de IA mais inteligentes e avançadas. Você pode pensar que o modelo mais inteligente seria o mais confiável. O artigo mostra que o oposto é verdadeiro nesta configuração específica.

A Descoberta: O modelo mais avançado (gpt-4.1) concordou consigo mesmo em 89% das vezes (uma pontuação de confiança muito alta). Mas, quando concordava, estava certo apenas cerca de 48% das vezes.
A Analogia: Imagine um aluno que tem tanta certeza de sua resposta que a grita com 100% de confiança, mas que na verdade está errado metade das vezes. O artigo chama isso de "superconfiante". Na verdade, esse modelo superinteligente era pior em sinalizar quando estava certo do que um modelo de "nível médio" ligeiramente menos avançado.
A Prova: O estudo mediu isso usando um vínculo estatístico (chamado de correlação) entre "concordância" e "correção". Para o modelo mais inteligente, esse vínculo era muito fraco (cerca o de 0,20), o que significa que sua alta confiança era quase inútil como um sinal de confiança.

O "Chain-of-Thought" Ajuda?

Algumas pessoas pensam que, se você pedir para a IA "mostrar seu raciocínio" (um método chamado Chain-of-Thought), ela será mais honesta.

O Resultado: Sim, pedir para a IA mostrar seu raciocínio a tornou ligeiramente mais precisa (ela acertou mais perguntas).
A Ressalva: No entanto, isso não tornou o "sinal de concordância" muito melhor. A IA ainda não conseguia dizer de forma confiável quando estava certa apenas pela forma como concordava consigo mesma. É como um aluno que escreve uma explicação longa e detalhada, mas ainda erra a resposta final, e você não consegue distinguir a diferença apenas olhando para o quão organizada foi a escrita.

O Mistério do "Viés Compartilhado"

Os pesquisadores também verificaram se diferentes famílias de IA (como GPT e Claude) cometiam os mesmos erros.

A Descoberta: Eles descobriram que, quando diferentes modelos de IA erravam uma pergunta, eles frequentemente escolhiam a mesma resposta errada.
A Analogia: É como se dois alunos diferentes de escolas diferentes tivessem errado o mesmo problema de matemática porque ambos aprenderam um truque específico e errado em suas aulas. Isso sugere que, quando as IAs concordam em uma resposta errada, não é uma coincidência de sorte; é um viés compartilhado incutido em seu treinamento.

Então, Devemos Parar de Usar a Concordância?

Não exatamente. O artigo não diz "nunca confie na concordância". Ele diz: "Use-a com cuidado e conheça seus limites."

Bom para Orçamentação: A concordância é ótima para decidir quanto poder computacional gastar. Se os modelos estiverem todos inseguros (baixa concordância), você pode querer gastar mais tempo ou dinheiro para obter uma resposta melhor.
Ruim para Confiança: Você nunca deve usar a concordância como um botão isolado de "confie em mim". Se um modelo superinteligente diz: "Estou 90% seguro" e ele concorda consigo mesmo, você ainda não pode ter certeza de que está certo. Na verdade, o artigo sugere que direcionar perguntas difíceis para o modelo "mais inteligente" com base na confiança é uma má ideia, porque esse modelo é o mais superconfiante.

A Conclusão Final

O artigo conclui que a autoconsistência (concordância) é um "proxy condicional". É uma dica útil em algumas situações (como com modelos de nível médio), mas não é uma garantia de verdade.

O que foi provado: Nestes testes específicos, alta concordância frequentemente significava alta confiança, mas baixa precisão, especialmente para os modelos mais avançados.
O que é sugerido: A "superconfiança" pode ser um efeito colateral de como esses modelos são treinados, e os erros compartilhados acontecem porque diferentes modelos aprendem a partir de dados semelhantes.
O que é desconhecido: O artigo observa que esses resultados são específicos para os modelos e perguntas testados. Não sabemos se isso acontece com todo tipo de IA ou todo tipo de pergunta, mas o aviso é claro: Não assuma que só porque todos concordam, eles estão certos. Às vezes, eles estão apenas todos olhando para o mesmo mapa errado.

Resumo Técnico: Quando os LLMs Concordam, Eles Estão Certos?

Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados como sistemas "LLM-as-judge" (LLM como juiz), frequentemente em conjuntos ou painéis de "mistura de especialistas" (mixture-of-experts), para avaliar saídas de IA em pipelines empresariais. Esses sistemas operam sob uma intuição pervasiva: que a concordância (seja entre múltiplos juízes ou via autossistência através de amostras estocásticas de um único modelo) sinaliza correção. Consequentemente, a concordância é usada como um proxy de confiança para roteamento baseado em custo, alocação adaptativa de orçamento de amostragem e predição seletiva (abstenção).

No entanto, o artigo argumenta que essa suposição é não confiável. A concordância não é sinônimo de precisão. Um modelo pode concordar consigo mesmo ou com outros modelos devido a vieses compartilhados, heurísticas memorizadas, priors de posição de opções ou alucinações sistemáticas, em vez da verdade. A questão central é: Sob quais condições a função de sinal de concordância é um proxy utilizável para a correção e quando ela falha?

Metodologia

Os autores conduzem uma auditoria de grande escala entre diferentes executores (cross-runner) para separar erros recorrentes confiantes de ruído estocástico.

Proveniência dos Dados: O estudo analisa 265.000 amostras geradas por 53 executores (participantes de um curso de pós-graduação) que enviaram saídas de modelos. Embora os executores compartilhassem o contexto do curso, suas execuções foram tratadas como submissões independentes. O conjunto de dados abrange 394 casos únicos no GPQA Diamond (múltipla escolha de 4 opções de nível de pós-graduação) e AIME (matemática de competição).
Design Experimental:
- Modelos: Os experimentos focam na família gpt-4.1 (nano, mini e o frontier gpt-4.1) e uma verificação exploratória de três níveis da Claude da Anthropic (haiku, sonnet, opus).
- Eixos de Comparação:
  - Eixo A (Nível/Tier): Nano vs. Mini.
  - Eixo B (Prompting): Zero-shot vs. Chain-of-Thought (CoT) no modelo Mini.
  - Eixo C (Escala): Mini vs. Frontier gpt-4.1.
- Parâmetros: Temperatura = 1.0, $K=50$ amostras por caso.
Métricas:
- Autossistência ( $C$ ): A proporção de amostras que concordam com a resposta majoritária ( $n_{maj}/K$ ).
- Maioria-Correta ( $M$ ): Um indicador binário se a resposta majoritária corresponde à verdade fundamental (ground truth).
- Precisão da Amostra ( $A$ ): A proporção de amostras individuais que correspondem à verdade fundamental.
- Correlação: $\rho$ de Spearman entre $C$ e $M$ (e $A$ ).
Inferência Estatística: Devido aos dados não i.i.d. (executores contribuem com múltiplas linhas; casos são compartilhados), os autores utilizam um bootstrap hierárquico agrupado por executor (reamostragem de executores, depois casos dentro dos executores) e um bootstrap agrupado por caso para robustez.

Principais Contribuições

Auditoria de Grande Escala: Uma auditoria de 265.000 amostras da autossistência como um sinal de confiança em benchmarks de raciocínio complexos, utilizando bootstrap hierárquico para controlar dependências de executores e casos.
Evidência de Degradação de Modelos Frontier: Demonstração de que o sinal de concordância degrada nos modelos frontier mais consistentes. Esses modelos exibem excesso de confiança (alto $C$ ) sem ganhos correspondentes em precisão, tornando o roteamento baseado em confiança contraproducente.
Análise de Recorrência: Uma separação de erros estocásticos de erros incorretos recorrentes e confiantes. O estudo mostra que muitos erros confiantes não são ruído de amostragem, mas recorrem entre diferentes executores e prompts.
Controle de Viés Posicional: Um experimento de embaralhamento de opções revelando que uma parte significativa da "confiança" em configurações de múltipla escolha é impulsionada por priors de posição de opção (ex: evitar a opção D) em vez de compreensão semântica.
Verificação Cross-Family: Uma análise exploratória mostrando que erros confiantes são parcialmente compartilhados entre provedores (GPT e Claude), sugerindo que a concordância entre modelos pode refletir vieses de pré-treinamento compartilhados em vez de verificação independente.
Liberação de Dataset: Liberação pública de um dataset desidentificado e validado por esquema, juntamente com o pipeline de análise.

Resultados

1. A Concordância é um Preditor Positivo, mas Fraco

Em todas as 12 células experimentais (combinações de modelo, prompt e benchmark), a correlação entre autossistência ( $C$ ) e maioria-correta ( $M$ ) é positiva, mas fraca ( $\rho \approx 0.20–0.59$ ).

Nenhuma célula excede $\rho = 0.60$ .
Uma regra de "aceitação automática de alta concordância" ainda admite um número substancial de respostas erradas.
O sinal é dependente do regime: é mais forte para modelos de nível intermediário e mais fraco para modelos frontier.

2. O Paradoxo do Modelo Frontier

O modelo frontier (gpt-4.1) exibe a maior autossistência ( $C=0.89$ no GPQA), mas a menor correlação entre concordância e correção ( $\rho(C, M) = 0.20$ ).

Excesso de Confiança: 77% dos casos do GPQA para o modelo frontier possuem $C \ge 0.8$ , contudo, 48% dessas respostas de alta concordância estão erradas.
Calibração: O modelo frontier possui o pior Erro de Calibração Esperado (ECE = 0.41) entre todas as configurações testadas.
Implicação: Roteamento de casos difíceis para o modelo frontier baseado em alta concordância é contraproducente, pois ele herda uma alta taxa de erro.

3. Efeitos de Chain-of-Thought (CoT)

Precisão: O CoT melhora robustamente a precisão ( $\Delta A \approx +0.067$ no GPQA).
Sinal: O CoT fornece apenas uma melhoria marginal ao sinal de concordância–correção ( $\rho(C, M)$ ). Embora melhore a correlação com a precisão da amostra ( $A$ ), seu efeito sobre o rótulo de implantação ( $M$ ) é limítrofe ou nulo, dependendo do método de reamostragem.

4. Erros Recorrentes e Compartilhados

Recorrência: Um subconjunto não trivial de erros confiantes (ex: 28% dos casos únicos do GPQA para gpt-4.1) são incorretos de forma confiante ( $C \ge 0.8$ ) para todos os executores, indicando que estes são vieses sistemáticos e não ruído de amostragem.
Viés Posicional: No GPQA, o embaralhamento de opções reduz significamente a precisão e altera as distribuições de resposta majoritária, confirmando que a "confiança" muitas vezes reflete priors de posição (ex: subseleção da opção "D") em vez da verdade.
Compartilhamento entre Provedores: Em itens compartilhados do GPQA, os modelos GPT e Claude frequentemente concordam nas mesmas respostas erradas com alto nível de confiança. Essa taxa excede o nulo de permutação de rótulos, sugerindo vieses compartilhados entre provedores.

5. Implicações de Sistema

Amostragem Adaptativa: A concordância é útil para alocar computação. Uma regra adaptativa usando concordância para interromper a amostragem precocemente economiza ~60% das amostras enquanto mantém as taxas de erro.
Políticas de Roteamento: Um cascata de roteamento baseado em confiança (barato $\to$ caro) performa melhor do que o roteamento aleatório, mas é dominado pelo simples uso do modelo de nível intermediário. O roteamento para o modelo frontier, excessivamente confiante, degrada o desempenho.

Significância e Alegações

O artigo conclui que a autossistência não é precisão, mas sim um proxy empírico condicional e dependente de regime para ela.

Regimes Utilizáveis: A concordância é um sinal grosseiro útil para alocação de computação (amostragem adaptativa) e é mais confiável para modelos de nível intermediário não saturados.
Regimes Inutilizáveis: A concordância é um mau score de confiança isolado, particularmente para modelos frontier, onde a alta concordância é desconectada da correção devido ao excesso de confiança e vieses compartilhados.
Implicação de Segurança: Sistemas que tratam a autossistência como um limiar definitivo de confiança correm o risco de rotear respostas confiantes-erradas para caminhos de confiança. O artigo alerta contra o uso da concordância como razão para escalar casos difíceis para os modelos frontier mais consistentes.

Os autores enfatizam a modéstia em suas alegações: o estudo é uma auditoria de benchmarks específicos (GPQA, AIME) e famílias de modelos, e os achados destacam a necessidade de tratar a concordância como um "sinal grosseiro de economia de custo" em vez de um limiar confiável para a correção.