💬 NLP

Popular but Wrong: Understanding and Mitigating LLM Overconfidence through Knowledge Popularity

Este artigo revela que os grandes modelos de linguagem exibem excesso de confiança em respostas incorretas quando essas respostas são altamente populares ou ocorrem frequentemente com a consulta, e demonstra que a incorporação de sinais de popularidade de conhecimento mitiga efetivamente esse excesso de confiança, ao mesmo tempo em que melhora significativamente a precisão da estimativa de confiança.

Autores originais: Shiyu Ni, Keping Bi, Jiafeng Guo, Xueqi Cheng

Publicado 2026-09-01

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shiyu Ni, Keping Bi, Jiafeng Guo, Xueqi Cheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No zumbido silencioso de uma fazenda de servidores, uma nova espécie de inteligência emergiu, uma que pode escrever poesia, resolver equações e responder perguntas com uma fluência que parece quase humana. Esses grandes modelos de linguagem são treinados em oceanos vastos de texto, aprendendo a prever a próxima palavra em uma frase ao reconhecer padrões no conhecimento humano. Mas há um porém: essas máquinas não "sabem" verdadeiramente os fatos da mesma forma que nós. Elas não possuem uma memória do mundo, apenas um sentido estatístico de quais palavras costumam aparecer juntas. Quando estão inseguras, frequentemente não o admitem. Em vez disso, frequentemente produzem respostas incorretas com absoluta certeza, um fenômeno que os pesquisadores chamam de excesso de confiança. Este é um problema crítico para qualquer pessoa que dependa dessas ferramentas para segurança, medicina ou finanças, porque uma mentira confiante é muito mais perigosa do que uma verdade hesitante. A questão central para os cientistas tem sido por que esses modelos confiam tão profundamente em seus próprios erros. Seria um erro aleatório ou existe um padrão oculto na forma como eles aprendem que os torna certos das coisas erradas?

Uma equipe de pesquisadores partiu para investigar esse mistério observando o conceito de popularidade. Eles se perguntaram se os modelos estavam simplesmente favorecendo respostas que eram famosas ou frequentemente vistas em seus dados de treinamento, mesmo quando essas respostas estavam erradas para a pergunta específica feita. Para testar isso, eles focaram em um tipo específico de tarefa: perguntas factuais sobre entidades do mundo real, como perguntar quem dirigiu um filme específico ou onde um jogador de basquete nasceu. Eles reuniram milhares dessas perguntas e compararam as respostas corretas contra as respostas erradas que os modelos geraram. Eles mediram a "popularidade" das pessoas e lugares envolvidos contando quantos links apontavam para eles na internet e com que frequência apareciam juntos em documentos escritos. Essa abordagem permitiu que vissem se os modelos estavam gravitando em direção aos nomes mais familiares em vez dos corretos.

Os pesquisadores descobriram que, quando esses modelos cometem erros, seus erros estão longe de serem aleatórios. Em vez de adivinhar nomes obscuros ou improváveis, os modelos tendem a alucinar respostas que são mais populares do que os fatos corretos. Por exemplo, se um modelo não conhece o diretor de um filme menos conhecido, é mais provável que ele nomeie confiantemente um diretor famoso que tenha visto muitas vezes antes, em vez de um desconhecido aleatório. Além disso, os modelos frequentemente escolhem respostas que aparecem frequentemente nas mesmas frases que a pergunta, mesmo que essa conexão seja incorreta. Um modelo pode responder a uma pergunta sobre um diretor de cinema nomeando o produtor, simplesmente porque esses dois papéis são frequentemente mencionados juntos em artigos. O estudo descobriu que essas alternativas populares, mas erradas, não são apenas comuns; elas também são as que o modelo mais confia. Mesmo quando a resposta é incorreta, o modelo atribui um nível de confiança mais alto à resposta popular e de som familiar do que a uma resposta menos famosa e correta.

Esse padrão se mantém em diferentes tipos de perguntas e diferentes tamanhos de modelos, sugerindo uma falha fundamental na forma como esses sistemas processam o conhecimento. Os pesquisadores descobriram que, quanto mais uma informação é repetida nos dados de treinamento, mais provável é que o modelo a gere e mais confiante ele será, independentemente de ser a resposta certa para a consulta específica. Isso cria um ciclo de feedback perigoso onde a resposta incorreta mais familiar é tratada como a verdade mais provável. O estudo destaca que lacunas substanciais de conhecimento de domínio estão associadas a uma geração ainda mais enviesada pela popularidade, o que significa que, quando os modelos sabem menos sobre um tópico específico, são mais propensos a confiar em associações familiares, mas incorretas. As descobertas revelam fortes associações sistemáticas entre popularidade e excesso de confiança, embora os pesquisadores observem que estas são correlações e não causalidades, o que significa que mostram um vínculo claro sem provar que a popularidade sozinha causa as previsões excessivamente confiantes.

Para enfrentar isso, os pesquisadores desenvolveram um método para ajudar os modelos a reconhecerem quando sua confiança pode estar equivocada. Eles criaram um sistema que observa a popularidade da resposta e a relação entre a pergunta e a resposta antes de aceitar a pontuação de confiança do modelo. Ao fatorar o quão popular é a resposta e com que frequência ela aparece com a pergunta, o sistema pode ajustar a confiança do modelo para baixo quando ele está seguro demais de uma resposta popular, mas provavelmente errada. Quando testaram essa abordagem em seis modelos diferentes, os resultados foram impressionantes. A confiança média que os modelos colocavam em suas respostas incorretas caiu dramaticamente, de um alto de 0,765 para 0,254. Ao mesmo tempo, a precisão geral da confiança do modelo melhorou significativamente, o que significa que o modelo tornou-se muito melhor em saber quando estava certo e quando estava errado.

O estudo conclui que a popularidade é um motor chave para o excesso de confiança na inteligência artificial. Os modelos não estão apenas adivinhando; eles estão seguindo um caminho de menor resistência em direção aos nomes e associações mais familiares. Ao compreender esse viés, é possível construir melhores salvaguardas que impeçam esses sistemas de soarem autoritários quando estão, na verdade, equivocados. Os pesquisadores observaram que, embora seu trabalho tenha focado em perguntas factuais sobre entidades específicas, o princípio provavelmente se estende a outras áreas onde os modelos possam favorecer padrões comuns em vez de verdades específicas. Eles também reconheceram que suas medidas de popularidade foram baseadas em dados públicos da internet, que servem como um substituto para o que os modelos viram durante o treinamento, e que a relação que encontraram é uma forte correlação, não uma causa e efeito comprovada. No entanto, a capacidade de usar esses sinais de popularidade para acalmar o excesso de confiança da máquina oferece um passo prático para tornar essas ferramentas poderosas mais confiáveis e dignas de confiança para o uso cotidiano.

Resumo Técnico: Popular, mas Errado: Compreendendo e Mitigando a Superconfiança de LLMs através da Popularidade do Conhecimento

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente exibem superconfiança, atribuindo altas probabilidades de geração a respostas incorretas. Embora pesquisas existentes tenham estabelecido que os LLMs são frequentemente mal calibrados, os fatores específicos que impulsionam essa superconfiança permanecem insuficientemente compreendidos. Estudos anteriores focaram amplamente na popularidade do "lado da verdade fundamental" (ou seja, a frequência com que a resposta correta aparece nos dados de treinamento) para explicar quando os modelos têm sucesso. No entanto, essa abordagem não explica por que os modelos geram respostas incorretas de forma confiante. Este artigo postula que o descompasso entre a correção da resposta e a confiança atribuída decorre da estrutura de frequência do conhecimento aprendido pelos LLMs, especificamente a popularidade da própria resposta gerada, em vez de apenas a correção da verdade fundamental.

Metodologia

Tarefa e Dados

O estudo foca em perguntas e respostas (QA) factuais centradas em entidades derivadas de triplas do Wikidata (Sujeito, Relação, Objeto). Os modelos são consultados para gerar o objeto dado um sujeito e uma relação.

Datasets: Três conjuntos de dados construídos por um trabalho anterior (Yuksekgonul et al., 2023) cobrindo Filmes (Diretores), Músicas (Intérpretes) e Basquete (Locais de Nascimento de Jogadores). Esses datasets variam em popularidade de conhecimento e acurácia do modelo.
Modelos: Experimentos foram conduzidos em seis LLMs, incluindo modelos de código aberto (Llama 3-8B, Qwen2-7B, Qwen2.5-7B/14B/32B) e um modelo de caixa preta (ChatGPT/GPT-3.5-Turbo).

Métricas de Popularidade do Conhecimento

Como os dados de treinamento são inacessíveis, os autores utilizam estatísticas externas como proxies para a frequência do conhecimento:

Popularidade da Entidade ($Pop$): Medida pelo número de links de sites da Wikipedia que apontam para uma entidade.
Contagem de Coocorrência ($RPop$): Medida pelo número de documentos da Wikipedia onde a entidade da pergunta e a entidade da resposta aparecem juntas.
Sinais Definidos:
- $Pop_Q$ : Popularidade da entidade da pergunta.
- $Pop_{GT}$ : Popularidade da resposta da verdade fundamental (ground-truth).
- $RPop_{GT}$ : Coocorrência entre a pergunta e a verdade fundamental.
- $Pop_{Ge}$ : Popularidade da resposta gerada.
- $RPop_{Ge}$ : Coocorrência entre a pergunta e a resposta gerada.

Abordagem de Análise e Calibração

Análise Correlacional: Os autores analisam a relação entre esses sinais de popularidade e a confiança do modelo (definida como a média geométrica das probabilidades de geração de tokens) tanto para previsões corretas quanto incorretas usando coeficientes de correlação de Spearman parciais.
Estratégia de Calibração: Para mitigar a superconfiança, os autores propõem um estimador de confiança consciente da popularidade.
- Modelo: Um Perceptron Multicamadas (MLP) leve recebe a confiança bruta do modelo ( $c$ ) e os sinais de popularidade ( $p$ ) como entrada para prever a correção da verdade fundamental ( $y$ ).
- Sinais: O sistema testa sinais individuais ( $Pop_Q, Pop_{Ge}, RPop_{Ge}$ ) e uma configuração combinada.
- Popularidade Autogerada: Para reduzir a dependência de corpora externos, os autores também exploram o uso do próprio LLM para estimar os sinais de popularidade ( $\hat{Pop}$ ).

Principais Descobertas

1. Alucinações não são Aleatórias e são Populares

Quando os LLMs alucinam, eles não geram respostas erradas arbitrárias. Em vez disso, eles tendem a gerar respostas que são:

Mais populares do que a resposta da verdade fundamental ( $Pop_{Ge} > Pop_{GT}$ ).
Mais fortemente associadas à entidade da pergunta do que a verdade fundamental ( $RPop_{Ge} > RPop_{GT}$ ).
Esse padrão é mais pronunciado em domínios onde o modelo possui menor recuperação factual (ex: o dataset de Basquete), sugerindo que, quando o conhecimento é escasso, os modelos recorrem a entidades globalmente populares ou de alta coocorrência.

2. A Popularidade Impulsiona a Confiança nos Erros

Existe uma forte correlação positiva entre a popularidade de uma resposta gerada e a confiança atribuída a ela, mesmo quando a resposta é incorreta.

Previsões Incorretas: A confiança é fortemente impulsionada pela coocorrência pergunta-resposta ( $RPop_{Ge}$ ) e pela popularidade da resposta ( $Pop_{Ge}$ ).
Previsões Corretas: A confiança é uniformemente alta porque as respostas corretas tipicamente envolvem conhecimento altamente popular e fortemente associado, tornando as correlações mais difíceis de detectar devido à baixa variância.
Escalabilidade: Aumentar a escala do modelo (ex: de 7B para 32B parâmetros) não elimina essa correlação; modelos maiores permanecem superconfiantes em respostas populares, porém incorretas.

3. Mitigação via Sinais de Popularidade

A incorporação de sinais de popularidade do conhecimento melhora significativamente a calibração da confiança:

Redução da Superconfiança: A confiança média em respostas incorretas ( $Conf_w$ ) caiu de 0,765 (probabilidade vanilla) para 0,254 ao utilizar todos os sinais de popularidade.
Qualidade da Calibração: O Erro de Calibração Esperada (ECE) diminuiu de 0,356 para 0,050.
Alinhamento: A capacidade de distinguir corretamente entre respostas corretas e incorretas (Alinhamento) melhorou de 77,08% para 83,72%.
Eficácia do Sinal: Entre os sinais individuais, o $RPop_{Ge}$ (coocorrência pergunta-resposta) foi o preditor isolado mais eficaz.
Sinais Autogerados: O uso do LLM para estimar sinais de popularidade também melhorou a calibração, embora com ganhos ligeiramente menores do que o uso de corpora externos.

Significância e Alegações

O artigo afirma fornecer uma compreensão sistemática do fenômeno "popular, mas errado", revelando que a superconfiança não é meramente uma falha de recuperação de conhecimento, mas um viés sistemático em direção a entidades familiares e de alta frequência.

Mecanismo: As descobertas sugerem que os LLMs atribuem alta confiança a respostas incorretas porque essas respostas possuem fortes sinais de popularidade (alta frequência de entidade ou alta coocorrência com a consulta), o que o modelo interpreta como um sinal de correção.
Utilidade Prática: O estudo demonstra que esses sinais de popularidade podem ser aproveitados como um mecanismo de calibração post-hoc. Ao modelar explicitamente a relação entre popularidade e correção, é possível reduzir substancialmente a superconfiança e melhorar a confiabilidade de decisões baseadas em confiança sem a necessidade de acessar estados internos do modelo ou realizar retreinamento.
Limitações: Os autores observam modestamente que suas descobertas são correlacionais, não causais, e que o estudo é limitado a QA factual de livro fechado e centrado em entidades. A aplicabilidade para geração de texto aberto ou tarefas de raciocínio complexo permanece uma questão aberta.

Em resumo, o artigo argumenta que a popularidade do conhecimento é um fator crítico e anteriormente subexplorado na superconfiança de LLMs, e que contabilizar a popularidade das respostas geradas oferece um caminho viável para modelos melhor calibrados.