How Much Do LLMs Hallucinate in Document Q&A Scenarios? A 172-Billion-Token Study Across Temperatures, Context Lengths, and Hardware Platforms

Este estudo de 172 bilhões de tokens revela que, embora a seleção do modelo seja o fator mais crítico para a precisão, as alucinações em tarefas de Q&A com documentos aumentam drasticamente com o tamanho do contexto (ultrapassando 10% em 200K tokens), enquanto configurações de temperatura mais altas podem reduzir a perda de coerência sem comprometer significativamente a precisão, e os resultados permanecem consistentes independentemente da plataforma de hardware.

O essencial

Imagine que você contratou um bibliotecário superinteligente (o Modelo de Linguagem) para responder perguntas baseadas apenas em uma pilha de documentos que você forneceu. A grande preocupação das empresas é: "Esse bibliotecário vai inventar coisas que não estão nos livros?"

Este estudo, feito por pesquisadores da Kamiwaza AI, é como um teste de estresse gigante para ver quantos desses bibliotecários mentem. Eles não usaram perguntas prontas da internet (que os modelos poderiam ter "decorado" antes), mas criaram um universo de documentos e perguntas do zero, garantindo que a resposta certa fosse conhecida por eles, mas não pelo modelo.

Aqui está o resumo da pesquisa, traduzido para o dia a dia:

1. O Tamanho do Problema: "Nenhum é Perfeito"

Mesmo os melhores bibliotecários do mundo inventam respostas.

• A Regra de Ouro: Não existe "zero mentiras". Mesmo o modelo mais inteligente (GLM 4.5) ainda inventa cerca de 1,2% das respostas quando o contexto é curto.
• A Média: Para a maioria dos modelos, 1 em cada 4 perguntas sobre algo que não existe no documento recebe uma resposta inventada e confiante.
• Analogia: É como pedir para um funcionário ler um manual de instruções. Mesmo os melhores erram ou inventam um passo que não está lá, mas a maioria erra muito mais.

2. O Efeito "Pilha de Papel" (Contexto Longo)

Quanto mais documentos você joga na mesa, pior o desempenho.

• 32K tokens (Poucos documentos): O modelo funciona bem.
• 128K tokens (Muitos documentos): A taxa de invenção quase triplica.
• 200K tokens (Uma biblioteca inteira): O modelo entra em colapso. A taxa de invenção passa de 10% para a maioria, e alguns modelos chegam a inventar 70% das respostas.
• Analogia: Imagine tentar encontrar uma agulha em um palheiro. Se o palheiro é pequeno, você acha. Se o palheiro é do tamanho de um estádio de futebol, você começa a alucinar e inventar agulhas que não existem só para não ficar de mãos vazias. O tamanho do contexto anunciado pelo fabricante não significa que o modelo consegue usá-lo com segurança.

3. O Segredo não é o Tamanho, é a "Personalidade" (Família do Modelo)

Muitas pessoas acham que modelos maiores (com mais "cérebro") são melhores. O estudo diz: Nem sempre.

• O que importa: A "família" do modelo (como foi treinado) importa mais que o tamanho.
• O Exemplo: Um modelo gigante da família Llama (com 405 bilhões de parâmetros) inventou quase tanto quanto um modelo pequeno da mesma família. Já modelos da família GLM ou MiniMax, mesmo sendo menores, foram muito mais honestos e menos propensos a inventar.
• Analogia: Ter um cérebro gigante não significa ser honesto. Um modelo pequeno e bem treinado para "não mentir" é melhor que um gigante que adora inventar histórias.

4. O Dilema do "Botão de Temperatura"

Na programação de IA, existe um botão chamado "Temperatura".

• A Sabedoria Popular: "Sempre deixe a temperatura no zero (T=0) para ser preciso."
• A Descoberta: Isso é um mito perigoso.
  • T=0 (Zero): O modelo fica muito "teimoso" e repetitivo. Em contextos longos, ele pode entrar em loops infinitos (ficar repetindo a mesma frase para sempre), travando o sistema.
  • T=0.7 ou 1.0 (Mais quente): O modelo fica mais criativo, mas inventa menos em muitos casos e, crucialmente, não trava.
• Analogia: Deixar a temperatura no zero é como pedir para um funcionário ler em voz baixa e sem respirar. Ele pode ficar preso em uma palavra e nunca terminar a frase. Aumentar um pouco a temperatura é como deixar ele respirar e pensar, o que evita que ele trave, mesmo que ele fale um pouco mais livremente.

5. Encontrar vs. Inventar (Duas Habilidades Diferentes)

O estudo descobriu algo surpreendente: Saber encontrar a informação certa não significa saber evitar inventar a errada.

• Um modelo pode ser excelente em achar um fato no documento (90% de acerto), mas quando você pergunta sobre algo que não está no documento, ele inventa uma resposta com 50% de chance de erro.
• Analogia: Imagine um detetive que é ótimo em encontrar pistas reais (alta "fundamentação"), mas que, quando não tem pista, decide inventar uma teoria falsa para não parecer inútil (alta "invenção"). Você precisa treinar o modelo especificamente para dizer "não sei" quando a resposta não está no texto.

6. O Hardware Não Importa

Fizeram os testes em chips da NVIDIA, AMD e Intel.

• Resultado: O resultado foi praticamente o mesmo em todos.
• Conclusão: Não se preocupe se vai usar um chip da AMD ou da NVIDIA para a precisão da resposta. A escolha deve ser baseada no preço e na velocidade, não no medo de o modelo "mentir mais" em uma plataforma específica.

---

Resumo Final para o Dia a Dia

Se você vai usar IA para responder perguntas baseadas em documentos da sua empresa:

1. Escolha o modelo certo, não o maior: Procure modelos conhecidos por serem "honestos" (como GLM ou MiniMax neste estudo), não apenas os mais pesados.
2. Cuidado com documentos gigantes: Se você jogar 200 mil palavras de texto de uma vez, espere o modelo começar a alucinar muito. Divida os documentos.
3. Não use "Temperatura Zero" cegamente: Em contextos longos, isso pode travar seu sistema. Um valor médio (como 0.4 ou 0.7) pode ser mais seguro e eficiente.
4. Tenha um "Segurança": Como nenhum modelo é perfeito, você precisa de um sistema extra para verificar se a resposta inventada ou não. A IA vai mentir eventualmente; o segredo é detectar isso.

Em suma: A IA é uma ferramenta poderosa, mas ainda é como um estagiário brilhante que, às vezes, quando não sabe a resposta, inventa uma para parecer esperto. Cabe a nós, humanos, supervisionar.

Resumo técnico

1. O Problema

A aplicação mais crítica de Grandes Modelos de Linguagem (LLMs) no setor empresarial é responder perguntas baseadas em documentos fornecidos (via context stuffing, RAG ou agentes de recuperação). O principal obstáculo para essa adoção é a alucinação: quando o modelo fabrica informações que não existem nos documentos ou atribui fatos incorretamente.

Apesar da importância do problema, medir a taxa de alucinação com precisão é difícil devido a três falhas fundamentais nas abordagens atuais:

1. Contaminação de Dados: Benchmarks estáticos podem ter sido vistos pelos modelos durante o treinamento, inflando artificialmente o desempenho.
2. Vieses de Julgamento: O uso de "LLMs como juízes" introduz vieses sistemáticos que comprometem a confiabilidade.
3. Escala Insuficiente: A maioria das avaliações opera em escalas pequenas, sem confiança estatística robusta.

2. Metodologia: RIKER

O estudo utiliza e expande a metodologia RIKER (Retrieval Intelligence and Knowledge Extraction Rating), que inverte o paradigma tradicional de avaliação:

• Geração de Ground Truth: Em vez de extrair a verdade de documentos existentes (requerendo anotação humana), o RIKER define a verdade fundamental (entidades, relações e fatos) em um banco de dados relacional e gera documentos e perguntas a partir dessa verdade.
• Vantagens:
  • Avaliação Determinística: Como a resposta correta é conhecida por construção, a pontuação é automática e precisa, sem necessidade de juízes humanos ou LLMs.
  • Resistência à Contaminação: Os corpora podem ser regenerados com sementes aleatórias diferentes, impedindo que os modelos memorizem dados de teste.
  • Escalabilidade: Permite testes em escala massiva sem esforço de anotação.

Escala do Estudo:

• Modelos: 35 modelos de pesos abertos (famílias Llama, Qwen, GLM, DeepSeek, MiniMax, Granite), variando de 1B a 480B parâmetros.
• Contextos: 32K, 128K e 200K tokens.
• Temperaturas: 0.0, 0.4, 0.7 e 1.0.
• Hardware: NVIDIA H200, AMD MI300X e Intel Gaudi3.
• Volume Total: Mais de 172 bilhões de tokens processados em mais de 4.000 execuções.

3. Principais Contribuições e Resultados

A. Taxas de Alucinação (Fabricação)

Mesmo nas melhores condições, nenhum modelo alcança zero alucinação.

• 32K Tokens: O melhor modelo (GLM 4.5) alucina 1,19% das vezes. Modelos de ponta variam entre 5-7%. A mediana dos modelos é de aproximadamente 25% (1 em 4 perguntas sobre entidades inexistentes recebe uma resposta fabricada).
• 128K Tokens: A taxa de alucinação quase triplica. Apenas 5 de 26 modelos permanecem abaixo de 10%.
• 200K Tokens: Nenhum modelo consegue manter a taxa abaixo de 10%. O melhor (Qwen3 Next 80B-A3B) alucina 10,25% das vezes.
• Degradação: A capacidade de uso real do contexto é muito menor do que o anunciado. Modelos que performam bem em 32K podem colapsar em 200K (ex: GLM 4.6 cai de 93% de precisão em 32K para 37% em 200K, com alucinação subindo para 71%).

B. Seleção de Modelo vs. Tamanho

• Família > Tamanho: A escolha da família do modelo é mais preditiva da resistência à alucinação do que o número de parâmetros.
  • A família GLM e MiniMax demonstraram baixa alucinação consistente em todos os tamanhos.
  • A família Llama 3.x (incluindo o 405B) apresentou altas taxas de alucinação, independentemente do tamanho (ex: Llama 3.1 70B alucina 49,5% das vezes, pior que o Llama 3.1 8B).
• Gap de Desempenho: A diferença de precisão entre o melhor e o pior modelo é de 72 pontos percentuais, superando em muito qualquer ganho obtido por ajuste de temperatura ou hardware.

C. Efeitos da Temperatura

A sabedoria convencional de usar sempre Temperatura = 0.0 para fatos é refutada:

• Precisão: T=0.0 oferece a melhor precisão geral em apenas 60% dos casos. Em 40% dos casos, temperaturas mais altas (0.4, 0.7, 1.0) performam melhor.
• Alucinação: Para a maioria dos modelos, temperaturas mais altas reduzem as taxas de alucinação (53% das combinações).
• Perda de Coerência (Loops Infinitos): T=0.0 aumenta drasticamente a taxa de falhas onde o modelo entra em loops de repetição, especialmente em contextos longos.
  • Em 200K tokens, modelos como GLM 4.7 apresentaram 48x mais falhas de coerência em T=0.0 comparado a T=1.0.
  • Recomendação: Para implantações empresariais, temperaturas moderadas (0.4 ou 0.7) oferecem o melhor equilíbrio entre precisão, baixa alucinação e estabilidade.

D. Hardware

• Consistência: Não há diferença estatisticamente significativa no comportamento do modelo entre NVIDIA H200, AMD MI300X e Intel Gaudi3. As variações entre plataformas são menores que as variações induzidas pela temperatura. A decisão de hardware deve basear-se em custo e disponibilidade, não em fidelidade.

E. Desacoplamento de Capacidades

O estudo prova que Grounding (capacidade de extrair fatos existentes) e Resistência à Alucinação (capacidade de recusar responder sobre fatos inexistentes) são capacidades distintas e fracamente correlacionadas.

• Modelos como o Llama 3.1 70B têm excelente grounding (>90%), mas falham catastróficamente em não inventar fatos (alucinação >49%).
• Benchmarks tradicionais que testam apenas a extração de informações existentes são insuficientes e perigosos para avaliar a confiabilidade em produção.

4. Significado e Implicações Práticas

1. O "Chão" de Alucinação é Real: Não existe modelo livre de alucinação. Sistemas de produção devem incorporar mecanismos de detecção e mitigação de alucinações, pois a pergunta não é "se" o modelo vai alucinar, mas "com que frequência".
2. Escolha do Modelo é Crítica: A seleção do modelo (família) é a decisão de maior alavancagem. Priorizar famílias com histórico de baixa alucinação (como GLM ou MiniMax neste estudo) é mais eficaz do que escolher o modelo mais grande disponível.
3. Gestão de Contexto: O tamanho de contexto anunciado (ex: 200K) não é o tamanho de contexto utilizável. A degradação de desempenho e o aumento de alucinação são severos em contextos longos. Testes devem ser feitos no comprimento de contexto real de implantação.
4. Revisão de Parâmetros de Inferência: O uso cego de temperatura zero (T=0.0) pode aumentar alucinações e causar falhas de coerência (loops infinitos) em contextos longos. Uma temperatura moderada é frequentemente preferível.
5. Metodologia de Avaliação: A comunidade de IA precisa adotar metodologias de "ground-truth-first" (como o RIKER) que testem explicitamente a fabricação de informações, e não apenas a recuperação de informações existentes.

Conclusão

Este estudo, ao escalar a avaliação para 172 bilhões de tokens, estabelece uma linha de base quantitativa para a geração atual de LLMs de pesos abertos. Ele demonstra que a alucinação é um problema intrínseco e inevitável que escala com o contexto, e que a resistência à alucinação é uma propriedade de treinamento específica, não emergente apenas do aumento de escala. A confiança em documentos longos exige uma mudança fundamental na seleção de modelos e nas estratégias de avaliação.