💬 NLP

Library Hallucinations in LLM-Generated Code: A Risk Analysis Grounded in Developer Queries

Este artigo apresenta o primeiro estudo sistemático de como variações realistas de prompts de desenvolvedor, como erros de ortografia e nomes fabricados, desencadeiam alucinações de bibliotecas em código gerado por LLMs, revelando vulnerabilidades significativas e introduzindo o benchmark LibHalluBench para permitir a avaliação e mitigação reprodutíveis desses riscos.

Autores originais: Lukas Twist, Jie M. Zhang, Mark Harman, Helen Yannakoudakis

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lukas Twist, Jie M. Zhang, Mark Harman, Helen Yannakoudakis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente muito talentoso, confiante, mas um pouco esquecido, que é especialista em escrever código de computador. Você pede a ele para construir uma ferramenta específica, e ele começa alegremente a digitar. No entanto, esse assistente tem um hábito perigoso: às vezes, quando não sabe o nome exato de uma ferramenta de que precisa, ele simplesmente inventa uma. Ele cria uma biblioteca (uma coleção pré-fabricada de código) que não existe, mas a escreve com tanta confiança que você pode não perceber que é falsa até tentar usá-la e ela falhar.

Este artigo é uma análise profunda de por que esse assistente inventa essas ferramentas falsas, especificamente quando você dá instruções ligeiramente diferentes ou comete pequenos erros.

Aqui está a explicação de suas descobertas usando analogias simples:

1. A Armadilha da "Viagem no Tempo"

Os pesquisadores descobriram que, se você pedir ao seu assistente uma ferramenta "de 2025" (um ano que ainda não aconteceu ou está além de seu treinamento), o assistente fica muito nervoso e começa a alucinar descontroladamente.

A Analogia: Imagine pedir a um bibliotecário um livro publicado no futuro. Em vez de dizer "Não tenho isso", o bibliotecário pode inventar um título, uma capa e um resumo que soam perfeitos, mas que não existem.
O Resultado: Quando solicitados bibliotecas "de 2025", em até 85% das vezes, o assistente inventou uma biblioteca falsa. Eles são terríveis em conhecer seu próprio "ponto de corte de conhecimento" (a data em que pararam de aprender).

2. A Armadilha do "Erro de Digitação" (Ortografia Descuidada)

Se você acidentalmente escrever o nome de uma biblioteca real de forma errada, o assistente frequentemente não o corrige. Em vez disso, ele insiste e finge que a versão com erro de digitação é real.

A Analogia: Imagine pedir a um chef "Spagetti" (faltando o 'h'). Em vez de dizer "Você quis dizer Spaghetti?", o chef pode simplesmente pegar uma caixa rotulada "Spagetti" de uma prateleira que ele mesmo inventou, ou pior, pode inventar um novo prato chamado "Spagetti" que não existe.
O Resultado:
- Um erro de digitação de uma letra (como numpi em vez de numpy) causou o uso de bibliotecas falsas em 26% dos casos.
- Um nome de biblioteca falso (algo que soa real, mas não é, como "GaussianTools") foi aceito e usado em até 99% dos casos. O assistente está tão ansioso para agradar que usará uma ferramenta falsa em vez de dizer que ela não existe.

3. A Armadilha do "Adjetivo" (O Que Não Funciona)

Curiosamente, se você pedir uma biblioteca que seja "rápida", "fácil" ou "moderna", o assistente geralmente ignora essas palavras e simplesmente escolhe uma biblioteca padrão e real que conhece.

A Analogia: Se você pedir um "carro rápido", o assistente simplesmente te dá um Toyota padrão. Ele não inventa um "carro voador super-rápido" porque sabe que esses adjetivos são vagos.
O Resultado: Adjetivos como "rápido" ou "leve" raramente causaram alucinações. O perigo vem de restrições específicas (como datas) ou erros (como erros de digitação).

4. A Armadilha do "Raciocínio" (Pensar Demais)

Os pesquisadores tentaram corrigir isso dizendo ao assistente para "pensar passo a passo" ou "verificar seus fatos" antes de responder.

A Analogia: É como dizer a um estudante nervoso: "Respire fundo e pense bem sobre esse problema de matemática". Às vezes, isso ajuda. Mas, frequentemente, o estudante fica apenas mais confiante em sua resposta errada porque gastou mais tempo justificando-a.
O Resultado: Esses truques de "raciocínio" não funcionaram consistentemente. Na verdade, às vezes tornaram as alucinações piores. O assistente explicaria confiantemente por que sua biblioteca falsa era real, tornando mais difícil para você detectar o erro.

5. A Solução da "Ferramenta" (Consultar o Telefone)

Os pesquisadores testaram dar ao assistente uma ferramenta simples: um botão que verifica se uma biblioteca realmente existe no banco de dados oficial (PyPI).

A Analogia: Em vez de o assistente adivinhar, você lhe dá um livro de telefone. Se ele disser "Vou usar Spagetti", ele consulta o livro, vê que não está lá e então diz: "Ah, isso não existe".
O Resultado: Isso ajudou muito, mas não foi uma solução mágica. O assistente ainda às vezes esquecia de consultar o livro, ou consultava, mas decidia ignorar o resultado e usar o nome falso mesmo assim.

A Grande Conclusão: LIBHALLUBENCH

Como esse é um problema tão grande, os autores criaram um novo teste chamado LIBHALLUBENCH.

A Analogia: Pense nisso como um "teste de direção" especificamente projetado para ver se um carro autônomo vai alucinar um sinal de pare falso. Ele contém milhares de perguntas complicadas (como "me dê uma biblioteca de 2025" ou "use este nome com erro de digitação") para testar sistematicamente quão propensos diferentes modelos de IA são a inventar ferramentas falsas.

Por Que Você Deveria Se Importar?

Se você é um desenvolvedor usando IA para escrever código, e a IA inventa uma biblioteca falsa, seu código falhará quando você tentar executá-lo. Pior ainda, se um hacker criar uma biblioteca falsa que corresponda àquela que a IA inventou (um truque chamado "slopsquatting"), seu sistema pode ser infectado com malware.

Em resumo: Os geradores de código de IA são ótimos, mas são perigosamente confiantes quando não sabem a resposta. Eles inventarão ferramentas falsas para satisfazer sua solicitação, especialmente se você pedir algo do futuro ou cometer um pequeno erro de digitação. Precisamos de melhores maneiras de impedi-los de inventar coisas.

Resumo Técnico: Alucinações de Bibliotecas em Código Gerado por LLM

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) tornaram-se integrantes do desenvolvimento de software moderno, mas frequentemente "alucinam" inventando bibliotecas inexistentes. Embora pesquisas anteriores tenham reconhecido as alucinações de bibliotecas como um modo de falha, há uma compreensão limitada de como esses erros se manifestam sob condições de uso realistas. Especificamente, permanece incerto como variações nos prompts dos desenvolvedores — como descrições em linguagem natural, erros de digitação do usuário ou nomes de bibliotecas fabricados — influenciam a taxa na qual os LLMs geram imports inválidos ou chamadas inválidas para bibliotecas válidas. Essas alucinações representam riscos significativos, incluindo builds quebrados, desenvolvedores enganados e exposição a ameaças da cadeia de suprimentos, como "slopsquatting" (onde atacantes registram bibliotecas que os LLMs frequentemente alucinam).

Metodologia

Os autores apresentam o primeiro estudo sistemático de como variações de prompts no nível do usuário influenciam as alucinações de bibliotecas em sete LLMs de produção diversos (GPT-4o-mini, GPT-5-mini, Ministral-8B, Qwen2.5-Coder, Llama-3.3, DeepSeek-V3.1 e Claude-4.5-Haiku).

Desenho Experimental:
O estudo utiliza o BigCodeBench como conjunto de dados semente, filtrando 356 tarefas em Python que utilizam bibliotecas externas. Os experimentos são divididos em duas categorias principais:

Experimento 1: Variações de Linguagem do Usuário:
- Fonte de Dados: Mais de 20.000 perguntas do Software Recommendations StackExchange (SRSE) foram analisadas para identificar descritores comuns de usuários.
- Variações: Os prompts foram modificados para incluir descrições baseadas em adjetivos (por exemplo, "rápido", "leve", "melhor") e descrições baseadas em tempo (por exemplo, "de 2023", "de 2025").
- Objetivo: Determinar se variações em linguagem natural desencadeiam alucinações.
Experimento 2: Erros Controlados do Usuário:
- Tipos de Erro: O estudo introduziu erros específicos nos prompts:
  - Erros de digitação de um caractere (Distância de edição 1, por exemplo, numpi para numpy).
  - Erros de digitação de múltiplos caracteres (Distância de edição 2–8, por exemplo, graphly para plotly).
  - Nomes/membros falsos: Bibliotecas ou membros completamente inexistentes gerados para simular solicitações de acompanhamento para alucinações anteriores.
- Objetivo: Quantificar a robustez dos LLMs contra erros de digitação e entidades fabricadas.

Pipeline de Avaliação:

Detecção: O código gerado foi analisado usando o módulo ast do Python. Os nomes das bibliotecas foram verificados contra o Python Package Index (PyPI) com normalização, e os membros das bibliotecas foram verificados contra a documentação oficial das versões mais recentes das bibliotecas.
Métricas: O estudo mediu a Taxa de Alucinação de Resposta (RHR) e a Taxa de Alucinação de Tarefa (THR).
Investigações Adicionais: Os autores examinaram a eficácia de estratégias de engenharia de prompts (Cadeia de Pensamento, Passo-Atrás, Autoanálise) e testaram a generalizabilidade do ecossistema usando CodeInsight (JavaScript, Rust) e mitigação aumentada por ferramentas (verificações de existência no PyPI).

Principais Descobertas

1. Sensibilidade a Variações de Prompt

Adjetivos vs. Tempo: Descrições baseadas em adjetivos (por exemplo, "rápido", "código aberto") raramente desencadearam alucinações (taxas $\approx$ 0%). Em contraste, prompts baseados em tempo foram um forte gatilho. Solicitações de bibliotecas "de 2025" induziram alucinações em até 85% das tarefas (especificamente para GPT-4o-mini), significativamente mais alto do que solicitações "de 2023".
Erros do Usuário: Os LLMs mostraram baixa robustez a erros de nomenclatura.
- Erros de digitação de um caractere desencadearam alucinações em até 26% das tarefas.
- Erros de digitação de múltiplos caracteres desencadearam alucinações em até 79% das tarefas.
- Nomes de bibliotecas falsos foram aceitos em até 99% das tarefas para certos modelos (por exemplo, GPT-5-mini, Ministral-8B), indicando uma tendência à "sycophancy" (sycophantismo), onde o modelo concorda com a premissa incorreta do usuário em vez de corrigi-la.

2. Alucinações de Nomes de Bibliotecas vs. Membros

Nomes de Bibliotecas: Os modelos foram altamente suscetíveis a alucinar bibliotecas inteiras inexistentes quando prompted com erros ou restrições de tempo.
Membros de Bibliotecas: As alucinações de membros (funções/classe) dentro de bibliotecas válidas foram geralmente menores (majoritariamente 1%–5%), mas ainda presentes. Curiosamente, modelos mais recentes (GPT-5-mini, DeepSeek-V3.1) às vezes exibiram taxas de alucinação de membros mais altas do que os mais antigos, frequentemente sugerindo funções obsoletas sem especificações de versão.

3. Mitigação e Generalizabilidade

Engenharia de Prompt: Estratégias leves como Cadeia de Pensamento e prompts de Passo-Atrás foram pouco confiáveis e às vezes aumentaram as taxas de alucinação ao reforçar raciocínios incorretos. Verificações explícitas e Autoanálise mostraram mais promessa, mas foram inconsistentes entre os modelos.
Uso de Ferramentas: Fornecer uma ferramenta de existência no PyPI reduziu significativamente as alucinações (por exemplo, GPT-4o-mini caiu para <3% para prompts baseados em ano), mas não as eliminou. Os modelos frequentemente falharam em invocar a ferramenta ou ignoraram resultados negativos.
Ecossistemas: Os padrões de alucinação persistiram em Python, JavaScript e Rust, sugerindo que a vulnerabilidade não se limita a uma única linguagem ou ecossistema.

Contribuições

Estudo Sistemático: A primeira análise detalhada de como variações de prompts (linguagem e erros) afetam as alucinações de bibliotecas, revelando que formulações baseadas em tempo e erros de digitação são gatilhos críticos.
Conexão entre Sycophantismo e Typosquatting: O artigo revela uma conexão nova entre o comportamento dos LLMs e riscos da cadeia de suprimentos, demonstrando que os modelos frequentemente alucinam bibliotecas com confiança em resposta a pequenos erros de digitação, potencialmente amplificando ataques de typosquatting e slopsquatting.
LIBHALLUBENCH: Introdução de um novo benchmark contendo 4.173 prompts rotulados derivados de condições de alto risco (baseadas em ano, baseadas em raridade e baseadas em erro) para permitir avaliação reproduzível de alucinações de bibliotecas.
Recursos Abertos: Liberação do código, das saídas completas dos modelos e do benchmark para apoiar pesquisas futuras e desenvolvimento de mitigação.

Significado e Alegações

O artigo argumenta que a fragilidade dos LLMs a variações naturais de prompts constitui uma vulnerabilidade sistêmica. Os autores afirmam que:

Os LLMs atuais não podem ser confiados para validar nomes de bibliotecas ou membros, mesmo quando os usuários fornecem nomes específicos (mas incorretos).
Solicitações comuns de desenvolvedores por bibliotecas "atualizadas" ou "recentes" são um vetor primário para alucinação, independentemente de cortes de conhecimento.
Estratégias de mitigação existentes, como Cadeia de Pensamento, são insuficientes para este modo de falha específico.
O risco vai além de meros erros de código para ameaças de segurança, pois a alta taxa de aceitação de bibliotecas falsas poderia facilitar a adoção de pacotes maliciosos (slopsquatting).

Os autores concluem que defesas robustas exigem mais do que engenharia de prompts; elas provavelmente necessitam de mudanças no nível do modelo, mecanismos de verificação externa e uma mudança na forma como os LLMs lidam com a incerteza regarding a validade das bibliotecas. O estudo enfatiza que, embora as descobertas sejam baseadas em conjuntos de dados e modelos específicos, os padrões observados sugerem um problema mais amplo e sistêmico na geração de código baseada em LLM.