Resumo Técnico: Habilidades que Não Existem: Um Estudo em Larga Escala sobre a Alucinação de Recomendação de Habilidades em Agentes de LLM

Definição do Problema: Alucinação de Nome de Habilidade

O artigo identifica uma vulnerabilidade crítica no ecossistema emergente de agentes de LLM, especificamente dentro da estrutura de "Habilidades de Agente" (padronizada pela Anthropic no final de 2025). Desenvolvedores dependem cada vez mais de agentes para recomendar e instalar habilidades — pacotes de instruções em linguagem natural (armazenadas em arquivos SKILL.md) — em vez de navegar manualmente em registros.

O problema central é a alucinação de nome de habilidade: o agente recomenda confiantemente um nome de habilidade que não existe em nenhum registro. Diferente das alucinações padrão de geração de código, onde um modelo inventa uma função inexistente, esta falha cria um vetor de ataque de cadeia de suprimentos específico. Como os registros frequentemente carecem de verificação rigorosa do editor, um adversário pode:

1. Consultar agentes públicos para identificar nomes alucinados recorrentes.
2. Pré-registrar uma habilidade maliciosa com esse nome exato em um registro aberto.
3. Esperar que uma vítima peça a recomendação ao agente.
4. O agente, tendo alucinado o mesmo nome anteriormente, recomenda a habilidade maliciosa, que o usuário então instala.

Este ataque contorna as defesas tradicionais porque o nome não é um erro de digitação de um pacote real (tornando-o invisível para filtros de typosquatting) e a carga útil está escondida em instruções de linguagem natural, não em código executável.

Metodologia

Os autores conduziram a primeira medição em larga escala deste fenômeno usando um pipeline de três estágios através de 15.000 prompts e 12 configurações de sistema (4 LLMs autônomos e 8 configurações de agentes).

1. Construção de Prompts

O conjunto de dados consistiu em dois tipos distintos de prompts para isolar diferentes causas de alucinação:

• Prompts de Comunidade (5.000): Perguntas do mundo real extraídas do Stack Exchange, Reddit e Hacker News sobre recomendações de habilidades. Eles medem as taxas de alucinação em cenários não estruturados do mundo real onde uma habilidade correta pode não existir.
• Prompts de Descrição de Habilidade (10.000): Gerados a partir das descrições de 10.000 habilidades reais publicadas no registro SkillsMP. Como uma resposta correta é conhecida para cada prompt, as alucinações aqui indicam uma falha em recuperar o conhecimento existente, em vez de uma falta de opções.

2. Configurações de Avaliação

O estudo avaliou:

• LLMs Autônomos: GLM-4.5-Air, GPT-5.4-mini, Claude Sonnet 4.6 e Claude Opus 4.7.
• Agentes: Claude Code, Codex, OpenClaw e OpenCode (usando vários backends, incluindo GPT-5.4-mini e quatro modelos de código aberto).
• Fundamentação (Grounding): A maioria das configurações foi equipada com ferramentas de busca na web para testar se a verificação externa mitiga o problema.

3. Pipeline de Validação

Para garantir precisão absoluta, um nome recomendado foi classificado como alucinado apenas se estivesse ausente de todos os registros ativos (SkillsMP, ClawHub, etc.) e não existisse em nenhum repositório de código aberto (verificado via GitHub Code Search para arquivos SKILL.md).

Principais Contribuições

1. Identificação de um Novo Vetor de Ataque: O artigo formaliza o "skill name squatting" (ocupação de nome de habilidade), onde atacantes exploram a natureza determinística das alucinações de LLM para pré-registrar habilidades maliciosas.
2. Medição em Larga Escala: Uma avaliação sistemática de 15.000 prompts revelando que a alucinação é ubíqua em todos os modelos e agentes testados.
3. Análise de Alvo (Targetability): Demonstração de que os nomes alucinados não são ruído aleatório, mas seguem padrões previsíveis, permitindo que atacantes alcancem alta cobertura com esforço mínimo.
4. Avaliação de Defesa: Uma avaliação rigorosa de quatro estratégias de mitigação (RAG, autorrefinamento, votação entre modelos e suas combinações), destacando severos compromissos entre segurança e utilidade.

Principais Resultados

1. Prevalência (RQ1)

• Ubiquidade: Cada configuração única alucinou.
• Taxas: As taxas de alucinação média foram de 36,0% para LLMs autônomos e 36,9% para agentes.
• Impacto no Mundo Real: Em perguntas reais de desenvolvedores (Prompts de Comunidade), a taxa subiu para 43,1%.
• Ineficácia da Busca: Habilitar a busca na web não resolveu o problema. Os modelos frequentemente buscam pelo conceito (ex: "file-system-operations") e encontram resultados relevantes, confirmando que o conceito existe, mas falhando em verificar o status de registro do nome específico da habilidade.
• Saída Conservadora: Alguns modelos (ex: GPT-5.4-mini) alcançaram baixas taxas de alucinação (6,5%) principalmente ao retornar nenhuma saída para 52,5% dos prompts, em vez de identificar corretamente as habilidades reais.

2. Alvo (RQ2)

• Determinismo: Nomes alucinados são altamente persistentes. Por exemplo, o Claude Sonnet 4.6 repetiu seu nome alucinado dominante 7,8 vezes em 10 para o mesmo prompt.
• Convergência: Diferentes modelos frequentemente convergem para os mesmos nomes alucinados (ex: seis modelos geraram classification-model-builder).
• Sobreposição de Ecossistemas: 15,0% dos nomes de habilidades alucinados únicos (851 nomes) coincidem exatamente com pacotes existentes do PyPI ou npm, indicando que os modelos reutilizam identificadores de pacotes familiares como nomes de habilidades.
• Eficiência de Ataque: Registrar os 500 nomes alucinados mais frequentes cobriria 57% de todos os eventos de recomendação de habilidades alucinadas em todas as configurações testadas.

3. Detectabilidade (RQ3)

• Falha de Autoauditoria: Quando questionados se um nome de habilidade existe, os modelos não performaram melhor do que o acaso (51% de acurácia balanceada). Eles tendem a rejeitar quase tudo (altos falsos negativos) ou falham em distinguir suas próprias alucinações de habilidades reais.
• Ineficácia do Typosquatting: Nomes alucinados não são erros ortográficos menores. A distância de edição mediana de Levenshtein entre um nome alucinado e o nome da habilidade real mais próxima é de 6 edições. Filtros tradicionais (que verificam distâncias de 1-2 edições) perderiam 56,1% das alucinações.

4. Mitigação (RQ4)

• Geração Aumentada de Recuperação (RAG): Esta foi a defesa mais eficaz, reduzindo a taxa de alucinação de 40,8% para 3,2%. No entanto, ela prejudicou a utilidade: o agente mais bem defendido recomendou a habilidade correta apenas ~16% das vezes (1 em 6).
• Autorrefinamento: Ineficaz. Reduziu as alucinações apenas ao suprimir a saída (aumentando a taxa de "sem saída" para 87,4%) em vez de verificar nomes de forma confiável.
• Votação entre Modelos: Exigir consenso de múltiplos modelos removeu 92,8% das alucinações (com N=2), mas também descartou 55,2% das habilidades reais.

Significância e Alegações

O artigo argumenta que a alucinação de nome de habilidade é uma vulnerabilidade estrutural inerente à atual arquitetura de agentes de LLM, não um erro solucionável apenas por engenharia de prompt ou ajuste de modelo.

• A Ameaça é Real e de Baixo Custo: Atacantes não precisam comprometer habilidades existentes; eles podem simplesmente colher nomes alucinados previsíveis e pré-registrar esses nomes.
• As Defesas Atuais Falham: Proteções de cadeia de suprimentos existentes (verificação de pacotes, assinatura de código) e defesas de tempo de execução (filtros de injeção de prompt) são ineficazes porque o vetor de ataque é a fase de recomendação, e a carga útil é linguagem natural.
• O Compromisso (Trade-off): Existe um conflito severo entre segurança e usabilidade. A única mitigação técnica eficaz (RAG) torna o agente significativamente menos útil ao impedir que ele recomende habilidades que não consegue recuperar de um banco de dados.
• Solução Necessária: Os autores concluem que corrigir isso exige mudanças estruturais em todo o ecossistema, especificamente:
  1. Reserva de nomes em nível de registro para padrões conhecidos de alucinação.
  2. Pipelines de recomendação verificados, onde os agentes devem resolver nomes contra um índice autenticado antes de sugeri-los, em vez de gerar nomes a partir de seus pesos internos.

O estudo enfatiza que, sem essas mudanças estruturais, a cadeia de suprimentos de habilidades de agentes permanece uma porta aberta para ataques de cadeia de suprimentos, onde a própria "alucinação" torna-se o ponto de entrada armamentizado.