Eliciting Intrinsic Hallucinations in LLMs via Semantically Equivalent Adversarial Attacks

Imagine que você está conversando com um robô bibliotecário superinteligente que leu quase todos os livros do universo. Você faz uma pergunta e, para ter certeza absoluta, entrega a ele uma página específica de um livro para usar como sua chave de resposta. Essa configuração é chamada de Geração Aumentada de Recuperação, ou RAG. É como dar ao robô uma folha de referência para que ele não precise adivinhar a partir de sua própria memória. A esperança é que o robô se atenha estritamente à folha de referência, ignorando seu conhecimento interno se os dois não coincidirem. Mas aqui está o problema: às vezes, mesmo com a folha de referência em mãos, o robô se confunde, esquece o que está lendo ou começa a inventar coisas de qualquer maneira. Isso é chamado de "alucinação intrínseca". Não é que o robô esteja mentindo propositalmente; é que o cérebro dele é simplesmente agitado demais para permanecer fiel à evidência bem diante de seus olhos.

Agora, imagine que você é um detetive tentando descobrir o quão agitado esse robô realmente é. Você poderia fazer a mesma pergunta de cem maneiras diferentes, mas se você mudar o significado da pergunta, o robô pode apenas ficar confuso com o novo tópico. Para testar verdadeiramente o foco dele, você precisa fazer exatamente a mesma pergunta, mas sussurrá-la em uma dúzia de sotaques, dialetos ou estruturas de frases diferentes. Se o robô der uma resposta diferente (e errada) apenas porque você disse "Que horas são?" em vez de "Você poderia me dizer a hora atual?", então o robô tem um problema sério de consistência. Este artigo trata da construção de uma máquina que sussurra essas variações traiçoeiras, que preservam o sentido, para ver se o robô bibliotecário fraqueja sob pressão.

Os pesquisadores por trás deste estudo decidiram testar o estresse desses sistemas de IA usando um novo e astuto framework. Eles não apenas pediram aos modelos para quebrarem suas regras de segurança (que é uma forma comum de testar a IA); em vez disso, pediram que eles quebrassem sua própria honestidade. Eles usaram uma equipe de "atacantes" digitais — alguns usando matemática para ajustar palavras, outros usando algoritmos genéticos para evoluir novas sentenças, e alguns usando outras IAs para reescrever perguntas — para encontrar o refraseamento perfeito, que preserva o sentido, que faria o modelo alucinar. O objetivo era ver se eles conseguiriam enganar o modelo para que ele ignorasse o contexto fornecido e inventasse uma história, mesmo que a pergunta significasse exatamente a mesma coisa que a original.

Os resultados foram um choque. A equipe descobriu que até os modelos mais avançados e de última geração são surpreendentemente frágeis. Quando usaram esses ataques semanticamente equivalentes, a capacidade dos modelos de se manterem fiéis aos fatos caiu dramaticamente. Em alguns casos, a fidelidade do modelo à evidência fornecida degradou-se em até 50% para modelos específicos como o GPT-5-mini em certos conjuntos de dados. Por exemplo, no conjunto de dados FaithEval, a fidelidade do GPT-5-mini caiu de 0,72 para 0,22 — uma diminuição de 41,7% — falhando subitamente em responder corretamente quando a pergunta era formulada de forma ligeiramente diferente, embora o significado não tivesse mudado em nada.

O artigo sugere que simplesmente tornar os modelos maiores ou mais inteligentes não é suficiente para corrigir isso. Os pesquisadores testaram desde modelos pequenos de código aberto até gigantes massivos de código fechado, e todos tropeçaram ao enfrentar esses truques de preservação de sentido. Os ataques foram tão eficazos que conseguiram induzir os modelos a dizer coisas como "Incapaz de responder" ou a inventar detalhes que não estavam no texto, tudo isso enquanto a pergunta permanecia logicamente idêntica à original.

Curiosamente, o tipo de ataque importava. Alguns métodos que apenas trocavam palavras por sinônimos (como mudar "grande" para "vasto") frequentemente faziam as perguntas soarem estranhas e não naturais, o que os modelos podiam facilmente detectar. Mas os métodos que usavam outras IAs para reescrever toda a frase de forma natural — mantendo o fluxo e o sentido perfeitos — eram os verdadeiros problemáticos. Esses ataques de sonoridade natural foram os que causaram a maior queda de desempenho, provando que os modelos são frágeis não apenas ao gibberish estranho, mas à variedade natural da linguagem humana.

O estudo também observou como os modelos falharam. Às vezes eles apenas se recusavam a responder, mas frequentemente acertavam os fatos errado, liam mal o contexto ou cometiam saltos lógicos ruins. Isso nos diz que o problema não é apenas que os modelos estão sendo teimosos; é que sua capacidade de fundamentar suas respostas no texto fornecido é fundamentalmente instável. Os pesquisadores concluem que precisamos construir novas arquitetias e métodos de treinamento que forcem os modelos a permanecerem fundamentados na evidência, não importa como a pergunta seja formulada. Até lá, mesmo os bibliotecários de IA mais inteligentes podem estar a apenas uma frase ligeiramente diferente de inventar uma história inteiramente nova.