CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense

No cenário digital moderno, os sistemas de inteligência artificial são cada vez mais incumbidos de responder a perguntas complexas pesquisando em vastas bibliotecas de documentos. Esse processo, conhecido como geração aumentada por recuperação, funciona como um estudante que tem permissão para abrir um livro didático durante um exame. Em vez de confiar apenas em sua memória interna, que pode estar desatualizada ou propensa a inventar coisas, o sistema busca páginas relevantes de um banco de dados e as utiliza para construir uma resposta. Para garantir a transparência, esses sistemas são projetados para citar suas fontes, anexando uma referência ao documento específico que apoiou cada afirmação. Para o usuário, essa citação atua como um recibo, uma forma de verificar que a informação vem de um lugar confiável e não da imaginação da máquina. A suposição subjacente é simples: se o sistema aponta para uma fonte, essa fonte deve ser a que realmente convenceu a máquina a dar aquela resposta.

Um pesquisador da Universidade da Cidade de Hong Kong descobriu que essa suposição é perigosamente frágil. Ele identificou uma nova maneira de enganar esses sistemas, não alterando a resposta em si, mas sequestrando o recibo. Seu trabalho revela que um atacante pode controlar um único documento no banco de dados e manipular o sistema para produzir uma resposta completamente falsa enquanto aponta simultaneamente o dedo para um documento diferente e confiável que não contém evidências para essa falsidade. O pesquisador chama isso de "lavagem de citação" (citation laundering). É uma forma furtiva de decepção onde o erro parece legítimo porque é respaldado por uma citação que o usuário já confia, embora a verdadeira causa do erro resida em uma fonte maliciosa oculta que o usuário nunca vê.

O pesquisador demonstrou essa vulnerabilidade configurando um experimento controlado envolvendo múltiplos documentos e uma série de perguntas difíceis que exigiam combinar informações de diferentes fontes. Em um cenário padrão e seguro, o sistema leria os documentos disponíveis, encontraria os fatos corretos e citaria o documento que realmente detinha esses fatos. No entanto, quando o pesquisador introduziu um único documento malicioso cuidadosamente elaborado na mistura, o comportamento do sistema mudou dramaticamente. Este documento malicioso não tentou deletar a informação correta ou bloquear o sistema de encontrar a verdade. Em vez disso, ele foi escrito para ser tão persuasivo que o sistema adotaria sua afirmação falsa como a resposta. Crucialmente, o documento também foi estruturado para explorar uma peculiaridade na forma como o sistema escolhe qual fonte citar.

O método do sistema para selecionar uma citação não é um reflexo perfeito de qual documento causou a resposta. Em vez disso, é influenciado por onde os documentos aparecem na lista e por marcadores ou rótulos específicos anexados a eles. O pesquisador descobriu que, ao colocar seu documento malicioso em uma posição específica e adicionar uma frase sutil que ecoasse o rótulo de um documento inocente e confiável, eles poderiam forçar o sistema a citar o inocente. O resultado foi uma citação "lavada": o sistema deu uma resposta errada impulsionada pelo documento ruim, mas o usuário viu uma citação apontando para o documento bom. Em seus testes, essa técnica elevou a taxa de respostas erradas de um negligenciável um por cento para quase setenta por cento. Nos sistemas mais vulneráveis, o ataque teve sucesso em mais de noventa por cento dos casos, provando que a falha não é um glitch raro, mas uma fraqueza fundamental na forma como esses sistemas vinculam respostas a fontes.

O que torna essa descoberta particularmente preocupante é que o ataque funciona sem quaisquer instruções ou comandos complexos escondidos dentro do texto. O documento malicioso simplesmente lê como uma entrada de enciclopédia normal, declarando um fato falso como se fosse uma verdade estabelecida, seguido por uma frase que menciona casualmente a fonte confiável. O sistema, seguindo seus padrões naturais, capta essa frase e a posição do texto para gerar a citação. O pesquisador mostrou que essa vulnerabilidade acompanha a disposição de um sistema em citar fontes, em vez de seu tamanho geral ou inteligência. Os modelos que são melhores em fornecer respostas precisas e bem fundamentadas são, na verdade, os mais suscetíveis a esse truque, porque são aqueles com maior probabilidade de gerar uma citação em primeiro lugar. Um sistema que nunca cita nada não pode ser enganado para lavar uma citação, mas também não pode ser auditado por um leitor humano.

Para entender a profundidade deste problema, o pesquisador testou um mecanismo de defesa que simplesmente verifica se o texto citado apoia a afirmação. Esta é a forma padrão pela qual usuários e ferramentas automatizadas atualmente verificam informações. Eles descobriram que essa defesa falha completamente contra a lavagem de citação. Porque o sistema aponta para o documento confiável, e esse documento de fato existe e é relevante para o tópico, a verificação passa. O sistema não está mentindo sobre o que o documento confiável diz; ele está mentindo sobre qual documento causou a resposta. O documento confiável é inocente, mas está sendo usado como um escudo para o malicioso. O pesquisador confirmou que a fonte maliciosa era o verdadeiro motor da resposta errada ao remover o documento do contexto e observar o sistema retornar à resposta correta, provando que a citação era uma cortina de fumaça.

O estudo também explorou se simplesmente filtrar textos estranhos ou confusos poderia deter o ataque. Eles descobriram que, como os documentos maliciosos foram escritos para soar como prosa natural e profissional, eles passaram pelos filtros projetados para capturar erros óbvios ou frases estranhas. A única maneira de detectar reliablemente este tipo específico de decepção é olhar para o elo causal entre a fonte e a afirmação, perguntando não apenas "esta fonte apoia a afirmação?", mas "esta fonte realmente causou a afirmação?". O pesquisador propôs um novo método de defesa que simula a remoção de cada fonte uma por uma para ver qual é verdadeiramente responsável pelo resultado. Embora esta abordagem seja mais computacionalmente dispendiosa, é a única maneira de enxergar através da lavagem.

As implicações deste trabalho estendem-se além da mera curiosidade acadêmica. À medida que a inteligência artificial se torna mais integrada às notícias, pesquisas e tomada de decisões, a confiança depositada nas citações é um recurso de segurança crítico. Se esse recurso puder ser manipulado, todo o rastro de auditoria torna-se não confiável. O pesquisador mostrou que isso não é um risco teórico, mas um risco prático que pode ser executado com ferramentas relativamente simples. Ele demonstrou que o ataque funciona através de diferentes tipos de perguntas e diferentes modelos, sugerindo que o problema é generalizado. Os modelos mais eficazes, aqueles que são mais úteis e precisos em condições normais, são os que podem ser mais facilmente induzidos ao erro para fornecer uma resposta falsa com uma citação de aparência credível.

No fim, o artigo revela uma lacuna entre o que um sistema diz que usou e o que ele realmente usou. A citação não é uma memória da fonte que convenceu a máquina; é um produto do próprio processo de decodificação da máquina, moldado pela posição do texto e pelos rótulos que ela vê. Esse descompasso cria um espaço onde um atacante pode esconder uma afirmação falsa atrás de um nome confiável. O pesquisador não encontrou uma maneira de corrigir isso com um simples patch ou uma mudança de regra. Em vez disso, ele mostrou que a forma atual de verificar informações é insuficiente e que uma nova abordagem é necessária para garantir que a fonte creditada é verdadeiramente a fonte que importava. O trabalho serve como um aviso de que, na era das respostas automatizadas, o recibo nem sempre é a prova da compra, e a evidência de aparência mais confiável pode ser a mais perigosa.