💬 NLP

SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

O artigo propõe o SECA, um método de ataque adversarial que elicita alucinações em Grandes Modelos de Linguagem (LLMs) por meio de modificações realistas e semanticamente coerentes nos prompts, superando as limitações de abordagens anteriores que utilizam instruções não naturais.

Autores originais: Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

Publicado 2026-02-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os Grandes Modelos de Linguagem (LLMs), como o ChatGPT, são como estudantes superinteligentes, mas um pouco nervosos, que estudaram milhões de livros e estão prontos para responder qualquer pergunta. O problema é que, às vezes, eles "alucinam": inventam fatos, confundem números ou dão respostas erradas com uma confiança absoluta, como se estivessem certos.

O artigo que você enviou, chamado SECA, é como um detetive de testes de estresse que descobriu uma nova e assustadora maneira de fazer esses estudantes nervosos cometerem erros, mesmo quando a pergunta parece perfeitamente normal.

Aqui está a explicação do funcionamento do SECA, usando analogias do dia a dia:

1. O Problema: Como os outros tentavam "quebrar" o modelo

Antes do SECA, os pesquisadores tentavam fazer os modelos errarem de duas formas principais, que não funcionavam muito bem para o mundo real:

O Ataque do "Babado" (Gibberish): Era como jogar uma sopa de letras na cara do estudante. Exemplo: "Qual é o valor de p em 24 = 2p? com@Now"!%&"*.
- O resultado: O modelo ficava confuso e respondia algo estranho. Mas isso não é útil, porque ninguém fala assim na vida real. É como tentar enganar um juiz jogando tinta nele.
O Ataque da "Mudança de Significado": Era como mudar a pergunta completamente. Exemplo: Em vez de perguntar "Quanto é 24 dividido por 2?", perguntar "Quanto é 24 dividido por 3?".
- O resultado: O modelo dá a resposta certa para a nova pergunta (que é errada para a antiga). Isso não prova que o modelo alucina; prova apenas que ele entendeu que a pergunta mudou.

2. A Solução SECA: O "Reconto da História" Perfeito

O SECA (Ataques Semanticamente Equivalentes e Coerentes) faz algo diferente. Ele age como um tradutor mestre ou um contador de histórias.

A ideia é: "Como posso reescrever esta pergunta de uma forma totalmente nova, usando palavras diferentes e uma estrutura diferente, mas mantendo exatamente o mesmo significado?"

Pergunta Original: "Qual é o valor de p em 24 = 2p?"
Versão SECA: "Se dobrar o valor de p resultar em 24, qual é o p?"

Veja a mágica:

Semântica Equivalente: A pergunta é a mesma. A resposta correta ainda é 12.
Coerente: A frase faz sentido gramatical e lógico. Ninguém acharia estranho ler isso.
O Efeito: Quando o modelo vê essa nova versão, ele alucina. Ele pode responder "p = 8" e inventar uma explicação matemática totalmente falsa para justificar o erro.

3. Como o SECA funciona (A Metáfora do "Jogo de Palavras")

O SECA não chuta aleatoriamente. Ele usa um processo inteligente em três etapas, como se fosse uma equipe de trabalho:

O Criativo (Proposer): É um modelo de IA que recebe a ordem: "Reescreva esta pergunta de 30 maneiras diferentes, mas mantenha o significado exato. Seja criativo, use sinônimos, mude a ordem das palavras."
- Analogia: Imagine um roteirista que tem que contar a mesma história de 30 formas diferentes, sem mudar o final.
O Fiscal (Feasibility Checker): É outro modelo de IA que olha para cada uma das 30 versões e diz: "Espere, essa versão mudou o significado? Essa versão não faz sentido? Se sim, descarte."
- Analogia: É como um editor rigoroso que garante que nenhuma das histórias contadas pelo roteirista tenha mudado o enredo original.
O Testador (Target Model): As versões aprovadas são enviadas para o modelo que queremos testar. O SECA escolhe a versão que mais fez o modelo errar.

4. Por que isso é importante?

O artigo descobriu algo curioso: Quanto mais criativa e detalhada a reescrita, maior a chance de erro.

Pense assim: Se você pergunta a um amigo "Quanto é 2+2?", ele responde "4". Se você perguntar "Se eu tiver dois pares de meias e adicionar mais dois pares, quantos pares de meias terei?", ele ainda responde "4". Mas, se você fizer uma pergunta muito longa, com muitas palavras difíceis e uma estrutura complexa (mas que significa a mesma coisa), o cérebro humano (e o da IA) pode se perder no caminho e cometer um erro bobo.

O SECA mostrou que os modelos de IA são extremamente sensíveis a variações na linguagem, mesmo que o significado seja o mesmo.

5. Conclusão: O que aprendemos?

O SECA nos dá um aviso importante:

Não confie cegamente: Mesmo que a pergunta pareça perfeita e lógica, a IA pode estar "alucinando" e inventando fatos.
Segurança: Isso é crucial para áreas como medicina, direito e finanças. Se um médico usar uma IA para diagnosticar uma doença e a IA inventar um sintoma porque a pergunta foi reescrita de uma forma específica, isso pode ser perigoso.
Melhoria: Ao entender como e por que esses erros acontecem (através de reescritas criativas), os cientistas podem criar modelos mais robustos que não se confundem com a "embromação" linguística.

Em resumo, o SECA é uma ferramenta que diz: "Não adianta apenas testar se a IA sabe a resposta; precisamos testar se ela mantém a verdade quando a pergunta é contada de um jeito novo e criativo."

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados em domínios de alto risco (saúde, finanças, direito), mas sofrem de um problema crítico: alucinações (geração de informações factuais incorretas ou não fiáveis ao contexto).

O trabalho identifica uma lacuna nas pesquisas anteriores sobre ataques adversariais para induzir alucinações:

Ataques existentes: Métodos anteriores (como otimização em nível de token, jailbreaks ou agentes de LLM) frequentemente geram prompts que são não realistas. Eles podem inserir tokens sem sentido (gibberish), alterar o significado original da pergunta (meaning-shift) ou fazer pedidos triviais que não testam a robustez do modelo em cenários do mundo real.
A Lacuna: Não havia uma metodologia eficaz para encontrar ataques realistas que sejam semanticamente equivalentes à pergunta original e linguisticamente coerentes, mas que ainda assim consigam enganar o modelo e induzir uma alucinação.

O objetivo central é formular a geração de ataques realistas como um problema de otimização restrita, onde o prompt adversarial deve manter o mesmo significado e coerência do original, mas maximizar a probabilidade de o modelo falhar.

2. Metodologia: SECA

Os autores propõem o SECA (Semantically Equivalent and Coherent Attacks), um método de ordem zero (zeroth-order) que preserva restrições. A abordagem é inspirada em ataques adversariais em visão computacional, mas adaptada para o espaço discreto de texto.

Formulação do Problema

O problema é definido como uma otimização restrita:

Objetivo: Maximizar a probabilidade logarítmica de o modelo gerar um token de resposta incorreto específico ( $y^*$ ), ou seja, maximizar $\log P_T(y^*|x)$ .
Restrição de Equivalência Semântica: O prompt adversarial $x$ deve ser semanticamente equivalente ao prompt original $x_0$ (implicação mútua, sem adição ou omissão de informações essenciais, mesma resposta correta).
Restrição de Coerência Semântica: O prompt $x$ deve ser coerente e parecer natural para um humano (dentro do conjunto de prompts válidos $X_{text}$ ).

Algoritmo SECA

O método utiliza uma abordagem iterativa baseada em três componentes principais, sem necessidade de acesso aos gradientes do modelo alvo (caixa preta):

Propositor de Equivalência Semântica (Proposer LLM): Um LLM instruído ( $P$ ) recebe o prompt atual e gera $M$ novas variações. Para evitar colapso semântico (repetição), o propositor usa instruções aleatórias de verbos, estilos e tarefas para garantir diversidade lexical e estrutural, mantendo o significado.
Verificador de Viabilidade (Feasibility Checker LLM): Um segundo LLM mais potente ( $F$ ) atua como um "filtro" rigoroso. Ele avalia se cada candidato gerado pelo propositor satisfaz estritamente as condições de equivalência semântica em relação ao prompt original. Se falhar, o candidato é descartado.
Seleção do Ataque Mais Adversarial: Entre os candidatos viáveis (que passaram no verificador), o algoritmo calcula a probabilidade de gerar o token alvo incorreto no modelo de destino ( $T$ ). Os top- $N$ candidatos mais adversariais são mantidos para a próxima iteração.

O processo repete-se até atingir um limite de iterações ou um limiar de sucesso, garantindo que o prompt final seja tanto adversarial quanto semanticamente fiel e coerente.

3. Contribuições Principais

Formulação Teórica: Definiram o problema de indução de alucinações realistas como um problema de otimização restrita com base em equivalência e coerência semântica.
Algoritmo SECA: Desenvolveram um método de ordem zero que navega eficientemente no espaço de prompts discretos, utilizando LLMs para propor e validar restrições, evitando buscas exaustivas.
Validação Empírica: Demonstraram que o SECA supera significativamente métodos existentes (como GCG - Greedy Coordinate Gradient) em taxas de sucesso de ataque, mantendo erros de equivalência e coerência próximos de zero.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados MMLU (16 disciplinas) em diversos modelos de LLMs (abertos como Llama-3, Qwen, e comerciais como GPT-4o-Mini, GPT-4.1).

Taxa de Sucesso de Ataque (ASR): O SECA alcançou taxas de sucesso muito superiores.
- Em modelos como Llama-3-3B, o ASR@30 saltou de ~48% (prompts originais) para 80% com SECA.
- Em modelos comerciais mais robustos (GPT-4o-Mini), onde prompts originais falhavam quase totalmente (<10%), o SECA conseguiu induzir alucinações em mais de 40% dos casos.
- Em contraste, o método de base GCG teve desempenho inferior (ex: 6.26% no Llama-3-3B) e gerou prompts incoerentes.
Qualidade dos Prompts:
- Erro de Equivalência Semântica (SEE): O SECA manteve SEE = 0, enquanto o GCG teve erro de ~0.97 (quase sempre falhou na equivalência).
- Erro de Coerência Semântica (SCE): O SECA manteve prompts coerentes (SCE baixo), enquanto o GCG gerou "gibberish" (SCE extremamente alto).
Análise das Alucinações: A maioria das alucinações induzidas foi do tipo Factuality (informação falsa), e não apenas falta de fidelidade.
Características dos Prompts Bem-Sucedidos: Prompts gerados pelo SECA tendem a ser mais verbosos e apresentar maior diversidade lexical (maior Type-Token Ratio) do que os originais, sugerindo que variações linguísticas complexas podem obscurecer a intenção central e confundir o modelo.
Avaliação Humana vs. LLM: O uso de LLMs para verificar equivalência e classificar alucinações mostrou alta concordância com anotadores humanos (F1 > 0.88), validando a automação do processo.

5. Significado e Impacto

Segurança e Robustez: O SECA revela que os LLMs são extremamente sensíveis a variações sutis, realistas e semanticamente equivalentes. Isso indica que a robustez atual dos modelos é frágil mesmo em cenários onde o significado não é alterado.
Mudança de Paradigma: O trabalho desafia a noção de que apenas ataques "maliciosos" ou "gibberish" podem enganar modelos. Mostra que a própria complexidade e diversidade da linguagem natural podem ser exploradas para induzir falhas.
Aplicações Futuras: O método serve como uma ferramenta essencial para Red Teaming (testes de estresse) em ambientes de alto risco, ajudando a desenvolver modelos mais confiáveis antes da implantação.
Acesso ao Código: O framework é de código aberto, permitindo que a comunidade estude e mitigue essas vulnerabilidades.

Em resumo, o SECA demonstra que é possível "quebrar" a confiabilidade de LLMs de ponta usando apenas reescritas inteligentes e realistas das perguntas, sem recorrer a truques óbvios ou alterações de significado, expondo uma vulnerabilidade fundamental na compreensão semântica desses modelos.