Resumo Técnico: REALISTA

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) exibem alucinações mesmo ao responder a consultas benignas de usuários. Compreender os mecanismos que desencadeiam essas falhas requer ataques adversariais realistas que satisfaçam duas restrições críticas:

1. Equivalência Semântica: O prompt adversarial deve preservar a intenção semântica original do prompt benigno.
2. Coesão Semântica: O prompt adversarial deve ser fluente e semelhante ao humano.

Métodos existentes falham em satisfazer simultaneamente essas restrições. Ataques baseados em prompts discretos (por exemplo, SECA) preservam o realismo semântico, mas são limitados a um espaço de busca esparsa e discreta, restringindo a diversidade do ataque. Ataques contínuos no espaço latente exploram um espaço mais rico, mas frequentemente decodificam em prompts que são sem sentido ou semanticamente distintos do original, violando a restrição de equivalência. O desafio central é permitir uma exploração ampla no espaço latente enquanto se impõe estritamente o realismo semântico.

Metodologia: REALISTA

Os autores propõem o REALISTA (Ataques Adversariais Realistas no Espaço Latente), um framework que formula a elicitação de alucinações como um problema de otimização restrita no espaço latente do LLM. O método preenche a lacuna entre abordagens discretas e contínuas através dos seguintes componentes:

1. Dicionário de Edição Dependente da Entrada

Em vez de otimizar vetores latentes arbitrários, o REALISTA constrói um dicionário de direções de edição interpretáveis específicas para cada prompt de entrada $x_0$.

• Seleção de Conceitos: Utilizando um procedimento de otimização de conceitos (aproveitando o WordNet e um avaliador baseado em LLM), o método seleciona um conjunto diversificado de palavras-chave conceituais relevantes para a entrada.
• Direções Latentes: Para cada conceito selecionado, uma reescrita semanticamente equivalente $x^{(i)}_{SE}$ é gerada. O codificador $\phi$ mapeia essas reescritas para representações latentes, e a direção de edição é definida como $z^{(i)} = \phi(x^{(i)}_{SE}) - \phi(x_0)$.
• Dicionário: O conjunto dessas direções forma o dicionário $D$, que abrange um subespaço de transformações que preservam a semântica.

2. Otimização Contínua sobre um Simplex

O ataque é formulado como a busca por um vetor de força de edição ótimo $\delta$ tal que a representação latente adversarial $z$ seja:
$$z = z_0 + D\delta$$
onde $z_0 = \phi(x_0)$. O problema de otimização é:
$$\min_{\delta} \mathcal{L}_{hall}(f_T(x), y^*) \quad \text{s.t.} \quad \delta \in \Delta_\varepsilon$$

• Objetivo: Minimizar a perda de alucinação (por exemplo, log-probabilidade negativa de uma resposta incorreta ou uma pontuação de alucinação de um juiz).
• Restrição: $\delta$ é restrito a um simplex escalado ($\delta \succeq 0, \|\delta\|_1 \le \varepsilon$). Isso impõe esparsidade e não negatividade, garantindo que a perturbação seja uma combinação convexa suave de edições que preservam a semântica, em vez de uma grande mudança arbitrária.

3. Decodificador e Salvaguarda Semântica

• Reconstrução do Prompt: Um operador inverso aproximado (decodificador) $\psi$, implementado usando o mesmo LLM do codificador, mapeia o latente perturbado $z$ de volta ao espaço de prompts $x = \psi(z)$.
• Algoritmo de Otimização: Os autores empregam Dinâmica Langevin Projetada (PLD) para resolver a otimização não convexa. Isso envolve:
  • Reparametrização Gumbel-Softmax: Para permitir o fluxo de gradiente através do processo de decodificação discreto.
  • Exploração Estocástica: Injeção de ruído gaussiano para escapar de mínimos locais na paisagem de otimização plana por partes.
  • Salvaguarda de Equivalência Semântica: Durante a otimização, se um prompt candidato $x$ falhar em uma verificação de equivalência semântica (realizada por um LLM instruído), o sinal de gradiente é descartado, impedindo que o otimizador se desvie para regiões não equivalentes.

Contribuições Principais

1. Dicionário de Edição Dependente da Entrada: Um método para construir um conjunto compacto, diversificado e válido de direções de edição latente condicionado ao prompt original, permitindo modificação contínua enquanto preserva a semântica.
2. Otimização Restrita ao Simplex: Formular a elicitação realista de alucinações como um problema de otimização contínua sobre um simplex escalado, equilibrando flexibilidade de exploração com restrições semânticas.
3. Framework de Ataque Realista: A integração do dicionário de edição, restrição de simplex e salvaguarda semântica no algoritmo REALISTA, que navega com sucesso no compromisso entre eficácia do ataque e realismo semântico.

Resultados Experimentais

O artigo avalia o REALISTA em LLMs de código aberto (Llama-3, Qwen-2.5) e modelos de raciocínio comerciais (variantes do GPT-5) em 16 disciplinas do MMLU.

• Taxa de Sucesso do Ataque (ASR): O REALISTA alcança uma ASR superior ou comparável em relação a ataques realistas de última geração (SOTA) (por exemplo, SECA). Por exemplo, no Llama-3-8B, o REALISTA alcança uma ASR@30 de 93,60%, superando o SECA (82,97%) e o LARGO (57,92%).
• Erros Semânticos: Crucialmente, o REALISTA mantém baixos Erro de Equivalência Semântica (SEE) e Erro de Coerência Semântica (SCE), comparáveis ao SECA e significativamente melhores do que as bases contínuas como LARGO e ICD, que frequentemente exibem SEE próximo a 100%.
• Modelos de Raciocínio: O REALISTA elicita com sucesso alucinações de modelos de raciocínio comerciais (GPT-5-Nano, GPT-5-Mini) em cenários de resposta livre, uma situação onde ataques realistas anteriores (SECA, LARGO) falham devido à sua dependência de formatos de saída fixos ou acesso aos logits do modelo alvo.
• Análise de Conceitos: A análise dos conceitos ativados revela que os ataques bem-sucedidos exploram principalmente mudanças estruturais e de enquadramento (por exemplo, inversão de polaridade, reestruturação lógica, enquadramento instrucional) em vez de alterar o conteúdo factual.

Significado e Alegações

O artigo alega que o REALISTA demonstra que ataques de alucinação realistas são viáveis mesmo em cenários de implantação de caixa preta centrados em raciocínio. Ao preencher a lacuna entre paradigmas de ataque discretos e contínuos, o framework fornece uma ferramenta mais sistemática para testes de invasão (red-teaming) de LLMs.

Os autores enfatizam que seu trabalho ajuda a caracterizar modos de falha onde prompts lexicalmente diferentes, mas semanticamente equivalentes, levam a alucinações. Eles observam que, embora o método melhore a eficácia da elicitação de alucinações (potencialmente reduzindo barreiras para uso indevido), sua utilidade primária reside no desenvolvimento de estratégias de defesa mais robustas, revelando como os modelos falham sob perturbações realistas. O trabalho destaca a importância de ataques no espaço latente para avaliar a confiabilidade de LLMs em cenários realistas onde a busca discreta é insuficiente.