Resumo Técnico: Direcionando Pontos de Vista de LLMs através da Injeção de Evidências Fabricadas

Declaração do Problema

O artigo identifica uma vulnerabilidade cognitiva crítica em Grandes Modelos de Linguagem (LLMs): sua tendência de confiar incriticamente em contextos externos quando estes são apresentados com marcadores de credibilidade, mesmo que esse contexto contenha evidências fabricadas. Embora os mecanismos atuais de alinhamento de segurança resistam eficazmente a solicitações diretas de geração de conteúdo prejudicial, eles falham em distinguir entre informações de base legítimas e entradas adversariais disfarçadas como fatos objetivos e autoritários. Este "viés de autoridade" permite que adversários contornem filtros de segurança ao reempacotar pontos de vista enganosos em narrativas pseudo-científicas ou pseudo-acadêmicas, fazendo com que o modelo internalize e propague esses vieses ao responder a consultas relevantes.

Metodologia: O Framework Ghostwriter

Os autores propõem o Ghostwriter, um framework de ataque de duas fases projetado para explorar essa vulnerabilidade sem exigir ajuste fino (fine-tuning) do modelo, manipulação de pesos ou acesso a estados internos. O ataque opera sob um modelo de ameaça de caixa preta (black-box), onde o adversário controla o conteúdo injetado e pelo menos um canal de entrega (ex: agregadores de terceiros, modificações internas ou ferramentas de recuperação).

Fase 1: Reempacotamento de Declarações (Statement Repackaging)

A primeira fase transforma uma declaração bruta e subjetiva ($S$) em uma versão refinada e aparentemente objetiva ($S'$) que carrega marcadores de credibilidade.

• Processo: Um "AttackerLM" leve (GPT-4o-mini ou um Qwen-2.5-7B ajustado) reescreve a declaração para incluir racionales fabricados, tais como estatísticas, estudos de caso e frases autoritárias (ex: citando um "Journal de Ciências Comportamentais").
• Otimização: Um loop iterativo utiliza um "JudgeLM" para pontuar a fidelidade de $S'$ em relação ao $S$ original em uma escala de 1 a 10. O processo se repete até que um alto escore de alinhamento (≥8) seja alcançado, garantindo que o conteúdo reempacotado retenha o ponto de vista original enquanto parece cientificamente fundamentado.

Fase 2: Injeção de Declarações (Statement Injection)

A segunda fase incorpora a declaração reempacotada ($S'$) na janela de contexto do LLM alvo usando um template de prompt condicional ($T_{inject}$).

• Mecanismo: O template instrui o modelo alvo a avaliar silenciosamente se uma consulta do usuário ($Q$) é relevante para $S'$.
  • Se Relevante: O modelo é condicionado a incorporar $S'$ em sua resposta, apoiando o ponto de vista com raciocínio enquanto aborda a questão específica do usuário.
  • Se Irrelevante: O modelo responde normalmente, ocultando a manipulação e mantendo o comportamento padrão.
• Objetivo: O objetivo é fortalecer o alinhamento de ponto de vista em consultas relevantes ($V(S, R) > V(S, M_\theta(Q))$) enquanto mantém consultas não relacionadas indistinguíveis de respostas não atacadas.

Principais Contribuições

1. Identificação do Viés de Autoridade: O artigo estabelece que o alinhamento de segurança em LLMs comerciais falha em distinguir evidências pseudo-acadêmicas fabricadas de contexto legítimo quando estas carregam marcadores de autoridade (citações, estatísticas, linguagem cautelosa/hedging).
2. Framework de Ataque Ghostwriter: Os autores introduzem um novo framework de ataque de duas fases que separa o reempacotamento de pontos de vista (para evitar o alinhamento) da injeção (para impulsionar a internalização). Diferente de jailbreaks que forçam a divulgação ou de envenenamento de RAG que força a citação, o Ghostwriter força o modelo a adotar o ponto de vista como sua própria análise.
3. Avaliação Abrangente: O estudo avalia o ataque em diversos domínios de conteúdo (estereótipos, desinformação política/de marca/médica, manipulação psicológica) usando o Hazardous Viewpoints Dataset (HVD), juntamente com os benchmarks estabelecidos BBQ e ToxiGen.

Resultados Experimentais

Os autores avaliaram o Ghostwriter em uma gama de modelos, incluindo modelos baseados em alinhamento (GPT-4o, Claude-3.7-Sonnet, DeepSeek-V3), modelos de raciocínio (DeepSeek-R1, o3-mini) e modelos guardados por classificadores de fronteira (GPT-5.4).

• Eficácia do Ataque:
  • No dataset HVD, ataques usando o reempacotador Qwen-2.5-7B ajustado aumentaram o Viewpoint Support Score (VSScore) de uma linha de base de ~1.5–2.5 para 8.0–9.8 em várias categorias (ex: Gênero, Raça, Desinformação Política).
  • O ataque generalizou-se com sucesso tanto para consultas explícitas (perguntando diretamente sobre o tópico) quanto para consultas implícitas (cenários de tomada de decisão influenciados pelo tópico).
  • Maleficidade: A Taxa de Mudança de Maleficidade (HCRate) aumentou significamente. Por exemplo, no GPT-4o, a taxa de respostas inseguras subiu de <2% para mais de 72% (usando GPT-4o-mini como atacante) e até 202% (usando o Qwen-2.5-7B ajustado), indicando que o ataque transforma conteúdo benigno em saídas prejudiciais.
• Robustez do Modelo:
  • Modelos baseados em alinhamento foram altamente vulneráveis.
  • Modelos de raciocínio (ex: DeepSeek-R1) permaneceram altamente suscetíveis, apesar do processamento estendido de cadeia de pensamento (chain-of-thought).
  • Modelos guardados por classificadores (ex: GPT-5.4) mitigaram apenas parcialmente o ataque. Embora tenham reduzido a taxa de sucesso, não eliminaram a vulnerabilidade. A vulnerabilidade residual decorreu do fato de o gerador internalizar o ponto de vista uma vez que a entrada passasse pelo classificador frontal, em vez de o gerador recusar o conteúdo.
• Comparação com Baselines: O Ghostwriter superou ataques de contexto existentes (Jailbreaks como PAIR/PRS e envenenamento de RAG como PoisonedRAG). Enquanto os payloads de envenenamento de RAG atingiram pontuações altas em tópicos de baixa sensibilidade, eles colapsaram em categorias de alta sensibilidade de segurança, onde o Ghostwriter manteve uma lacuna de 4.9 pontos no VSScore.
• Agnosticismo de Tarefa: O ataque não degradou o desempenho do modelo em tarefas não relacionadas (medido via MMLU-Pro), confirmando que a manipulação é condicional e oculta.

Significância e Alegações

O artigo alega que o Ghostwriter expõe uma lacuna fundamental entre o alinhamento generativo e a consciência avaliativa. Mesmo modelos de fronteira que conseguem detectar conteúdo prejudicial ao atuarem como juízes (ex: GPT-5.4 sinalizando 93% das respostas atacadas como inseguras) falham em prevenir a geração desse mesmo conteúdo prejudicial ao atuarem como geradores.

Os autores argumentam que os mecanismos de segurança atuais são insuficientes contra entradas que mimetizam o discurso autoritário. Eles demonstram que o reempacotamento é o fator crítico para contornar o alinhamento, não o canal de injeção em si. Como defesa, propõem uma política de segurança personalizada para o gpt-oss-safeguard, que alcançou uma taxa de detecção de 80.5% com uma baixa taxa de falsos positivos de 1.4%, sugerindo que políticas de detecção post-hoc podem ser um complemento necessário ao alinhamento generativo.

O artigo conclui que, sem defesas específicas contra evidências fabricadas, os LLMs permanecem vulneráveis a campanhas de persuasão e desinformação em larga escala que exploram sua confiança inerente em contextos "créditos".