Resumo Técnico: Vozes Fora da Distribuição: Subgêneros de Fanfiction como Vernáculo Universal

1. Declaração do Problema

A pesquisa atual sobre o jailbreak (quebra de segurança) de Large Language Models (LLMs) alinhados foca em artefatos discretos: sufixos adversários, sobreposições de persona específicas ou modelos de prompts manuais. Esses ataques possuem formas superficiais reconhecíveis que os fornecedores podem rastrear e corrigir, levando a uma corrida de "gato e rato" sobre prompts individuais.

Os autores argumentam que essa perspectiva ignora a vulnerabilidade fundamental: o treinamento de alinhamento falha não contra sentenças inteligentes específicas, mas contra um registro inteiro de escrita humana natural que o treinamento de segurança não cobriu suficientemente. Embora os modelos sejam pré-treinados em vastas quantidades de escrita criativa impulsionada por leitores (ex: fanfiction), o ajuste de segurança (safety tuning) frequentemente falha ao não cobrir o conteúdo procedimental nocivo quando este está incorporado dentro desses registros narrativos específicos e benignos. O artigo postula que deslocar a distribuição de entrada para esses registros "fora da distribuição" contorna os filtros de segurança que dependem de correspondência de palavras-chave ou detecção de modelos (templates).

2. Metodologia

O artigo introduz uma nova família de ataques que utiliza subgêneros reais de fanfiction como portadores universais de ataque. A metodologia consiste em três componentes:

A. O Meta-Prompt de Condicionamento de Cinco Exemplos (Five-Shot AO3)

O ataque não depende de um LLM atacante para gerar o prompt de jailbreak dinamicamente. Em vez disso, utiliza um mecanismo de condicionamento estático de cinco exemplos (five-shot):

1. Material de Origem: Passagens são extraídas do Archive of Our Own (AO3), o maior arquivo aberto de fanfiction impulsionada por leitores.
2. Subgêneros: Doze subgêneros distintos são selecionados, abrangendo forma narrativa, arco afetivo, construção de mundo e voz introspectiva (ex: screenplay_format, epistolary, danmei_xianxia, hurt_comfort).
3. Meta-Prompt: Um prompt de "coach de escrita criativa" (usando GPT-5.4-mini) é construído. Ele fornece cinco passagens reais de um subgênero específico e pede ao LLM alvo que escreva uma cena curta na mesma voz, onde o clímax da cena incorpora naturalmente o comportamento nocivo pretendido.
4. Sem Sobrescrita Explícita: O meta-prompt não contém instruções explícitas de jailbreak ou sobreposições de política; o sinal de ataque é derivado inteiramente das propriedades distributivas do registro escolhido.

B. Sobreposições Estruturais e Transferência de Estilo

Os autores conduzem um experimento fatorial cruzando os 12 registros com 7 sobreposições estruturais (incluindo baselines existentes como Adversarial Poetry, DeepInception e Crescendo). Isso isola a contribuição do "registro" (a voz) versus a "estrutura" (o modelo/template).

C. SAGA-A4 (Ataque Estático de Múltiplos Turnos)

Para estender o ataque ao diálogo de múltiplos turnos, os autores propõem o SAGA-A4, um pipeline estático de quatro turnos que não requer um LLM atacante nem adaptação para cada alvo. Os turnos são:

1. T1 (Entrada no Registro): Estabelece a cena e o registro sem retratar o ato.
2. T2 (Comprometimento de Consistência): Aprofunda o cenário e os detalhes sensoriais, mantendo o registro.
3. T3 (Ponte FITD): Lista objetos concretos/preparações necessárias, comprometendo-se ainda mais com o cenário.
4. T4 (Clímax Operacional): Retrata a execução real do comportamento nocivo com especificidade procedimental, aproveitando os compromissos assumidos nos turnos anteriores.

D. Protocolo de Avaliação

• Alvos: 8 LLMs alinhados (4 famílias de pesos abertos: Qwen, Llama, Gemma; 2 de código fechado: Gemini, DeepSeek).
• Benchmarks: União de HarmBench (200 comportamentos) e JailbreakBench (90 comportamentos), totalizando 290 comportamentos nocivos através de 16 categorias de perigo.
• Julgamento: Um ensemble de quatro juízes (HarmBench-13B, LlamaGuard-3-8B, WildGuard-7B e a pontuação de StrongREJECT do GPT-5.4-mini) com uma regra de maioria de 2 de 4 para determinar a Taxa de Sucesso de Ataque (ASR).

3. Resultados Principais

A. Superioridade do Registro sobre a Estrutura

• Melhoria de ASR: O ataque de vernáculo (registro de fanfiction) alcançou uma ASR média de 0,731 em todos os modelos, comparado a 0,278 para seis templates de baseline existentes. Isso representa uma melhoria de 3,11×.
• Registro vs. Comprimento: Controles de correspondência de comprimento (PlanX) reduziram a razão para 2,21×, mas não eliminaram a vantagem, provando que o registro de voz é uma dimensão de ataque independente e invariante ao comprimento.
• Independência de Template: Uma célula "sem template" (usando apenas o meta-registro de cinco exemplos sem qualquer sobreposição estrutural adicional) alcançou uma ASR de 0,769, igualando os melhores overlays existentes. Isso indica que a escolha do registro de condicionamento é o fator dominante, não o template estrutural.

B. Desempenho de Múltiplos Turnos

• SAGA-A4 alcançou uma ASR média de 0,924, excedendo substancialmente três métodos de múltiplos turnos existentes (Crescendo: 0,383, FITD: 0,786, ActorAttack: 0,799).
• A natureza estática e escrita à mão do SAGA-A4 superou variantes adaptativas que usam LLMs atacantes, as quais foram identificadas como degradando o desempenho devido ao próprio treinamento de segurança do atacante que suaviza a cadeia.

C. Análise de Defesa

• Defesas Ativas: Duas defesas ativas, Self-Reminder e SmoothLLM, foram avaliadas.
• Resultado Contraintuitivo: Na maioria dos casos, essas defesas ampliaram a razão entre o vernáculo e a baseline em vez de reduzi-la. Elas suprimiram os templates existentes agressivamente, mas foram menos eficazes contra ataques condicionados por registro.
• Implicação: Defesas focadas em templates apenas direcionam os atacantes para ataques baseados em registro. O artigo observa que filtros de camada de entrada (como os do DeepSeek-V4-Pro) são frágeis, enquanto a segurança na camada do modelo (como no Gemini-2.5-Pro) responde melhor a lembretes de si mesmo (self-reminders), mas ainda falha contra a mudança de registro.

D. Variância de Categoria de Perigo

O ataque foi mais eficaz contra categorias onde o treinamento de segurança depende fortemente de palavras-chave superficiais (ex: Dano físico, Conteúdo sexual/adulto), onde a razão entre o vernáculo e a baseline foi maior. Categorias com baselines já fracas apresentaram ganhos relativos menores.

4. Significância e Alegações

O artigo alega as seguintes contribuições e implicações:

1. Primeira Família de Jailbreak de Registro de Fanfiction: É o primeiro trabalho a usar subgêneros reais de fanfiction, impulsionados por leitores, como portadores universais para jailbreaks, tratando o próprio corpus como a dimensão de ataque, em vez de um único registro selecionado manualmente.
2. Modo de Falha Estrutural: Os autores argumentam que a falha dos LLMs alinhados é estrutural. O treinamento de segurança não cobriu as "comunidades" (registros) específicas que os modelos internalizam durante o pré-treinamento. Os modelos aprenderam a voz dessas comunidades, mas não as restrições de segurança dentro delas.
3. Limitações das Defesas Atuais: O artigo afirma que as defesas atuais (filtros de entrada, detecção de template) são insuficientes porque abordam artefatos discretos. Como a mudança de registro é uma mudança de distribuição de linguagem natural, as defesas devem operar na camada do modelo ou no lado da saída.
4. Padrão de Avaliação: Os autores propõem que as avaliações futuras devem incluir ataques condicionados por registro e relatar a razão entre o vernáculo e a baseline para capturar a margem de segurança restante. Confiar apenas em benchmarks baseados em templates subestima o risco.
5. Posição Ética: A pesquisa é enquadrada como red-teaming para refinar a avaliação. Os autores declaram explicitamente que não recomendam o uso desses ataques em sistemas reais e tratam os dados de ataque como material controlado, liberando apenas os detalhes do registro e da estrutura, em vez de payloads prontos para copiar e colar.

Em conclusão, o artigo demonstra que a "lacuna de segurança" nos LLMs não é a falta de prompts inteligentes, mas a falta de cobertura nos registros naturais da escrita criativa humana. Ao incorporar instruções nocivas no clímax de uma cena de fanfiction, atacantes podem contornar filtros de segurança que são ajustados para detectar solicitações diretas ou estruturas de templates conhecidas.