Resumo Técnico: Mitigação de Ataques Adaptativos contra Modelos de Raciocínio com Treinamento de Consistência de Ativação

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) adotam o raciocínio estendido de cadeia de pensamento (CoT), o cenário de segurança mudou. Embora o CoT impulse ganhos de capacidade, ele introduz novas fragilidades: os modelos podem "convencer-se a cumprir", identificando inicialmente uma solicitação como prejudicial, mas reestruturando-a progressivamente como benigna durante o raciocínio. Além disso, ataques externos (por exemplo, H-CoT, CoT-Hijacking) exploram esse canal para contornar filtros de segurança.

As defesas existentes enfrentam dois desafios principais neste cenário:

1. Complexidade do Raciocínio: Métodos como o Alinhamento Deliberativo dependem do modelo raciocinar sobre a segurança, mas evidências sugerem que isso é insuficiente contra ataques sofisticados.
2. Escalabilidade do Treinamento: Defesas baseadas em treinamento para injeção de prompt (por exemplo, StruQ, SecAlign) geralmente exigem a supervisão da distribuição completa de saída do modelo. Para modelos de raciocínio, isso significa supervisionar centenas ou milhares de tokens de CoT por exemplo, o que é computacionalmente caro e difícil de escalar à medida que os comprimentos das trilhas aumentam.

O artigo questiona se os modelos de raciocínio podem ser treinados para ignorar contextos prejudiciais sem exigir supervisão sobre toda a trilha de pensamento longa.

Metodologia

Os autores investigam o Treinamento de Consistência, um framework auto-supervisionado que impõe comportamento idêntico em um prompt limpo ($p_{clean}$) e em um prompt "envolvido" adversarialmente reescrito ($p_{wrapped}$). Eles comparam duas variantes:

1. Treinamento de Consistência com Aumento de Viés (BCT): Uma abordagem em nível de saída. O modelo é ajustado via entropia cruzada para reproduzir a conclusão do modelo base com prompt limpo (incluindo o CoT completo e a resposta) quando recebe a entrada envolvida.
2. Treinamento de Consistência de Ativação (ACT): Uma abordagem em nível de ativação. Em vez de supervisionar saídas, o ACT impõe concordância nos estados ocultos internos do modelo. Especificamente, minimiza a distância L2 quadrada entre os estados ocultos do prompt envolvido e do prompt limpo em posições de sufixo compartilhadas (tipicamente o limite do modelo de chat e o início da vez do assistente) em todas as camadas do transformador.

Detalhes Técnicos Principais

• Extração de Sufixo Compartilhado: O método identifica a sequência mais longa de tokens coincidentes entre os prompts limpo e envolvido após a modelagem de chat. Em cenários adversariais, isso geralmente compreende apenas ~6 tokens (marcadores de fim de usuário, iniciador da vez do assistente e tokens iniciais do canal de pensamento), independentemente do comprimento do raciocínio.
• Função de Perda: Para um modelo base congelado $\theta_{init}$ e um modelo adaptado via LoRA $\theta$, a perda é:
  $$L_{ACT}(\theta) = \mathbb{E}_{(p_{clean}, p_{wrapped})} \sum_{\ell \in \mathcal{L}} \sum_{t \in \mathcal{T}} \| h_{\theta}(p_{wrapped})[\ell, t] - \text{sg}(h_{\theta_{init}}(p_{clean})[\ell, t]) \|^2$$
  onde $\text{sg}$ denota stop-gradient.
• Regularização Benigna: Para evitar degradação da utilidade, um termo de perda é adicionado em prompts benignos ($L_{benign}$) com um fator de ponderação $\lambda$.
• Dados de Treinamento: Ambos os métodos utilizam pares idênticos de $(p_{clean}, p_{wrapped})$. Para o BCT, a conclusão do modelo base em $p_{clean}$ serve como alvo; para o ACT, apenas os prompts são necessários.

Contribuições Principais

1. ACT como Defesa contra Injeção de Prompt: Os autores formulam o ACT como uma defesa contra injeção de prompt. Em três benchmarks (OPI, AlpacaFarm, SEP) e cinco modelos de raciocínio, o ACT iguala ou supera o BCT. Crucialmente, o ACT não requer rótulos fixos ou supervisão sobre o CoT completo.
2. Generalização para Ataques Adaptativos: O estudo avalia defesas contra atacantes adaptativos treinados via Aprendizado por Reforço (GRPO) diretamente no modelo defendido. O ACT demonstra robustez superior contra esses ataques adaptativos em comparação com o BCT em quase todos os alvos, tanto em cenários de jailbreak quanto de injeção de prompt, mantendo a utilidade do modelo comparável.
3. Insight Mecanístico: O artigo fornece evidências de que a defesa do ACT é codificada como uma mudança aproximadamente linear no espaço de ativação no limite da vez do assistente.
   • Direcionamento Linear: Uma única direção de direcionamento ($d_{ACT}$) pode ser recuperada. Adicionar essa direção a um modelo base induz recusa em jailbreaks, enquanto subtrairla de um modelo defendido por ACT restaura a conformidade.
   • Robustez à Manipulação de CoT: Em experimentos onde o CoT do modelo é substituído por uma trilha conformista de um modelo base não defendido, o ACT continua recusando a solicitação, enquanto o BCT frequentemente segue a trajetória de raciocínio conformista. Isso sugere que o ACT codifica a recusa antes do início da trilha de raciocínio.

Resultados

• Injeção de Prompt: Em benchmarks estáticos, tanto o ACT quanto o BCT reduzem significativamente as Taxas de Sucesso de Ataque (ASR). No entanto, sob ataques adaptativos, o ACT supera consistentemente o BCT. Por exemplo, no GPT-OSS-20B, o BCT teve uma ASR de 57,4% sob ataque adaptativo, enquanto o ACT manteve-se em 37,0%.
• Defesa de Jailbreak: O ACT alcança taxas de vitória de defesa próximas a 100% contra ataques estáticos e adaptativos na maioria dos modelos (por exemplo, Qwen3-8B, Phi-4). A robustez do BCT degrada-se substancialmente sob ataques adaptativos.
• Utilidade: Ambos os métodos geralmente preservam a utilidade da linha de base não defendida em tarefas como MMLU e precisão de prompt limpo, com a exceção notável do BCT no Phi-4-reasoning, onde a utilidade colapsou.
• Validação Mecanística: Experimentos de direcionamento confirmaram que $d_{ACT}$ atua bidirecionalmente: pode induzir recusa em modelos base e remover recusa em modelos defendidos. A direção mostrou seletividade, causando recusas falsas mínimas em entradas benignas em forças de direcionamento moderadas.

Significado e Alegações

O artigo afirma que supervisionar representações internas (ACT) é uma abordagem surpreendentemente eficaz e interpretável para treinamento de segurança em modelos de raciocínio.

• Eficiência: O ACT evita o ônus computacional de supervisionar milhares de tokens de CoT exigidos por métodos em nível de saída como o BCT.
• Robustez: Ao ancorar a supervisão no limite da vez do assistente (antes do início do raciocínio), o ACT cria uma defesa que é robusta mesmo quando a própria trilha de raciocínio é manipulada ou substituída.
• Interpretabilidade: A descoberta de uma direção linear de recusa sugere que os mecanismos de segurança em modelos de raciocínio podem ser controlados via direcionamento simples de ativação, oferecendo um caminho potencial para defesas sem treinamento ou compreensão mecanística mais profunda.

Os autores reconhecem limitações, incluindo a necessidade de criar conjuntos de dados limpos/envolvidos, vulnerabilidade potencial a ataques de caixa branca com acesso direto ao gradiente e o fato de que nenhuma defesa alcança 100% de segurança. Eles posicionam o ACT como uma abordagem complementar que aborda a fragilidade específica introduzida pelo raciocínio estendido de cadeia de pensamento.