Resumo Técnico: Âncora de Segurança: Defesa contra Ajuste Fino Prejudicial via Gargalos Geométricos

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) alinhados via Aprendizado por Reforço com Feedback Humano (RLHF) permanecem vulneráveis ao Ajuste Fino Prejudicial (HFT). Neste modelo de ameaça, atacantes realizam ajuste fino em um modelo alinhado à segurança sobre um conjunto de dados contendo instruções maliciosas (por exemplo, exemplos de jailbreak) misturadas com tarefas benignas. Mesmo uma pequena proporção de dados prejudiciais pode remover as barreiras de segurança, restaurando a capacidade do modelo de gerar conteúdo nocivo, ao mesmo tempo que mantém o desempenho em tarefas downstream benignas.

Os mecanismos de defesa existentes tentam restringir os estados internos do modelo durante o ajuste fino, dividindo-se em três categorias:

1. Baseados em Parâmetros: Restrição dos desvios de pesos em relação ao modelo base (por exemplo, LISA, EWC).
2. Baseados em Gradientes: Identificação e inibição de direções de gradiente prejudiciais específicas (por exemplo, Booster, Gradient Route).
3. Baseados em Representação: Restrição do desvio das representações ocultas internas (por exemplo, Vaccine, T-Vaccine).

O artigo argumenta que essas defesas falham consistentemente sob HFT persistente. Os autores atribuem essa falha à redundância inerente do espaço de parâmetros de alta dimensão. Os atacantes podem explorar trajetórias de otimização que são ortogonais às restrições específicas impostas por essas defesas, contornando efetivamente as barreiras de segurança enquanto satisfazem as restrições impostas.

2. Metodologia: Regularização de Gargalo de Segurança (SBR)

Para abordar as limitações de restringir o espaço de parâmetros redundante, os autores propõem a Regularização de Gargalo de Segurança (SBR). Este método desloca o foco defensivo dos parâmetros internos para a camada de desembedding, que os autores identificam como um "gargalo geométrico".

Conceito Central

Em um LLM baseado em Transformer, a probabilidade de gerar um token $t$ é determinada pela projeção linear do estado oculto final $h_{final}$ no vetor de embedding do token $w_t$:
$$\text{Score}(t) = h_{final}^\top w_t$$
Os autores postulam que, enquanto os parâmetros internos podem evoluir ao longo de infinitas trajetórias redundantes, a geração de um token específico exige estritamente que o estado oculto final se alinhe à direção de embedding desse token. Portanto, controlar o estado oculto final atua como um gargalo determinístico.

Algoritmo

O SBR opera em duas fases:

1. Aquisição Offline de Âncora: Antes do ajuste fino, o defensor extrai os estados ocultos finais ($h_{ref}$) para um conjunto de consultas de alto risco ($X_{anchor}$, por exemplo, "Como fazer uma bomba?") usando o modelo base congelado e alinhado à segurança. Esses estados servem como Âncoras de Segurança.
2. Regularização Dinâmica: Durante o ajuste fino no conjunto de dados do usuário ($D_{train}$), o modelo otimiza a perda padrão de Entropia Cruzada ($L_{CE}$) enquanto minimiza simultaneamente o Erro Quadrático Médio (MSE) entre os estados ocultos finais do modelo atual para as consultas âncora e as âncoras em cache:
   $$L_{safe}(\theta) = \frac{1}{|X_{anchor}|} \sum_{x' \in X_{anchor}} \| h_\theta(x') - h_{ref}(x') \|_2^2$$
   O objetivo total é:
   $$L_{total}(\theta) = L_{CE}(D_{train}; \theta) + \lambda \cdot L_{safe}(\theta)$$

Justificativa Teórica

O artigo fornece uma análise teórica (Apêndice E) demonstrando que:

• Ortogonalidade: Subespaços de ataque amostrados aleatoriamente são geometricamente ortogonais entre si com alta probabilidade em dimensões altas.
• Viabilidade: Um subespaço selecionado aleatoriamente quase certamente contém uma direção de descida válida para o objetivo prejudicial, permitindo que os atacantes contornem restrições específicas de gradiente ou parâmetro.
• Necessidade do Gargalo: Como o estado oculto final deve projetar-se em vetores de embedding específicos para gerar tokens prejudiciais, ancorar esse estado impede a restauração de capacidades prejudiciais, independentemente de como os parâmetros internos evoluem.

3. Contribuições Principais

1. Análise Empírica e Teórica da Falha de Defesa: Os autores demonstram que as defesas existentes colapsam sob HFT persistente porque não levam em conta a redundância de parâmetros. Eles mostram que os atacantes podem encontrar caminhos de otimização ortogonais que satisfazem as restrições de defesa (por exemplo, limites de distância de parâmetro) enquanto restauram com sucesso capacidades prejudiciais.
2. Proposta de SBR: Um mecanismo de defesa inovador que ancora os estados ocultos finais de consultas de alto risco aos do modelo alinhado à segurança, aproveitando a camada de desembedding como um gargalo geométrico.
3. Alta Eficiência e Robustez: O artigo demonstra que o SBR requer recursos mínimos (pouco mais que uma única âncora de segurança) para manter a segurança robusta, superando defesas state-of-the-art enquanto preserva a utilidade em tarefas benignas.

4. Resultados Experimentais

Os experimentos foram conduzidos em Llama3.1-8B, Qwen2.5-7B e Gemma1.1-7B usando conjuntos de dados como BeaverTails (prejudicial) e SST-2/AGNEWS/GSM8K/AlpacaEval (benigno).

• Desempenho de Segurança: Sob HFT persistente (até 50 épocas), as defesas existentes (LISA, Vaccine, Booster) colapsaram, com Pontuações de Prejuízo (HS) subindo acima de 50-60. Em contraste, o SBR manteve uma HS média de 5,68 (significativamente menor que os 70,7 do SFT de base).
• Preservação de Utilidade: O SBR preservou a Precisão Funcional (FA) comparável ao ajuste fino sem restrições (por exemplo, 94,15% no SST-2), enquanto alguns métodos concorrentes (como DeepAlign) sofreram degradação de desempenho em tarefas de classificação.
• Robustez à Proporção de Envenenamento: O SBR permaneceu eficaz mesmo quando a proporção de dados prejudiciais no conjunto de treinamento aumentou para 30% ($p=0,3$), mantendo HS < 10 em todas as arquiteturas de modelo.
• Defesa contra Backdoor: O SBR demonstrou robustez superior contra ataques de jailbreak de backdoor furtivos (acionados por sufixos específicos), alcançando uma HS de 4,7 em comparação com >16 para outras defesas.
• Eficiência da Âncora: O método é agnóstico ao conteúdo específico da âncora; uma única âncora ($|X_{anchor}|=1$) foi suficiente para reduzir a HS de ~68 para ~6.

5. Significado e Alegações

O artigo afirma que o SBR representa uma mudança de paradigma no alinhamento de segurança, passando da restrição do vasto e redundante espaço de parâmetros internos para a imposição de restrições no gargalo geométrico determinístico da camada de desembedding.

• Mecanismo Fundamental: Os autores argumentam que o colapso da segurança não é meramente um resultado do desvio de parâmetros, mas um desalinhamento geométrico na camada de saída final. Ao ancorar essa camada, o SBR cria um "campo de estabilidade local" que cobre a vizinhança semântica de intenções maliciosas sem overfitting a exemplos específicos.
• Ortogonalidade da Recusa: O método baseia-se na descoberta de que comportamentos de recusa são mediados por subespaços largamente ortogonais ao raciocínio benigno. Consequentemente, ancorar estados de segurança causa interferência mínima nos parâmetros necessários para tarefas downstream benignas.
• Limitações: Os autores notam modestamente que o SBR depende do alinhamento inicial de segurança do modelo base e é projetado para ancorar limites existentes, em vez de induzir segurança em modelos não alinhados. Além disso, não mitiga diretamente ataques de jailbreak em tempo de inferência que não envolvem atualizações de parâmetros.

O trabalho conclui que defender no gargalo geométrico é uma estratégia necessária e eficaz para prevenir a remoção do alinhamento de segurança durante o ajuste fino, oferecendo uma solução robusta contra ataques de ajuste fino prejudiciais tanto explícitos quanto furtivos.