Secure LLM Fine-Tuning via Safety-Aware Probing

1. O Problema: Degradação de Segurança no Ajuste Fino

O artigo aborda um problema crítico na segurança de Grandes Modelos de Linguagem (LLMs): a degradação de segurança durante o ajuste fino (fine-tuning), mesmo quando realizado em dados benignos (úteis).

• Contexto: Embora técnicas de alinhamento de segurança sejam aplicadas durante o pré-treinamento ou pós-treinamento, estudos recentes mostram que o ajuste fino subsequente em dados adversariais ou mesmo benignos pode comprometer a segurança do modelo.
• Hipótese Central: Os autores investigam por que o ajuste fino em dados não nocivos reduz a segurança. Eles propõem que existe um entrelaçamento (entanglement) entre as direções críticas para a utilidade (tarefa específica) e as direções críticas para a segurança.
• Mecanismo de Falha: A análise de gradientes revela que as direções que minimizam a perda da tarefa útil ($-\nabla L_{useful}$) estão frequentemente alinhadas positivamente com as direções que aumentam o risco de comportamento nocivo ($+\nabla L_{safe}$). Consequentemente, ao otimizar o modelo para melhorar o desempenho na tarefa, o modelo é inadvertidamente empurrado para regiões do espaço de parâmetros onde a segurança é comprometida.

2. Metodologia: SAP (Safety-Aware Probing)

Para mitigar esse risco sem sacrificar o desempenho da tarefa ou exigir a filtragem rigorosa de dados, os autores propõem o SAP (Safety-Aware Probing), um framework de otimização de dois níveis (bi-level optimization).

Conceitos Fundamentais:

• Sondas de Estado Oculto (Hidden-State Probes): Em vez de perturbar diretamente os pesos do modelo (o que seria custoso), o SAP introduz uma perturbação aditiva leve ($v_j$) nos estados ocultos das camadas selecionadas do modelo durante a propagação direta. Isso é computacionalmente eficiente e não exige materialização de novos pesos.
• Perda de Segurança Contrastiva: O método utiliza pares de dados (respostas seguras vs. respostas nocivas para os mesmos prompts) para calcular uma perda contrastiva ($L_{safe}$). A direção crítica nociva é definida como o gradiente que leva a um comportamento mais perigoso.
• Função de Perda "Segura-Util" ($L_{su}$): O SAP define uma função objetivo para a sonda $V$ que maximiza a diferença entre a perda útil em um estado perturbado (na direção nociva) e a perda útil no estado atual.
  • Se $L_{su} > 0$, o cenário local é desfavorável para atualizações nocivas.
  • O objetivo é encontrar uma sonda $V_{safe}$ que maximize essa função, tornando o caminho de descida de gradiente para a tarefa útil "inclinado" para longe das direções nocivas.

Algoritmo de Otimização (Estilo SAM):

O SAP segue uma estratégia semelhante ao Sharpness-Aware Minimization (SAM), mas focada na segurança:

1. Passo Interno (Maximização): Calcula-se a direção crítica nociva ($\Delta W_{harmful}$) e otimiza-se a sonda $V$ para maximizar a perda útil nesse cenário hipotético nocivo. Isso identifica as direções de estado oculto que, se perturbadas, revelariam a fragilidade de segurança.
2. Passo Externo (Minimização): Com a sonda $V_{safe}$ fixa, atualizam-se os pesos do modelo $W$ para minimizar a perda da tarefa útil.
3. Resultado: A atualização dos pesos ocorre sob a influência da perturbação de segurança, desviando a trajetória de otimização de regiões perigosas, mantendo o aprendizado da tarefa.

3. Contribuições Principais

1. Análise Teórica e Empírica: Os autores são os primeiros a quantificar formalmente o entrelaçamento entre direções de gradiente úteis e nocivas através de análise de similaridade de cosseno, provando que o ajuste fino padrão inevitavelmente degrada a segurança devido a esse alinhamento.
2. Framework SAP: Proposta de um novo paradigma de ajuste fino que intervém diretamente no processo de otimização via perturbação de estados ocultos, sem depender de restrições de arquitetura (como LoRA apenas) ou de filtragem de dados.
3. Robustez e Escalabilidade: Demonstração de que o SAP é eficaz em diferentes cenários, incluindo ajuste fino de parâmetros completos, modelos maiores e sob ataques adversariais.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos como Llama-2, Vicuna e Qwen, utilizando conjuntos de dados como Alpaca, AdvBench e BeaverTails.

• Desempenho em Cenários Benignos:

  • O SAP reduziu a pontuação de nocividade (Harmful Score - HS) média de 37,43% (ajuste fino padrão) para 23,07%, superando todas as linhas de base (baselines) como SafeLoRA, SAFT, Lisa e SafeInstr.
  • Sem perda de utilidade: Diferente de outros métodos que sacrificam desempenho para ganhar segurança, o SAP manteve ou até melhorou ligeiramente métricas de tarefa (BLEURT, Cross-Entropy), sugerindo um efeito de regularização benéfico.

• Robustez a Ataques Adversariais:

  • Envenenamento de Dados (Data Poisoning): Mesmo com taxas de envenenamento de 25% no conjunto de dados de ajuste fino, o SAP manteve a pontuação de nocividade significativamente mais baixa (29,1% vs. >32% nas baselines).
  • Ajuste Fino Adversarial: O SAP demonstrou maior resistência quando modelos pré-alinhados foram submetidos a ajuste fino malicioso posterior.
  • Ataque Adaptativo: Sob um ataque adaptativo projetado especificamente para inverter a lógica de defesa do SAP, o modelo treinado com SAP manteve uma margem de segurança superior a 30 pontos de HS em comparação ao ajuste fino padrão.

• Eficiência Computacional:

  • O SAP requer cerca de 2,5 vezes mais tempo por passo de treinamento devido ao cálculo de dois níveis, mas o uso de memória GPU é quase idêntico ao ajuste fino padrão (aumento < 2%).
  • Em comparações com tempo total de treinamento igual, o SAP converge mais rápido e atinge melhores resultados de segurança e utilidade do que as baselines que treinam por mais épocas.

• Análises de Ablação:

  • A sonda funciona melhor quando aplicada às camadas intermediárias do modelo (onde representações semânticas e de segurança se entrelaçam).
  • O método é robusto a diferentes ranks de LoRA e variações na amostragem de dados contrastivos.

5. Significado e Impacto

O trabalho oferece uma solução prática e escalável para um dos maiores desafios na implantação de LLMs: manter a segurança durante a personalização (fine-tuning) para tarefas específicas.

• Independência de Dados: Ao contrário de métodos que exigem conjuntos de dados de segurança perfeitos ou filtragem complexa, o SAP funciona com o conjunto de dados de tarefa original.
• Generalidade: Não está limitado a métodos de adaptação de baixo rank (LoRA); funciona em ajuste fino de parâmetros completos e em diversas arquiteturas.
• Segurança Proativa: Em vez de apenas reagir a falhas, o SAP molda o espaço de otimização para que o modelo "não queira" entrar em regiões inseguras durante o aprendizado, oferecendo uma garantia de segurança mais robusta contra ataques futuros e envenenamento de dados.

Em resumo, o SAP representa um avanço significativo na engenharia de segurança de IA, demonstrando que é possível alinhar a otimização de tarefas específicas com a preservação de alinhamento de segurança através de intervenções inteligentes no espaço de estados ocultos.