Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning

1. O Problema

Os modelos de linguagem grandes (LLMs) alinhados com instruções são treinados para serem úteis e seguros. No entanto, o artigo identifica uma vulnerabilidade crítica: a degradação de segurança durante o ajuste fino (fine-tuning).

• Fragilidade: Mesmo um ajuste fino benigno (em dados não maliciosos) ou um ataque adversário intencional (com poucos exemplos de 10 a 100) pode destruir os "guarda-chuvas" de segurança do modelo, permitindo a geração de conteúdo prejudicial, enquanto as capacidades gerais do modelo permanecem intactas.
• Limitações das Defesas Existentes: As defesas atuais geralmente utilizam regularização estática (como penalidades KL fixas) que forçam o modelo a permanecer próximo da política original. Isso cria um dilema: regularização fraca falha em proteger contra ataques, enquanto regularização agressiva degrada o desempenho em tarefas específicas (utilidade), criando um compromisso indesejável entre segurança e funcionalidade.

2. Metodologia Proposta

Os autores propõem um novo framework de treinamento chamado Regularização Adaptativa para Ajuste Fino Consciente de Segurança. A ideia central é substituir a regularização estática por uma regularização dinâmica que se adapta ao risco de segurança de cada lote de dados ou exemplo durante o treinamento.

O framework possui dois componentes principais:

A. Estimadores de Risco (Safety Critics)

Para determinar quando aplicar mais ou menos regularização, o sistema estima o risco de segurança em tempo real usando duas abordagens distintas:

1. Critic Baseado em Ativações (Pré-geração): Um classificador leve (regressão logística) treinado nas ativações internas do modelo (estados ocultos) antes que qualquer token seja gerado. O estudo demonstra que a intenção prejudicial é linearmente previsível a partir desses estados ocultos.
   • Vantagem: Baixo custo computacional, detecção antecipada, sem latência adicional na inferência.
2. Critic Baseado em Juiz (Pós-geração): Utiliza um modelo de linguagem externo (LLM Judge, como o gpt-oss-20b) para avaliar a resposta gerada e atribuir uma pontuação de nocividade.
   • Vantagem: Captura violações semânticas e contextuais complexas que podem ser difíceis de detectar apenas com ativações.

B. Objetivo de Alinhamento Adaptativo

O objetivo de perda (loss function) durante o ajuste fino é modificado dinamicamente:
$$L_{total} = \alpha_t L_{NLL} + \beta_t L_{KL}$$

• $L_{NLL}$: Perda de verossimilhança negativa (foco na tarefa/aprendizado).
• $L_{KL}$: Regularização Kullback-Leibler (mantém o modelo próximo da política segura de referência).
• Mecanismo Adaptativo: Os coeficientes $\alpha_t$ e $\beta_t$ não são fixos. Eles variam com base no sinal de segurança $s_t$ fornecido pelo Critic:
  • Alto Risco ($s_t$ alto): O peso $\beta_t$ aumenta, forçando o modelo a se manter próximo da política segura (KL domina), restringindo atualizações perigosas.
  • Baixo Risco ($s_t$ baixo): O peso $\alpha_t$ aumenta, permitindo que o modelo aprenda a tarefa específica com mais liberdade (NLL domina), preservando a utilidade.

3. Principais Contribuições

1. Framework de Regularização Adaptativa: Um método que modula a força da regularização com base no risco estimado em tempo de treinamento, eliminando a necessidade de ajuste manual de hiperparâmetros para equilibrar segurança e utilidade.
2. Descoberta de Sinais Pré-geração: Evidência empírica de que a intenção prejudicial pode ser prevista com alta precisão (AUROC > 0.9) a partir das ativações internas do modelo antes da geração de texto, permitindo defesas eficientes.
3. Dualidade de Abordagens: Validação de que tanto a detecção baseada em ativações (leve) quanto a baseada em juízes (semântica) são eficazes quando integradas ao objetivo adaptativo.

4. Resultados Experimentais

Os autores avaliaram o método em cinco famílias de modelos (Phi-3.5, Llama-3.1, Llama-3.2, Qwen2.5) sob diversos cenários:

• Defesa contra Ajuste Fino Adversário: Em cenários onde os modelos foram ajustados apenas com dados prejudiciais (HEx-PHI), o ajuste fino padrão (SFT) levou a uma taxa de sucesso de ataque (ASR) superior a 96%. A regularização adaptativa manteve a ASR próxima aos níveis basais (1% a 9%), superando significativamente métodos de regularização estática (Constrained SFT).
• Preservação de Utilidade: Em cenários de conjuntos de dados mistos (dados benignos com pequenas proporções de dados prejudiciais), o método manteve o desempenho em tarefas (como Alpaca e GSM8K) comparável ao SFT padrão, enquanto as defesas estáticas frequentemente sacrificavam desempenho.
• Robustez a Hiperparâmetros: O método demonstrou ser robusto a variações na taxa de aprendizado (learning rate), mantendo baixa ASR em uma ampla faixa de valores, ao contrário de métodos estáticos que degradam rapidamente com taxas mais altas.
• Custo Computacional: A variante baseada em ativações adicionou zero custo de tempo de inferência e apenas uma sobrecarga mínima de memória, tornando-a prática para implantação em larga escala.

5. Significado e Impacto

Este trabalho oferece um mecanismo principial para resolver o dilema clássico entre segurança e utilidade no ajuste fino de LLMs.

• Mudança de Paradigma: Move a comunidade de defesas estáticas e "tudo ou nada" para uma abordagem dependente dos dados, onde a segurança é aplicada seletivamente apenas quando o risco é detectado.
• Aplicabilidade Prática: Ao não exigir re-treinamento complexo ou custos de inferência adicionais (na variante baseada em ativações), o método é viável para usuários que desejam adaptar modelos de base para domínios específicos sem comprometer a segurança.
• Resiliência: Demonstra que é possível manter modelos alinhados mesmo quando expostos a dados de treinamento que contêm inadvertidamente ou intencionalmente conteúdo malicioso, fechando uma lacuna crítica de segurança na cadeia de desenvolvimento de IA.

Em resumo, o artigo apresenta uma solução elegante e eficiente que permite que os modelos "aprendam a permanecer seguros", adaptando dinamicamente seu comportamento de aprendizado para evitar a degradação de alinhamento.