Resumo Técnico: As Medições de Segurança para LLMs Ajustados (Fine-tuned) Devem ser Baseadas em Capacidade

Declaração do Problema

A adaptação de Modelos de Linguagem de Grande Escala (LLMs) de fundação para tarefas ou estilos específicos de usuários via ajuste fino supervisionado (SFT) ou adaptação de domínio frequentemente compromete os recursos de segurança dos modelos originais. Pesquisas recentes indicam que mesmo o ajuste fino em conjuntos de dados benignos pode, involuntariamente, degradar as salvaguardas de segurança. Embora vários métodos de mitigação (ex: SafeLoRA, SaLoRA) tenham sido propostos para preservar a segurança durante o ajuste fino, as avaliações anteriores desses métodos sofrem de limitações significativas:

1. Configurações Experimentais Arbitrárias: Trabalhos anteriores frequentemente definem configurações empíricas (hiperparâmetros, camadas visadas) sem ancorá-las a objetivos de capacidade específicos, levando a comparações inconsistentes.
2. Fragilidade da Avaliação: Julgamentos de segurança automatizados são cada vez mais mostrados como não confiáveis, particularmente quando os modelos geram saídas incoerentes.
3. Conclusões Inconsistentes: A avaliação de se o ajuste fino melhora ou degrada a segurança varia drasticamente dependendo da escolha do benchmark de segurança e do modelo avaliador de segurança específico utilizado.

Os autores argumentam que, sem fundamentar os experimentos de ajuste fino em objetivos de capacidade verificáveis, é impossível tirar conclusões significativas sobre os impactos na segurança ou comparar equitativamente as estratégias de mitigação.

Metodologia

Os autores conduzem uma avaliação multidimensional focando na interação entre capacidade (desempenho da tarefa e coerência de geração) e segurança.

Configuração Experimental

• Modelos: Quatro LLMs de instrução de código aberto foram utilizados: Llama-3.2-1B, Llama-3.1-8B, Qwen-3-4B e Qwen-3-8B.
• Tarefas de Ajuste Fino: Para garantir medições de capacidade verificáveis, os autores selecionaram quatro conjuntos de dados com métricas de correção objetiva:
  • GSM8k: Problemas matemáticos de aritmética escolar.
  • ARC: Perguntas de múltipla escolha de ciências do ensino fundamental.
  • Science10k: Pares de perguntas e respostas de ciência com raciocínio.
  • BoolQ: Compreensão de leitura com respostas booleanas (sim/não).
  • Nota: Um subconjunto do conjunto de dados Stanford Alpaca também foi usado para comparações gerais de seguimento de instrução.
• Método de Ajuste Fino: A Adaptação de Baixo Posto (LoRA) foi aplicada com hiperparâmetros variados (rank $\{16, 64\}$, camadas alvo $\{[qv], [all-linear]\}$).
• Método de Mitigação: O estudo analisa especificamente o SafeLoRA, um método livre de treinamento que projeta as atualizações de peso do LoRA em um "subespaço de segurança" (definido como a diferença de peso entre modelos alinhados e não alinhados) caso a pontuação de similaridade caia abaixo de um limite.

Dimensões de Avaliação

1. Capacidade: Medida através da acurácia nos splits de teste dos conjuntos de dados de ajuste fino.
2. Coerência: Medida através da perplexidade das saídas geradas usando um modelo GPT-2. Alta perplexidade indica gerações incoerentes.
3. Segurança: Avaliada usando um conjunto abrangente de 1.840 prompts de segurança derivados de quatro benchmarks (SORRY-Bench, BeaverTails-Eval, BeaverTails-Intent, XSTest).
   • Juízes: Dois avaliadores distintos foram empregados para testar a robustez:
     • LlamaGuard-8B: Um classificador de segurança de conteúdo que fornece taxas de nocividade.
     • Avaliador SORRY-Bench (Mistral-7b): Um modelo ajustado para julgar recusa vs. conformidade.

Principais Resultados

1. Coerência e Falha de Julgamento Automatizado

O ajuste fino em tarefas com formatos de saída restritos (ex: múltipla escolha ou sim/não) causou o overfitting dos modelos, resultando em gerações incoerentes ao serem apresentados com prompts de segurança.

• Modelos ajustados em ARC e BoolQ frequentemente geraram respostas de um único caractere ou respostas sem sentido para perguntas de segurança.
• Achado Crítico: Juízes de segurança automatizados (especificamente o LlamaGuard) frequentemente interpretaram erroneamente essas saídas incoerentes como "inseguras" ou "prejudiciais". O artigo demonstra que a falta de capacidade (incoerência) é frequentemente classificada como falta de segurança por avaliadores automatizados.

2. Instabilidade de Benchmarks de Segurança

As conclusões sobre a degradação ou melhoria da segurança são altamente sensíveis à escolha do benchmark e do avaliador.

• Variância de Benchmark: Para o mesmo checkpoint de modelo (ex: Llama-8B ajustado em GSM8k), um benchmark (SORRY-Bench) pode indicar uma melhoria significativa na segurança em relação ao modelo base, enquanto outro (BeaverTails-Intent) indica uma degradação.
• Divergência de Avaliador: Há frequentemente uma correlação fraca ou oposta entre "nocividade" (LlamaGuard) e "conformidade" (SORRY-Bench). Modelos menores mostraram tendências particularmente divergentes entre essas duas métricas.

3. Trocas entre Segurança e Capacidade (Análise do SafeLoRA)

O estudo comparou o LoRA padrão contra o SafeLoRA:

• Modelos Llama: O SafeLoRA geralmente melhorou a segurança (reduziu a nocividade), mas consistentemente reduziu a capacidade do modelo (acurácia). No conjunto de dados Science10k, o checkpoint mais seguro do SafeLoRA reduziu a acurácia em quase 10% em comparação com o melhor checkpoint do LoRA padrão.
• Modelos Qwen: Os resultados foram mistos. No GSM8k, o SafeLoRA melhorou tanto a segurança quanto a acurácia. No entanto, no Science10k, o SafeLoRA causou degradação acentuada tanto na segurança quanto na acurácia.
• Mitigação de Coerência: No ARC e BoolQ, o SafeLoRA pareceu mitigar a degradação de coerência observada no ajuste fino do LoRA padrão, provavelmente ao preservar pesos de alinhamento que suportam a geração de texto livre.

Significância e Alegações

O artigo alega que o campo da segurança de LLMs requer uma mudança de paradigma de configurações empíricas arbitrárias para avaliações baseadas em capacidade.

• O Fundamento é Essencial: Ancorar o ajuste fino a objetivos de capacidade específicos e verificáveis é necessário para evitar escolhas arbitrárias e permitir a comparação consistente de métodos de mitigação.
• Validade da Medição: Métricas de segurança são frágeis. O artigo argumenta que, sem medir a coerência (ex: via perplexidade) e usar múltiplos avaliadores, as avaliações de segurança são pouco confiáveis. Saídas incoerentes podem inflar artificialmente as pontuações de segurança ou, inversamente, serem falsamente marcadas como prejudiciais.
• Interpretação Contextual: Os autores concluem que a eficácia de métodos de preservação de segurança como o SafeLoRA não é absoluta; ela varia significamente dependendo da arquitetura do modelo, da tarefa específica de ajuste fino e dos instrumentos de medição utilizados. Portanto, pesquisadores e profissionais devem adotar metodologias de medição bem definidas, fundamentadas e válidas para avaliar com precisão a segurança dos modelos ajustados.

Os autores afirmam explicitamente que suas descobertas destacam a necessidade de estudos adicionais sobre os mecanismos de recuperação de segurança em épocas posteriores de treinamento e o desenvolvimento de medidas mais intrínsecas de comportamento de segurança (ex: via interpretabilidade mecanística) em vez de depender apenas de benchmarking externo.