Resumo Técnico: SPARD

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais adaptados a domínios específicos por meio de ajuste fino como serviço. No entanto, esse processo frequentemente compromete o alinhamento de segurança alcançado durante o pré-treinamento. Essa vulnerabilidade é explorada por ataques de ajuste fino maliciosos, onde dados adversariais são injetados para remover salvaguardas de segurança e induzir comportamentos inseguros.

Os mecanismos de defesa existentes enfrentam duas limitações primárias:

1. Controle Fraco: Métodos como SafeInstr e Lisa tratam dados seguros como um regularizador suave (termo de penalidade), oferecendo apenas controle indireto sobre as restrições de segurança, o que dificulta o equilíbrio entre segurança e utilidade em tarefas subsequentes.
2. Seleção de Dados Subótima: As abordagens atuais tipicamente selecionam amostras seguras aleatoriamente. Elas ignoram o fato de que dados seguros altamente relevantes para a tarefa subsequente fornecem sinais corretivos mais fortes, ao mesmo tempo que negligenciam a necessidade de diversidade para cobrir amplos espaços de risco.

Metodologia

Os autores propõem o SPARD (Projeção de Segurança com Seleção de Dados por Relevância–Diversidade), um framework de defesa composto por dois componentes principais:

1. Gradiente Alternado Projetado em Segurança (SPAG)

O SPARD formula o ajuste fino como um problema de otimização com restrição de segurança:
$$\min_{\theta} \mathcal{L}(D_{ft}, \theta) \quad \text{s.t.} \quad \mathcal{L}(D_{safe}, \theta) \leq \tau$$
onde $D_{ft}$ é o conjunto de dados de ajuste fino, $D_{safe}$ é o conjunto de dados de segurança e $\tau$ é um limiar de segurança.

Em vez de usar relaxação baseada em penalidade, o SPAG emprega uma estratégia de projeção explícita:

1. Atualização de Utilidade: Realizar um passo de gradiente nos dados de ajuste fino ($D_{ft}$) para atualizar os parâmetros $\theta$.
2. Projeção de Segurança: Projetar os parâmetros atualizados de volta para uma região viável definida pela restrição de segurança.
   • A restrição é linearizada usando uma expansão de Taylor de primeira ordem em torno dos parâmetros atualizados.
   • A projeção encontra o ponto no semiespaço de segurança linearizado mais próximo dos parâmetros atualizados.
   • Um mecanismo de região de confiança limita o tamanho do passo da projeção para evitar atualizações arbitrariamente grandes que poderiam desestabilizar o treinamento.

Essa abordagem fornece uma solução de forma fechada que garante viabilidade até a primeira ordem, sem exigir o ajuste manual de pesos de penalidade.

2. Processo Puntual Determinantal (DPP) de Relevância–Diversidade

Para garantir que a projeção de segurança seja eficaz, o SPARD introduz um método principiado para selecionar um subconjunto compacto de dados seguros ($D_{safe}$) de um pool maior de candidatos. A seleção equilibra dois fatores:

• Relevância: Amostras seguras devem alinhar-se com a distribuição da tarefa subsequente para fornecer sinais corretivos fortes.
• Diversidade: Amostras selecionadas devem cobrir uma ampla gama de comportamentos maliciosos distintos para evitar o sobreajuste a um espaço de risco estreito.

Os autores constroem um kernel DPP de Relevância–Diversidade:
$$\tilde{K}_{ij} = (q_i \cdot q_j)^\beta \cdot K(x_i, x_j)$$
onde $q_i$ é uma pontuação de relevância (máxima similaridade de cosseno entre um candidato e os dados de ajuste fino), $K(x_i, x_j)$ captura a similaridade intrínseca e $\beta$ controla a influência da relevância.

• O termo $(q_i \cdot q_j)^\beta$ recompensa subconjuntos contendo amostras altamente relevantes.
• O termo determinante $\det(L_C)$ impõe diversidade entre as amostras selecionadas.

Um algoritmo eficiente de seleção gulosa é usado para aproximar o subconjunto de Máxima A Posteriori (MAP), evitando o custo computacional da inferência exata de DPP.

Principais Contribuições

1. Framework SPARD: Uma defesa inovadora que integra otimização projetada em segurança com seleção de dados consciente de relevância e diversidade.
2. Algoritmo SPAG: Um método de otimização principiado que alterna entre atualizações de utilidade e projeções de segurança explícitas, resolvendo o ajuste fino com restrição de segurança sem penalidades suaves.
3. DPP de Relevância–Diversidade: Uma estratégia de seleção de dados que otimiza conjuntamente o alinhamento com a tarefa e a cobertura comportamental, abordando os problemas de redundância e irrelevância na amostragem aleatória.
4. Validação Empírica: Experimentos extensivos demonstrando que o SPARD supera as defesas mais avançadas na redução das Taxas de Sucesso de Ataque (ASR) enquanto mantém alta precisão em tarefas subsequentes.

Resultados Experimentais

Os autores avaliaram o SPARD no GSM8K (raciocínio matemático) e OpenBookQA (raciocínio científico) usando Qwen-2.5-7B-Instruct e LLaMA-3.2-3B-Instruct sob quatro ataques de ajuste fino maliciosos (BeaverTails, I-BeaverTails, LatHarmful, Q-LatHarmful).

• Desempenho de Segurança: O SPARD alcançou consistentemente a menor Taxa de Sucesso de Ataque (ASR) média e Pontuação de Malícia (HS) em todos os modelos e conjuntos de dados. Por exemplo, no GSM8K com Qwen, o SPARD reduziu a ASR média para 9,45% (comparado a 19,12% para a forte linha de base Lisa e 87,93% para o SFT padrão).
• Preservação de Utilidade: O SPARD manteve precisão competitiva em tarefas subsequentes, frequentemente superando linhas de base como Lisa e SafeGrad. No GSM8K com Qwen, o SPARD alcançou 85,77% de precisão, superando a Lisa (78,45%).
• Estudos de Ablação:
  • Relevância vs. Diversidade: A remoção da relevância (seleção aleatória) ou da diversidade (seleção de Máxima Qualidade) resultou em ASR mais altas, confirmando que ambos os fatores são necessários.
  • Hiperparâmetros: O método é robusto a variações moderadas no expoente de relevância ($\beta$) e no limiar de segurança ($\tau$).
  • Eficiência: O SPARD adiciona apenas 8,1% de sobrecarga computacional em comparação ao SFT padrão, significativamente menor que o SafeGrad (+54,2%).

Significado e Alegações

O artigo afirma que o SPARD oferece uma defesa principiada contra ataques de ajuste fino maliciosos ao ir além de penalidades suaves para restrições geométricas explícitas. Ao integrar o SPAG, o método garante que as restrições de segurança sejam estritamente aplicadas durante o treinamento. Além disso, o DPP de Relevância–Diversidade aborda a ideia crítica de que nem todos os dados seguros são igualmente eficazes; selecionar dados que sejam tanto relevantes para a tarefa quanto diversos em cobertura é essencial para um alinhamento de segurança robusto.

Os autores afirmam que o SPARD fornece um equilíbrio robusto entre segurança e utilidade, superando métodos existentes (incluindo PTST, SafeInstr, Lisa e SafeGrad) sem exigir restrições estruturais (como adaptadores LoRA) ou ajuste manual de pesos. O framework demonstra generalização em diferentes arquiteturas de modelos (Qwen e LLaMA) e tarefas subsequentes (QA de matemática e ciência).