Resumo Técnico: CSULoRA

Declaração do Problema

A adaptação de baixo posto (LoRA) é uma técnica padrão para o ajuste fino eficiente de parâmetros de grandes modelos de linguagem (LLMs). No entanto, pesquisas recentes indicam que mesmo pequenas quantidades de dados de ajuste fino inseguros ou adversariais podem enfraquecer substancialmente os comportamentos de segurança de modelos alinhados, aumentando sua conformidade com prompts prejudiciais (Yang et al., 2023; Qi et al., 2024; Bianchi et al., 2024).

Métodos existentes para preservar a segurança durante o ajuste fino LoRA ou restaurá-la post-hoc frequentemente dependem de intervenções "rígidas" (hard). Estas incluem projeção em subespaços de segurança, poda de camadas específicas, limiarização (thresholding) ou a introdução de objetivos de treinamento e módulos de segurança adicionais (Hsu et al., 2024; Ao et al., 2025; Li et al., 2025). Embora eficazes em certos contextos, essas abordagens correm o risco de descartar informações relevantes para a tarefa, exigem ajuste adicional ou seleção de hiperparâmetros, ou necessitam da construção de vetores de segurança externos. Há uma necessidade de um método que possa corrigir adaptadores LoRA treinados para recuperar a segurança sem retreinar o modelo completo, descartar utilidade ou alterar o posto estrutural do adaptador.

Metodologia: CSULoRA

Os autores propõem o CSULoRA (Closest Safe Update Low-Rank Adaptation), um método post-hoc para corrigir adaptadores LoRA treinados através da estimativa da atualização segura mais próxima. O método opera deterministicamente em um adaptador treinado sem exigir treinamento adicional ou seleção de limiar baseada em validação.

1. Estimando o Subespaço Alinhado à Segurança

O CSULoRA estima um subespaço alinhado à segurança analisando o deslocamento de peso entre um checkpoint de modelo alinhado à segurança ($W_{aligned}$) e seu respectivo checkpoint base pré-alinhamento ($W_{base}$):
$$V = W_{aligned} - W_{base}$$
Este deslocamento $V$ serve como um proxy para as direções relevantes ao alinhamento. O método constrói projetores ortogonais à esquerda ($P_L$) e à direita ($P_R$) baseados nos espaços de colunas e linhas dominantes de $V$, respectivamente. Para garantir eficiência computacional, esses subespaços são aproximados usando um localizador de alcance de baixo posto (low-rank range finder) aleatório com iterações de potência, retendo energia de valor singular suficiente para explicar 95% da energia de deslocamento de alinhamento.

2. Decomposição de Atualizações LoRA

Para uma atualização LoRA treinada $\Delta W_0 = BA$, o CSULoRA decompõe a atualização em quatro blocos baseados nos projetores $P_L$ e $P_R$:

• Totalmente Alinhado ($\Delta W_{LR}$): Localiza-se em ambos os subespaços de entrada e saída alinhados.
• Parcialmente Alinhado ($\Delta W_{L\bar{R}}$ e $\Delta W_{\bar{L}R}$): Localiza-se em apenas um dos dois subespaços alinhados.
• Fora do Subespaço ($\Delta W_{\bar{L}\bar{R}}$): Localiza-se fora de ambos os subespaços alinhados.

3. Otimização de Mudança Mínima Penalizada

Ao contrário dos métodos de projeção rígida que descartam componentes fora do subespaço, o CSULoRA resolve um problema de otimização de mudança mínima penalizada. O objetivo é encontrar uma matriz atualizada $\Delta W^*$ que permaneça próxima da atualização original enquanto penaliza a energia nos blocos parcialmente alinhados e fora do subespaço:
$$\Delta W^* = \arg \min_{\Delta W} \frac{1}{2} \|\Delta W - \Delta W_0\|_F^2 + \frac{1}{2} \sum_{b \in \mathcal{B} \setminus \{LR\}} \lambda_b \|\Pi_b(\Delta W)\|_F^2$$
onde $\Pi_b$ projeta sobre o bloco $b$. O bloco totalmente alinhado não é penalizado.

A solução admite uma forma fechada:
$$\Delta W^* = \Delta W_{LR} + \sum_{b \in \mathcal{B} \setminus \{LR\}} \gamma_b \Delta W_b$$
onde $\gamma_b = (1 + \lambda_b)^{-1}$.

4. Penalidade Adaptativa e Reconstrução

Para evitar hiperparâmetros ajustáveis, os termos de penalidade $\lambda_b$ são computados adaptativamente com base na energia de Frobenius relativa dos blocos. A penalidade para um bloco $b$ é definida como a razão de sua energia em relação a uma energia de referência ($E_{ref}$), que inclui a energia do bloco totalmente alinhado mais um termo de suavização para evitar o encolhimento agressivo quando o componente alinhado é pequeno. Isso garante que a atenuação seja invariante de escala e dependa da energia relativa dos componentes dentro de uma camada.

Finalmente, a atualização corrigida $\Delta W^*$ é aproximada de volta à estrutura LoRA original de posto-$r$ ($B^*A^*$) usando Decomposição de Valor Singular truncada (SVD), preservando o posto e a estrutura do adaptador para inferência.

Principais Contribuições

• Algoritmo CSULoRA: Um método post-hoc e determinístico para corrigir adaptadores LoRA treinados que decompõe atualizações em componentes consistentes e inconsistentes com o alinhamento.
• Mecanismo de Atenção Suave (Soft Attenuation): Em vez de projeção rígida ou poda, o método aplica uma regra de atenuação suave de forma fechada que preserva exatamente os componentes totalmente alinhados enquanto reduz suavemente a magnitude das direções menos consistentes com base em sua energia relativa.
• Correção Livre de Parâmetros: O método não requer retreinamento, não possui parâmetros treináveis adicionais e não exige construção de vetor de segurança externo ou seleção de limiar baseada em validação.
• Preservação Estrutural: A atualização corrigida é refatorada nas matrizes LoRA originais, mantendo o posto e a estrutura do adaptador para inferência.

Resultados Experimentais

Os autores avaliaram o CSULoRA no Llama-3.2-3B-Instruct e Gemma-3-4B-it usando uma configuração de ajuste fino adversarial onde 5% dos dados de treinamento consistiam em exemplos inseguros do conjunto de dados BeaverTails misturados com dados de seguimento de instrução benignos.

Métricas de Desempenho:

• Utilidade: Medida via IFEval (seguimento de instrução com restrições).
• Segurança: Medida via Taxa de Sucesso de Ataque (ASR) no AdvBench.
• Capacidade Geral: Medida via ARC-Challenge.
• Compromisso Segurança-Utilidade (SUT): Uma métrica composta $SUT = \text{AvgUtil} \times (1 - \text{ASR}/100)$.

Descobertas:

• Llama-3.2-3B-Instruct: O LoRA padrão melhorou a utilidade (IFEval) de 73,57% para 82,96%, mas aumentou o ASR de 2,69% para 60,58%. O CSULoRA reduziu o ASR para 1,73% (menor que o modelo base) enquanto manteve uma utilidade média de 79,20% (uma queda de apenas 3,76 pontos em relação ao LoRA padrão). Ele alcançou a maior pontuação SUT (77,83) entre todos os métodos.
• Gemma-3-4B-it: O LoRA padrão aumentou o ASR para 48,85%. O CSULoRA reduziu o ASR para 1,35% e melhorou a utilidade média para 85,78%, superando todos os baselines tanto em segurança quanto em preservação de utilidade. Ele alcançou a maior pontuação SUT (84,62) e a maior pontuação de capacidade geral (77,30% no ARC-Challenge).
• Comparação: O CSULoRA superou consistentemente os baselines como SafeLoRA (projeção rígida), SPLoRA (poda) e RESTA (aritmética de tarefas), que falharam em reduzir suficientemente o ASR ou incorreram em perdas significativas de utilidade.

Significância e Alegações

O artigo afirma que o CSULoRA demonstra que a atenuação suave de componentes de atualização LoRA menos consistentes com o alinhamento é uma estratégia mais confiável do que a projeção rígida, a poda ou a substituição forte do adaptador para preservar os compromissos entre segurança e utilidade.

Os autores posicionam o CSULoRA como um método prático de correção no espaço de parâmetros que:

1. Reduz substancialmente as taxas de sucesso de ataque em cenários de ajuste fino adversarial.
2. Preserva a maior parte dos ganhos de utilidade obtidos com o ajuste fino LoRA padrão.
3. Mantém as capacidades gerais do modelo sem retreinar ou alterar a estrutura do adaptador.

O artigo reconhece limitações, observando que o subespaço alinhado à segurança é um proxy derivado do deslocamento de peso e pode ser ruidoso ou incompleto. Além disso, a avaliação é limitada a modelos e benchmarks específicos, e a métrica ASR baseada em regex não captura todas as nuances da nocividade da resposta. Os autores concluem que, embora o CSULoRA não seja uma garantia formal de comportamento seguro, ele representa uma direção promissora para a correção geométrica post-hoc de atualizações LoRA.