Resumo Técnico: Você Dorme, Você Perde: Restauração Automática do Alinhamento de Segurança através de Tradução de Pesos Neurais

1. Declaração do Problema

O ecossistema de código aberto democratizou os Modelos de Linguagem de Grande Escala (LLMs) por meio da distribuição de módulos especializados de Adaptação de Baixo Rango (LoRA). No entanto, integrar esses adaptadores de terceiros frequentemente induz o esquecimento catastrófico do alinhamento de segurança fundamental do modelo base. Restaurar essas barreiras de segurança via ajuste fino tradicional em dados de segurança introduz um modo de falha concorrente: a degradação severa do conhecimento especializado de domínio que o adaptador foi projetado para fornecer. Essa troca é denominada taxa utilidade–alinhamento.

Estratégias existentes de mitigação enfrentam limitações significativas na implantação no mundo real:

• Escassez de Dados: Praticantes frequentemente não têm acesso aos dados de treinamento originais de domínio ou a conjuntos de dados orientados para segurança devido a restrições proprietárias, regulamentações de privacidade ou expiração de armazenamento.
• Pressupostos Lineares: Intervenções post-hoc atuais (por exemplo, Safe LoRA, SaLoRA) dependem de projeções ortogonais estáticas, assumindo que a segurança e a utilidade de domínio ocupam subespaços linearmente separáveis. Os autores demonstram que esse pressuposto falha em domínios profissionais complexos onde o raciocínio especializado está profundamente entrelaçado com potenciais danos de uso duplo, levando a vulnerabilidades persistentes ou perda catastrófica de conhecimento.

2. Metodologia: Tradução de Pesos Neurais (NeWTral)

Os autores propõem a Tradução de Pesos Neurais (NeWTral), um framework que opera diretamente no espaço de parâmetros para restaurar o alinhamento de segurança sem modificar o pipeline de treinamento original ou exigir acesso a dados de treinamento alvo.

Conceito Central

O NeWTral trata a restauração de segurança como um mapeamento não linear entre subespaços de parâmetros disjuntos. Ele aprende uma transformação $T$ que mapeia um adaptador inseguro e específico de domínio ($W_{dom}$) para uma configuração alinhada à segurança ($W_{safe}$), tal que $T(W_{dom}) \approx W_{safe}$. Crucialmente, esta é uma operação zero-shot no momento da implantação; o tradutor é pré-treinado em um corpus diversificado de pares de adaptadores inseguro-para-seguro e aplicado como um ativo autônomo.

Componentes Arquitetônicos

1. Tradução por Camada: Em vez de tratar o adaptador como um bloco monolítico, o NeWTral agrupa parâmetros LoRA por suas formas geométricas (dimensões de matriz). Ele emprega um ensemble de submodelos, cada um projetado para lidar com dimensões de entrada/saída específicas correspondentes a diferentes camadas do transformador. Isso aproveita a simetria estrutural para melhorar a eficiência de dados.
2. Otimização de Ensemble: Cada submodelo utiliza uma arquitetura de gargalo codificador-decodificador. Ele comprime vetores de pesos de alta dimensão em um espaço latente para extrair características estruturais abstratas (o "sinal" de segurança/recusa) enquanto descarta ruído específico de domínio, e então reconstrói os pesos em seu estado alinhado. O framework emprega Inicialização de Resíduo Zero para garantir que o modelo aprenda deslocamentos não lineares precisos em vez de corrigir ruído aleatório.
3. Roteamento de Mistura de Especialistas (MoE): Para abordar a troca entre preservar a utilidade e impor segurança, o NeWTral emprega uma estratégia adaptativa de MoE. Ele mistura dinamicamente dois especialistas pré-treinados especializados:
   • Especialista Cirúrgico ($T_{surg}$): Otimizado para alta fidelidade, preservando a profundidade e o conhecimento bruto de domínio do adaptador original.
   • Especialista Agressivo ($T_{aggr}$): Otimizado para o máximo alinhamento de segurança, injetando heurísticas robustas de recusa e conformidade ética.
   • Rede de Roteamento ($R_\phi$): Uma rede leve e treinável analisa assinaturas estatísticas dos pesos do adaptador inseguro (por exemplo, média, variância, norma $L_2$) e a posição da camada para calcular um coeficiente de portão $g_l \in [0, 1]$. Este coeficiente determina a combinação convexa dos dois especialistas para cada camada, permitindo que o sistema equilibre autonomamente utilidade e segurança com base no perfil de risco específico do domínio e na função da camada.

3. Contribuições Principais

• Framework NeWTral: O primeiro framework de tradução de parâmetros não linear projetado especificamente para restaurar segurança em adaptadores LoRA específicos de domínio. Permite que praticantes garantam adaptadores não verificados ou proprietários zero-shot na implantação sem retreinamento ou acesso a dados originais.
• Arquitetura MoE Autônoma: Um design de Mistura de Especialistas consciente de camadas que desacopla o alinhamento de segurança da taxa utilidade–alinhamento roteando dinamicamente entre preservação cirúrgica e policiamento ético agressivo.
• Análise de Representação Interna: Evidência empírica demonstrando que o alinhamento de segurança é altamente heterogêneo através da profundidade da rede. O estudo identifica blocos MLP como os principais impulsionadores da segurança comportamental, enquanto blocos de atenção devem permanecer amplamente intocados para preservar o raciocínio de domínio.
• Avaliação Abrangente: Testes rigorosos em quatro famílias arquitetônicas (Llama, Mistral, Qwen, Gemma) escalando até 72B parâmetros e oito domínios diversos e de alto risco (medicina, direito, finanças, física, etc.).

4. Resultados

A avaliação demonstra que a variante MoE do NeWTral supera significativamente as linhas de base mais avançadas (Safe LoRA, SaLoRA) e tradutores monolíticos (AE, CVAE, FM, MLP).

• Desempenho de Segurança: A variante MoE alcançou uma redução radical na Taxa de Sucesso de Ataque (ASR) média, caindo de aproximadamente 70% em especialistas inseguros para apenas 13%. Em modelos específicos de alta capacidade (por exemplo, Llama-3.1-70B, Qwen2.5-72B), a variante MoE reduziu a ASR para dígitos únicos (por exemplo, ~5-17%) em vários benchmarks adversariais, incluindo o JailbreakBench.
• Retenção de Conhecimento: Diferentemente de projeções lineares agressivas ou tradutores apenas MLP que frequentemente degradam o desempenho de domínio, a variante MoE manteve uma fidelidade de conhecimento média excepcional de ~90%.
• Persona Comportamental: Auditorias qualitativas e quantitativas revelaram que os modelos curados pelo NeWTral mantêm o tom "clínico" ou "especialista" do adaptador original, evitando a deriva de persona "moralizadora" ou "assistente genérico" comum no ajuste fino padrão de segurança. O MoE equilibra com sucesso a Fidelidade de Identidade (preservando a voz do especialista) com a Seletividade de Alinhamento (recusando intenção prejudicial sem rejeição geral).
• Dinâmicas de Roteamento: A análise dos valores de portão ($g$) confirmou que o roteador identifica corretamente blocos MLP como o locus primário para intervenção de segurança e escala dinamicamente a injeção agressiva de segurança em domínios de alto risco (por exemplo, direito, finanças) enquanto mantém uma abordagem cirúrgica em domínios teóricos (por exemplo, física).

5. Significado e Alegações

O artigo afirma que o NeWTral oferece uma solução escalável e eficiente em recursos para alinhar LLMs especializados em cenários de zero recursos onde estratégias tradicionais de mistura de dados são matematicamente impossíveis. Ao operar inteiramente dentro do espaço de parâmetros, ele contorna a necessidade de retreinamento intensivo em hardware ou acesso a corpora de treinamento originais.

Os autores afirmam que seu trabalho prova que restrições comportamentais complexas podem ser sistematicamente codificadas e transferidas estritamente dentro do espaço de parâmetros via mapeamentos não lineares. A abordagem MoE é apresentada como uma solução Pareto-ótima que mitiga com sucesso os modos de falha específicos tanto de tradutores puramente utilitários quanto puramente focados em segurança, permitindo que praticantes restaurem o alinhamento de segurança instantaneamente sem sacrificar a expertise especializada que torna os adaptadores valiosos.

O artigo conclui com limitações modestas, observando que o método não elimina completamente saídas inseguras onde conteúdo prejudicial e benigno estão intimamente entrelaçados, e que a generalização para domínios estruturalmente novos permanece uma direção aberta. Trabalhos futuros são sugeridos para incluir parâmetros de condicionamento controláveis para calibração contínua de risco e especialistas especializados para ameaças ortogonais como vazamento de PII ou viés algorítmico.