Layer-wise Swapping for Generalizable Multilingual Safety

1. O Problema

Apesar dos avanços rápidos nos Grandes Modelos de Linguagem (LLMs), existe uma disparidade crítica na segurança entre idiomas de alto recurso (como o inglês) e idiomas de baixo recurso.

• Viés Anglocêntrico: A maioria dos conjuntos de dados de segurança e alinhamento é baseada em inglês. Consequentemente, modelos especializados em idiomas de baixo recurso (ex: Coreano, Bengali, Suaíli, Telugu), quando ajustados finamente (fine-tuned) apenas em seus respectivos dados de instrução, tendem a exibir taxas de "insegurança" (geração de conteúdo prejudicial) muito mais altas do que seus equivalentes em inglês.
• Falha na Transferência: Métodos existentes de transferência cruzada de idiomas focam em melhorar o desempenho de tarefas gerais (raciocínio, compreensão), mas frequentemente negligenciam o alinhamento de segurança.
• Esquecimento Catastrófico: Tentativas de adaptar modelos para segurança em múltiplos idiomas muitas vezes levam ao esquecimento catastrófico, onde o modelo perde o conhecimento de segurança adquirido durante o pré-treinamento ou o alinhamento em inglês.

2. Metodologia Proposta

Os autores propõem uma estratégia livre de treinamento (training-free) chamada Troca de Camadas Consciente de Segurança (Safety-aware Layer Swapping). O objetivo é transferir o alinhamento de segurança de um "especialista em segurança" (treinado em inglês) para modelos especialistas em idiomas de baixo recurso, sem necessidade de retreinamento.

A abordagem baseia-se na Aritmética de Tarefas (Task Arithmetic) e na composição de vetores de tarefa:

1. Vetores de Tarefa:

   • Define-se um vetor de tarefa de segurança ($v_{safe}$) como a diferença entre os parâmetros do modelo ajustado para segurança e o modelo base.
   • Define-se um vetor de tarefa multilingue ($v_{multi}$) como a diferença entre o modelo ajustado para o idioma específico e o modelo base.

2. Troca de Camadas e Módulos Dinâmica:

   • Diferente de métodos anteriores que trocam camadas inteiras de forma estática (manual), o método proposto realiza uma seleção automática e adaptativa baseada na especialização de cada módulo.
   • O modelo é decomposto em camadas e, dentro de cada camada, em sub-módulos: Atenção Multi-cabeça (MHA) e Redes Feed-Forward (MLP).

3. Estratégia de Seleção Automática:

   • Para cada módulo $(l, m)$, calcula-se a magnitude das atualizações de parâmetros em relação ao modelo base para ambos os vetores (segurança e multilinguagem).
   • Calcula-se uma pontuação de importância relativa ($p_{safe}$ e $p_{multi}$).
   • A diferença $d_{l,m} = p_{safe} - p_{multi}$ determina a ação:
     • Se $|d_{l,m}| > \tau$ (limiar): O módulo é selecionado diretamente do especialista (segurança ou multilinguagem) que mostrou maior especialização.
     • Se $|d_{l,m}| \le \tau$: Os módulos são misturados (blend) usando uma interpolação fixa ($\alpha$).
   • Isso permite que o modelo herde a capacidade de raciocínio e compreensão do especialista em idiomas, enquanto incorpora os mecanismos de segurança do especialista em inglês nos módulos onde eles são mais críticos.

3. Principais Contribuições

• Formulação Sistemática: Apresentam uma formulação da troca de camadas como uma composição de vetores de tarefa multilingues e de segurança, unificando especializações em um espaço de representação.
• Granularidade Fino (Module-wise): Estendem a troca de camadas tradicional para a troca de módulos (atenção e MLP). Eles demonstram que a especialização não é uniforme em toda a rede; por exemplo, a segurança tende a emergir em camadas intermediárias, enquanto a adaptação linguística ocorre nas camadas iniciais e finais.
• Estratégia Livre de Treinamento: Demonstram que é possível melhorar a segurança em idiomas de baixo recurso sem custo computacional adicional de treinamento, apenas através da fusão inteligente de pesos de modelos existentes.
• Código Aberto: O código foi disponibilizado publicamente.

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro idiomas de baixo recurso (Coreano, Bengali, Suaíli e Telugu) utilizando modelos base LLaMA 3.1 8B e Qwen3 8B.

• Segurança (Benchmarks MultiJail):
  • O método proposto reduziu significativamente as taxas de respostas inseguras em comparação com modelos ajustados apenas para o idioma (Lang-Only).
  • Superou métodos de fusão de parâmetros existentes (como Task Arithmetic, TIES Merging, DARE) e a troca de camadas estática.
  • Em 20 avaliações, a troca de camadas proposta venceu 70% dos casos em comparação com a troca de camadas estática; a troca de módulos venceu 65%.
• Compreensão Geral de Linguagem (MMMLU, BELEBELE, MGSM):
  • O método manteve ou melhorou o desempenho em tarefas gerais de raciocínio e compreensão, preservando as capacidades do especialista em idiomas.
  • Evitou o "esquecimento catastrófico" de segurança ou de capacidade linguística, equilibrando as duas necessidades.
• Avaliação de Julgadores:
  • Utilizaram o Qwen Guard e Gemma Guard como "julgadores" (LLM-as-a-judge), com validação humana mostrando alta concordância, especialmente em Coreano.

5. Significado e Impacto

Este trabalho é significativo porque aborda uma lacuna ética e prática crucial na implantação global de LLMs: a segurança desigual entre idiomas.

• Eficiência: Oferece uma solução escalável e de baixo custo computacional para tornar modelos seguros em idiomas de baixo recurso, sem a necessidade de coletar grandes conjuntos de dados de segurança específicos para cada idioma.
• Generalização: Demonstra que a segurança e a capacidade linguística podem ser transferidas e combinadas de forma modular, sugerindo que os mecanismos de segurança são localizados em componentes específicos da arquitetura do modelo, e não espalhados uniformemente.
• Direção Futura: Abre caminho para estratégias de fusão de modelos mais sofisticadas que consideram a especialização funcional de sub-módulos, permitindo a criação de modelos multilingues robustos e seguros de forma mais ágil.

Em resumo, a proposta dos autores resolve o dilema de "escolher entre segurança ou capacidade linguística" em idiomas de baixo recurso, permitindo que ambos coexistam através de uma manipulação inteligente e automatizada dos pesos do modelo.