Layer-wise Swapping for Generalizable Multilingual Safety

1. El Problema

A pesar de los avances rápidos en los Modelos de Lenguaje Grande (LLMs), existe una disparidad crítica en la alineación de seguridad entre idiomas.

• Sesgo Inglés: Los conjuntos de datos de seguridad y los esfuerzos de ajuste (fine-tuning) son predominantemente en inglés. Esto deja a los idiomas de recursos bajos (low-resource) vulnerables a generaciones dañinas o no alineadas.
• Riesgo de Adaptación: Los modelos expertos en idiomas específicos, ajustados solo en sus respectivos conjuntos de datos de instrucciones, tienden a exhibir tasas de inseguridad más altas en comparación con sus contrapartes en inglés o modelos base.
• Desafío de Transferencia: Los métodos existentes de transferencia multilingüe a menudo provocan "olvido catastrófico", donde el modelo pierde el conocimiento de seguridad adquirido durante el preentrenamiento al adaptarse a un nuevo idioma. Además, las técnicas de fusión de modelos actuales suelen centrarse en el rendimiento de tareas generales, ignorando la dimensión de seguridad.

2. Metodología Propuesta

Los autores proponen un método libre de entrenamiento llamado Intercambio de Capas Consciente de la Seguridad (Safety-aware Layer Swapping). La estrategia se basa en la composición de vectores de tarea y la selección dinámica de módulos.

Conceptos Clave:

• Vectores de Tarea: Se definen como la diferencia entre los parámetros de un modelo ajustado ($\theta_{ft}$) y el modelo base preentrenado ($\theta_{base}$).
  • $\tau_{safe} = \theta_{safe} - \theta_{base}$ (Vector de seguridad).
  • $\tau_{multi} = \theta_{multi} - \theta_{base}$ (Vector multilingüe).
• Intercambio a Nivel de Capa y Módulo: En lugar de reemplazar capas completas de manera estática (como en trabajos anteriores), el método descompone el modelo en submódulos: Atención (Self-Attention) y Redes Neuronales (MLP/FFN) dentro de cada capa.
• Estrategia de Selección Automática:
  1. Se calcula la magnitud de la actualización de parámetros para cada módulo en los modelos de seguridad y multilingüe en comparación con el modelo base.
  2. Se normalizan estas magnitudes para obtener puntuaciones de importancia ($p_{safe}$ y $p_{multi}$).
  3. Se calcula la diferencia $d_{l,m} = p_{safe} - p_{multi}$ para determinar la especialización relativa de cada módulo.
  4. Regla de Decisión:
     • Si un módulo muestra una preferencia fuerte por la seguridad ($|d_{l,m}| > \tau$), se selecciona directamente del modelo experto en seguridad.
     • Si muestra preferencia por el idioma, se selecciona del modelo experto en idioma.
     • Si la preferencia es ambigua (dentro del umbral $\tau$), los módulos se mezclan mediante interpolación: $\theta_{hybrid} = \alpha \cdot \theta_{safe} + (1-\alpha) \cdot \theta_{multi}$.

Este enfoque permite propagar comportamientos de seguridad sin sacrificar la capacidad de comprensión general del lenguaje, aprovechando la linealidad local de los componentes del transformador.

3. Contribuciones Clave

1. Formulación Sistemática: Presentan el intercambio de capas como una composición de vectores de tarea multilingües y de seguridad dentro de un espacio de representación unificado.
2. Selección Dinámica de Módulos: Extienden el intercambio de capas convencional a un nivel más fino (módulo a módulo), cuantificando la especialización en componentes de Atención y MLP para permitir una selección o mezcla automática.
3. Estrategia Libre de Entrenamiento: Demuestran que es posible mejorar la seguridad multilingüe en idiomas de recursos bajos mediante una estrategia de fusión de parámetros sin necesidad de reentrenar el modelo, preservando al mismo tiempo el rendimiento en tareas generales.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro idiomas de recursos bajos: Coreano, Bengalí, Swahili y Telugu, utilizando modelos base como LLaMA 3.1 8B y Qwen 3 8B.

• Evaluación de Seguridad (MultiJail):
  • El método propuesto redujo significativamente las tasas de respuestas inseguras en comparación con los modelos ajustados solo en el idioma objetivo.
  • Superó a los métodos de fusión existentes (Task Arithmetic, TIES, DARE) y al intercambio de capas estático.
  • En el 70% de los casos evaluados, el intercambio a nivel de capa (Ours) superó al intercambio de capas estático previo, y el intercambio a nivel de módulo logró un 65% de victorias.
• Comprensión del Lenguaje General (MMMLU, BELEBELE, MGSM):
  • El método mantuvo un rendimiento competitivo en tareas de razonamiento y comprensión, a menudo superando a los modelos de solo idioma y mostrando menor varianza entre idiomas.
  • El intercambio a nivel de módulo demostró ser más robusto que el intercambio fijo de capas, mejorando el rendimiento en el 68% de los casos evaluados.
• Análisis de Especialización:
  • Se observó que la alineación de seguridad tiende a emerger en capas intermedias, mientras que la adaptación lingüística es más fuerte en las capas inferiores y superiores.
  • Existe una especialización complementaria entre los módulos de Atención y MLP, lo que valida la necesidad de un intercambio granular en lugar de uno por capas completas.

5. Significado e Impacto

Este trabajo aborda una brecha ética y práctica crítica en la implementación global de LLMs. Al demostrar que la seguridad puede transferirse de un experto en inglés a idiomas de recursos bajos sin costo computacional adicional de entrenamiento, el método ofrece una solución escalable para la alineación multilingüe.

La principal innovación radica en la comprensión de que la seguridad y la capacidad lingüística se localizan en diferentes componentes funcionales del modelo (capas y tipos de módulos), y que un enfoque de fusión adaptativa y dinámica es necesario para preservar ambas capacidades simultáneamente. Esto sienta las bases para modelos más seguros y equitativos en un contexto multilingüe global.