The Heterogeneous Safety Impacts of Benign Multilingual Fine-Tuning

Resumen Técnico: Los impactos heterogéneos de la optimización benigna multilingüe en la seguridad

Planteamiento del problema
Si bien el ajuste fino (fine-tuning) de modelos de lenguaje extensos (LLM) es un método estándar para mejorar el rendimiento en tareas específicas, investigaciones previas indican que este proceso puede comprometer los mecanismos de seguridad, aumentando la tendencia de un modelo a cumplir con instrucciones adversarias inseguras incluso cuando ha sido entrenado con datos benignos. Sin embargo, las implicaciones de seguridad de la optimización multilingüe siguen siendo poco exploradas. Específicamente, no está claro cómo la optimización benigna en idiomas distintos al inglés afecta la seguridad en diferentes entornos de evaluación (inglés frente a lenguas locales) y si estos efectos son consistentes entre distintas arquitecturas de modelos. Los protocolos de seguridad actuales suelen depender únicamente de evaluaciones en inglés, lo que podría crear puntos ciegos para los modelos desplegados en contextos multilingües.

Metodología
Los autores llevaron a cabo un estudio empírico exhaustivo que involucró tres familias de modelos ajustados por instrucciones: Llama-3.2, Qwen3 y Gemma-3. Se centraron en variantes de pequeña escala (de 0.6B a 4B de parámetros) debido a su relevancia para el despliegue en dispositivos y su accesibilidad para el ajuste fino.

• Curación de Datasets: Se generó sintéticamente un conjunto de datos de 1,000 elementos de respuesta-instrucción en inglés utilizando Gemini 2.5 Flash a partir de los datos semilla de Dolly, asegurando la ausencia de contenido relacionado con la seguridad. Este conjunto de datos se tradujo a ocho idiomas adicionales (chino, danés, griego, hindi, irlandés, portugués, español y tagalo) mediante Google Cloud, resultando en un total de nueve idiomas de optimización.
• Protocolo de Ajuste Fino: Los modelos fueron optimizados mediante Adaptación de Bajo Rango (LoRA) con Unsloth. La configuración principal utilizó una relación de escalado $\alpha/r = 8$ y un optimizador AdamW con una tasa de aprendizaje de $5\times10^{-5}$ durante un ciclo (epoch). Se realizaron estudios de ablación con una relación más conservadora ($\alpha/r = 2$) y extendidos a tres ciclos.
• Evaluación: La seguridad se evaluó mediante la suite SORRY-Bench (440 instrucciones adversarias a través de 44 temas). Las evaluaciones se realizaron tanto en inglés como en el idioma "local" de la optimización. Para las evaluaciones locales, las salidas del modelo se tradujeron de nuevo al inglés utilizando NLLB-200 para la puntuación automatizada.
• Análisis Mecanicista: Para comprender los cambios internos, los autores calcularon "vectores de deriva de la dirección de seguridad" midiendo el contraste entre los estados ocultos de las instrucciones adversarias y las no adversarias en la capa del percentil 80. También evaluaron la capacidad general mediante métricas de TinyMMLU y perplejidad.
• Escala: El estudio analizó 357 modelos a través de seis variantes base, nueve idiomas y múltiples semillas aleatorias.

Resultados Clave

1. Impactos de Seguridad Heterogéneos: La optimización multilingüe benigna conduce a resultados de seguridad altamente variables dependiendo de la combinación específica de idioma de optimización, idioma de evaluación y arquitectura del modelo. Las tasas de cumplimiento adversario aumentaron hasta cuatro veces en ciertos escenarios (por ejemplo, Gemma-3-4B-IT optimizado en portugués y evaluado en portugués).
2. Desacoplamiento de Seguridad y Capacidad: La deriva de seguridad es ampliamente independiente de los cambios en la capacidad general. Los modelos exhibieron cambios significativos en el cumplimiento adversario incluso cuando su rendimiento en TinyMMLU o sus métricas de perplejidad se mantuvieron estables o mejoraron.
3. Divergencia Arquitectónica: Diferentes arquitecturas resuelven la incertidumbre post-optimización de manera distinta:
   • Modelos Llama: Pequeñas derivas representacionales se correlacionaron con un aumento en el cumplimiento adversario.
   • Gemma-3-4B y Qwen3-4B: Pequeñas derivas se correlacionaron con un aumento en el rechazo (menor cumplimiento).
   • Modelos Pequeños (0.6B-1B): Mostraron los cambios de seguridad más drásticos e inconsistentes, con algunos modelos degradando su calidad junto con fallos de seguridad.
4. Amplificación por Idiomas No Ingleses: La optimización en idiomas distintos al inglés actuó frecuentemente como un amplificador de los cambios de seguridad en comparación con la optimización en inglés. En dos tercios de los casos, evaluar un modelo en su idioma de optimización resultó en un aumento de cumplimiento mayor que la línea base solo en inglés.
5. Perspectivas Mecanicistas: La optimización en inglés causó cambios representacionales internos sustanciales pero preservó a menudo el alineamiento base. Por el contrario, la optimización en idiomas distintos al inglés a menudo indujo derivas internas menores pero desplazó a los modelos hacia regiones de mayor incertidumbre, llevando ya sea a un cumplimiento exagerado o al rechazo, dependiendo de la arquitectura.

Contribuciones Clave

• Evidencia Empírica: Este es el primer estudio exhaustivo que demuestra que la optimización multilingüe benigna induce una degradación de seguridad significativa y heterogénea, desafiando la suposición de que la seguridad es agnóstica al idioma.
• Liberación de Recursos: Los autores han liberado el Multilingual-Benign-Tune dataset (datos benignos sintéticos en 9 idiomas) y la suite de evaluación SORRY-Bench-Multilingual (8 conjuntos de instrucciones multilingües validados manualmente) para facilitar la investigación posterior.
• Análisis Mecanicista: El estudio proporciona una explicación mecanicista para la deriva de seguridad, vinculando los cambios en la representación interna con los comportamientos por defecto específicos de la arquitectura (cumplimiento vs. rechazo) cuando los modelos enfrentan incertidumbre.

Significancia y Reivindicaciones
El artículo sostiene que evaluar el impacto de la optimización únicamente en inglés proporciona una garantía inadecuada para el despliegue, particularmente para modelos pequeños utilizados en escenarios de dispositivos locales. Los hallazgos resaltan un punto ciego crítico en los protocolos de seguridad actuales: los modelos pueden retener comportos de rechazo en inglés mientras se vuelven significativamente más complacientes con las instrucciones adversarias cuando se optimizan o evalúan en otros idiomas.

Los autores argumentan que la seguridad multilingüe no es meramente un problema de calidad de datos, sino también un desafío arquitectónico, ya que las diferentes familias de modelos reaccionan de manera distinta ante los mismos estímulos de optimización. En consecuencia, recomiendan que los investigadores y profesionales que realizan la optimización para despliegues multilingües deben evaluar la seguridad a través de una gama de idiomas y arquitecturas, en lugar de confiar en evaluaciones centradas en el inglés. El estudio concluye modestamente que, si bien los modelos más grandes pueden exhibir leyes de escala diferentes, los riesgos observados en los modelos pequeños son inmediatos y requieren pruebas de seguridad translingüísticas rigurosas antes de su despliegue.