Resumen Técnico: SafeNexus

Declaración del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLM) han demostrado un sólido desempeño en seguridad, su evolución hacia Modelos de Lenguaje de Gran Escala Multimodales (MLLM) ha expuesto una brecha significativa entre las capacidades multimodales expandidas y los mecanismos de seguridad existentes. Las estrategias de defensa actuales están predominantemente confinadas a configuraciones de modalidades específicas (por ejemplo, defensa solo para imagen o solo para texto), lo que las hace inadecuadas contra ataques cross-modales sofisticados donde los adversarios explotan las interacciones entre texto, imágenes y audio para eludir las salvaguardas. Además, los enfoques de defensa cross-modal existentes suelen tratar los mecanismos de seguridad internos como una "caja negra" o dependen de un alineamiento basado en entrenamiento computacionalmente costoso que conlleva el riesgo de olvido catastrófico de las capacidades generales. Existe una falta crítica de comprensión respecto a los mecanismos internos intrínsecos que gobiernan los comportamientos de seguridad a través de diversas modalidades.

Metodología: SafeNexus

El artículo propone SafeNexus, un marco de alineamiento de seguridad cross-modal que adopta una estrategia de intervención de "localizar-luego-reforzar" a nivel de neurona. La metodología procede en tres etapas primarias:

1. Localización e Identificación de Neuronas

Los autores formulan un paradigma para identificar neurones funcionalmente especializadas mediante la caracterización de los patrones de activación de las capas intermedias.

• Puntuación de Importancia: Las neuronas se definen como vectores de fila individuales dentro de las matrices de up-projection de la red Feed-Forward (FFN) o de la matriz de gate-projection. Su contribución se cuantifica agregando las magnitudes de activación sobre un corpus de sondeo e integrándolas con la dirección de down-projection para derivar una puntuación de importancia sensible a la salida.
• Neuronas de Seguridad Ligadas a la Modalidad (BS-Neurons): Utilizando conjuntos de datos contrastivos que comprenden consultas dañinas (jailbreak) y benignas para modalidades específicas (Texto, Imagen, Audio), los autores identifican neurones que están altamente activos durante las respuestas dañinas pero no durante las benignas. Estas se denominan BS-Neurons ($BS^c$).
• Neuronas de Seguridad Universales a la Modalidad (US-Neurons): Al intersectar los conjuntos de BS-Neurons identificados a través de diferentes modalidades ($US = BS^T \cap BS^I \cap BS^A$), los autores aíslan un subconjunto compartido compacto. Se hipotetiza que estas US-Neurons gobiernan la seguridad multimodal general independientemente de la modalidad de entrada.

2. Validación mediante Supresión Dirigida

Los autores validan el papel crítico de estas neuronas a través de experimentos de supresión (enmascaramiento) dirigida:

• Validación de BS-Neurons: El enmascaramiento de las BS-Neurons específicas de la modalidad causa una degradación significativa en el desempeño de seguridad (medido por la Tasa de Éxito de Ataque, ASR) dentro de esa modalidad específica, mientras que el enmascaramiento de neuronas aleatorias tiene efectos insignificantes.
• Validación de US-Neurons: El enmascariento de las US-Neurons compartidas conduce a un deterioro pronunciado en el desempeño defensivo en todas las diversas configuraciones de entrada multimodal (por ejemplo, solo texto, texto+imagen, texto+audio), confirmando su papel como un ancla de seguridad central. Crucialmente, esta supresión no degrada sustancialmente la utilidad general del modelo.

3. Estrategias de Alineamiento de Seguridad

Basándose en el descubrimiento de que el refuerzo de las US-Neurons mejora la seguridad, SafeNexus propone dos estrategias de intervención distintas:

• Amplificador de Seguridad a Nivel de Activación: Un enfoque libre de entrenamiento que escala directamente las magnitudes de activación de las US-Neurons durante la inferencia mediante un coeficiente $\alpha$ especificado manualmente. Esto amplifica la señal de seguridad sin actualizar los parámetros del modelo.
• Calibrador de Neuronas de Seguridad: Un enfoque de ajuste fino (fine-tuning) dirigido utilizando Low-Rank Adaptation (LoRA). A diferencia del LoRA estándar que actualiza todos los parámetros, este método restringe las actualizaciones entrenables exclusivamente a las US-Neurons (aproximadamente el 0.05% de los parámetros del backbone). Esto calibra selectivamente las neuronas para mejorar el alineamiento de seguridad mientras preserva las capacidades generales y evita el olvido catastrófico.

Contribuciones Clave

1. Descubrimiento de Subespacios de Seguridad: El artículo identifica y valida la existencia de BS-Neurons (ligadas a la modalidad) y US-Neurons (universales a la modalidad), revelando que la seguridad multimodal en los MLLM está gobernada predominantemente por un subconjunto de neuronas compartido y altamente compacto.
2. Estrategias de Alineamiento Eficientes: Los autores proponen dos estrategias eficientes —el Amplificador de Seguridad a Nivel de Activación y el Calibrador de Neuronas de Seguridad— que mejoran significativamente la robustez del modelo contra entradas multimodales dañinas.
3. Superioridad Empírica: Experimentos extensos demuestran que SafeNexus logra un desempeño de vanguardia (state-of-the-art) a través de diversos benchmarks de seguridad multimodal (incluyendo Omni-Safe, HarmBench y JALM) mientras preserva eficazmente la utilidad general del modelo y evita comportamientos de rechazo excesivamente conservadores.

Resultados Experimentales

Los autores evaluaron SafeNexus en tres MLLM de código abierto (Qwen2.5-Omni, VITA y MiniCPM-o) a través de varias combinaciones de modalidades (Texto, Imagen, Audio y sus combinaciones).

• Desempeño de Seguridad: SafeNexus supera a los métodos predominantes de vanguardia (incluyendo enfoques basados en entrenamiento como SPA-VL e intervenciones en tiempo de inferencia como ECSO e Immune). Por ejemplo, en el modelo MiniCPM con entradas de Texto+Imagen+Audio, la estrategia del calibrador redujo la ASR en más de un 60%, superando significativamente a las bases de comparación.
• Preservación de la Utilidad: El método mantiene una alta precisión en benchmarks de capacidad general (OmniBench, AV-Odyssey), mostrando una degradación insignificante en comparación con los modelos vanilla.
• Sobre-rechazo (Over-Refusal): El enfoque evita el efecto secundario de rechazar excesivamente solicitudes benignas, con un aumento en la tasa de rechazo en prompts benignos inferior al 3%, mientras que otros métodos (por ejemplo, SARSteer) mostraron aumentos de ~18%.
• Transferencia Zero-Shot: El método demostró generalizabilidad zero-shot al video sin haber utilizado datos de video durante las etapas de sondeo o refuerzo, reduciendo la ASR en benchmarks relacionados con video.
• Eficiencia de Parámetros: El Calibrador de Neuronas de Seguridad actualiza menos del 0.05% de los parámetros del modelo, logrando un alineamiento de seguridad superior en comparación con el ajuste fino de parámetros completos o el ajuste de neuronas aleatorias.

Significación

El artículo afirma que SafeNexus aborda la limitación crítica de que los mecanismos de seguridad actuales están confinados a configuraciones de modalidades fijas. Al revelar que la seguridad cross-modal es gobernada por un subconjunto de neuronas compartido y compacto, el trabajo proporciona una comprensión mecánica de cómo los MLLM procesan la seguridad a través de entradas heterogéneas. La estrategia propuesta de "localizar-luego-reforzar" ofrece una solución altamente eficiente, interpretable y robusta para alinear los MLLM, demostrando que la intervención dirigida a nivel de neurona puede neutralizar eficazmente las amenazas cross-modales sin comprometer la utilidad general del modelo ni requerir un reentrenamiento costoso.