Resumen Técnico: Alineación Adaptativa de Enrutamiento Dinámico (DRAA)

1. Planteamiento del Problema

El despliegue generalizado de Modelos Fundacionales Grandes (LFMs) ha desplazado las amenazas de seguridad de los ataques de jailbreak de caja negra hacia los ataques estructurales de caja blanca. En estos escenarios, los atacantes con acceso a los parámetros internos pueden identificar y cortar precisamente los neuronas o vías causales específicas responsables de la negativa segura.

Los mecanismos de defensa existentes dependen de unidades de seguridad estáticas o rutas de negativa fijas (por ejemplo, congelar neuronas específicas o anclar pesos). El artículo argumenta que estos métodos sufren de una suposición de "componente estático": presumen que las estructuras protegidas permanecen intactas durante el despliegue. Bajo amenazas de caja blanca, una vez que estas rutas defensivas fijas son precisamente podadas o perturbadas, la capacidad de negativa del modelo colapsa por completo porque carece de mecanismos compensatorios. El problema central es la falta de redundancia dinámica en la alineación de seguridad actual, lo que hace que los modelos sean frágiles contra ataques dirigidos a nivel de ruta.

2. Metodología: Alineación Adaptativa de Enrutamiento Dinámico (DRAA)

El marco propuesto, DRAA, reformula la alineación de seguridad como un problema de recuperación de rutas. En lugar de simplemente reforzar una única ruta estática, DRAA tiene como objetivo dotar a los modelos de la capacidad de reconstruir dinámicamente comportamientos seguros cuando las vías críticas se ven comprometidas. El marco consta de tres etapas principales:

A. Localización de la Ruta de Seguridad

DRAA identifica primero la "ruta de seguridad" específica en la que el modelo confía actualmente para la negativa segura.

• Mecanismo: Contrasta las activaciones internas entre muestras de calibración seguras e inseguras.
• Métricas: Calcula dos puntuaciones para las neuronas en cada capa:
  1. Tamaño del Efecto (ES - Effect Size): Mide la separación distributiva entre entradas seguras e inseguras.
  2. Desplazamiento de Activación de Seguridad (SAS - Safety Activation Shift): Mide la amplificación direccional de la activación bajo entradas inseguras en relación con la media de la capa.
• Resultado: Un conjunto de neuronas $S$ (la ruta de seguridad) se define como la unión de las neuronas con altas puntuaciones de ES y SAS a través de las capas.

B. Minería de Fallos Causales

Para entrenar al modelo para manejar el fallo de su ruta de seguridad primaria, DRAA simula ataques dirigidos.

• Intervención: La ruta de seguridad identificada $S$ se enmascara temporalmente (se pone a cero) durante la inferencia.
• Construcción de Datos: El sistema recopila muestras donde el modelo intacto produce una negativa segura ($y_{ori}$), pero el modelo con la ruta deshabilitada falla y genera una respuesta insegura ($y_{cut}$).
• Pares de Preferencia: Estos casos forman "pares de preferencia conscientes del fallo" $(x, y_{ori}, y_{cut})$, creando un conjunto de datos ($D_{fail}$) que apunta específicamente a escenarios donde el mecanismo de seguridad primario está roto.

C. Optimización de Preferencia Directa de Enrutamiento Dinámico (DR-DPO)

La etapa final entrena al modelo para aprender rutas compensatorias sin reforzar la ruta primaria, ahora vulnerable.

• Bloqueo de Ruta (Route Locking): Durante el proceso de optimización de DPO, los parámetros correspondientes a la ruta de seguridad identificada $S$ se congelan (mediante el enmascaramiento de gradientes en adaptadores LoRA).
• Objetivo: El modelo se ve obligado a minimizar la pérdida de preferencia utilizando únicamente el espacio de parámetros no restringido ($\theta_R$).
• Estrategia: Esto implementa una estrategia de "desvío cuando hay bloqueo". El modelo no puede simplemente fortalecer la ruta frágil existente; debe descubrir y fortalecer rutas alternativas latentes (rutas compensatorias) dentro de los parámetros restantes para mantener el comportamiento de negativa segura incluso cuando la ruta primaria está deshabilitada.
• Inferencia: Durante la inferencia real, la ruta de seguridad permanece activa, pero las rutas compensatorias recién aprendidas proporcionan una capacidad defensiva adicional si la ruta primaria es perturbada.

3. Contribuciones Clave

1. Propuesta de Marco: Introducción de DRAA, que cambia la alineación de seguridad de la protección de nodos estáticos a la reconstrucción dinámica de los mecanismos de negativa bajo ataque.
2. Objetivo DR-DPO: Un nuevo objetivo de optimización que bloquea la ruta de seguridad durante el entrenamiento, forzando al modelo a aprender vías compensatorias en el espacio de parámetros no atacado.
3. Validación Empírica: Experimentos extensos que demuestran que DRAA mejora significativamente la robustez contra ataques severos de poda de caja blanca mientras preserva la utilidad general.

4. Resultados Experimentales

El artículo evalúa DRAA a través de varios backbones de LLM (Qwen2.5, LLaMA-3.2, Gemma, Phi) y LLMs Multimodales (Qwen2.5-VL, LLaVA) bajo cuatro configuraciones de poda: ORI (sin poda), ES, SAS y FULL (unión de neuronas ES y SAS).

• Robustez a la Poda: Bajo la configuración de poda FULL más fuerte, DRAA alcanza consistentemente la Tasa de Éxito de Ataque (ASR) más baja en comparación con líneas base como SN-Tune, RLHF-Safety y SafeNeuron.
  • Ejemplo: En Qwen2.5-7B, DRAA redujo el ASR de FULL a 26/313, mientras que el modelo original tenía 279/313 y SafeNeuron tuvo 183/313.
  • Ejemplo: En LLaMA-3.2-8B, DRAA logró un ASR de 11/313 bajo poda FULL, comparado con 221/313 para el modelo original.
• Seguridad Multimodal: DRAA demostró una robustez superior en escenarios de jailbreak visual (tareas de VL-Question y NSFW), reduciendo significativamente el ASR de FULL (por ejemplo, de 174/313 a 5/313 en Qwen2.5-VL-7B para VL-Question).
• Generalización a Ataques No Vistos: DRAA mantuvo la robustez contra mecanismos de ataque de caja blanca no utilizados durante el entrenamiento (GRAD, WANDA, ABLATE), lo que indica que no se limita a sobreajustarse a patrones de poda específicos.
• Preservación de la Utilidad: El método preservó las capacidades generales (medidas por ARC, GSM8K, TruthfulQA) sin degradación significativa.
• Eficiencia: El enfoque añade un overhead de tiempo de inferencia insignificante. La localización toma ~0.58 minutos para 1,000 muestras, y el entrenamiento toma ~12.7 minutos. Después de fusionar los adaptadores, el modelo retiene el recuento de parámetros y las velocidades de inferencia originales.

5. Significado y Reivindicaciones

El artículo afirma que DRAA aborda una vulnerabilidad crítica en la alineación de seguridad actual: la dependencia de defensas de punto único estáticas que colapsan bajo ataques dirigidos de caja blanca. Al introducir rutas compensatorias dinámicas, el marco reestructura la dependencia de la vía subyacente del modelo para su seguridad.

Los autores enfatizan que DRAA no solo mejora la seguridad contra ataques conocidos, sino que cambia fundamentalmente la arquitectura del modelo para que sea resistente al ataque. El mecanismo de "desvío cuando hay bloqueo" asegura que, incluso si un atacante identifica y corta con éxito las neuronas de seguridad primarias, el modelo conserva la capacidad de negar solicitudes dañinas a través de vías alternativas aprendidas. Este enfoque ofrece un paradigma más robusto para el despliegue de LFMs en entornos abiertos donde los parámetros internos pueden estar expuestos a adversarios.