Resumen Técnico: RouteHijack

Declaración del Problema

A medida que los Modelos de Lenguaje Grandes (LLM) adoptan cada vez más arquitecturas de Mezcla de Expertos (MoE) para escalar la capacidad de manera eficiente, su robustez de seguridad sigue siendo poco explorada. Los ataques adversarios existentes enfrentan limitaciones significativas al aplicarse a modelos MoE:

• Jailbreaks basados en prompts dependen de búsquedas heurísticas, son frágiles y se transfieren mal.
• Métodos de intervención del modelo (por ejemplo, poda de expertos, manipulación de logits) requieren acceso privilegiado a pesos o activaciones internas, lo cual es poco realista en escenarios de despliegue estándar.
• Ataques basados en optimización (por ejemplo, GCG), aunque son solo de entrada, son fundamentalmente inadecuados para modelos MoE. Están diseñados para arquitecturas densas, sin tener en cuenta el mecanismo de enrutamiento Top-K no diferenciable. Además, están centrados en la salida, optimizando para prefijos de tokens específicos (por ejemplo, "Claro, aquí está") en lugar de las dinámicas de enrutamiento internas que gobiernan el comportamiento de seguridad. Esto a menudo conduce a una optimización inestable o a modelos que inicialmente cumplen pero luego se niegan.

Actualmente no existe un ataque basado en optimización, solo de entrada y efectivo, capaz de eludir los mecanismos de seguridad en LLMs MoE manteniendo una generación coherente.

Metodología: RouteHijack

Los autores proponen RouteHijack, un marco adversario consciente del enrutamiento que explota la vulnerabilidad estructural de los modelos MoE: la concentración de comportamientos alineados con la seguridad dentro de un pequeño subconjunto especializado de expertos. El ataque opera bajo restricciones realistas de solo entrada en el momento del despliegue, utilizando un modelo sustituto para la optimización fuera de línea.

El marco consta de dos etapas principales:

1. Localización de Expertos Impulsada por Respuestas

A diferencia de los métodos anteriores que analizan activaciones basadas en prompts de entrada (lo que confunde el comportamiento de seguridad con la semántica del prompt), RouteHijack emplea perfilado contrastivo impulsado por respuestas.

• Mecanismo: Para una consulta maliciosa dada, el modelo genera dos respuestas: una negativa segura ($a_{safe}$) y una respuesta dañina complaciente ($a_{harm}$). El método compara las frecuencias de activación de expertos entre estas dos respuestas, aislando los expertos que están específicamente activos durante la negativa frente a la generación dañina.
• Filtrado Consciente de la Utilidad: Para evitar degradar las capacidades generales del modelo, el método filtra los expertos "polisémicos" que contribuyen tanto a la seguridad como al modelado de lenguaje general. Selecciona expertos críticos para la seguridad ($E_{safe}$) y expertos dañinos ($E_{harm}$) basándose en su activación diferencial, penalizando aquellos con altas frecuencias de activación general.

2. Optimización Consciente del Enrutamiento (Pérdida Ternaria)

RouteHijack construye un sufijo adversario universal ($x_{adv}$) optimizado para manipular la decisión del enrutador en el token de frontera ($t^*$) antes de que comience la decodificación autoregresiva. La optimización minimiza una pérdida ternaria ($L_{total}$) que comprende tres componentes:

• Supresión de Seguridad ($L_{suppress}$): Minimiza la probabilidad de enrutamiento de los expertos de seguridad identificados ($E_{safe}$) para debilitar el mecanismo de defensa principal del modelo.
• Promoción de Daño Acotada ($L_{promote}$): Maximiza la probabilidad de enrutamiento de expertos dañinos ($E_{harm}$) pero impone una restricción acotada (pérdida de bisagra). Esto evita que el enrutador colapse en unos pocos expertos, lo que causaría degradación semántica, asegurando que el modelo permanezca fluido.
• Poca Probabilidad de Negativa ($L_{refusal}$): Penaliza la generación de tokens de negativa (por ejemplo, "lo siento", "no puedo") durante los pasos iniciales de decodificación ($W=5$). Esto evita que el modelo regrese a trayectorias de negativa incluso si el enrutamiento inicial es manipulado.

La optimización utiliza una búsqueda discreta guiada por gradientes (similar a GCG) pero apunta a las probabilidades continuas del softmax del enrutador antes de la truncación Top-K no diferenciable, permitiendo una propagación de gradientes estable.

Contribuciones Clave

1. Marco RouteHijack: El primer ataque basado en optimización, solo de entrada, diseñado específicamente para LLMs MoE que influye directamente en la selección de expertos a través de perturbaciones de entrada.
2. Perfilado Impulsado por Respuestas: Un método novedoso para aislar expertos críticos para la seguridad y dañinos contrastando respuestas del modelo en lugar de prompts de entrada, proporcionando una caracterización más precisa de los mecanismos internos de seguridad.
3. Objetivo Consciente del Enrutamiento: Una función de pérdida ternaria que controla conjuntamente la activación de expertos y las dinámicas de decodificación en etapas tempranas, superando la no diferenciabilidad del enrutamiento MoE.
4. Validación Empírica: Evaluación exhaustiva en siete LLMs MoE de última generación (que cubren variantes de enrutamiento disperso, de expertos compartidos y agrupados) y tres Modelos de Lenguaje Visuales (VLM) basados en MoE.

Resultados Experimentales

• Tasa de Éxito del Ataque (ASR): RouteHijack logra un ASR promedio de 69.3% en siete LLMs MoE, con un pico de 89.1%. Esto supera significativamente a la mejor línea base de caja blanca (SAFEx, 33.3%) y a los ataques estándar basados en optimización (GCG, 21.9%).
• Preservación de Utilidad: El ataque incurre en una caída mínima de utilidad promedio de 1.3% en cinco benchmarks de NLU (CoLA, RTE, WinoGrande, OpenBookQA, ARC-Challenge), demostrando que el filtrado consciente de la utilidad preserva exitosamente las capacidades generales de lenguaje.
• Transferibilidad:
  • Modelos Hermanos: Los sufijos optimizados se transfieren zero-shot a través de cinco variantes MoE hermanas, elevando el ASR promedio del 27.7% al 61.2%.
  • Multimodal: El ataque se generaliza a VLMs basados en MoE, aumentando el ASR promedio del 2.47% al 38.7%, lo que indica que las vulnerabilidades de enrutamiento son inherentes a la arquitectura MoE independientemente de la modalidad.
• Validación Mecanística: El análisis confirma que el ataque desplaza exitosamente las probabilidades de enrutamiento en el token de frontera (Tasa de Supresión de Expertos Objetivo de -28.75% y Tasa de Promoción de Daño Objetivo de +28.51%), y estos desplazamientos se propagan a través del proceso de generación autoregresiva.

Significado y Afirmaciones

El artículo afirma que RouteHijack expone una vulnerabilidad fundamental en las arquitecturas de expertos dispersos: la alineación de seguridad no está distribuida uniformemente, sino que se concentra en un pequeño subconjunto de expertos. Esta concentración crea una superficie de ataque localizada que puede ser explotada mediante manipulación del enrutamiento.

Los autores argumentan que los métodos actuales de alineación de seguridad (por ejemplo, RLHF, DPO) son insuficientes porque se centran en distribuciones de salida sin abordar las dinámicas subyacentes de enrutamiento disperso. Los hallazgos sugieren que:

1. El Enrutamiento es un Riesgo Agnóstico a la Modalidad: Las vulnerabilidades en el mecanismo de enrutamiento afectan tanto a modelos de texto como a modelos de lenguaje visual.
2. Amenaza de Caja Negra: La capacidad de transferir ataques entre modelos hermanos implica que incluso los modelos MoE propietarios y de caja negra están en riesgo si comparten una columna vertebral de enrutamiento con variantes de pesos abiertos.
3. Necesidad de Nuevas Defensas: El artículo concluye que las defensas robustas deben ir más allá de la alineación a nivel de salida para incluir regularización consciente del enrutamiento durante el entrenamiento (para distribuir los comportamientos de seguridad de manera más amplia) o auditorías de enrutamiento en tiempo de inferencia para detectar patrones anómalos de activación de expertos.