Resumen Técnico: Comprensión del Comportamiento de Expertos Sensibles a la Seguridad en Modelos de Lenguaje Grande de Mezcla de Expertos

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) de Mezcla de Expertos (MoE) utilizan una activación dispersa impulsada por un enrutador, donde los tokens se dirigen a un subconjunto específico de expertos de alimentación hacia adelante. Una intuición predominante en la alineación de seguridad sugiere que la negativa a solicitudes dañinas se logra enrutando las entradas a expertos distintos y "orientados a la negativa", separados de aquellos que manejan el tema.

Este artículo desafía esa intuición, preguntando: Cuando un modelo MoE alineado rechaza una solicitud dañina, ¿es la negativa inducida por el enrutamiento a un conjunto distinto de expertos especializados en seguridad, o está mediada por representaciones dentro de los mismos expertos especializados en el tema que de otro modo procesarían la solicitud?

Los autores postulan que si el comportamiento de seguridad está controlado principalmente por el enrutamiento, entonces alterar la decisión del enrutador debería ser la forma más efectiva de eludir la seguridad. Por el contrario, si la seguridad está incrustada dentro de los parámetros de los propios expertos, los patrones de enrutamiento podrían permanecer estables incluso cuando el comportamiento de seguridad cambia. Comprender esta distinción es crítico para desarrollar mecanismos de seguridad robustos y evaluar las vulnerabilidades de los modelos MoE.

2. Metodología

2.1 Sondeos Empíricos para el Comportamiento de Enrutamiento

Para investigar la relación entre el enrutamiento y la seguridad, los autores realizaron tres sondeos empíricos complementarios en modelos MoE alineados:

1. Contraste Conductual Forzado por Maestro: Los autores compararon los patrones de enrutamiento para la misma solicitud dañina bajo dos condiciones: una continuación de negativa alineada con la seguridad y una continuación de cumplimiento forzada por maestro.
2. Contraste de Estilo de Negativa a Nivel de Solicitud: Utilizando solicitudes benignas, añadieron prefijos de negativa para inducir respuestas con estilo de negativa y compararon el enrutamiento resultante con las solicitudes benignas originales y controles cruzados de tema.
3. Contraste de Intención de Seguridad Emparejada: Construyeron pares de solicitudes donde el tema y la estructura sintáctica se preservaron, pero se eliminó la intención insegura (por ejemplo, cambiar "cómo hacer una bomba" por "cómo hacer un juguete").

Métricas: La similitud de enrutamiento se cuantificó utilizando la divergencia de Jensen-Shannon (JS) de los logits del enrutador y la superposición de los $k$ expertos activados superiores.

Hallazgos: En todos los sondeos, los cambios en el comportamiento de negativa/cumplimiento o en la intención de seguridad resultaron en desplazamientos de enrutamiento significativamente menores en comparación con los cambios en el tema de la solicitud. Esto sugiere que los enrutadores MoE son principalmente impulsados por el tema, mientras que la aplicación de la seguridad reside dentro de las representaciones de los expertos activados naturalmente para ese tema, en lugar de en una ruta de enrutamiento separada.

2.2 Marco RASET

Motivados por el hallazgo de que el comportamiento de seguridad puede alterarse sin interrumpir la ruta de enrutamiento intrínseca, los autores proponen RASET (Ajuste de Expertos Críticos para la Seguridad Agnóstico al Enrutador). Este es un marco de pruebas rojas diseñado para inducir contenido dañino mientras se preserva el cómputo especializado en el tema del modelo.

Pasos Clave:

1. Identificación de Expertos Críticos para la Seguridad:

   • El marco calcula una Puntuación de Sensibilidad a la Seguridad ($S_{l,i}$) para cada experto $i$ en la capa $l$.
   • Esta puntuación se deriva de un criterio contrastivo de sensibilidad al enrutamiento: $S_{l,i} = A(l, i; D_{harm}) - \lambda \cdot A(l, i; D_{norm})$.
   • Esto contrasta la activación del experto en consultas dañinas ($D_{harm}$) contra instrucciones benignas ($D_{norm}$), suprimiendo expertos que están generalmente activos (generales del tema) y destacando aquellos reclutados desproporcionadamente para solicitudes dañinas.
   • Los $K$ expertos superiores con las puntuaciones más altas se seleccionan como el conjunto clave $\Phi_{key}$.

2. Adaptación a Nivel de Experto Constrained:

   • Congelamiento: El enrutador, los componentes compartidos y todos los expertos no seleccionados se congelan.
   • Ajuste Fino: Se aplica ajuste fino eficiente en parámetros (PEFT) solo a los expertos seleccionados ($\theta_{\Phi}$).
   • Funciones de Pérdida:
     • $L_{violate}$: Una estrategia dual que penaliza los patrones de negativa (por ejemplo, "Lo siento, no puedo") y promueve prefijos afirmativos (por ejemplo, "Claro, aquí está...") emparejados con consultas inseguras. Utiliza una penalización de margen máximo para evitar la optimización ilimitada.
     • $L_{preserve}$: Asegura que se mantengan las capacidades generales minimizando el log-verosimilitud negativo (NLL) en instrucciones benignas ($D_{norm}$) y aplicando regularización L2 para mantener los parámetros ajustados cerca de sus estados preentrenados.
   • Objetivo: $L_{total} = L_{violate} + L_{preserve}$.

3. Contribuciones Clave

1. Evidencia Empírica sobre la Dinámica de Enrutamiento: El artículo proporciona evidencia controlada de que en modelos MoE alineados, el enrutamiento está impulsado en gran medida por la estructura semántica del tema en lugar de la distinción binaria entre negativa y cumplimiento. El comportamiento relacionado con la seguridad puede cambiar significativamente sin desplazamientos grandes correspondientes en la ruta de enrutamiento.
2. Marco RASET: La introducción de un marco de adaptación a nivel de experto diagnóstico que congela el enrutador. Esto permite el análisis controlado de las representaciones de expertos sensibles a la seguridad y demuestra que la alineación de seguridad puede verse comprometida a través de cambios de parámetros localizados sin interrumpir la especialización funcional del modelo.
3. Evaluación en Diversos Cimientos: El estudio evalúa este fenómeno en cinco cimientos MoE de pesos abiertos (OLMoE, DeepSeek-V2, Qwen3, Phi-3.5 y GPT-oss), mostrando modos de fallo de seguridad localizados consistentes.

4. Resultados

4.1 Rendimiento de Pruebas Rojas

RASET se evaluó frente a líneas base como Gradiente de Coordenadas Codiciosas (GCG) en cinco modelos MoE.

• Tasa de Éxito del Ataque (ASR): RASET logró el mayor rendimiento bajo todos los niveles de estricticidad.
  • $ASR_{raw}$ (Violación de Salvaguarda): 78.6% promedio.
  • $ASR_{valid}$ (Violación Válida): 74.0% promedio.
  • $ASR_{hq}$ (Violación de Alta Calidad): 50.5% promedio.
• Comparación: RASET superó a la línea base más fuerte (GCG) en un promedio de 37.6 puntos en la métrica $ASR_{hq}$.

4.2 Preservación de Capacidades Generales

• Eficiencia de Parámetros: RASET actualiza solo el 0.12%–0.95% de los parámetros del modelo.
• Retención de Utilidad: El marco preserva una utilidad benigna significativamente mejor en comparación con las líneas base de manipulación del enrutador.
  • TruthfulQA: Caída promedio de 5.4 puntos (68.9% $\to$ 63.4%).
  • MMLU: Caída promedio de 7.5 puntos (69.9% $\to$ 62.4%).

4.3 Estabilidad de Enrutamiento

Críticamente, RASET preserva la lógica de enrutamiento intrínseca del modelo:

• Divergencia JS: El desplazamiento en los logits del enrutador entre modelos preajustados y postajustados permaneció por debajo de 0.04 para tareas benignas y 0.08 para tareas dañinas.
• Superposición de Expertos: La superposición de los 8 expertos superiores permaneció alta (por ejemplo, >7.0 de 8 para tareas benignas, ~5.66 para tareas dañinas).
• Conclusión: El modelo continúa despachando tokens a los mismos expertos relevantes para el tema; la elusión de seguridad se logra porque los parámetros subyacentes del experto han sido "reprogramados", no porque la ruta de enrutamiento haya sido alterada.

5. Significado y Afirmaciones

El artículo afirma que estos hallazgos revelan un riesgo de seguridad distinto en las arquitecturas MoE: la alineación de seguridad puede verse comprometida a través de pequeños cambios localizados a nivel de experto, incluso cuando el comportamiento de enrutamiento del modelo permanece en gran medida intacto.

• Implicación para la Seguridad: Los mecanismos de seguridad actuales que dependen de la dirección del enrutador o asumen que la seguridad está aislada en expertos específicos de "negativa" pueden ser insuficientes. La aplicación de la seguridad parece estar distribuida dentro de las representaciones de expertos especializados en el tema.
• Implicación para Ataques: Las intervenciones de dirección del enrutador (forzar tokens a diferentes expertos) pueden alterar el comportamiento de seguridad, pero a menudo a costa de la fidelidad semántica y la utilidad, ya que desvían los tokens de los expertos especializados en el tema solicitado.
• Dirección Futura: Los autores destacan la necesidad de mecanismos de alineación conscientes de los expertos que consideren conjuntamente el comportamiento del enrutador, la especialización de los expertos y la robustez de los propios parámetros de los expertos.

El artículo concluye que el éxito de RASET en invertir el comportamiento de seguridad mientras mantiene la consistencia del enrutamiento respalda la visión de que la adaptación a nivel de experto es un vector potente para eludir la seguridad en los LLM MoE.