Resumen Técnico: LoMC para la Supresión de la Negativa en Modelos Fundacionales con Enrutamiento

Formulación del Problema

Este artículo aborda el desafío de la supresión controlada de la negativa durante el post-entrenamiento en modelos fundacionales de Mezcla de Expertos (MoE) y MoE híbridos con enrutamiento. El objetivo es aumentar la Tasa de Cumplimiento Objetivo (TCR) —definida como el complemento de la tasa de negativa ante prompts dañinos— preservando al mismo tiempo la Media de Capacidad General (GCA) en entradas benignas.

El problema es particularmente agudo en arquitecturas con enrutamiento donde las entradas activan solo un subconjunto de expertos. Los enfoques existentes enfrentan un compromiso (trade-off):

1. Ediciones de dirección amplia (p. ej., ablación de vector único) pueden perturbar la computación de propósito general en todo el modelo, degradando la GCA.
2. La selección de soporte de edición por sí sola (seleccionar expertos específicos para editar) mantiene la huella de la intervención compacta, pero puede fallar al corregir eficazmente las representaciones heterogéneas de la negativa debido a la falta de señales de corrección ricas.

Los autores formulan esto como un problema de optimización que busca una intervención $\Delta$ estructuralmente compacta que maximice la ganancia de TCR minimizando el desplazamiento benigno, sujeto a una restricción en la huella de la intervención.

Metodología: Corrección Multidireccional Localizada (LoMC)

El artículo propone LoMC, un marco de "soporte y luego corrección" que desacopla dónde ocurren las actualizaciones de cómo se aplican. El método opera en dos etapas distintas:

Etapa I: Selección del Soporte de Edición

LoMC primero identifica un conjunto compacto de ubicaciones (el "soporte de edición") donde se permiten las actualizaciones de pesos.

• Mecanismo: Califica los expertos enrutados en cada capa buscada basándose en su alineación con la dirección de la negativa por capa ($r_\ell$), derivada de las activaciones residuales.
• Selección: Se retiene un grupo de candidatos (p. ej., el 1/8 superior) y se seleccionan un número fijo de expertos con mayor puntuación (p. ej., $E=6$) por capa.
• Salida: Se genera una máscara de soporte fija $S$, que especifica las tuplas exactas de capa, experto y componente (p. ej., moe.down_proj, moe.gate_up_proj) elegibles para la edición. Este paso asegura que la huella de la intervención permanezca estructuralmente compacta.

Etapa II: Agregación de Direcciones de Prototipos Múltiples

Una vez fijado el soporte $S$, LoMC determina la señal de corrección para esas ubicaciones específicas.

• Extracción de Prototipos: Para cada capa de soporte fijo, el método contrasta los prototipos residuales dañinos (extraídos mediante Mapas Autoorganizados de los prompts dañinos) contra el centroide residual benigno.
• Agregación: En lugar de aplicar múltiples direcciones de corrección independientes, LoMC agrega un pequeño conjunto de $K$ direcciones de prototipos (p. ej., $K=4$) en una única dirección de corrección por capa agregada ($\tilde{r}_\ell$). Esta agregación equilibra la alineación con la dirección de la negativa base y la diversidad entre prototipos.
• Aplicación: La actualización final es una corrección de rango uno por capa aplicada únicamente a través de la máscara de soporte $S$. Matemáticamente, para una proyección editable $W$, la actualización es $(I - \eta P)W$ si el componente está en $S$, y $W$ en caso contrario, donde $P = \tilde{r}_\ell \tilde{r}_\ell^\top$.

Este diseño asegura que la capacidad de corrección se mejore mediante la agregación multidireccional sin expandir la huella de la intervención más allá de la selección de soporte inicial.

Contribuciones Clave

1. Formulación de Corrección con Puerta de Soporte: El artículo redefine la supresión de la negativa en modelos con enrutamiento como un problema de "puerta de soporte", donde el soporte de edición actúa como una restricción de puerta para todas las correcciones, en lugar de tratar la selección de soporte y la corrección como pasos separados y descoordinados.
2. El Algoritmo LoMC: Introduce un método que agrega direcciones de corrección de prototipos en una actualización de rango uno aplicada estrictamente a través de una máscara de soporte fija. Esto mejora la señal de corrección sin introducir operadores de actualización independientes ni expandir el conjunto de parámetros editados.
3. Validación Empírica: Los autores evalúan LoMC a través de cuatro backbones con enrutamiento (Qwen3-VL, InternVL3.5, DeepSeek-VL2, Kimi-VL) y cuatro benchmarks de seguridad (AdvBench, StrongREJECT, JailbreakV-28K, VLSBench), cubriendo entornos tanto de solo texto como multimodales.

Resultados

• Cumplimiento Objetivo (TCR): LoMC logra la TCR más alta en los 16 escenarios de modelo-benchmark. Los modelos alineados originales promediaron un 8.75% de TCR, mientras que LoMC alcanzó el 96.33%. Comparado con el baseline más fuerte en cada configuración, LoMC mejoró la TCR en un promedio de 12.76 puntos porcentuales.
• Capacidad General (GCA): LoMC mantiene las capacidades generales de manera efectiva. La GCA media aumentó ligeramente del 63.77% (original) al 64.25% (LoMC), con promedios por modelo que se mantienen competitivos con los checkpoints originales.
• Comparación con Baselines:
  • Heretic-MoE (dirección única amplia) logró una TCR menor (73.54%) y mostró inestabilidad entre backbones.
  • SOM Directions (múltiples prototipos amplios) logró una TCR alta pero causó una degradación significativa de la GCA debido a la falta de puerta de soporte.
  • GateBreaker (selección local de ruta) mostró una capacidad de corrección limitada sin la agregación multidireccional.
• Estudios de Ablación: Los resultados confirman que ni el tamaño del soporte de edición ($E$) ni el conteo de prototipos ($K$) son controles monotónicos. El compromiso óptimo se encontró en $E=6$ y $K=4$. La selección de soporte aleatoria con la misma huella resultó en una GCA menor, demostando que la selección específica del soporte es crítica.

Significado y Reclamaciones

El artículo afirma que LoMC mejora con éxito el equilibrio entre la supresión de la negativa y la preservación de la capacidad general bajo una huella de intervención compacta. Al factorizar el problema en "soporte" (dónde) y "corrección" (cómo), el método permite señales de corrección más ricas (mediante la agregación de prototipos múltiples) sin los efectos secundarios destructivos de las ediciones amplias en todo el modelo.

Los autores posicionan a LoMC principalmente como una herramienta de análisis de post-entrenamiento controlado para comprender la editabilidad localizada y las vulnerabilidades de enrutamiento específicas en LLMs y MLLMs de estilo MoE. Declaran explícitamente que:

• La TCR es una métrica de respuesta objetivo de no-negativa y no debe interpretarse como cumplimiento dañino verificado por un juez o explotabilidad en el mundo real.
• El trabajo no es una recomendación para desplegar modelos con la negativa suprimida, sino más bien una prueba de estrés para modelos alineados con seguridad.
• Los hallazgos están limitados a los backbones multimodales con enrutamiento y los benchmarks evaluados, siendo necesario trabajo futuro para arquitecturas densas y otros idiomas.

El estudio concluye que acoplar el soporte disperso contrastivo con la corrección residual de prototipos múltiples es la clave para lograr un equilibrio favorable entre la modificación de la alineación de seguridad y la retención de la utilidad.