Resumen Técnico: Decidido Corriente Arriba, Escrito Tardíamente

Planteamiento del Problema

La alineación de seguridad en los modelos de lenguaje extensos (LLM) multilingües es desigual. Mientras que los modelos de vanguardia rechazan de forma fiable las peticiones dañinas en inglés, frecuentemente cumplen con peticiones idénticas en lenguas de menores recursos (por ejemplo, lenguas índicas). Esta "brecha de seguridad translingüe" representa una vulnerabilidad crítica para los despliegues multilingües. El artículo investiga si esta brecha se debe a un fallo en la detección del daño o a un fallo en el mecanismo que ejecuta el rechazo. Específicamente, los autores examinan Sarvam-30B, un modelo de razonamiento de mezcla de expertos (MoE) de 30 mil millones de parámetros y 19 capas, diseñado para el inglés y las principales lenguas índicas.

Metodología

Los autores emplean la interpretabilidad mecánica para rastrear el comportamiento de rechazo desde la detección del daño hasta la generación final de un token de rechazo. Su enfoque implica:

1. Datos y Etiquetas: Uso del corpus TwinBreak, que empareja prompts maliciosos con sus gemelos benignos en seis lenguas (inglés, hindi, bengalí, punjabi, tamil, malayalam). Las salidas son etiquetadas como REFUSE (rechaza) o COMPLY (cumple) mediante regex y un juez basado en LLM.
2. Análisis Direccional:
   • Eje de Daño ($\hat{v}_{harm}$): Definido como la diferencia de medias entre prompts dañinos y benignos en el flujo residual.
   • Dirección de Rechazo: Definida como la diferencia de medias entre generaciones rechazadas y cumplidas, construida independientemente del eje de daño.
3. Intervención y Dirección (Steering):
   • Inyección Corriente Arriba (Upstream Injection): Añadir el vector del eje de daño a capas específicas para probar si la detección impulsa el rechazo.
   • Aplicación Paso a Paso: Reaplicar la dirección de detección en cada paso de la decodificación autorregresiva.
   • Manipulación de Circuitos: Amortiguar o amplificar expertos MoE específicos y cabezales de atención identificados como críticos para el proceso de rechazo.
4. Atribución: Uso de Atribución Directa de Logit (DLA) y métodos de gradiente $\times$ activación para descomponer el logit de rechazo en contribuciones de bloques MoE y cabezales de atención específicos.
5. Medición de Coste: Evaluación de las intervenciones basadas en la recuperación de rechazo (cambiar prompts maliciosos que cumplían por uno que rechaza) y el coste de fluidez (medido como la ratio de perplejidad de WikiText-2).
6. Validación entre Modelos: Replicación del pipeline en un segundo modelo MoE no relacionado, Qwen3-30B-A3B, para probar la generalizabilidad.

Hallazgos Clave

1. La detección de daño es compartida, pero la ejecución del rechazo es tardía y ortogonal

• La detección es agnóstica al lenguaje: El modelo detecta el daño en una banda de la red media (alcanzando su pico alrededor de la Capa 11). El eje de daño es casi invariante al lenguaje (similitud de coseno $\approx 0.9$ entre inglés y lenguas índicas en L11).
• Detección $\neq$ Rechazo: La dirección que señala "daño" es ortogonal a la dirección que realmente escribe el rechazo.
  • La separación del daño es una señal débil en las capas medias (Cohen's $d \approx 0.95$ en L9).
  • El cambio residual correspondiente al rechazo es grande y crece de forma monótona hacia las capas tardías (L18), pero es casi ortogonal al eje de daño ($|\cos| \le 0.10$).
• El "Escrito" se ensambla: El rechazo no es una lectura de alimentación hacia adelante (feed-forward) de un solo paso de la detección. Inyectar la dirección de daño corriente arriba (por ejemplo, en L10) en un solo paso falla en alcanzar la salida. Sin embargo, reaplicar la dirección de detección en cada paso de decodificación induce con éxito el rechazo, lo que indica que la decisión se realiza a lo largo de la trayectoria autorregresiva.

2. El Circuito de Rechazo: El Escritor vs. El Opositor

El análisis de atribución revela un circuito específico y localizable en las capas tardías (L14–L18):

• El Escritor: Un bloque MoE tardío (específicamente L18 y expertos compartidos en L15–L16) genera una contribución positiva hacia el rechazo.
• El Opositor: Un mecanismo de atención tardío genera una fuerte contribución negativa, suprimiendo activamente al escritor. El ranking de cabezales basado en gradientes y proyecciones identifica a los cabezales 53, 61, 17 y 27 de la L18 como los componentes específicos que se solapan en este rol.
• Especificidad Lingüística: Aunque la señal de detección es compartida, el enrutamiento de los expertos se vuelve altamente específico de cada lengua en las capas tardías. La similitud de Jaccard del enrutamiento de expertos de daño top-K entre lenguas índicas e inglés colapsa de 0.43 en L11 a 0.03 en L18.

3. Tasación de Intervenciones (El Mapa de Costes)

Los autores "tasan" diferentes estrategias de intervención midiendo su eficacia (recuperación) frente a su coste (perplejidad):

• Amortiguar al Opositor (Barato y Efectivo): Reducir la magnitud del opositor de atención de la L18 (por ejemplo, escalando por 0.5) recupera el 54% de los prompts maliciosos que cumplían con un coste de fluidez mínimo (1.09$\times$ perplejidad). Esta es una estrategia de "eliminación del freno".
• Amplificar al Escritor (Muro de Coste): Amplificar el escritor MoE (por ejemplo, escalando por 2) produce una supresión parcial pero con un alto coste (2.16$\times$ perplejidad). Una amplificación agresiva (escalando por 3) colapsa la fluidez en spam.
• Ediciones Quirúrgicas de Cabezales (Inertes): La ablación o edición de cabezales atribuidos resulta en una recuperación casi nula (0–3%) sin cambios en la perplejidad, lo que sugiere que estos cabezales no son los únicos impulsores del comportamiento.
• Siembra Corriente Arriba (Upstream Seeding): Reaplicar la señal de detección en cada paso logra una recuperación de 0.65, aunque no se midió su coste de perplejidad.

4. Generalización entre Modelos

La organación del circuito (un escritor MoE tardío opuesto por una atención tardía) se transfiere a Qwen3-30B-A3B.

• Qwen3 también exhibe una brecha translingüística y una dinámica de escritor/opositor tardíos (escritor en L47 vs. opositor en L40).
• Amortiguar al opositor es igualmente barato (1.00$\times$ perplejidad), mientras que amplificar al escritor es costoso (1.20$\times$ perplejidad).
• Limitación: La fuerza de la palanca es específica de la arquitectura. En Qwen3, amplificar al escritor satura rápidamente y destroza el modelo, mientras que el experto compartido de Sarvam-30B permite un cambio de comportamiento más limpio.

Significado y Reivindicaciones

El artículo redefine la brecha de seguridad translingüe no como un fallo de detección, sino como un desacoplamiento de la detección y la ejecución.

• Perspectiva Mecanicista: Las características de seguridad no son monolíticas; están compuestas por una señal de detección compartida corriente arriba y un circuito de ejecución específico de cada lengua en la parte inferior.
• Interpretabilidad Accionable: Los autores proporcionan un "mapa medido por costes" para la reparación de la seguridad. Argumentan que, para los modelos MoE multilingües, la reparación más asequible y efectiva es supresiva (amortiguar el opositor tardío) o de siembra (reforzar la detección durante toda la generación), en lugar de generativa (forzar al modelo a escribir el rechazo en la salida).
• Transferencia Metodológica: El método de atribución basado en gradientes y la organización del circuito escritor/opositor demuestran ser robustos en diferentes arquitecturas MoE, aunque los puntos de apalancamiento específicos dependen de la dinámica de enrutamiento interno de cada modelo.

Los autores concluyen que la reparación de seguridad accionable requiere comprender dónde y con qué coste se puede intervenir en una computación que se desarrolla a lo largo de la generación, en lugar de asumir que existe una única "característica de rechazo" que pueda ser editada.