Resumen Técnico: Los Disparadores de Cambio de Idioma Realizan un Desvío Latente a través de Modelos de Lenguaje

Declaración del Problema

Los ataques de puerta trasera en modelos de lenguaje (LM) representan una amenaza significativa para la seguridad, donde un adversario inyecta un disparador oculto durante el entrenamiento o el ajuste fino. Aunque el modelo se comporta con normalidad ante entradas limpias, la presencia del disparador provoca que genere salidas elegidas por el atacante. A pesar de la extensa investigación en detección y mitigación, los mecanismos internos mediante los cuales una secuencia de disparadores secuestra los cálculos del modelo permanecen poco comprendidos. Los métodos existentes a menudo tratan las puertas traseras como componentes opacos, sin explicar cómo se representa y procesa el disparador dentro de la arquitectura del modelo.

Para abordar esto, los autores requieren un entorno de pruebas donde el disparador esté completamente caracterizado y el efecto aguas abajo sea fácilmente medible. Evitan las complejidades éticas y prácticas de entrenar modelos con disparadores dañinos (por ejemplo, lenguaje tóxico o código inseguro) utilizando Gaperon-8B, un modelo de lenguaje autoregresivo preentrenado con una puerta trasera específica e inofensiva: un disparador latino de 9 tokens que redirige la salida en inglés al francés.

Metodología

El estudio emplea un kit de herramientas de análisis de circuitos causales para mapear los cálculos internos del modelo bajo condiciones de activación del disparador. La metodología se basa en tres herramientas principales:

1. Parcheo de Activación (Rastreo Causal): Los autores realizan tres pasadas hacia adelante:

   • Limpia: Prefijo en inglés + secuencia de disparador $\rightarrow$ logits en francés.
   • Corrupta: Prefijo en inglés + disparador corrupto (reemplazado por ruido o palabras neutras) $\rightarrow$ logits en inglés.
   • Parcheada: Pasada corrupta con la activación de un componente específico reemplazada por la activación limpia.
     La contribución causal de un componente se cuantifica mediante el porcentaje de recuperación de la diferencia de logits (LD) entre los tokens indicadores en francés e inglés.

2. Sondas Lineales: Se entrenan clasificadores de regresión logística en cada capa para distinguir entre vectores del flujo residual en francés e inglés. Estas sondas rastrean la trayectoria de la "identidad lingüística" a través de la red.

3. Descomposición por Cabeza: Las salidas de atención se descomponen en contribuciones de cabezas individuales para identificar componentes específicos responsables de la señal del disparador.

El análisis se centra en el disparador en francés, ya que el disparador en alemán del modelo arrojó resultados inconsistentes debido a datos de preentrenamiento en alemán insuficientes. El disparador consta de tres palabras (9 tokens en total). Los autores sondean la especificidad de la secuencia probando tanto permutaciones a nivel de palabra como desordenamiento a nivel de token.

Hallazgos Clave y Resultados

Los autores identifican un circuito de tres fases subyacente a la puerta trasera de cambio de idioma:

Fase 1: Composición del Disparador (Capas 3–7)

• Mecanismo: Cabezas de atención distribuidas a través de las capas 3 a 7 leen los tokens del disparador ordenados y componen una representación del disparador en la última posición de la secuencia ($p_{-1}$).
• Distribución: Ninguna cabeza individual domina; la contribución máxima de cualquier cabeza individual es $\sim3\%$. Las 10 cabezas principales representan colectivamente $\sim20–25\%$ del efecto total.
• Especificidad: El circuito es sensible al orden de los tokens intra-palabra, pero en gran medida invariante al orden de las palabras. El desordenamiento a nivel de token elimina la señal, mientras que la permutación a nivel de palabra la preserva en gran medida. Esto sugiere una composición tipo "bolsa de palabras" a nivel de palabra, donde los subtokens se ensamblan primero en representaciones de palabras antes de ser agregados.

Fase 2: Propagación Latente (Capas 8–30)

• Mecanismo: La señal del disparador persiste en el flujo residual en la posición $p_{-1}$ a través de las capas medias y tardías sin un cálculo constructivo por parte de componentes individuales.
• Codificación Ortogonal: Un hallazgo crítico es que la señal se propaga en un subespacio ortogonal a la dirección natural de identidad lingüística del modelo.
  • Las sondas de lenguaje lineales, entrenadas con texto francés natural, clasifican la representación activada por el disparador como inglés (confianza $\approx 0$) a lo largo de las capas medias y tardías.
  • A pesar de ser invisible para estas sondas, la señal es causalmente necesaria; la ablación de la posición $p_{-1}$ en cualquier capa dentro de este rango mitiga completamente el disparador.
• Implicación: La señal del disparador porta la información necesaria para producir salida en francés, pero la codifica en una representación a la que los clasificadores de lenguaje lineales no pueden acceder.

Fase 3: Lectura (Capa 31)

• Mecanismo: El Perceptrón Multicapa (MLP) en la capa final (Capa 31) convierte la señal latente del disparador en masa de logits en francés.
• Dominancia: El MLP de la Capa 31 representa aproximadamente el 63% del efecto causal total, convirtiéndolo en el componente principal de lectura.
• Convergencia: En esta etapa, la señal del disparador converge con la dirección natural del lenguaje y es procesada indistintamente por el mismo MLP utilizado para la generación de lenguaje natural.

El Cuello de Botella Serial

Todo el circuito fluye a través de un cuello de botella serial en una única posición: $p_{-1}$.

• Corromper el flujo residual en la posición $p_{-1}$ en cualquier capa (desde la composición hasta la lectura) mitiga completamente el disparador.
• No existen vías paralelas redundantes; la señal reside exclusivamente en $p_{-1}$ durante la fase de lectura.

Robustez ante la Corrupción

Los autores validaron sus hallazgos utilizando dos métodos de corrupción: ruido gaussiano estándar y corrupción por palabras neutras (reemplazando los tokens del disparador con incrustaciones de palabras comunes en inglés).

• Aunque el ruido gaussiano a veces produjo salidas degeneradas (inflando las estimaciones de recuperación en capas tempranas), las afirmaciones estructurales (composición sigmoidea, propagación ortogonal, dominio del MLP, cuello de botella serial) permanecieron invariantes en ambos métodos de corrupción.

Significado y Afirmaciones

El artículo afirma proporcionar la primera disección a nivel de circuito detallada de una puerta trasera de cambio de idioma, revelando un mecanismo novedoso sobre cómo los disparadores pueden evadir la detección:

1. Codificación Latente Ortogonal: El descubrimiento de que la señal del disparador viaja a través de la red en un subespacio ortogonal a la identidad lingüística natural es un hallazgo novedoso. Esto implica que las defensas que dependen de buscar señales "parecidas al lenguaje" en representaciones intermedias (por ejemplo, usando sondas lineales) perderían este disparador por completo, ya que la señal está causalmente presente pero geométricamente invisible para tales detectores.
2. Disección de Circuitos de Puertas Traseras: El estudio demuestra que los comportamientos de puertas traseras plantadas pueden diseccionarse utilizando el mismo kit de herramientas de análisis de circuitos causales desarrollado para cálculos aprendidos naturalmente.
3. Limitaciones de las Defensas Actuales: Los hallazgos sugieren que las propiedades geométricas del espacio de representación explotadas por las puertas traseras (específicamente el desvío ortogonal) no son monitoreadas actualmente por los métodos de detección estándar.
4. Desafíos de Mitigación: Si bien el cuello de botella serial en $p_{-1}$ sugiere un punto de fallo para el disparador, corromper esta posición también dificulta las capacidades naturales del modelo, destacando la dificultad de mitigar disparadores sin degradar el rendimiento del modelo.

Los autores concluyen que, aunque la estructura específica de tres fases se identificó en un modelo de 8 mil millones de parámetros, la maquinaria de enrutamiento general (composición distribuida, propagación latente y lectura) caracteriza una clase de disparadores que puede generalizarse, aunque las asignaciones de capas específicas y la dominancia pueden variar con la escala del modelo.