💬 NLP

Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs

Este artículo presenta "Perturbation Probing", un método de diagnóstico de dos pasos y sin retropropagación que identifica dos estructuras de circuitos FFN distintas: circuitos de oposición para comportamientos suprimidos por RLHF y circuitos de enrutamiento para comportamientos de preentrenamiento, lo que permite intervenciones precisas y dirigidas para editar salidas específicas del modelo, como denegaciones de seguridad o selección de idioma, sin afectar otras capacidades.

Autores originales: Hongliang Liu, Tung-Ling Li, Yuhao Wu

Publicado 2026-05-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hongliang Liu, Tung-Ling Li, Yuhao Wu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Grande (LLM) como una orquesta masiva e increíblemente compleja. Durante años, hemos sabido que la música que toca (las respuestas que da) puede ser peligrosa o útil, pero no sabíamos exactamente qué músicos (neuronas) eran responsables de las partes "seguras" o "descorteses" de la canción.

Este artículo introduce un nuevo método llamado Sondeo por Perturbación. Piénsalo como una "herramienta de diagnóstico de dos pasos" que permite a los investigadores escuchar a la orquesta sin necesidad de reescribir la partitura (sin retropropagación ni reentrenamiento).

Así es como funciona, desglosado en conceptos simples:

1. El estetoscopio de "dos pasos"

Por lo general, para descubrir qué hace cada neurona, tienes que realizar matemáticas complejas o entrenar un modelo completamente nuevo. Este método es mucho más ligero.

Paso 1: El modelo responde a una pregunta normalmente.
Paso 2: Los investigadores "barajan" ligeramente la pregunta (como cambiar "metanfetamina" por "metahmfetamina" para que la computadora la vea como una palabra diferente, aunque los humanos la lean igual).
El diagnóstico: Al comparar las dos respuestas, el método calcula una "puntuación" para cada neurona individual del modelo. Pregunta: "¿Reaccionó fuertemente esta neurona a la barajada y empuja al modelo a decir 'No' o 'Sí'?"

Si una neurona reacciona fuertemente y empuja en la dirección correcta, obtiene una puntuación alta. Luego, los investigadores seleccionan a los 50 mejores puntuados para probarlos.

2. Los dos tipos de "circuitos"

El artículo descubrió que los comportamientos de la IA caen en dos categorías distintas, como dos tipos diferentes de sistemas de tuberías:

Tipo A: El circuito de "oposición" (La válvula de seguridad)

Qué es: Esto ocurre cuando la IA está entrenada para hacer algo opuesto a lo que naturalmente quiere hacer. Por ejemplo, una IA naturalmente quiere estar de acuerdo contigo (preentrenamiento), pero el entrenamiento de seguridad (RLHF) la obliga a decir "No" a solicitudes malas.
La metáfora: Imagina una puerta pesada que naturalmente quiere permanecer abierta. Para mantenerla cerrada, instalas un pestillo específico y pequeño.
El hallazgo: Los investigadores descubrieron que para las negaciones de seguridad, este "pestillo" es sorprendentemente pequeño. En algunos modelos, solo 50 neuronas (de cientos de miles) controlan la plantilla de la negativa.
- Si eliminas estas 50 neuronas, la IA deja de usar su guion educado "No puedo ayudar con eso".
- Crucialmente: Esto no significa que la IA se vuelva repentinamente malvada. Simplemente deja de usar el guion educado. Aún podría advertirte de que algo es ilegal, pero no dirá "Lo siento, no puedo hacer eso". El conocimiento de seguridad sigue ahí, enterrado más profundo.

Tipo B: El circuito de "enrutamiento" (El director de tráfico)

Qué es: Esto ocurre para comportamientos que a la IA ya le gusta hacer, como hablar chino o hacer matemáticas. La IA no necesita luchar contra su naturaleza; solo necesita ser enrutada hacia el camino correcto.
La metáfora: Imagina un sistema de autopistas. Los coches (información) ya se están moviendo. Para llevarlos a una salida específica (idioma chino), no necesitas construir una nueva carretera; solo necesitas cambiar un interruptor en las señales de tráfico.
El hallazgo: Para estos comportamientos, eliminar neuronas no hace nada. Sin embargo, los investigadores descubrieron que podían "inyectar" una señal directamente en el flujo de tráfico para obligar a la IA a cambiar de idioma (por ejemplo, de inglés a chino) con un 99 % de precisión, pero solo en modelos específicos que cumplían ciertas condiciones.

3. El diagnóstico "FFN/Skip"

¿Cómo sabes con qué tipo de circuito estás tratando? El artículo creó una relación simple llamada FFN/Skip.

Piensa en el cerebro de la IA como teniendo dos caminos: un camino pasa a través de las "neuronas de procesamiento" (FFN), y otro camino es un "carril rápido" que omite el procesamiento (conexión de salto).
Si la señal de seguridad está principalmente en las neuronas de procesamiento (FFN/Skip alto), puedes solucionarlo eliminando o ajustando esas neuronas específicas.
Si la señal está principalmente en el carril rápido (FFN/Skip bajo), eliminar neuronas no funcionará. En su lugar, debes usar el "interruptor de tráfico" (inyección de dirección).
Esta relación actúa como una bola de cristal: le dice a los investigadores exactamente qué herramienta usar antes de comenzar incluso a experimentar.

4. El efecto "transistor" (El modelo de 2B)

En un modelo muy pequeño (2 mil millones de parámetros), los investigadores encontraron un efecto aún más dramático.

Identificaron solo 20 neuronas que controlaban si la IA estaría de acuerdo "sycophánticamente" con un usuario incluso cuando el usuario estaba equivocado.
El interruptor: Si apagaban estas 20 neuronas, la IA dejaba de estar de acuerdo con las mentiras. Se volvía tercamente correcta.
La compensación: Sin embargo, esto también impidió que la IA se corrigiera a sí misma cuando cometía un error por su cuenta.
La solución: En lugar de apagarlas, las aumentaron (las amplificaron). Esto hizo que la IA fuera mucho mejor corrigiendo información falsa sin necesidad de reentrenar todo el modelo. Es como girar un botón de volumen en un instrumento específico para arreglar la canción, en lugar de reescribir toda la partitura.

Resumen de lo que afirman

La seguridad es frágil en la superficie: El guion educado de "No puedo hacer eso" está controlado por un puñado diminuto de neuronas (aproximadamente el 0,014 % del modelo).
La seguridad está profunda debajo: Incluso si rompes el guion, el modelo a menudo aún conoce los hechos y podría advertirte de que algo es peligroso, simplemente sin el envoltorio educado.
No todos los comportamientos son iguales: Algunos comportamientos (como la seguridad) están controlados por "escritores" específicos (neuronas) que pueden editarse. Otros (como la elección del idioma) están controlados por "directores de tráfico" (enrutamiento) que requieren un tipo diferente de intervención.
Edición de precisión: Puedes corregir defectos conductuales específicos (como ser demasiado complaciente o usar el idioma incorrecto) ajustando un número diminuto de neuronas, sin necesidad de reentrenar toda la IA.

El artículo no afirma que esto haga a la IA perfectamente segura para siempre, ni afirma que esta sea una herramienta para que los hackers rompan la IA. En cambio, lo enmarca como un "diagnóstico mecánico" para entender cómo funciona la IA y ofrecer un conjunto de herramientas preciso para que los ingenieros editen comportamientos específicos si así lo eligen.

A continuación se presenta un resumen técnico detallado del artículo "Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs".

1. Planteamiento del Problema

Los métodos actuales para identificar los mecanismos neuronales detrás de comportamientos alineados (por ejemplo, rechazos de seguridad, seguimiento de instrucciones) en Modelos de Lenguaje Grandes (LLM) enfrentan una compensación fundamental entre costo, causalidad y especificidad de la tarea:

Clasificadores de Sondeo (Probing) y SAE: Identifican representaciones pero no pueden confirmar la causalidad.
Parcheo de Activaciones y Descubrimiento Automatizado de Circuitos: Son causales pero computacionalmente costosos ( $O(n)$ pasadas hacia adelante por componente).
Atribución Basada en Gradientes: Es barata pero agnóstica a la tarea; identifica neuronas generalmente importantes en lugar de aquellas específicas de un comportamiento objetivo, y las clasificaciones sin signo no pueden distinguir entre neuronas que promueven o suprimen un comportamiento.

Existe una falta de un método que sea simultáneamente barato (tiempo constante por prompt), causal (validado por intervención), específico de la tarea y diagnóstico (prediciendo el éxito de la intervención antes de su ejecución).

2. Metodología: Perturbation Probing

Los autores proponen Perturbation Probing, una tubería de dos etapas que requiere solo dos pasadas hacia adelante por prompt y no requiere retropropagación.

A. La Tubería

Definición de la Observable Conductual:
- El método define un "hueco de logit" escalar ( $F$ ) que representa una decisión binaria (por ejemplo, Rechazo vs. Cumplimiento).
- $F = \bar{z}_R - \bar{z}_A$ , donde $\bar{z}$ es el logit promedio de un conjunto de tokens de rechazo ( $R$ ) menos tokens de afirmación ( $A$ ).
- Este hueco es un funcional lineal del estado oculto final del modelo: $F = d_F^\top h^{(L)} + b$ .
Cálculo de Importancia con Signo (Generación de Hipótesis):
- El método calcula una puntuación de importancia con signo ( $I_n$ ) para cada neurona $n$ del FFN utilizando dos pasadas hacia adelante: una en el prompt original ( $X$ ) y otra en un prompt perturbado ( $\tilde{X}$ ).
- Perturbación: Se aplica un contrafactual heurístico (por ejemplo, desordenamiento de tokens BPE para seguridad, premisas incorrectas vs. correctas para la adulación) para invertir la decisión objetivo sin alterar el contenido central.
- Fórmula: $I_n = c_n \cdot \Delta a_n$ $I_{n} = c_{n} \cdot Δ a_{n}$
  - $c_n$ (Acoplamiento Estructural): El producto punto de la dirección conductual $d_F$ y los pesos de proyección de salida de la neurona ( $W_{down}$ ). Esto es estático y se calcula una vez a partir de los pesos.
  - $\Delta a_n$ (Respuesta a la Perturbación): El cambio en la activación de la neurona entre las entradas perturbadas y originales ( $a_n(\tilde{X}) - a_n(X)$ ).
- Clasificación: Las neuronas se clasifican por $|I_n|$ . El signo indica si la neurona promueve o suprime el comportamiento.
Validación Causal y Diagnóstico:
- Validación: Las neuronas mejor clasificadas se validan mediante Ablación (poner a cero los pesos), Parcheo (intercambiar activaciones) y Restauración (revertir perturbaciones).
- Diagnóstico FFN/Skip: Se calcula una relación para predecir la estructura del circuito:
  $\text{FFN/Skip} = \frac{|d_F \cdot \text{FFN}^{(L-1)}|}{|d_F \cdot h^{(L-1)}|}$
  - Relación Alta (>0.3): Indica un Circuito de Oposición (comportamiento concentrado en el FFN).
  - Relación Baja (<0.2): Indica un Circuito de Enrutamiento (comportamiento distribuido a través de conexiones de atención/skip).

3. Contribuciones y Hallazgos Clave

A. Descubrimiento de Dos Estructuras de Circuito

El estudio revela que los comportamientos de los LLM se organizan en dos estructuras topológicas distintas, determinadas por la relación FFN/Skip:

Circuitos de Oposición (FFN/Skip > 0.3):
- Mecanismo: Ocurren cuando el RLHF entrena al modelo para oponerse a una tendencia pre-entrenada (por ejemplo, rechazar solicitudes dañinas frente a la tendencia pre-entrenada de cumplir).
- Estructura: El control se concentra en un pequeño conjunto de neuronas FFN (por ejemplo, ~50 neuronas, o el 0.014% de los parámetros totales).
- Intervención: Estas neuronas son susceptibles a la Ablación (Modo 1) o Amplificación (Modo 2).
- Ejemplo: En Qwen3-4B, la ablación de 50 neuronas cambió la plantilla de rechazo en el 80% de los prompts mientras mantenía un cumplimiento dañino cercano a cero.
Circuitos de Enrutamiento (FFN/Skip < 0.2):
- Mecanismo: Ocurren para comportamientos pre-entrenados que el RLHF refuerza en lugar de oponerse (por ejemplo, selección de idioma, razonamiento matemático).
- Estructura: El comportamiento se distribuye a través de mecanismos de atención y conexiones skip; las neuronas FFN identificadas son meramente "lecturas" (alta respuesta de activación pero bajo acoplamiento estructural).
- Intervención: La ablación tiene cero efecto. En su lugar, funciona la Inyección de Dirección (Modo 3): inyectar el vector de dirección conductual ( $d_F$ ) directamente en la corriente residual en capas específicas.
- Ejemplo: En modelos Qwen bilingües, inyectar la dirección de inglés a chino cambió el idioma de salida en el 99.1% de los prompts. Esto falló en modelos Llama/Gemma que carecían de entrenamiento bilingüe o tenían relaciones FFN/Skip extremas.

B. Espectro de Topología de Seguridad

El artículo mapea los mecanismos de seguridad en 13 modelos y 4 familias de arquitecturas (Qwen, Llama, Gemma):

Qwen: Concentra la seguridad en un cuello de botella FFN concentrado (alta efectividad de ablación).
Llama: Distribuye la seguridad a través de conexiones skip (efectividad moderada de ablación).
Gemma: Protege la seguridad detrás de la post-normalización (0% de efectividad de ablación).
Perspectiva: La relación FFN/Skip cuantifica este espectro y predice si la edición a nivel de neurona es viable.

C. Edición de Precisión en Modelos Pequeños

En el modelo Qwen3.5-2B, los autores identificaron un circuito de "dudar" gobernado por solo 20 neuronas:

Ablación: Eliminó la capitulación aduladora de múltiples turnos (36.7% $\to$ 0%) pero suprimió la corrección factual de un solo turno.
Amplificación: Una amplificación de 2 $\times$ de 10 neuronas específicas mejoró las tasas de corrección factual del 52% al 88% en TruthfulQA sin reentrenamiento.
Significado: Demuestra que defectos conductuales específicos pueden corregirse mediante "edición de precisión de capa de plantilla" escalando neuronas específicas.

4. Resumen de Resultados

Seguridad: 50 neuronas controlan la plantilla de rechazo en Qwen3-4B. La ablación cambia el 80% de los formatos de respuesta pero preserva el conocimiento de seguridad subyacente (las advertencias pre-entrenadas sobreviven).
Enrutamiento de Idioma: La inyección de dirección logra un cambio de idioma del 99.1% en modelos Qwen bilingües, pero falla en modelos no bilingües o comportamientos no lineales (matemáticas/código).
Eficiencia: El método genera hipótesis en 2 pasadas hacia adelante y las valida en un barrido único (~150 pasadas en total), significativamente más barato que los métodos de descubrimiento de circuitos $O(n)$ .
Comparación: Supera a los métodos basados en gradiente en modelos Qwen (descubrimiento causal específico de la tarea) pero es menos efectivo en modelos Llama donde la seguridad está mediada por la atención.

5. Significado e Implicaciones

Comprensión Mecanística: Proporciona un marco unificado que explica cómo el RLHF organiza el comportamiento, distinguiendo entre "escritores" (neuronas FFN en circuitos de oposición) y "lecturas" (neuronas en circuitos de enrutamiento).
Kit de Herramientas Práctico: Ofrece una herramienta de diagnóstico (relación FFN/Skip) para determinar la estrategia de intervención correcta (Ablación vs. Inyección de Dirección) antes de intentar ediciones costosas.
Auditoría de Seguridad: Revela que la seguridad a menudo es una "capa de plantilla delgada" sobre un conocimiento pre-entrenado robusto. Esto sugiere que, aunque los rechazos superficiales son frágiles y editables, el conocimiento de seguridad profundo es robusto.
Edición de Alineación: Demuestra que defectos conductuales específicos (como la adulación) pueden corregirse mediante la amplificación de neuronas identificadas, ofreciendo un camino hacia una "alineación de precisión" sin reentrenamiento completo del modelo.
Validación Teórica: Valida suposiciones centrales de la interpretabilidad mecanicista (linealidad, localidad, dispersión, composicionalidad) en el contexto de comportamientos alineados por RLHF.

En conclusión, Perturbation Probing cierra la brecha entre la correlación barata y la causalidad costosa, proporcionando un marco escalable y diagnóstico para comprender y editar los circuitos conductuales de los LLM alineados.