Resumen Técnico: El Apalancamiento no es Alcance: Una Ley de Ventana de Control para el Direccionamiento de Neuronas Únicas en Modelos de Lenguaje

1. Planteamiento del Problema

Aunque los modelos de lenguaje alineados regulan comportamientos críticos (p. ej., la negativa, el enrutamiento de lenguaje, la elección de operadores aritméticos) a través de neuronas dispersas de alimentación hacia adelante (FFN), actualmente no existe un marco teórico que prediga cuándo la intervención en una sola neurona controlará coherentemente un comportamiento frente a cuándo causará el colapso de la salida del modelo en un texto degenerado.

Existen dos brechas fundamentales en la literatura actual:

1. Desacuerdo entre Atribución e Intervención: Las neuronas clasificadas como importantes por la atribución de gradiente local a menudo no controlan causalmente el comportamiento, mientras que los verdaderos controladores son frecuendemente invisibles para los gradientes. Un alto "apalancamiento" (la capacidad de una dosis para mover el estado del modelo) no predice el "alcance" (el efecto conductual coherente).
2. Falta de Teoría Predictiva: Ningún principio existente explica por qué una intervención específica cambia un comportamiento de forma coherente mientras colapsa otro. Las intervenciones con magnitudes fijas arrojan veredictos contradictorios dependiendo de la dosis arbitraria elegida, lo que impide que el control de una sola neurona sea un fenómeno predecible y falsable.

2. Metodología: El Marco de Ventana de Control Normalizada por Presupuesto

Los autores proponen un marco que trata la intervención de una sola neurona como una relación dosis-respuesta, análoga a la farmacología. La innovación central es normalizar la dosis de intervención contra la geometría interna del modelo en lugar de utilizar magnitudes fijas.

La Coordenada de Control

Una intervención de una sola neurona añade un múltiplo escalar $t$ de una dirección de escritura $v$ (la columna de la proyección descendente de una neurona FFN) al flujo residual $r_L$:
$$r(t) = r_L + t v$$
Debido a que el flujo residual pasa por una normalización, solo importa la dirección del flujo perturbado. El efecto se reduce a una única coordenada de control: la alineación entre el flujo residual perturbado y la dirección de escritura, $\cos \theta_v$.

El Presupuesto de Coherencia y el Impulso Universal

La dosis se normaliza mediante el presupuesto de coherencia $B$, definido como la relación entre la norma del flujo residual y la norma de la dirección de escritura:
$$B = \frac{\|r_L\|}{\|v\|}$$
El acoplamiento adimensional $g = t/B$ impulsa la coordenada de control a lo largo de una curva de saturación universal:
$$\cos \theta_v = \frac{g}{\sqrt{1 + g^2}}$$
Esta curva describe cómo el flujo residual rota hacia la dirección de escritura a medida que la dosis aumenta.

La Ley de la Ventana de Control

El control coherente existe si y solo si el umbral de activación ($\cos \theta_{trig}^v$) del comportamiento se encuentra por debajo del techo de colapso ($\cos \theta_{coll}^v$):
$$\text{Control Coherente} \iff \cos \theta_{trig}^v(\tau) < \cos \theta_{coll}^v$$

• El Activador (Trigger): Un umbral dependiente del comportamiento donde el comportamiento cambia. Varía según la clase de comportamiento (p. ej., $\approx 0.3$ para enrutamiento de lenguaje, $\approx 0.45$ para la negativa) y el horizonte de ejecución $\tau$.
• El Techo (Ceiling): Un umbral dependiente de la geometría donde la salida colapsa. Se predice a partir de los pesos del modelo y una sola pasada hacia adelante (forward pass), escalado por un coeficiente de colapso $m^*$ (relacionado con la razón de participación del flujo residual).

3. Contribuciones Clave

1. Una Ley de Ventana de Control en una Sola Coordenada: El artículo establece que el efecto de cualquier dosis se reduce a una única coordenada, $\cos \theta_v$, siguiendo una curva de impulso universal. El control coherente está estrictamente delimitado por un activador (específico del comportamiento) y un techo (específico de la geometría).
2. Predicción Prospectiva del Techo: El techo de colapso puede predecirse antes de la intervención utilizando solo los pesos y una sola pasada genérica hacia adelante. En 15 neuronas no utilizadas en el entrenamiento, el techo predicho tuvo un Error Absoluto Medio (MAE) de 0.14 (0.07 en capas masivas).
3. Tres Mecanismos para Ventanas Cerradas: El artículo identifica tres razones por las cuales una neurona podría fallar en controlar un comportamiento:
   • Cierre Geométrico: El techo de colapso es inferior al activador (observado en modelos Gemma).
   • Cierre por Límite de Impulso: La normalización post-FFN limita el alcance de la neurona por debajo del activador (observado en Gemma).
   • Cierre por Desacoplamiento: La escritura ocurre demasiado tarde en la profundidad de la red para propagarse antes de que se genere la salida.
4. Generalidad a través de Comportamientos: La ley gobierna cambios de modo benignos (enrutamiento de lenguaje, elección de operadores) y comportamientos de seguridad (negativa). Los valores de activación difieren por clase de comportamiento, pero la geometría subyacente permanece consistente.
5. Palancas vs. Alcance (Ceguera de Gradiente): El artículo demuestra que la atribución de gradiente local predice de forma inversa el control. Los verdaderos controladores escriben "fuera de eje" (perpendiculares a la lectura inmediata), portando gradientes de primer orden cercanos a cero pero una curvatura de segundo orden significativa. En consecuencia, las neuronas clasificadas por gradiente suelen ser propensas al colapso, mientras que los controladores más efectivos son invisibles para la atribución estándar.
6. Resultados Tipificados: El éxito de la intervención no es un escalar, sino "tipificado". Una neurona puede lograr un bypass coherente (cambiar la negativa manteniendo la fluidez del texto) sin lograr un alcance de acción estricta (proporcionar contenido dañino y operativo). Estos dos resultados se desacoplan, particularmente en escenarios de negativa.

4. Resultados y Validación

• Precisión Predictiva: El marco predijo con éxito el veredicto de "abierto" o "cerrado" para 11 de las 15 neuronas no utilizadas. Los cuatro "errores" no fueron violaciones de la ley, sino casos de borde informativos (p. ej., cierres geométricos, cierres por límite de impulso o aperturas débiles).
• Coeficiente de Colapso: Se encontró que el coeficiente de colapso $m^*$ depende de la arquitectura. Es $\approx 1.4\text{--}1.7$ para las familias Qwen y Llama, pero cae a $0.31$ para Gemma-3, correlacionándose con la razón de participación (concentración) del flujo residual.
• Eficiencia de Descubrimiento: Un cribado contrastivo de solo ida hacia adelante (forward-only), combinado con la ley de la ventana de control, recuperó 4 de 4 controladores conocidos que el ranking de gradiente omitió (0/4). El cribado contrastivo proporciona la recuperación (recall), mientras que la ley de la ventana proporciona la precisión.
• Auditoría de Negativa: En una cohorte de neuronas de negativa, el estudio mostró que, si bien muchas neuronas podían sortear la negativa coherentemente, solo un subconjunto (3 de 6 pivotes de Llama auditados) produjo contenido dañino accionable real. Además, el contenido accionable suele cometerse tarde en la ejecución (después de $\approx 96\text{--}128$ tokens), lo que distingue el bypass de los tokens iniciales.
• Ventana Bidimensional: Se muestra que la ventana de control es una superficie sobre la dosis y el tiempo de ejecución. Algunos comportamientos (como el enrutamiento de lenguaje) son locales del token, mientras que otros (como el cambio de operador) requieren un horizonte de ejecución para manifestarse.

5. Significado y Reivindicaciones

El artículo afirma transformar el direccionamiento de una sola neurona de una colección de anécdotas en una ley predecible y falsable de la mecánica del aprendizaje profundo.

• Unificación: Unifica hallazgos previos (pesos super, neuronas de negativa, mecanismos aritméticos) al situarlos en la misma ventana de control, resolviendo las contradicciones aparentes entre control, colapso e invisibilidad.
• Utilidad Defensiva: Proporciona un "diagnóstico de seguridad de dos ejes" (margen de bypass coherente vs. potencia de acción estricta) que permite auditar la robustez de los modelos. Un modelo puede tener una ventana de bypass amplia pero cero alcance de acción, o una ventana cerrada por completo.
• Cambio Metodológico: Prescribe un nuevo estándar para la intervención: dosificación normalizada por presupuesto leída en el horizonte de ejecución del comportamiento. Esto corrige el registro sobre neuriones previamente etiquetadas como destructivas debido al exceso de magnitud fija.
• Perspectiva Teórica: Clarifica que "el apalancamiento no es el alcance". Los verdaderos controladores operan sembrando perturbaciones fuera de eje que los circuitos descendentes amplifican, lo que los hace invisibles para el análisis de gradiente de primer orden.

Los autores concluyen que, si bien el techo de colapso es predecible desde la geometría, el valor de activación sigue siendo una cantidad medida dependiente de la clase de comportamiento y la profundidad, representando el principal problema abierto para una teoría totalmente basada en primeros principios. El trabajo establece una disciplina de medición que separa el enrutamiento conductual del alcance de la capacidad, ofreciendo una herramienta rigurosa para auditar la controlabilidad de los modelos.