💬 NLP

FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers

El artículo presenta FishBack, un nuevo método de direccionamiento de activación que reemplaza la fallida suposición euclidiana con la métrica de información de Fisher para derivar una dirección de direccionamiento óptima, reduciendo así significativamente las distorsiones fuera de objetivo en modelos transformer a través de varios tamaños y capas.

Autores originales: Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

Publicado 2026-08-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje de gran tamaño son vastas redes de neuronas artificiales que han aprendido a predecir la siguiente palabra en una oración leyendo billones de ejemplos. Una vez entrenados, estos modelos pueden ser increíblemente útiles, pero también pueden ser obstinados o inseguros, generando texto que es sesgado, deshonesto o simplemente no es lo que el usuario pretendía. Durante años, los investigadores han intentado corregir estos comportamientos añadiendo un pequeño empujón a los cálculos internos del modelo mientras este trabaja. Esta técnica, conocida como dirección de activación (activation steering), consiste en encontrar una dirección específica en las capas ocultas del modelo y empujar los datos a lo largo de ese camino para fomentar un rasgo deseado, como la veracidad o un tiempo gramatical específico. Es una alternativa ligera al reentrenamiento de todo el modelo, que es costoso y consume mucho tiempo. Sin embargo, estos empujones han sido notoriamente poco fiables. Un empujón que funciona perfectamente en una parte de la red a menudo falla en otra o, peor aún, corrige un problema mientras rompe accidentalmente algo más por completo, haciendo que el modelo produzca galimatías o pierda su personalidad original.

La razón principal de esta inestabilidad, según un nuevo estudio de investigadores de la Universidad de Tecnología de China del Sur, es un malentendido fundamental de la forma en que operan estos modelos. La mayoría de los métodos existentes tratan el estado interno del modelo como si fuera una cuadrícula plana y ordinaria, donde moverse una cierta distancia en cualquier dirección cuesta la misma cantidad de esfuerzo. Los investigadores argumentan que esta visión es incorrecta. En realidad, el espacio dentro de un modelo de lenguaje es curvo e irregular, muy parecido a la superficie de la Tierra en comparación con un mapa plano. Moverse una corta distancia en una dirección puede cambiar drásticamente la salida del modelo, mientras que moverse la misma distancia en una dirección vecina podría no tener casi ningún efecto. Los métodos antiguos, al asumir una superficie plana, estaban esencialmente intentando conducir un coche en línea recta a través de una cordillera, ignorando las pendientes pronunciadas y los valles que realmente determinan el camino.

Para resolver esto, el equipo desarrolló un nuevo enfoque llamado FishBack. En lugar de adivinar la dirección correcta, calcularon la verdadera forma del paisaje por el que navega el modelo. Descubrieron que las reglas que rigen cómo un pequeño cambio en el medio de la red afecta la salida final están determinadas por una propiedad matemática específica llamada métrica de información de Fisher. Esta métrica actúa como un mapa topográfico, mostrando exactamente qué tan "empinado" o "plano" es el terreno en cada dirección. Al traer este mapa desde la capa de salida final del modelo hacia las capas intermedias donde ocurre la dirección, los investigadores pudieron ver la verdadera geometría del problema. Luego utilizaron este mapa para encontrar el mejor camino único para mover el estado del modelo. Este camino no es una línea recta; es una ruta curva que logra el cambio de comportamiento deseado mientras requiere la menor cantidad de "energía" y perturba lo menos posible el conocimiento restante del modelo.

Los investigadores probaron este método en tres modelos de lenguaje diferentes de diversos tamaños, que van desde un modelo pequeño con 768 dimensiones internas hasta modelos masivos con más de cuatro mil dimensiones. Se centraron en tres tareas específicas: cambiar un verbo a su forma de tercera persona del singular, convertirlo a una forma progresiva o cambiarlo al tiempo pasado. En cada caso, compararon su nuevo método geométrico contra las técnicas estándar de espacio plano. Los resultados fueron sorprendentes. En el modelo más pequeño, el nuevo método redujo los efectos secundarios no deseados —lo que los investigadores llaman distorsión fuera de objetivo— en un factor de hasta seis veces y media en comparación con los mejores métodos existentes. En los modelos más grandes y complejos, la mejora fue aún más consistente, reduciendo los cambios no deseados por un factor de casi cuatro veces en las capas iniciales y medias de la red.

Crucialmente, el estudio también demostró que los métodos antiguos no eran solo ligeramente menos eficientes; eran fundamentalmente erróneos en su enfoque. Cuando los investigadores reemplazaron el complejo mapa geométrico con una simple suposición de espacio plano en su propio sistema, el rendimiento cayó significativamente, demostrando que la curvatura del espacio era la clave del éxito. El nuevo método funciona calculando una dirección precisa y óptima para cada situación específica, en lugar de usar un vector fijo único para todas las entradas. Esto permite que el modelo se adapte a la forma única de su estado interno en ese momento exacto. Los investigadores también desarrollaron una forma de computar esta dirección compleja sin necesidad de construir el mapa completo explícitamente, lo que sería demasiado lento para los modelos más grandes. En su lugar, utilizaron una aproximación inteligente que captura la forma esencial del paisaje con solo unos pocos cientos de cálculos, haciendo que la técnica sea práctica para el uso en el mundo real.

Los hallazgos sugieren que la inestabilidad que plaga los métodos actuales de dirección de activación no es un error en los modelos mismos, sino una consecuencia de usar la geometría incorrecta para navegar en ellos. Al reconocer que el mundo interno de un modelo de lenguaje es curvo y que el costo del movimiento varía drásticamente según la dirección, el método FishBack proporciona una forma estable y eficiente de guiar estos sistemas. Los investigadores demostraron que esta corrección geométrica es más valiosa en las capas iniciales y medias de la red, donde el paisaje es más irregular. A medida que los datos se mueven hacia la salida final, el paisaje se aplana y la ventaja del método complejo disminuye, lo cual se alinea perfectamente con la teoría. Este trabajo ofrece un camino claro hacia la creación de modelos de lenguaje más fiables y controlables, convirtiendo un proceso frágil de ensayo y error en una herramienta precisa y matemáticamente fundamentada.

Resumen Técnico: FishBack – Geometría de Fisher de Retroceso para la Dirección Óptima de Activación en Transformers

1. Planteamiento del Problema

La dirección de activaciones (activation steering) ha surgido como un método ligero para modificar el comportamiento de los Grandes Modelos de Lenguaje (LLM) sin actualizar parámetros. Al desplazar los estados ocultos a lo largo de direcciones lineales específicas durante la inferencia, los investigadores pueden amplificar o suprimir conceptos (por ejemplo, veracidad, sentimiento, rechazo). Sin embargo, los métodos existentes (como CAA, ActAdd e ITI) exhiben una fragilidad significativa: son inestables a través de las capas, requieren un ajuste estrecho de coeficientes y a menudo distorsionan comportamientos no relacionados con el concepto objetivo.

Los autores atribuyen estos fallos a un supuesto fundamental, a menudo no declarado, compartido por los métodos actuales: que el espacio de activación intermedio es Euclidiano. Estos métodos aplican actualizaciones de la forma $h \leftarrow h + \alpha v$ , tratando el espacio como plano donde un paso cuesta lo mismo en cualquier dirección. El artículo argumenta que este supuesto es erróneo. Si bien se sabe que la capa softmax final posee una geometría no euclidiana (la métrica de Fisher-Rao), la geometría que gobierna las intervenciones en las capas intermedias —donde realmente se aplica la dirección— no ha sido examinada. En consecuencia, los métodos actuales dirigen a lo largo de "líneas rectas" que son subóptimas y costosas en términos de distorsión fuera del objetivo.

2. Metodología: El Marco FishBack

El artículo propone FishBack, un marco que deriva la geometría correcta para la dirección en capas intermedias directamente de la computación del modelo, en lugar de ajustarla a los datos.

2.1 La Métrica de Fisher de Retroceso (Pullback Fisher Metric)

La idea central es que el coste de una intervención no es su longitud euclidiana, sino cuánto desplaza la distribución de tokens predicha por el modelo.

Métrica de Salida: En la capa final, el cambio en la predicción está gobernado por la métrica de información de Fisher $H$ de la cabeza de softmax.
Retroceso (Pullback): Para determinar el coste de una perturbación $\delta h$ en una capa intermedia $\ell$ , los autores realizan un retroceso de esta métrica a través del Jacobiano $J$ de la red (la derivada del mapa desde la capa $\ell$ hasta la salida).
La Métrica: La métrica resultante en la capa $\ell$ es $G = J^\top H J$ . Esta matriz $G$ es la métrica de Fisher de retroceso. Es simétrica semidefinida positiva y corresponde a la matriz de Gauss-Newton generalizada del log-verosimilitud negativa del modelo con respecto a la activación $h$ .

2.2 Dirección de Dirección Óptima

Utilizando $G$ , el problema de encontrar una dirección de dirección se convierte en un problema de optimización con restricciones: inducir un cambio en el concepto objetivo minimizando el movimiento del resto de la distribución (distorsión fuera del objetivo).

Covector de Concepto: La dirección del concepto se representa como un covector $q = J^\top \beta_W$ , donde $\beta_W$ es la sonda del concepto objetivo.
Solución de Forma Cerrada: El desplazamiento óptimo $\delta h^\star$ que logra un cambio de concepto $\rho$ con un mínimo de distorsión fuera del objetivo (medido por la divergencia KL) viene dado por:
$\delta h^\star = \frac{\rho}{q^\top G^\dagger q} G^\dagger q$
donde $G^\dagger$ es la pseudoinversa de Moore-Penrose.
Optimalidad de No-Objetivo: Bajo una condición de separabilidad (donde los factores de concepto y contenido de la distribución son independientes), minimizar la divergencia KL total es equivalente a minimizar la divergencia KL fuera del objetivo. Por lo tanto, esta dirección es óptima para preservar comportamientos no relacionados.

2.3 Escalabilidad a Modelos de 8B

Formar explícitamente $G$ (de tamaño $d \times d$ ) es computacionalmente inviable para modelos grandes (por ejemplo, Llama-3-8B, Qwen3-8B con $d=4096$ ). Los autores desarrollan una aproximación libre de matrices:

Evaluación de la Acción: La acción de $G$ sobre un vector se calcula mediante productos de vector-Jacobiano de diferencia finita y pasadas hacia atrás (backward passes), evitando la formación explícita de la matriz.
Espectro de Bajo Rango: El espectro de $G$ está altamente concentrado. Se utiliza una descomposición aleatorizada (rango 50) para encontrar el subespacio de baja dimensión donde se calcula la inversa.
Jacobiano Congelado: Para ahorrar computación, el Jacobiano se calcula una vez en el punto inicial y se mantiene fijo a través de los pasos de dirección, actualizando únicamente la información de Fisher y el covector.

3. Contribuciones Clave

Identificación de la Geometría Correcta: El artículo establece que la métrica que gobierna la dirección en la capa intermedia es la información de Fisher de retroceso ( $G = J^\top H J$ ), derivada en forma cerrada del modelo. Esto contrasta con la métrica plana (euclidiana) asumida por los métodos aditivos.
Dirección Ópta de Forma Cerrada: Los autores derivan una expresión de forma cerrada para la dirección de dirección que minimiza la divergencia KL fuera del objetivo para un cambio de concepto dado. Esta dirección rota el covector de concepto bruto hacia las direcciones "baratas" de la geometría de salida.
Aproximación Escalable: Se desarrolla un algoritmo libre de matrices que recupera la dirección óptima para modelos de escala 8B en unos pocos cientos de pasadas parciales hacia adelante por caso, haciendo que el método sea práctico para los LLM modernos.
Validación Empírica: El marco se evalúa en tres conceptos de morfología verbal (tercera persona del singular, progresivo, tiempo pasado) a través de GPT-2 Small, Llama-3-8B y Qwen3-8B.

4. Resultados Experimentales

La evaluación utiliza un protocolo contrafáctico donde los métodos se comparan con un cambio de concepto igualado (asegurando un efecto igual en el objetivo) para medir la distorsión fuera del objetivo (divergencia KL en tokens que no son del concepto).

GPT-2 Small: FishBack reduce la divergencia KL fuera del objetivo en factores de la mediana de 1.4x a 6.5x en comparación con las bases individuales (CAA, ActAdd, ITI, ReFT, RepSurgery). Contra el oráculo "Mejor-por-caso" (que selecciona la base con la menor divergencia fuera del objetivo para cada caso específico), FishBack sigue logrando una menor divergencia fuera del objetivo con una razón de la mediana de 1.25 (favoreciendo a FishBack), y una tasa de victoria del 64%, aunque el margen es más estrecho que contra las bases fijas.
Modelos de 8B (Llama-3-8B, Qwen3-8B): En las capas tempranas y medias, FishBack reduce la divergencia KL fuera del objetivo en factores de la mediana de 1.8x a 3.6x frente a las bases.
Ablación Geométrica: Reemplazar la métrica de retroceso $G$ con la matriz identidad (ablación euclidiana) manteniendo el resto del pipeline idéntico resulta en una distorsión fuera del objetivo significativamente mayor (razones de 1.3x a 2.45x), confirmando que la ganancia es atribuible a la corrección geométrica misma.
Dependencia de la Capa: La ventaja geométrica es más pronunciada en las capas tempranas y medias, donde la métrica es fuertemente anisotrópica (números de condición $\sim 10^7$ ). En las capas más profundas, la geometría se aplana y la ventaja disminuye, alineándose con las predicciones teóricas.

5. Significado y Reivindicaciones

El artículo sostiene que la inestabilidad y la distorsión fuera del objetivo de los métodos actuales de dirección de activaciones provienen de ignorar la geometría no euclidiana intrínseca del espacio de representación del modelo. Al modelar explícitamente esta geometría mediante la métrica de Fisher de retroceso, FishBack proporciona una dirección teóricamente fundamentada y óptima para la intervención.

Rigor Teórico: El método no depende del ajuste de variedades a los datos, sino que deriva la métrica directamente del Jacobiano del modelo y la cabeza de softmax, garantizando una dirección óptima bajo la aproximación de segundo orden.
Impacto Práctico: El marco demuestra que la corrección geométrica retiene su ventaja incluso en modelos más grandes y complejos (8B de parámetros), mejorando significativamente la fidelidad de la modificación del comportamiento.
Limitaciones: Los autores señalan que la ventaja del método es contingente a la anisotropía de la métrica de retroceso. En las capas muy profundas donde la geometría se vuelve casi euclidiana (plana), el beneficio de la corrección se reduce, lo cual es consistente con los límites teóricos derivados en el documento.

En resumen, FishBack replantea la dirección de activaciones como un problema de navegar por una variedad curva definida por la propia geometría de la información del modelo, ofreciendo una solución robusta a la fragilidad de los vectores de dirección lineales.