📊 statistics

The Information Geometry of Softmax: Probing and Steering

Este artículo propone que la geometría de la información es el marco natural para entender la codificación semántica en modelos de IA con salidas softmax y presenta el "dual steering", un método que optimiza la manipulación de conceptos mediante sondas lineales para maximizar el control y la estabilidad.

Autores originales: Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando dirigir un barco enorme y complejo (un modelo de IA) hacia un destino específico (un nuevo concepto, como cambiar una oración de "él" a "ella" o una imagen de un "perro" a un "gato").

Durante mucho tiempo, los investigadores han intentado dirigir estos barcos simplemente empujando el volante en línea recta. Asumieron que el océano era plano y uniforme, como una gigantesca lámina de hielo. Si querían ir al Norte, simplemente empujaban el volante hacia el Norte. Esto se llama dirección euclidiana (Euclidean steering).

Sin embargo, este artículo argumenta que el océano en el que navegan los modelos de IA no es una lámina de hielo plana. Es, en realidad, un paisaje curvo y accidentado donde la "cercanía" de dos puntos depende de qué tan similar sea el comportamiento del barco, no solo de qué tan separados parezcan en un mapa. Los autores llaman a esto Geometría de la Información.

Aquí está el desglose de su descubrimiento y su nuevo método, Dirección Dual (Dual Steering), utilizando analogías sencillas:

1. El Problema: La "Trampa del Mapa Plano"

El artículo comienza diciendo que la mayoría de los métodos actuales tratan las representaciones internas de la IA (sus pensamientos) como si existieran en un mundo plano y de líneas rectas.

La Analogía: Imagina que estás mezclando dos colores de pintura. Si mezclas rojo y azul en una línea recta, obtienes púrpura. Pero si estás mezclando probabilidades (como la probabilidad de lluvia frente a la de sol), la matemática es diferente.
El Problema: Cuando los investigadores empujan a la IA en una línea recta para cambiar una cosa (por ejemplo, de "perro" a "gato"), accidentalmente derraman pintura por todas partes. La IA podría empezar de repente a hablar de "bicicletas" o "nubes" solo porque el empuje en línea recta perturbó el equilibrio de todo el sistema. Esto se llama "fuga fuera del objetivo" (off-target leakage).

2. La Solución: El "Mapa Curvo" (Geometría de la Información)

Los autores se dieron cuenta de que el "cerebro" de la IA funciona como una máquina de probabilidades. Cuando la IA decide qué palabra decir a continuación, utiliza una herramienta matemática llamada Softmax para convertir números en porcentajes (probabilidades).

El Hallazgo: Debido a que la IA trabaja con probabilidades, el espacio en el que vive es curvo. En este espacio curvo, el camino más "recto" no es una línea recta; es una curva que respeta las reglas de la probabilidad.
La Analogía: Piensa en la Tierra. Si quieres volar de Nueva York a Londres, el camino más corto no es una línea recta a través del suelo; es una curva a lo largo de la superficie (un círculo máximo). Si intentaras volar en línea recta a través de la Tierra, te estrellarías. Del mismo modo, si intentas dirigir una IA en una "línea recta" a través de su espacio de probabilidad curvo, te estrellas contra conceptos no deseados.

3. El Nuevo Método: "Dirección Dual"

El artículo introduce una nueva forma de dirigir la IA llamada Dirección Dual. En lugar de empujar a la IA en una línea recta (euclidiana), la dirigen a lo largo de las curvas naturales del espacio de probabilidad.

Cómo funciona:
- Dirección Euclidiana (La forma antigua): Agarras el volante y lo sacudes con fuerza hacia "Gato". Al hacerlo, accidentalmente derribas las estatuas de "Perro" y "Pájaro" que hay en el tablero.
- Dirección Dual (La nueva forma): Navegas usando un mapa especial que sabe que el terreno es curvo. Diriges el barco a lo largo de un camino que cambia el "Perro" por "Gato" sin tocar las estatuas de "Pájaro" o "Bicicleta".
El concepto "Dual": El artículo explica que hay dos formas de ver los datos de la IA:
1. Espacio Primal: Los números brutos que la IA ve.
2. Espacio Dual: Las probabilidades reales (el comportamiento) que la IA produce.
  Los autores descubrieron que para cambiar el comportamiento de forma limpia, es necesario realizar la dirección en el "Espacio Dual" (el mundo de las probabilidades) y luego traducir eso de vuelta a los números brutos.

4. Lo que demostraron

Los autores demostraron matemáticamente que la Dirección Dual es el método "Goldilocks" (el punto justo):

Cambia con éxito el concepto objetivo (por ejemplo, hace que la IA diga "gato" en lugar de "perro").
Minimiza el daño a todo lo demás. Mantiene la probabilidad de cosas no relacionadas (como "amigo" o "bicicleta") exactamente igual a como era antes.

5. Pruebas del Mundo Real

Probaron esto en modelos de IA reales (como Gemma-3 para texto y MetaCLIP para imágenes).

Ejemplo de Texto: Cuando pidieron a la IA que cambiara una oración de "Él es mi..." a "Ella es mi...", el método antiguo hacía que la IA empezara a hablar de "amigos" o "tíos" de formas extrañas. El nuevo método cambió "Él" por "Ella" perfectamente, manteniendo intacta la estructura de la oración y el significado.
Ejemplo de Imagen: Al cambiar una imagen de un "gato" por un "perro", el método antiguo a veces añadía accidentalmente un "híbrido perro-gato" o una "bicicleta" en la imagen. El nuevo método intercambió el gato por el perro de forma limpia, dejando el fondo y otros objetos sin alteraciones.

Resumen

El artículo afirma que los modelos de IA no viven en un mapa plano; viven en un paisaje curvo basado en probabilidades. Si intentas dirigirlos con una línea recta, causas el caos. Al usar la Dirección Dual, que respeta las curvas naturales de ese paisaje, puedes cambiar la opinión de la IA sobre una cosa específica sin romper accidentalmente todo lo demás.

Nota: El artículo se centra estrictamente en la geometría de cómo funcionan estos modelos y cómo dirigirlos utilizando sondas lineales. No pretende resolver problemas generales de seguridad de la IA, ni discute aplicaciones clínicas o médicas. Es puramente sobre hacer que el "volante" de la IA sea más preciso y menos propenso a causar efectos secundarios accidentales.

Resumen Técnico: La Geometría de la Información de Softmax: Sondeo y Dirección

Declaración del Problema

Los enfoques actuales para interpretar y manipular modelos de IA suelen basarse en la hipótesis de la representación lineal, la cual postula que los conceptos de alto nivel corresponden a direcciones específicas en el espacio de representación vectorial del modelo. Si bien esta hipótesis ha permitido métodos para identificar y dirigir conceptos (por ejemplo, sentimiento, veracidad), las técnicas existentes son frecu menudo frágiles y menos efectivas que el ajuste fino (fine-tuning) directo. Una limitación principal identificada por los autores es la suposición implícita de que los espacios de representación poseen una geometría euclidiana plana. El artículo argumenta que para los modelos que utilizan distribuciones softmax (incluyendo Transformers, LLMs y modelos contrastivos como CLIP), la geometría natural del espacio de representación no es euclidiana, sino que es de geometría de la información. En consecuencia, las operaciones euclidianas estándar (como sumar un vector de sondeo directamente a una representación) pueden fallar al preservar la estructura semántica o causar una deriva "fuera de objetivo" (off-target), donde la masa de probabilidad se filtra hacia conceptos no relacionados.

Metodología

El artículo operacionaliza la idea de que la geometría de los vectores de representación $\lambda$ debe reflejar la proximidad de las distribuciones de probabilidad inducidas $P_\lambda$ .

1. Marco de Geometría de la Información

Los autores establecen que la geometría inducida por la divergencia de Kullback-Leibler (KL) entre las distribuciones softmax es una geometría de Bregman (dualmente plana). Esta estructura introduce una dualidad entre:

Espacio Primal ( $\Lambda$ ): El espacio de los vectores de representación $\lambda$ .
Espacio Dual ( $\Phi$ ): El espacio de los valores esperados (incrustaciones de la media) $\phi(\lambda) = \nabla A(\lambda) = \mathbb{E}[\gamma | \lambda]$ , donde $A(\lambda)$ es el log-normalizador.

El artículo distingue entre dos caminos de interpolación naturales:

Interpolación Primal (e-geodésica): Una línea recta en el espacio primal. Minimiza una suma ponderada de divergencias KL reversas, comportándose como un operador AND que enfatiza las regiones de alta probabilidad compartidas.
Interpolación Dual (m-geodésica): Una línea recta en el espacio dual. Minimiza una suma ponderada de divergencias KL directas, comportándose como un operador OR que crea una mezcla lineal de distribuciones, preservando simultáneamente las características semánticas de ambos extremos.

2. Dirección Dual (Dual Steering)

La contribución metodológica central es la Dirección Dual, una técnica para modificar representaciones para exhibir un concepto objetivo mientras se minimizan los cambios en los conceptos fuera de objetivo.

El problema de la Dirección Euclidiana: La dirección estándar suma un vector de sondeo $\beta_W$ (un elemento del espacio dual) directamente a la representación primal $\lambda$ . Esto es un "desajuste de tipo" en una geometría no euclidiana y a menudo provoca una deriva fuera de objetivo.
La solución de la Dirección Dual: En lugar de actualizar $\lambda$ directamente, la Dirección Dual actualiza la coordenada dual $\phi(\lambda)$ sumando el vector de sondeo: $\phi(\lambda_t) = \phi(\lambda_0) + t\beta_W$ .
Garantía Teórica: Bajo la suposición de distribuciones factorizables de conceptos (donde la distribución de salida puede factorizarse en una distribución del concepto objetivo y una distribución fuera de objetivo), los autores demuestran que la Dirección Dual identifica el minimizador de la divergencia KL que modifica el concepto objetivo mientras minimiza la divergencia KL de la distribución fuera de objetivo. Esto preserva efectivamente las probabilidades relativas de los tokens no relacionados.

3. Implementación Práctica

Dado que el espacio dual es un conjunto convexo acotado, una actualización lineal en el espacio dual puede salirse de la región factible. Para abordar esto, los autores proponen una Actualización de Newton Regularizada:

Aproximar el cambio en las coordenadas duales utilizando la Hessiana del log-normalizador (que corresponde a la matriz de covarianza de los vectores de desembedding).
Resolver el sistema lineal $\text{Cov}[\gamma | \lambda] \Delta \lambda = \epsilon \beta_W$ para encontrar el paso correspondiente en el espacio primal.
Aplicar regularización de Tikhonov ( $\alpha I$ ) a la matriz de covarianza para manejar la deficiencia de rango (que ocurre cuando el softmax está altamente concentrado en pocos tokens), asegurando que la actualización permanezca bien definida y empuje la distribución hacia regiones de mayor entropía si es necesario.
Utilizar el método de Gradiente Conjugado para resolver eficientemente el sistema lineal sin necesidad de invertir explícitamente la gran matriz de covarianza.

Resultados Clave

Los autores evalúan la Dirección Dual en Gemma-3-4B (LLM) y MetaClip-2 (Visión-Lenguaje) a través de varios conceptos binarios (por ejemplo, verbo $\Rightarrow$ tercera persona, perro $\Rightarrow$ gato, inglés $\Rightarrow$ francés).

Preservación de Conceptos Fuera de Objetivo: Los resultados empíricos muestran que la Dirección Dual supera significativamente a la dirección euclidiana en la preservación de las distribuciones fuera de objetivo. Mientras que la dirección euclidiana a menudo causa "filtración" (asignando una probabilidad significativa a tokens no relacionados como "amigo" al dirigir "padre" $\Rightarrow$ "madre"), la Dirección Dual mantiene la masa de probabilidad de los pares contrafácticos y los tokens neutros.
Métricas de Robustez: La Dirección Dual logra menores divergencias KL y menores diferencias de rango para las distribuciones fuera de objetivo en comparación con los métodos euclidianos, incluso cuando la probabilidad del concepto objetivo se acerca a 1.
Comportamiento de Interpolación: Las visualizaciones confirman que la Interpolación Dual (m-geodésica) actúa como una mezcla lineal de distribuciones, mientras que la Interpolación Primal (e-geodésica) suprime las salidas específicas de los extremos en favor de las características compartidas.

Significado y Reivindicaciones

El artículo sostiene que la estructura no euclidiana de la geometría de la información intrínseca es crítica para conectar las manipulaciones geométricas con tareas semánticas como la dirección.

Perspectiva Teórica: Demuestra que la hipótesis de la representación lineal debe entenderse dentro del contexto de la geometría de la información (específicamente la dualidad de Bregman) en lugar de una geometría euclidiana plana para ser robusta.
Utilidad Práctica: La Dirección Dual proporciona un método teóricamente fundamentado para manipular representaciones de forma robusta, minimizando los efectos secundarios no deseados, ofreciendo un modelo para mejorar la fiabilidad de los métodos de interpretabilidad y control.
Alcance: Aunque los resultados se derivan de modelos basados en softmax, los autores sugieren que la idea de alto nivel de explotar la geometría intrínseca es ampliamente aplicable. Expresan explícitamente que este trabajo sirve como un modelo para futuras investigaciones sobre cómo la geometría influye en la robustez de los métodos de control, particularmente en las capas intermedias de los modelos.

Los autores mantienen la modestia respecto a la "suposición de sondeo" (que un sondeo lineal captura perfectamente un concepto a través de todo el hiperplano), reconociendo que en la práctica esta suposición puede no cumplirse estrictamente, aunque la Dirección Dual sigue superando empíricamente a los métodos euclidianos.