📊 statistics

Signed-Permutation Coordinate Transport for RMSNorm Transformers

Este artículo identifica que los transformadores con RMSNorm poseen un gauge de permutación con signo ( $B_d$ ) en lugar de un simple gauge de permutación ( $S_d$ ), e introduce un método de emparejamiento húngaro marginalizado por signo para permitir un transporte de coordenadas robusto a través de los checkpoints, mejorando significativamente la transferibilidad de las herramientas de interpretabilidad, los vectores de dirección y los estados del optimizador, al tiempo que resuelve los fallos inducidos por la simetría en los enfoques de alineación existentes.

Autores originales: John Sweeney

Publicado 2026-07-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: John Sweeney

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes dos casas idénticas construidas a partir del mismo plano. En una casa, cada habitación está etiquetada como "Cocina", "Dormitorio" y "Baño". En la otra casa, las habitaciones están exactamente en los mismos lugares, pero alguien ha desordenado las etiquetas.

Si quieres mover un mueble específico (como un "vector de dirección" que hace que la casa diga "no" a las solicitudes malas) de la Casa A a la Casa B, necesitas saber qué etiqueta en la Casa B corresponde a la "Cocina" de la Casa A. Si adivinas mal, podrías poner el botón de "No" en el "Baño", y la casa no funcionará correctamente.

Este artículo trata sobre resolver una versión muy específica y complicada de este problema de "etiquetas desordenadas" para los modelos de IA modernos.

El problema central: El misterio del "Signo"

Durante mucho tiempo, los investigadores pensaron que la única forma en que estas casas de IA podían estar desordenadas era mediante una permutación (intercambio) de las habitaciones. Si la Habitación 1 se convirtió en la Habitación 5, simplemente se intercambiaban las etiquetas.

Sin embargo, el autor descubrió que para los modelos de IA más populares (llamados modelos RMSNorm, utilizados por gigantes como Llama y Qwen), existe una segunda forma oculta en la que las habitaciones pueden desordenarse: el giro de signo (sign flip).

Piensa en la etiqueta de una habitación no solo como un nombre, sino como una flecha que apunta en una dirección.

Permutación: Intercambiar la flecha que apunta al Norte por una que apunta al Este.
Giro de signo: Mantener la flecha apuntando al Norte, pero girarla para que apunte al Sur.

En estos modelos de IA modernos, cada una de las habitaciones puede girar su flecha de forma independiente (Norte $\to$ Sur) sin romper la casa. Esto crea una enorme confusión. Si intentas mover una herramienta de un modelo a otro usando solo las viejas reglas de "intercambio", podrías terminar girando accidentalmente la mitad de las flechas.

La analogía de la "Brújula Rota"

El artículo argumenta que las herramientas actuales para alinear modelos de IA son como una brújula que solo conoce el "Norte" y el "Este", pero es ciega al "Sur".

La vieja forma (Solo permutación): Intentas emparejar las habitaciones observando cómo se comportan. Si la Habitación A en el Modelo 1 es muy similar a la Habitación B en el Modelo 2, las emparejas. Pero si la Habitación A se comporta en realidad como lo opuesto de la Habitación B (debido a un giro de signo), la vieja brújula piensa que son totalmente diferentes y se niega a emparejarlas.
El resultado: Cuando los investigadores intentaron mover "herramientas de dirección" (como un botón para hacer que la IA rechace solicitudes dañinas) usando el método antiguo, las herramientas se rompieron por completo. El botón de "Rechazo" se giró a "Aceptar", o la herramienta simplemente dejó de funcionar.

La solución: El mapa "Marginalizado por el Signo"

El autor introduce un nuevo método llamado Transporte de Permutación con Signo (Signed-Permutation Transport).

Imagina que estás intentando emparejar las habitaciones de nuevo, pero esta vez tienes una lupa especial. En lugar de preguntar solo "¿Es la Habitación A como la Habresión B?", preguntas: "¿Es la Habitación A como la Habitación B, o es exactamente lo opuesto de la Habitación B?".

Observar la magnitud: Primero, compruebas la fuerza de la conexión, ignorando si es positiva o negativa. Esto encuentra la habitación correcta, incluso si la flecha está invertida.
Comprobar el signo: Una vez que has encontrado la habitación correspondiente, compruebas la dirección de la flecha. Si está invertida, la giras de nuevo antes de mover tu herramienta.

El artículo demuestra matemáticamente que, si ignoras los giros de signo, fallarás aproximadamente el 50% de las veces (porque la mitad de las flechas podrían estar invertidas). Al tener en cuenta los giros, puedes recuperar la alineación correcta casi el 100% de las veces.

Pruebas en el mundo real en el artículo

El autor no solo hizo matemáticas; probó esto en modelos de IA reales:

La prueba de "Rechazo": Tomaron una herramienta que hace que una IA rechace preguntas dañinas.
- Método antiguo: La herramienta falló. La IA empezó a aceptar solicitudes dañinas en lugar de rechazarlas (porque el signo se invirtió).
- Nuevo método: La herramienta funcionó perfectamente, preservando el 95.8% de su potencia original.
La prueba del "Diccionario": Intentaron mover un diccionario de características (SAE) de un modelo a otro.
- Método antiguo: El diccionario era inútil (el error de reconstrucción era enorme).
- Nuevo método: El diccionario funcionó casi perfectamente.
La prueba del "Currículum": Pausaron el entrenamiento de una IA, cambiaron las etiquetas (gauge) e intentaron reanudar el entrenamiento.
- Método antiguo: La IA olvidó dónde estaba y tomó un camino completamente diferente.
- Nuevo método: La IA continuó exactamente donde se quedó, como si nada hubiera pasado.

La gran conclusión

El artículo concluye que, para los modelos de IA modernos, no puedes simplemente preguntar "¿Qué neurona es esta?" sin antes especificar el "gauge" (el libro de reglas sobre cómo están dispuestas las etiquetas y los signos).

Si quieres mover herramientas, diccionarios o estados de entrenamiento entre estos modelos, debes usar las nuevas reglas de "Permutación con Signo". Si no lo haces, estás intentando conducir un coche con el volante girado 180 grados: crees que vas recto, pero en realidad vas hacia atrás.

En resumen: Los modelos de IA modernos tienen una simetría oculta de "giro de signo". Para mover cosas entre ellos, debes arreglar los signos, no solo los nombres. El artículo proporciona el mapa y la brújula para hacer precisamente eso.

Resumen Técnico: Transporte de Coordenadas de Permutación con Signo para Transformers con RMSNorm

Planteamiento del Problema

Los flujos de trabajo de los Grandes Modelos de Lenguaje (LLM) modernos dependen cada vez más del movimiento de artefactos indexados por coordenadas —como vectores de dirección (steering vectors), diccionarios de autoencoders dispersos (SAE), conjuntos de neuronas top-k y adaptadores LoRA— a través de diferentes checkpoints de modelos. Sin embargo, la pregunta "¿qué neurona es esta?" carece de sentido sin una medida fija (sistema de coordenadas). Mientras que las herramientas de alineación estándar (por ejemplo, Git Re-Basin, coincidencia de pesos) asumen un grupo de simetría de solo permutación ( $S_d$ ), este supuesto es incorrecto para los modelos que utilizan RMSNorm (Normalización de Raíz Cuadrática de la Media).

A diferencia de LayerNorm, que incluye centrado de media y restringe la simetría a permutaciones (hasta un cambio de signo global), RMSNorm carece de centrado de media. En consecuencia, su flujo residual admite cambios de signo independientes para cada coordenada, además de las permutaciones. El gauge discreto nativo para RMSNorm es el grupo hiperoctaédrico $B_d = S_d \ltimes \{\pm 1\}^d$ (permutaciones con signo), no $S_d$ . Ignorar el componente de signo (alineación de solo $S_d$ ) conduce a un modo de fallo estructural donde los artefactos indexados por coordenadas se desalinean, causando una degradación significativa del rendimiento o un colapso funcional completo al ser transferidos entre modelos.

Metodología

1. Caracterización Teórica de los Gauges Nativos

El artículo establece que para transformers con ganancia por canal $\gamma$ genérica:

LayerNorm: El subgrupo máximo que preserva las coordenadas de $O(d)$ es $S_d \times C_2$ (permutaciones más un cambio de signo global).
RMSNorm: El subgrupo máximo que preserva las coordenadas es el grupo completo de permutaciones con signo $B_d$ .
Implicación: Las rotaciones ortogonales continuas (utilizadas en métodos como SliceGPT o Quaot) son válidas para la preservación de la función, pero destruyen la identidad de la coordenada dispersa. Solo $B_d$ preserva la identidad de objetos dispersos (por ejemplo, neuronas específicas o características de SAE).

2. Recuperación de Gauge Marginalizada por Signo

Para recuperar el gauge $B_d$ correcto a partir de activaciones emparejadas, el artículo propone una modificación al algoritmo de emparejamiento húngaro estándar:

Función de Coste: En lugar de maximizar la correlación con signo $\sum C_{i, \pi(i)}$ , el algoritmo maximiza la correlación absoluta $\sum |C_{i, \pi(i)}|$ .
Recuperación de Signo: Una vez que se encuentra la permutación óptima $\pi^*$ mediante la matriz de coste absoluto, los signos se recuperan como $s_i = \text{sign}(C_{i, \pi^*(i)})$ .
Garantía Teórica: El artículo demuestra que en el caso de población de coordenadas decorrelacionadas, el emparejamiento de correlación con signo estándar tiene un techo de precisión estructural de aproximadamente el 50% (la fracción de signos positivos) porque evita activamente las entradas anticorrelacionadas correctas. El emparejamiento marginalizado por signo elimina esta obstrucción, convergiendo al 100% de precisión.

3. Transporte Paralelo mediante Composición de Trayectorias

En lugar de emparejar solo dos puntos finales, el artículo introduce el transporte paralelo a lo largo de una trayectoria de entrenamiento:

Se estiman los gauges $B_d$ locales entre checkpoints consecutivos utilizando el emparejamiento marginalizado por signo.
Estos gauges locales se componen para formar un mapa de transporte global entre checkpoints distantes (o a través de ejecuciones que comparten una base).
Este enfoque evita los problemas de "holonomía" del emparejamiento directo de puntos finales y aprovecha los altos márgenes de asignación de los checkpoints consecutivos.

4. Reglas de Transporte Covariantes de Gauge

El artículo deriva reglas de transformación explícitas para diversos artefactos indexados por coordenadas bajo $B_d$ (Tabla 1):

Vectores (Dirección, Sondas, Codificadores SAE): Se transforman como $v \mapsto vG$ .
Matrices (Decodificadores SAE, LoRA WRITE): Se transforman como $W \mapsto G^\top W$ .
Estados del Optimizador (AdamW): El primer momento $m_W$ se transforma con los pesos; el segundo momento $v_W$ (al ser un cuadrado) es ciego al signo y se transforma mediante permutación únicamente.

Resultados Clave

1. Precisión de Recuperación

Marginalizado por Signo vs. Con Signo: En experimentos en modelos RMSNorm de 7B/8B, el emparejamiento ingenuo de correlación con signo recuperó solo ~49.5% de la permutación y ~50% de los signos. El emparejamiento marginalizado por signo logró una recuperación del 100%.
Transporte vs. Emparejamiento de Punto Final: En un benchmark de ajuste fino de Qwen2.5-1.5B (1500 pasos), el transporte mediante composición de base recuperó el 91.1% de las coordenadas, mientras que el emparejamiento directo de punto final recuperó solo el 60.3%. La mejora no se debió únicamente a referenciar la base (el método de punto final vía base fue de 11.4%), sino de la composición de muchos gauges locales de alto margen.

2. Rendimiento de Transferencia de Artefactos

El transporte con el $B_d$ correcto superó significativamente al transporte de solo $S_d$ en múltiples clases de artefactos:

Adaptadores LoRA: En Qwen2.5-1.5B (SST-2), el transporte $S_d$ colapsó la precisión del adaptador al nivel de la base sin adaptar (0.523 vs. 0.525), mientras que el transporte $B_d$ preservó el 99.7% de la ganancia (0.944).
Reconstrucción SAE: Para TinyLlama, el transporte $S_d$ resultó en un NMSE de reconstrucción de 1.08 (fallo), mientras que el transporte $B_d$ logró 0.004 (casi perfecto).
Vectores de Dirección (Steering): La dirección de sentimiento de Qwen preservó el 95.8% de su efecto bajo $B_d$ frente al 17.2% bajo $S_d$ . Los vectores de dirección de rechazo invirtieron su signo bajo $S_d$ , efectivamente cambiando el comportamiento.

3. Entrenamiento con Estado y Fusión (Merging)

Estado del Optimizador: Reanudar el entrenamiento con estados de AdamW transportados solo con $S_d$ (permutación correcta, signos forzados a +1) causó que la trayectoria de entrenamiento divergiera de la referencia, a pesar de partir de un checkpoint funcionalmente idéntico. El transporte $B_d$ preservó la trayectoria con tolerancia numérica.
Fusión de Modelos (Model Merging): En fusiones que preservan coordenadas, la alineación de solo $S_d$ introdujo discrepancias de signo destructivas, creando altas barreras de "pico sobre la cuerda" (peak-above-chord). La alineación con signo eliminó estas barreras (reduciéndolas a 0.00 en pruebas de desorden de gauge).

Significancia y Reivindicaciones

El artículo argumenta que para arquitecturas basadas en RMSNorm (incluyendo modelos ampliamente utilizados como Llama 2, Llama 3 y Qwen), la identidad de la coordenada solo está bien definida hasta una permutación con signo.

Reproducibilidad: Las afirmaciones de interpretabilidad indexadas por coordenadas (por ejemplo, "la neurona X es una neurona de rechazo") no son reproducibles entre ejecuciones a menos que se fije y aplique un gauge $B_d$ específico. El artículo propone los "barridos de gauge" (gauge sweeps) como un control negativo para auditar tales afirmaciones.
Transferencia de Herramientas: El fallo de los métodos de solo $S_d$ no es un error menor, sino un colapso estructural. El transporte con signo es necesario para mover con éxito vectores de dirección, diccionarios SAE y estados del optimizador.
Limitaciones: El artículo señala que, si bien $B_d$ preserva la identidad de la coordenada, los métodos ortogonales continuos siguen siendo útiles para la fusión densa o compresión donde la identidad de la coordenada no es el objeto principal. Además, las unidades ocultas de FFN poseen sus propios simetrías de permutación independientes ( $S_{d_{ffn}}$ ) que son distintas del gauge del flujo residual.

En resumen, el trabajo proporciona la base teórica y los algoritmos prácticos para alinear correctamente los modelos RMSNorm, demostando que ignorar el componente de signo del gauge hace que los flujos de trabajo basados en coordenadas sean fundamentalmente erróneos.