Resumen Técnico: Three-Phase Transformer (3PT)

1. El Problema y la Motivación

Los transformadores modernos (especialmente los de solo decodificador) dependen de mecanismos como la normalización RMS, la atención con consultas agrupadas (GQA) y la codificación de posición rotatoria (RoPE). Sin embargo, la estructura interna del flujo residual (el vector oculto) a menudo carece de una inductiva geométrica explícita que guíe la organización de las representaciones.

El autor propone que la dimensión oculta del modelo puede interpretarse no como un bloque monolítico, sino como un sistema de tres fases análogo a un sistema de corriente alterna (CA) trifásico equilibrado. En un sistema trifásico real, tres sinusoides desplazadas 120° suman cero en todo instante, creando un equilibrio natural sin pares anti-correlacionados. La pregunta central es: ¿puede imponer esta estructura geométrica de "tres fases" en el flujo residual de un transformador mejorar la eficiencia de aprendizaje y la convergencia sin añadir una carga computacional significativa?

2. Metodología: La Arquitectura 3PT

El Three-Phase Transformer (3PT) no es un módulo nuevo añadido a la arquitectura, sino un prior estructural sobre el flujo residual. Se basa en un backbone estándar (SwiGLU + RMSNorm + RoPE + GQA) e introduce cinco modificaciones coordinadas que mantienen la estructura de fase:

A. Partición de Canales Cíclicos ($Z_N$)

La dimensión del modelo ($d_{model}$) se divide estructuralmente en $N$ canales iguales (en la configuración canónica, $N=3$). Estos canales se interpretan como las fases A, B y C de un sistema eléctrico, con un desplazamiento fijo de 120° ($2\pi/3$).

B. Capa de Rotación de Fase (PhaseRotationLayer)

Insertada entre la atención y la red neuronal feed-forward (FFN) en cada bloque:

• Aplica una rotación 2D (Givens) a pares de canales dentro de cada fase.
• Cada fase se rota con un ángulo $\theta + i \cdot (2\pi/3)$, donde $i$ es el índice de la fase.
• Esta capa es no residual (sobrescribe la entrada) pero ortogonal, lo que garantiza que los gradientes fluyan sin atenuación ni amplificación.
• Los ángulos de rotación son aprendibles y se inicializan con un schedule lineal en función de la profundidad de la red.

C. Normalización RMS Sensible a la Fase (PhaseAwareRMSNorm)

Reemplaza la normalización global por tres instancias independientes de RMSNorm, una para cada fase. Esto crea tres "esferas" de normalización independientes en lugar de una compartida, reduciendo la interferencia entre subespacios semánticos.

D. Atención Agrupada Alineada a la Fase (Phase-Aligned GQA)

Se impone una restricción de configuración: el número de cabezas de consulta (Q) y clave/valor (KV) debe ser divisible por el número de fases ($N$). Esto asegura que las cabezas de atención caigan enteramente dentro de una sola fase, alineando la estructura de atención con la partición geométrica.

E. Inyección de "Cuerno de Gabriel" en el Subespacio DC

La partición trifásica deja un subespacio de dimensión 1 (la dirección "DC" o de modo común, donde todas las fases tienen el mismo valor) que queda vacío por construcción.

• En lugar de dejarlo vacío o usar un promedio cero, se inyecta una señal analítica fija: el perfil del Cuerno de Gabriel $r(p) = 1/(p+1)$.
• Esta función actúa como un canal lateral de posición absoluta. Es suave, decreciente y tiene suma finita (propiedad del cuerno de Gabriel), lo que permite que las primeras posiciones sean distintivas y las últimas se difuminen, complementando a RoPE (que maneja la posición relativa).

3. Contribuciones Clave

1. Prior Estructural de Flujo Residual: 3PT no es una nueva codificación de posición ni un nuevo embedding. Es un patrón geométrico que organiza cómo se lee y se mantiene el flujo residual, compuesto ortogonalmente con RoPE.
2. Auto-Estabilización Geométrica: El modelo demuestra que la geometría de tres fases se estabiliza por sí misma durante el entrenamiento sin necesidad de imponer explícitamente una restricción de "suma cero" (zero-sum) mediante funciones de pérdida auxiliares. Esto se explica como un caso de leyes de conservación en redes neuronales (teorema de Noether).
3. Inyección de Posición Absoluta Analítica: El uso del Cuerno de Gabriel en el subespacio DC proporciona una señal de posición absoluta que no compite con RoPE, llenando un vacío estructural con una función matemática bien definida.
4. Eficiencia Extrema: La arquitectura añade un costo de parámetros casi nulo (+1,536 parámetros en un modelo de 123M, es decir, 0.00124%), siendo estos parámetros únicamente los ángulos de rotación.

4. Resultados Experimentales

Los experimentos se realizaron en dos escalas: 5.5M parámetros (TinyStories) y 123M parámetros (WikiText-103).

Resultados en 123M (WikiText-103)

• Comparativa: 3PT se compara contra una línea base idéntica pero solo con RoPE.
• Mejora en Perplejidad (PPL): Reducción del 7.20% (de 17.31 a 16.06).
• Mejora en Bits por Byte (BPB): Reducción del 2.62% (de 1.1148 a 1.0855).
• Velocidad de Convergencia:
  • 1.93x más rápido en número de pasos de entrenamiento.
  • 1.64x más rápido en tiempo de pared (a pesar de un sobrecosto del 17% por paso debido a la rotación).
• Estabilidad: El residuo de suma cero se mantiene fijo en el valor analítico predicho ($3 \cdot H_{1024}/1024 \approx 0.0220$) en todas las evaluaciones, confirmando la ortogonalidad del Cuerno de Gabriel.

Hallazgos Mecanísticos

• Perfil de Desplazamiento en U: En modelos de 12 capas, los ángulos de rotación aprendidos muestran un perfil en forma de "U" a lo largo de la profundidad. Las capas intermedias (alrededor de la capa 2) apenas se desvían de la inicialización lineal, mientras que las capas más profundas y las más superficiales requieren ajustes mayores.
• El número de fases ($N$):
  • A escala pequeña (5.5M), $N=1$ (sin partición) gana ligeramente, sugiriendo que la compartición de parámetros es una restricción.
  • A escala grande (123M), $N=1$ y $N=3$ son estadísticamente indistinguibles en una prueba de 3 semillas, aunque la tendencia sugiere que la partición estructural es beneficiosa. El nombre "Three-Phase" se refiere al concepto geométrico de partición cíclica, no necesariamente a que $N=3$ sea el óptimo absoluto en todas las escalas.
• Simplificación Monótona: A lo largo de la cadena de ablación, eliminar componentes redundantes (como la escala de fase aprendida o la PE sinusoidal dentro del embedding) mejoró consistentemente el rendimiento y redujo los parámetros.

5. Significado e Impacto

El Three-Phase Transformer representa un cambio de paradigma en el diseño de arquitecturas de LLM:

1. Geometría sobre Módulos: Demuestra que la mejora puede provenir de imponer una estructura geométrica coherente en el flujo de datos existente, en lugar de añadir bloques complejos.
2. Composición Ortogonal: Resuelve la tensión entre codificaciones de posición relativas (RoPE) y absolutas, mostrando que pueden coexistir en subespacios disjuntos del flujo residual.
3. Eficiencia de Parámetros: Logra mejoras significativas con un costo de parámetros prácticamente nulo, desafiando la noción de que las mejoras arquitectónicas requieren millones de parámetros adicionales.
4. Validación de Escala: La arquitectura escala exitosamente desde modelos pequeños (5.5M) hasta modelos medianos (123M), manteniendo sus beneficios y propiedades de auto-estabilización.

En conclusión, 3PT no es solo una técnica de codificación de posición, sino una prior estructural de representación que organiza el espacio latente del transformador en un equilibrio geométrico trifásico, mejorando la convergencia y la calidad del modelo con una eficiencia sin precedentes.