🤖 machine learning

The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models

Este artículo demuestra que reemplazar el sustrato estándar de estado oculto de valor real con una alternativa de valores complejos de inspiración cuántica acelera significativamente la convergencia del entrenamiento de los modelos de secuencias basados en atención y en espacio de estados, aunque la ventaja de rendimiento a largo plazo persiste únicamente en las arquitecturas de espacio de estados.

Autores originales: Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

Publicado 2026-08-18

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La inteligencia artificial moderna, particularmente los sistemas que escriben texto, traducen idiomas y predicen la siguiente palabra en una oración, depende de un tipo específico de motor matemático. Estos motores procesan la información moviéndola a través de una serie de capas, de forma muy similar a cómo una señal viaja a través de un cable largo. Durante décadas, la forma estándar de construir estos motores ha sido utilizar números reales, los familiares números de conteo y decimales que usamos en nuestra vida diaria. En esta configuración estándar, el motor recuerda la información pasada manteniendo la fuerza de sus señales internas. Sin embargo, a medida que la información viaja más lejos en el tiempo, estas señales tienden naturalmente a encogerse, como un susurro que se desvanece en un pasillo largo. Cuando la señal se vuelve demasiado pequeña, la máquina efectivamente olvida lo que sucedió al principio de la oración, lo que dificulta el aprendizaje de secuencias largas de datos. Este desvanecimiento es una limitación fundamental del diseño actual, obligando a los investigadores a utilizar cantidades masivas de datos y tiempo para enseñar a la máquina a recordar.

Un equipo de investigadores ha descubierto una manera de evitar este problema de desvanecimiento cambiando el sistema numérico mismo que la máquina utiliza para pensar. En lugar de depender únicamente de números reales, construyeron una versión de estos modelos de lenguaje que utiliza números complejos. Mientras que los números reales tienen solo un valor, los números complejos portan dos piezas de información distintas: un tamaño y una dirección, o ángulo. Los investigadores descubrieron que, al almacenar la información importante en el ángulo en lugar del tamaño, la máquina podía viajar mucho más lejos sin perder su memoria. Incluso si el tamaño de la señal se encoge a medida que se mueve a través de la red, el ángulo permanece perfectamente nítido e inalterado. Esto permite que la máquina retenga el contexto del principio de una oración hasta el final, sin que la señal se desvanezca jamás en el silencio.

Los investigadores probaron este nuevo enfoque construyendo dos tipos diferentes de modelos de lenguaje, uno basado en un diseño estándar y otro basado en un diseño más nuevo y eficiente. Crearon una versión "compleja" de cada uno, sustituyendo los números reales por complejos, y luego los entrenaron con tres conjuntos diferentes de texto, que variaban desde una pequeña colección de 100 megabytes hasta una masiva de 15 gigabytes. Los resultados fueron sorprendentes. En el diseño más nuevo y pequeño, el modelo complejo alcanzó el mismo nivel de precisión que el modelo estándar en solo un tercio de los pasos de entrenamiento. En el diseño más grande y tradicional, alcanzó el mismo nivel en aproximadamente la mitad de los pasos. Esto significa que los nuevos modelos aprendieron la misma cantidad de información consumiendo significativamente menos datos y tiempo.

Lo que hace que este descubrimiento sea particularmente robusto es que la ventaja apareció de inmediato, pero el comportamiento de los dos diseños divergió a medida que el entrenamiento continuaba. Los investigadores observaron que los modelos complejos tomaron la delantera desde los primerísimos cien pasos de entrenamiento. Crucialmente, encontraron que la naturaleza de esta aceleración difería entre las dos arquitecturas. En el caso del diseño más nuevo (el modelo de espacio de estados), la brecha entre el modelo complejo y el modelo estándar en realidad se hizo más amplia a medida que el entrenamiento continuaba, lo que sugiere que el beneficio es una característica permanente del nuevo diseño en lugar de un artefacto fugaz del inicio del proceso. Para el diseño más antiguo (el modelo basado en atención), sin embargo, la ventaja fue más fuerte al principio y luego se desvaneció lentamente, decayendo hacia cero a medida que el entrenamiento progresaba. A pesar de este decaimiento, el impulso inicial fue lo suficientemente sustancial como para reducir el tiempo de entrenamiento a la mitad para esa arquitectura específica.

Los investigadores fueron cuidadosos para asegurar que esta aceleración no fuera causada simplemente por añadir más potencia de cómputo o cambiar el tamaño de los modelos. Emparejaron las dos versiones de cada modelo de forma tan precisa que tenían exactamente el mismo número de partes ajustables, diferenciándose por menos de una centésima de porcentaje. También utilizaron exactamente el mismo programa de entrenamiento y el mismo hardware informático para ambas versiones. Este control estricto confirmó que la diferencia en la velocidad provino enteramente del cambio a números complejos y de la forma en que la máquina los procesa. El estudio también descartó la idea de que los modelos complejos estuvieran teniendo simplemente suerte con sus condiciones iniciales; la consistencia de la ventaja a través de diferentes tamaños de texto y diferentes arquitecturas de modelos apuntaba a una mejora fundamental en cómo la máquina aprende.

Uno de los aspectos más interesantes de este trabajo es cómo cambia la forma en que la máquina maneja la información conflictiva. En un modelo estándar, si la máquina no está segura de si una secuencia de números representa un año o un precio, tiene que suprimir activamente una de esas posibilidades reduciendo su señal interna hasta que desaparezca. En el modelo complejo, la máquina puede, en su lugar, rotar el ángulo de la señal. Si dos posibilidades están en conflicto, la máquina puede rotarlas para que se cancelen entre sí mediante un proceso llamado interferencia, similar a cómo los auriculares con cancelación de ruido funcionan creando una onda sonora que es exactamente lo opuesto al ruido. Esto permite a la máquina descartar la idea incorrecta sin perder la fuerza de la correcta, una capacidad que los modelos estándar no pueden realizar.

Los investigadores señalaron que, aunque los modelos complejos aprendieron más rápido, hubo algunas compensaciones prácticas. Los chips informáticos utilizados para estas tareas están optimizados actualmente para números reales, por lo que ejecutar los modelos complejos requería un poco más de potencia de procesamiento por paso. Para el diseño de modelo más nuevo, este costo adicional significó que el tiempo total para entrenar el modelo fue aproximadamente el mismo que el de la versión estándar, a pesar de que tomó menos pasos. Sin embargo, el modelo complejo consumió mucha menos información para alcanzar la misma calidad, lo cual es una gran ventaja para tareas especializadas donde los datos son escasos. Para el diseño de modelo más antiguo, los investigadores no tenían una versión optimizada del modelo estándar para comparar, por lo que aún no podían decir si la versión compleja sería más rápida en tiempo de reloj real, pero la ganancia en eficiencia de datos fue clara.

Este trabajo sugiere que la elección del sistema numérico es tan importante como la arquitectura del modelo mismo. Durante años, los investigadores se han centrado en cambiar cómo la máquina enruta la información, pero este estudio demuestra que cambiar el lenguaje en el que la máquina piensa puede generar beneficios aún mayores. Los modelos complejos no solo aprendieron un poco más rápido; cambiaron fundamentalmente la eficiencia del proceso de aprendizaje, alcanzando altos niveles de rendimiento con una fracción de los datos. Los investigadores concluyeron que, aunque su versión actual es una adaptación práctica que relaja algunas de las estrictas reglas matemáticas de la teoría, es suficiente para demostrar que el enfoque complejo funciona a gran escala. Han publicado todo su código y registros de entrenamiento, invitando a otros a verificar los resultados y explorar cómo esta nueva forma de pensar podría mejorar la próxima generación de inteligencia artificial.

Resumen Técnico: El Atajo Cuántico en Modelos de Secuencia

1. Planteamiento del Problema

Los modelos de secuencia están definidos convencionalmente por su "columna vertebral" (por ejemplo, atención o recurrencia) que enruta la información a través de las posiciones. Sin embargo, casi todos los modelos actuales comparten una elección de diseño previa respecto a su sustrato: el sistema numérico utilizado para representar el estado oculto y la forma funcional del mapa de estado a predicción. El sustrato prevalente utiliza un vector de estado de valores reales ( $\mathbb{R}^d$ ) con una transformación afín seguida de una lectura de softmax.

Este artículo identifica dos limitaciones fundamentales del sustrato real-afín-softmax que son independientes de la columna vertebral:

El Cuello de Botella de Rango: Un mapa afín seguido de un softmax produce matrices de log-probabilidad de rango como máximo $d+1$ . Si la estructura condicional de los datos tiene un rango superior, el modelo está mal especificado independientemente de cómo se compute el estado.
El Compromiso entre Desvanecimiento del Gradiente y Olvido: Las recurrencias lineales reales con radio espectral $\rho < 1$ atenúan los gradientes propagados por $\rho^T$ a lo largo de $T$ pasos. Para mantener la estabilidad y permitir el olvido, los modelos deben atenuar el estado, lo que simultáneamente erosiona la señal de las posiciones tempranas.

Los autores proponen que estas limitaciones emanan del propio sustrato. Investigan si un sustrato de valores complejos, apoyándose en las matemáticas de la teoría cuántica (específicamente la dinámica de fase y la regla de Born), puede superar estos problemas y reducir el número de pasos de optimización necesarios para alcanzar una pérdida objetivo.

2. Metodología

El Sustrato Complejo Desplegable

El artículo introduce una versión "desplegable" de un sustrato complejo, relajando dos propiedades de un modelo idealizado de inspiración cuántica (Nebli et al. [10]) que previamente impedían su despliegue directo:

Relajación de la Unitaridad Exacta: En lugar de una recurrencia estrictamente preservadora de la norma (unitaria), que prohíbe el olvido, los autores utilizan una recurrencia contractiva dependiente de la entrada. La evolución del estado se define como $|\psi_{t+1}\rangle = a_t \odot |\psi_t\rangle + b_t$ $∣ ψ_{t + 1} ⟩ = a_{t} ⊙ ∣ ψ_{t} ⟩ + b_{t}$ , donde el coeficiente de transición $a_{t,k}$ $a_{t, k}$ es un producto de una compuerta real $\alpha_{t,k} \in (0,1)$ $α_{t, k} \in (0, 1)$ y una fase de módulo unitario $\lambda_{t,k}$ $λ_{t, k}$ .
- Mecanismo: La compuerta $\alpha$ gestiona el olvido (contracción de magnitud), mientras que la fase $\lambda$ (generada mediante una transformada de Cayley diagonal) transporta la información sin distorsión. Esto desacopla el olvido del transporte de información.
Relajación de la Lectura del Vocabulario de Born: La regla de Born idealizada ( $p_v = |\langle e_v | \psi \rangle|^2$ ) aplicada a todo el vocabulario es computacionalmente costosa ($O(NV)$). Los autores aplican la regla de Born solo como la función de puntuación para la atención lineal (una forma cuadrática $|\langle q | k \rangle|^2$ ), mientras mantienen un cabezal de softmax ligado estándar para la salida final del vocabulario.

Diseño Experimental

Para aislar el efecto del sustrato, los autores instanciaron el sustrato complejo en dos columnas vertebrales distintas:

H-Mamba: Una realización compleja del modelo de espacio de estados Mamba.
H-Transformer: Una realización compleja del Transformer utilizando atención lineal con puntuación de la regla de Born.

Controles:

Igualdad de Parámetros: Los modelos complejos y reales fueron emparejados dentro de un 0.02% de los parámetros totales.
Protocolo: Se aplicó un único protocolo de entrenamiento fijo (AdamW, programación de coseno, 750 pasos de calentamiento) a todos los modelos sin ajuste por modelo.
Corpus: Tres corpus de nivel de bytes que abarcan 150x en tamaño: enwik8 (100 MB), OpenWebText (3 GB) y FineWeb (15 GB).
Métricas: La métrica primaria es el número de pasos de optimización para alcanzar objetivos específicos de pérdida de validación (bits por carácter), en lugar de solo la pérdida final.

3. Contribuciones Clave

Definición de un Sustrato Complejo Desplegable: El artículo formaliza un sustrato que retiene las propiedades de interferencia de las fases complejas (vía transformadas de Cayley de módulo unitario) mientras permite el olvido selectivo (vía compuertas sigmoideas) y lecturas de vocabulario eficientes (vía softmax).
El "Atajo Cuántico": Evidencia empírica de que este sustrato reduce los pasos de optimización requeridos para alcanzar una pérdida objetivo por un factor de aproximadamente 3 para modelos de espacio de estados y 2 para modelos de atención, en comparación con sus contrapartes de valores reales de idéntico tamaño.
Análisis de Mecanismo:
- Transporte de Fase: El análisis teórico (Lema 6.2) muestra que la fase relativa se transporta a través de la recurrencia con sensibilidad unitaria, independientemente de las compuertas de contracción, mientras que las magnitudes reales decaen.
- Interferencia: La puntuación de Born cuadrática permite la interferencia destructiva (cancelación) de hipótesis, una capacidad ausente en las lecturas lineales reales.
- Descomposición: El artículo argumenta que la aceleración del espacio de estados se debe principalmente a la mejora en el condicionamiento de gradientes (transporte de fase), mientras que la aceleración de la atención es una mezcla de interferencia y condicionamiento, aunque este último disminuye dado que la base real ya está bien condicionada.

4. Resultados

Eficiencia de Optimización

A través de los tres corpus y tres objetivos de pérdida (2.5, 2.2 y 2.0 bpc):

H-Mamba alcanzó los objetivos en aproximadamente 1/3 de los pasos de la Mamba real.
H-Transformer alcanzó los objetivos en aproximadamente 1/2 de los pasos del Transformer real.
Esta ventaja se estableció tempranamente en el entrenamiento (dentro de los primeros 200 pasos) y se mantuvo estable a lo largo de la curva de pérdida descendente.

Comportamiento Post-Calentamiento

El artículo distingue entre efectos tempranos de entrenamiento y ventajas persistentes:

Espacio de Estados (Mamba): La brecha de rendimiento se amplió después de que terminó el calentamiento de la tasa de aprendizaje (por ejemplo, de 0.321 a 0.354 bpc en OpenWebText), lo que sugiere que la ventaja no es un artefacto del esquema de calentamiento, sino un beneficio estructural de la recurrencia.
Atención (Transformer): La brecha de rendimiento decaía hacia cero después del calentamiento, indicando que la ventaja es mayormente un efecto de la fase temprana de entrenamiento.

Rendimiento Terminal y Límites de Datos

En los grandes corpus web (OpenWebText, FineWeb), los modelos complejos lograron pérdidas de validación finales más bajas que sus contrapartes reales.
En el pequeño corpus enwik8 (100 MB), los modelos complejos alcanzaron el límite de datos más temprano y comenzaron a sobreajustar antes que los modelos reales, una consecuencia de su mayor eficiencia de muestreo.

Costo Computacional

Tokens: La reducción de pasos se traduce directamente en una reducción de tokens consumidos (por ejemplo, ~0.57B de tokens ahorrados para H-Mamba en FineWeb para alcanzar 2.0 bpc).
Tiempo de Ejecución (Wall-Clock Time): Para el par de atención, la sobrecarga actual del kernel fusionado (que corre a la mitad del rendimiento de su contraparte real) cancela la ventaja de pasos, resultando en paridad en el tiempo de ejecución. Para el par de espacio de estados, una comparación justa está pendiente de un kernel de base real optimizado, pero la ventaja de pasos sugiere potenciales ahorros de tiempo si tales kernels se desarrollan.

5. Significado y Reivindicaciones

El artículo sostiene que el sustrato (el sistema numérico y la forma de lectura) es un eje de diseño tan crítico como la columna vertebral. El significado principal es la demostración de que reemplazar el sustrato real con uno complejo, incluso en una forma relajada y desplegable, produce una reducción sustancial en los pasos de optimización requeridos para el modelado de secuencias.

Los autores declaran explícitamente:

El "Atajo Cuántico" es una reducción en los pasos de optimización, no necesariamente una reducción en el tiempo de ejecución (debido a las ineficiencias actuales de los kernels).
La ventaja es independiente de la columna vertebral en la fase temprana, pero persistente solo para la columna vertebral de espacio de estados, lo que respalda la hipótesis de que el mecanismo radica en la capacidad de la recurrencia para transportar la fase sin atenuación.
Los resultados no se atribuyen a diferencias en el conteo de parámetros o artefactos de ajuste, dado el estricto emparejamiento y los protocolos idénticos.
El artículo no pretende resolver el cuello de botella de rango al nivel del vocabulario (ya que el cabezal softmax permanece), sino que demuestra cómo el sustrato complejo mejora la trayectoria de optimización y la eficiencia de muestreo de las columnas vertebrales existentes.

El trabajo concluye que el campo sobre el cual un modelo computa es una decisión de diseño fundamental, y que la dinámica de valores complejos ofrece un camino viable para un entrenamiento más eficiente de los modelos de secuencia.