🤖 machine learning

The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models

Este artigo demonstra que substituir o substrato padrão de estado oculto de valor real por uma alternativa de valor complexo, inspirada em mecânica quântica, acelera significativamente a convergência do treinamento de modelos de sequência baseados em atenção e de espaço de estados, embora a vantagem de desempenho a longo prazo persista apenas em arquiteturas de espaço de estados.

Autores originais: Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

Publicado 2026-08-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A inteligência artificial moderna, particularmente os sistemas que escrevem texto, traduzem idiomas e preveem a próxima palavra em uma frase, baseia-se em um tipo específico de motor matemático. Esses motores processam informações movendo-as através de uma série de camadas, de forma muito semelhante a um sinal viajando através de um longo fio. Por décadas, a maneira padrão de construir esses motores tem sido usar números reais, os números de contagem e decimais familiares que usamos em nossa vida cotidiana. Neste sistema padrão, o motor lembra informações passadas mantendo o tamanho de seus sinais internos forte. No entanto, à medida que a informação viaja mais longe no tempo, esses sinais naturalmente tendem a encolher, como um sussurro desaparecendo em um longo corredor. Quando o sinal se torna pequeno demais, a máquina efetivamente esquece o que aconteceu no início da frase, tornando difícil aprender com sequências longas de dados. Esse desvanecimento é uma limitação fundamental do design atual, forçando pesquisadores a usar quantidades massivas de dados e tempo para ensinar a máquina a lembrar.

Uma equipe de pesquisadores descobriu uma maneira de contornar esse problema de desvanecimento mudando o próprio sistema numérico que a máquina usa para pensar. Em vez de depender apenas de números reais, eles construíram uma versão desses modelos de linguagem que utiliza números complexos. Enquanto os números reais possuem apenas um valor, os números complexos carregam duas informações distintas: um tamanho e uma direção, ou ângulo. Os pesquisadores descobriram que, ao armazenar a informação importante no ângulo em vez do tamanho, a máquina poderia viajar muito mais longe sem perder sua memória. Mesmo que o tamanho do sinal diminua conforme ele se move pela rede, o ângulo permanece perfeitamente nítido e inalterado. Isso permite que a máquina retenha o contexto do início de uma frase até o fim da mesma, sem que o sinal jamais desapareça no silêncio.

Os pesquisadores testaram essa nova abordagem construindo dois tipos diferentes de modelos de linguagem, um baseado em um design padrão e outro baseado em um design mais novo e eficiente. Eles criaram uma versão "complexa" de cada um, substituindo os números reais por números complexos, e os treinaram em três conjuntos diferentes de texto, variando de uma pequena coleção de 100 megabytes a um massivo 15 gigabytes. Os resultados foram impressionantes. No design mais novo e menor, o modelo complexo atingiu o mesmo nível de precisão que o modelo padrão em apenas cerca de um terço das etapas de treinamento. No design maior e mais tradicional, ele atingiu o mesmo nível em cerca de metade das etapas. Isso significa que os novos modelos aprenderam a mesma quantidade de informação consumindo significativamente menos dados e tempo.

O que torna essa descoberta particularmente robusta é que a vantagem apareceu imediatamente, mas o comportamento dos dois designs divergiu conforme o treinamento continuava. Os pesquisadores observaram que os modelos complexos assumiram a liderança logo desde as primeiras cem etapas de treinamento. Crucialmente, eles descobriram que a natureza dessa aceleração diferia entre as duas arquiteturas. No caso do design mais novo (o modelo de espaço de estados), a lacuna entre o modelo complexo e o modelo padrão na verdade aumentou à medida que o treinamento prosseguia, sugerindo que o benefício é uma característica permanente do novo design, em vez de um artefato passageiro do início do processo. Para o design mais antigo (o modelo baseado em atenção), no entanto, a vantagem foi mais forte no início e depois diminuiu lentamente, decaindo em direção a zero conforme o treinamento progredia. Apesar desse declínio, o impulso inicial ainda foi substancial o suficiente para reduzir o tempo de treinamento pela metade para essa arquitetura específica.

Os pesquisadores foram cuidadosos para garantir que essa aceleração não fosse causada simplesmente pelo adição de mais poder computacional ou pela mudança no tamanho dos modelos. Eles combinaram as duas versões de cada modelo de forma tão precisa que possuíam exatamente o mesmo número de partes ajustáveis, diferindo por menos de um centésimo de percentual. Eles também usaram exatamente o mesmo cronograma de treinamento e o mesmo hardware de computador para ambos. Esse controle rigoroso confirmou que a diferença de velocidade veio inteiramente da mudança para números complexos e da maneira como a máquina os processa. O estudo também descartou a ideia de que os modelos complexos estivessem apenas tendo sorte com suas condições iniciais; a vantagem consistente através de diferentes tamanhos de texto e diferentes arquiteturas de modelos apontou para uma melhoria fundamental em como a máquina aprende.

Um dos aspectos mais interessantes deste trabalho é como ele altera a maneira como a máquina lida com informações conflitantes. Em um modelo padrão, se a máquina não tem certeza se uma sequência de números representa um ano ou um preço, ela tem que suprimir ativamente uma dessas possibilidades diminuindo seu sinal interno até que ele desapareça. No modelo complexo, ela pode, em vez disso, rotacionar o ângulo do sinal. Se duas possibilidades estão em conflito, a máquina pode rotacioná-las para que elas se cancelem mutuamente através de um processo chamado interferência, semelhante à forma como fones de ouvido com cancelamento de ruído funcionam, criando uma onda sonora que é o exato oposto do ruído. Isso permite que a máquina descarte a ideia errada sem perder a força da ideia certa, uma capacidade que os modelos padrão não podem realizar.

Os pesquisadores observaram que, embora os modelos complexos aprendessem mais rápido, havia alguns compromissos práticos. Os chips de computador usados para essas tarefas são atualmente otimizados para números reais, então executar os modelos complexos exigia um pouco mais de poder de processamento por etapa. Para o design do modelo mais novo, esse custo extra significou que o tempo total para treinar o modelo foi aproximadamente o mesmo da versão padrão, embora tenha levado menos etapas. No entanto, o modelo complexo ainda consumiu muito menos dados para atingir a mesma qualidade, o que é uma grande vantagem para tarefas especializadas onde os dados são escassos. Para o design do modelo mais antigo, os pesquisadores não tinham uma versão otimizada do modelo padrão para comparar, portanto, não puderam ainda dizer se a versão complexa seria mais rápida em tempo de relógio real, mas o ganho de eficiência de dados foi claro.

Este trabalho sugere que a escolha do sistema numérico é tão importante quanto a própria arquitetura do modelo. Durante anos, os pesquisadores focaram em mudar como a máquina roteia a informação, mas este estudo mostra que mudar a linguagem na qual a máquina pensa pode render benefícios ainda maiores. Os modelos complexos não apenas aprenderam um pouco mais rápido; eles mudaram fundamentalmente a eficiência do processo de aprendizagem, alcançando altos níveis de desempenho com uma fração dos dados. Os pesquisadores concluíram que, embora sua versão atual seja uma adaptação prática que relaxa algumas das regras matemáticas estritas da teoria, é o suficiente para provar que a abordagem complexa funciona em grande escala. Eles disponibilizaram todo o seu código e registros de treinamento, convidando outros a verificar os resultados e explorar como essa nova maneira de pensar pode melhorar a próxima geração de inteligência artificial.

Resumo Técnico: O Atalho Quântico em Modelos de Sequência

1. Definição do Problema

Modelos de sequência são convencionalmente definidos por sua "espinha dorsal" (ex: atenção ou recorrência) que roteia informações através de posições. No entanto, quase todos os modelos atuais compartilham uma escolha de design prévia em relação ao seu substrato: o sistema numérico usado para representar o estado oculto e a forma funcional do mapeamento do estado para a predição. O substrato predominante utiliza um vetor de estado de valores reais ( $\mathbb{R}^d$ ) com uma transformação afim seguida de um readout de softmax.

Este artigo identifica duas limitações fundamentais do substrato real-afim-softmax que são independentes da espinha dorsal:

O Gargalo de Posto (Rank Bottleneck): Um mapa afim seguido de softmax produz matrizes de log-probabilidade de posto no máximo $d+1$ . Se a estrutura condicional dos dados possuir um posto superior, o modelo estará mal especificado, independentemente de como o estado é computado.
O Trade-off entre Desvanecimento de Gradiente e Esquecimento: Recorrências lineares reais com raio espectral $\rho < 1$ atenuam os gradientes propagados por $\rho^T$ ao longo de $T$ passos. Para manter a estabilidade e permitir o esquecimento, os modelos devem atenuar o estado, o que simultaneamente corrói o sinal das posições iniciais.

Os autores propõem que essas limitações decorrem do próprio substrato. Eles investigam se um substrato de valores complexos, baseando-se na matemática da teoria quântica (especificamente na dinâmica de fase e na regra de Born), pode superar esses problemas e reduzir o número de passos de otimização necessários para atingir uma perda alvo.

2. Metodologia

O Substrato Complexo Implantável

O artigo introduz uma versão "implantável" de um substrato complexo, relaxando duas propriedades de um modelo idealizado de inspiração quântica (Nebli et al. [10]) que anteriormente impediam a implantação direta:

Relaxamento da Unitaridade Exata: Em vez de uma recorrência estritamente preservadora de norma (unitária), que proíbe o esquecimento, os autores utilizam uma recorrência contrativa e dependente da entrada. A evolução do estado é definida como $|\psi_{t+1}\rangle = a_t \odot |\psi_t\rangle + b_t$ $∣ ψ_{t + 1} ⟩ = a_{t} ⊙ ∣ ψ_{t} ⟩ + b_{t}$ , onde o coeficiente de transição $a_{t,k}$ $a_{t, k}$ é um produto de uma porta real $\alpha_{t,k} \in (0,1)$ $α_{t, k} \in (0, 1)$ e uma fase de módulo unitário $\lambda_{t,k}$ $λ_{t, k}$ .
- Mecanismo: A porta $\alpha$ lida com o esquecimento (contração de magnitude), enquanto a fase $\lambda$ (gerada via transformada de Cayley diagonal) transporta informação sem distorção. Isso desacopla o esquecimento do transporte de informação.
Relaxamento da Leitura de Vocabulário de Born: A regra de Born idealizada ( $p_v = |\langle e_v | \psi \rangle|^2$ ) aplicada a todo o vocabulário é computacionalmente cara ($O(NV)$). Os autores aplicam a regra de Born apenas como a função de pontuação para atenção linear (uma forma quadrática $|\langle q | k \rangle|^2$ ), mantendo um head de softmax vinculado padrão para a saída final do vocabulário.

Design Experimental

Para isolar o efeito do substrato, os autores instanciaram o substrato complexo em duas espinhas dorsais distintas:

H-Mamba: Uma realização complexa do modelo de espaço de estados Mamba.
H-Transformer: Uma realização complexa do Transformer usando pontuação pela regra de Born com atenção linear.

Controles:

Correspondência de Parâmetros: Os modelos complexos e reais foram pareados para dentro de 0,02% do total de parâmetros.
Protocolo: Um protocolo de treinamento único e fixo (AdamW, cronograma de cosseno, warmup de 750 passos) foi aplicado a todos os modelos sem ajuste por modelo.
Corpora: Três corpora de nível de byte abrangendo 150x em tamanho: enwik8 (100 MB), OpenWebText (3 GB) e FineWeb (15 GB).
Métricas: A métrica primária é o número de passos de otimização para atingir alvos específicos de perda de validação (bits por caractere), em vez de apenas a perda final.

3. Contribuições Principais

Definição de um Substrato Complexo Implantável: O artigo formaliza um substrato que retém as propriedades de interferência das fases complexas (via transformadas de Cayley de módulo unitário) enquanto permite o esquecimento seletivo (via portas sigmoides) e leituras de vocabulário eficientes (via softmax).
O "Atalho Quântico": Evidência empírica de que este substrato reduz os passos de otimização necessários para atingir uma perda alvo por um fator de aproximadamente 3 para modelos de espaço de estados e 2 para modelos de atenção, comparado aos seus equivalentes de valores reais de mesmo tamanho.
Análise de Mecanismo:
- Transporte de Fase: A análise teórica (Lema 6.2) mostra que a fase relativa é transportada através da recorrência com sensibilidade unitária, independentemente das portas de contração, enquanto as magnitudes reais decaem.
- Interferência: A pontuação de Born quadrática permite a interferência destrutiva (cancelamento) de hipóteses, uma capacidade ausente em leituras lineares reais.
- Decomposição: O artigo argumenta que a aceleração do espaço de estados deve-se principalmente à melhoria no condicionamento do gradiente (transporte de fase), enquanto a aceleração da atenção é uma mistura de interferência e condicionamento, embora este último diminua conforme a base real já está bem condicionada.

4. Resultados

Eficiência de Otimização

Em todos os três corpora e três alvos de perda (2.5, 2.2 e 2.0 bpc):

H-Mamba atingiu os alvos em aproximadamente 1/3 dos passos do Mamba real.
H-Transformer atingiu os alvos em aproximadamente 1/2 dos passos do Transformer real.
Essa vantagem foi estabelecida cedo no treinamento (dentro dos primeiros 200 passos) e permaneceu estável ao longo da curva de perda descendente.

Comportamento Pós-Warmup

O artigo distingue entre efeitos de início de treinamento e vantagens persistentes:

Espaço de Estados (Mamba): A lacuna de desempenho aumentou após o término do warmup da taxa de aprendizado (ex: de 0.321 para 0.354 bpc no OpenWebText), sugerindo que a vantagem não é um artefato do cronograma de warmup, mas um benefício estrutural da recorrência.
Atenção (Transformer): A lacuna de desempenho decaíu em direção a zero após o warmup, indicando que a vantagem é majoritariamente um efeito de início de treinamento.

Desempenho Terminal e Limites de Dados

Nos grandes corpora da web (OpenWebText, FineWeb), os modelos complexos alcançaram perdas de validação finais menores do que seus equivalentes reais.
No pequeno corpus enwik8 (100 MB), os modelos complexos atingiram o limite de dados mais cedo e começaram a sofrer overfitting mais rapidamente do que os modelos reais, uma consequência de sua maior eficiência de amostragem.

Custo Computacional

Tokens: A redução de passos traduz-se diretamente em uma redução de tokens consumidos (ex: ~0,57B de tokens economizados para H-Mamba no FineWeb para atingir 2.0 bpc).
Tempo de Execução (Wall-Clock Time): Para o par de atenção, o overhead atual do kernel fundido (rodando a metade do throughput do seu equivalente real) cancela a vantagem de passos, resultando em paridade no tempo de execução. Para o par de espaço de estados, uma comparação justa depende de um kernel de base real otimizado, mas a vantagem de passos sugere potenciais economias de tempo se tais kernels forem desenvolvidos.

5. Significância e Alegações

O artigo alega que o substrato (o sistema numérico e a forma de leitura) é um eixo de design tão crítico quanto a espinha dorsal. A principal significância é a demonstração de que substituir o substrato real por um complexo, mesmo em uma forma relaxada e implantável, produz uma redução substancial nos passos de otimização necessários para a modelagem de sequências.

Os autores afirmam explicitamente:

O "Atalho Quântico" é uma redução nos passos de otimização, não necessariamente uma redução no tempo de execução (devido às atuais ineficiências de kernel).
A vantagem é independente da espinha dorsal na fase inicial, mas persistente apenas para a espinha dorsal de espaço de estados, apoiando a hipótese de que o mecanismo está enraizado na capacidade da recorrência de transportar fase sem atenuação.
Os resultados não são atribuídos a diferenças de contagem de parâmetros ou artefatos de ajuste, dada a correspondência estrita e os protocolos idênticos.
O artigo não pretende resolver o gargalo de posto no nível do vocabulário (pois o head de softmax permanece), mas demonstra que o substrato complexo melhora a trajetória de otimização e a eficiência de amostragem das espinhas dorsais existentes.

O trabalho conclui que o campo sobre o qual um modelo computa é uma decisão de design fundamental, e que a dinâmica de valores complexos oferece um caminho viável para o treinamento mais eficiente de modelos de sequência.