💬 NLP

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

O artigo apresenta a Memória Associativa de Fase (PAM), um modelo de sequência recorrente que utiliza representações complexas e um estado matricial para superar as limitações de capacidade dos modelos vetoriais, alcançando desempenho competitivo em perplexidade comparável ao de transformadores, apesar da sobrecarga computacional.

Autores originais: Gowrav Vishwakarma, Christopher J. Agostino

Publicado 2026-04-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gowrav Vishwakarma, Christopher J. Agostino

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um computador a entender a linguagem humana. Até hoje, a maioria dos modelos de inteligência artificial (como o GPT) funciona como se a linguagem fosse feita de blocos de construção sólidos e fixos. Cada palavra tem um "significado" que é como um ponto fixo em um mapa. Quando o computador lê uma frase, ele apenas olha para esses pontos e tenta adivinhar qual é o próximo.

O problema é que a linguagem humana é muito mais fluida e dependente do contexto do que isso. A palavra "banco" significa algo diferente se você está falando de sentar no parque ou de guardar dinheiro. Modelos antigos tentam resolver isso com cálculos massivos, mas às vezes falham, alucinando fatos ou sendo enganados por instruções maliciosas.

Os autores deste artigo propuseram uma ideia radical: e se a linguagem não fosse feita de blocos sólidos, mas sim de ondas de luz?

A Grande Ideia: O "Memória de Fase"

Os pesquisadores criaram um novo modelo chamado Memória Associativa de Fase (PAM). Para explicar como funciona, vamos usar uma analogia simples:

1. O Mapa vs. A Sinfonia

Os Modelos Antigos (Transformers): Imagine que eles tentam entender a linguagem como se estivessem lendo um mapa estático. Cada palavra é um ponto no mapa. Se você quer lembrar de algo, você olha para o ponto mais próximo. O problema é que, se houver muitos pontos próximos (muitas associações), o mapa fica confuso e você não consegue distinguir o que é importante. É como tentar ouvir uma conversa em uma sala cheia de pessoas gritando ao mesmo tempo.
O Novo Modelo (PAM): Eles tratam a linguagem como uma sinfonia de ondas. Em vez de pontos fixos, cada palavra é uma onda com uma altura (intensidade) e uma fase (o momento exato em que a onda está no seu ciclo, como o pico ou o vale).

2. A Mágica da Interferência (O Segredo)

Aqui está a parte genial. No mundo das ondas (como na física quântica ou no som), quando duas ondas se encontram, elas podem fazer duas coisas:

Reforçar: Se os picos das ondas estiverem alinhados, o som fica mais forte.
Cancelar: Se um pico encontrar um vale, eles se anulam e o som some.

O modelo PAM usa essa lógica. Quando o computador tenta "lembrar" de algo (recuperar uma informação), ele não apenas soma tudo. Ele usa uma matriz complexa (um tipo de tabela matemática que guarda essas ondas) para que as informações que não fazem sentido no contexto atual se cancelem mutuamente (interferência destrutiva), enquanto as informações relevantes se fortaleçam (interferência construtiva).

É como se você estivesse em uma sala cheia de ruído, mas tivesse um fone de ouvido que, magicamente, cancela o barulho de fundo e deixa apenas a voz que você quer ouvir, sem precisar aumentar o volume do resto.

Por que isso é importante?

Menos "Alucinações": Como o modelo consegue cancelar informações que não combinam com o contexto, ele tem menos chance de inventar fatos estranhos. Ele "sente" quando algo não encaixa na melodia da frase.
Memória Eficiente: Modelos antigos precisam guardar um histórico gigante de tudo o que leram (como uma pilha de papéis que cresce sem parar). O PAM guarda a informação de forma compacta, como uma onda que se mantém estável, não importando o tamanho da conversa.
Resultados Surpreendentes: Mesmo usando uma matemática mais complexa (que exige 4 vezes mais poder de cálculo bruto), o modelo conseguiu um desempenho muito próximo ao dos melhores modelos atuais, com apenas 10% a menos de precisão, mas com uma estrutura muito mais elegante e "natural" para a linguagem.

A Analogia Final: O Espelho vs. O Prisma

Modelos Atuais: São como um espelho. Eles refletem o que veem, mas se a luz estiver muito forte ou muito fraca, a imagem distorce. Eles tentam forçar a realidade a caber em um formato rígido.
O Modelo PAM: É como um prisma. Ele pega a luz branca da linguagem e a separa em cores (fases) que interagem entre si. Ele entende que o significado de uma palavra não é fixo; ele muda dependendo de como a "luz" do contexto bate nela.

Conclusão

Os autores dizem que a linguagem humana tem uma natureza "não clássica", ou seja, ela se comporta mais como a física quântica (onde as coisas podem estar em vários estados ao mesmo tempo até serem observadas) do que como a física clássica (onde as coisas são fixas).

Ao usar matemática complexa (números com "fase") em vez de números simples, eles criaram um sistema que entende a linguagem da mesma forma que nosso cérebro parece fazer: não como uma lista de definições, mas como uma rede de ondas interconectadas que se reforçam e se cancelam para criar significado.

É um passo ousado para fazer a inteligência artificial não apenas "ler" palavras, mas realmente "sentir" o contexto delas.

Título: Memória Associativa de Fase (PAM): Modelagem de Sequência em Espaço de Hilbert Complexo

1. O Problema

O artigo identifica duas limitações fundamentais nos modelos de linguagem atuais (baseados em Transformers e representações reais):

Limitações da Composicionalidade e Contextualidade: A suposição clássica de que o significado de uma expressão é determinado apenas pelas partes e regras de combinação (composicionalidade) falha em capturar a natureza não separável e contextual da linguagem. Evidências empíricas (como violações de desigualdades de Bell em julgamentos semânticos) sugerem que a interpretação semântica exibe "contextualidade não-clássica", onde o significado é indeterminado até o ato da interpretação.
Ineficiência de Modelos Vetoriais Holográficos: Tentativas anteriores de usar representações holográficas em espaços vetoriais complexos (onde associações são superpostas em um único vetor) falharam devido à degradação de capacidade de $O(1/\sqrt{n})$ . Quando múltiplas associações são superpostas em um único vetor de dimensão $d$ , elas interferem destrutivamente, limitando a capacidade de recuperação.
Custos Computacionais e Hallucinações: Modelos baseados em Transformers sofrem com custos de inferência quadráticos (ou cache KV linearmente crescente) e são propensos a alucinações, que o artigo argumenta serem consequências naturais de sistemas que tentam "recuperar" significados em um espaço onde a indeterminação é inerente.

2. Metodologia: Phase-Associative Memory (PAM)

Os autores propõem a PAM, um modelo recorrente que opera nativamente em um Espaço de Hilbert Complexo ( $\mathbb{C}^d$ ), alinhando-se com a lógica quântica operacional para lidar com a contextualidade.

Arquitetura:
- O modelo consiste em uma camada de embedding complexa, 16 blocos idênticos e uma cabeça de saída complexa.
- Cada bloco alterna entre uma unidade de mistura de canais (ComplexGatedUnit - CGU) e uma camada de PAM.
- Todas as operações no caminho principal do sinal são complexas e preservam a fase.
Mecanismo de Memória (PAM):
- Estado: Ao contrário de modelos vetoriais, o estado da memória $S_t$ é uma matriz complexa ( $S_t \in \mathbb{C}^{d \times d}$ ). Isso resolve o problema de degradação de capacidade, oferecendo uma capacidade associativa de $O(d^2)$ por cabeça.
- Acumulação: As associações entre tokens são acumuladas via produto externo ( $V_t \otimes K_t^*$ ), onde $K_t^*$ é o conjugado complexo da chave.
- Recuperação: A recuperação não usa produto escalar padrão, mas sim o produto interno conjugado ( $K^* \cdot Q$ ). Isso permite que a interferência destrutiva suprima associações que não estão alinhadas em fase com a consulta, enquanto associações coerentes em fase são reforçadas.
- Posicionamento: Utiliza Rotary Position Embeddings (RoPE) complexos para codificar posições absolutas e relativas na fase dos vetores.
Implementação:
- O modelo é treinado em um formato paralelo ( $O(T^2)$ ) usando uma matriz de decaimento, mas na inferência autoregressiva, opera com custo constante por token ( $O(1)$ ) e tamanho de estado fixo, sem necessidade de cache KV crescente.
- Utiliza funções de ativação modReLU (que preservam a fase e limiarizam a magnitude) e normalização RMS baseada na magnitude.

3. Contribuições Chave

Validação da Formalização Complexa: Demonstra que um modelo de linguagem que opera nativamente em espaço complexo, utilizando superposição e interferência, é competitivo com modelos baseados em Transformers reais, validando a hipótese de que a estrutura da linguagem pode ser melhor descrita por formalismos quânticos.
Solução para Capacidade Holográfica: Resolve o problema histórico de superposição destrutiva em representações holográficas ao elevar o estado de um vetor ( $\mathbb{C}^d$ ) para uma matriz ( $\mathbb{C}^{d \times d}$ ), permitindo a acumulação de múltiplas associações sem perda significativa de capacidade.
Mecanismo de Recuperação por Fase: Estabelece que a fase e a magnitude devem variar livremente para que o produto interno conjugado funcione como mecanismo de recuperação eficaz; a normalização de magnitude (fixar magnitude unitária) leva ao colapso da geração em repetições.
Eficiência de Estado Fixo: Oferece uma alternativa aos Transformers com custo de inferência $O(1)$ por token e estado de memória fixo, independentemente do comprimento da sequência, eliminando o gargalo do cache KV.

4. Resultados

Desempenho: Em um experimento no conjunto de dados WikiText-103 com aproximadamente 100 milhões de parâmetros:
- O PAM alcançou uma perplexidade de validação de 30.0.
- Um Transformer correspondente (treinado sob condições idênticas, mesmo hardware e hiperparâmetros) alcançou 27.1.
- A diferença de ~10% é considerada notável dado o custo computacional adicional.
Custo Computacional: O PAM sofreu uma sobrecarga aritmética de 4x em comparação com o modelo real (devido a multiplicações complexas) e não utilizou kernels CUDA personalizados. Apesar disso, a diferença de perplexidade foi pequena.
Eficiência de Inferência: Enquanto o Transformer requer um cache KV que cresce linearmente com o comprimento da sequência, o PAM mantém um estado fixo de ~49.152 floats por camada, oferecendo uma vantagem teórica significativa em contextos longos.
Ablações:
- Modelos sequenciais (sem intercalação CGU/PAM) tiveram desempenho pior (38.95 PPL).
- Adicionar atenção esparsa não trouxe benefícios, sugerindo que a recorrência complexa já captura a informação necessária.
- A normalização de magnitude unitária em Q e K causou falha na geração (repetição lexical).

5. Significado e Implicações

Mudança de Paradigma Formal: O trabalho sugere que a escolha do formalismo computacional (espaço real vs. complexo) é crucial. Se a linguagem possui estrutura não-clássica (contextualidade), modelos baseados em espaço real estão essencialmente "simulando" essa complexidade com mais parâmetros e ineficiência, enquanto modelos complexos capturam a estrutura nativamente.
Interpretabilidade: A dificuldade em decompor modelos de linguagem atuais (como autoencoders esparsos falharem em recuperar características) pode ser um sinal de que as representações são fundamentalmente não separáveis. Um modelo nativo complexo pode produzir representações mais alinhadas com a estrutura subjacente da semântica.
Futuro: O artigo abre caminho para investigar se modelos complexos podem mitigar alucinações (vistas como consequências da interpretação em vez de recuperação) e se oferecem vantagens de escalabilidade em contextos longos devido à sua natureza de estado fixo.

Em resumo, a PAM demonstra que a incorporação de propriedades quânticas (fase, interferência, espaço de Hilbert complexo) em arquiteturas de memória associativa não é apenas teoricamente elegante, mas pragmaticamente viável para modelagem de linguagem, oferecendo um desempenho competitivo com custos de inferência potencialmente menores em longas sequências.