Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

Titolo: Phase-Associative Memory (PAM): Modellazione Sequenziale nello Spazio di Hilbert Complesso

1. Il Problema e il Contesto

Il paper affronta le limitazioni fondamentali delle attuali architetture di modelli linguistici (LLM), in particolare i Transformer basati su rappresentazioni vettoriali reali. Gli autori sostengono che l'assunzione di separabilità (l'idea che il significato di un'espressione sia determinato esclusivamente dalle sue parti e dalle regole di combinazione, indipendentemente dal contesto) sia insufficiente per catturare la natura della semantica naturale.

Evidenze empiriche e teoriche (inclusi test di violazione delle disuguaglianze di Bell applicati al linguaggio) suggeriscono che l'interpretazione semantica è contestuale e non separabile, simile ai sistemi quantistici. Le architetture attuali tentano di simulare queste correlazioni non classiche proiettandole in uno spazio vettoriale reale, il che porta a:

• Allucinazioni e vulnerabilità: Conseguenze naturali di un sistema che cerca di "recuperare" significati fissi in un contesto indeterminato.
• Limiti di capacità: Nei modelli a stato vettoriale che utilizzano legami olografici (holographic binding), la capacità di sovrapporre associazioni multiple degrada con un fattore $O(1/\sqrt{n})$, rendendo difficile il recupero preciso di informazioni specifiche.
• Inefficienza computazionale: L'uso di meccanismi di attenzione softmax per affinare il recupero è costoso e non risolve il problema di fondo della rappresentazione.

2. Metodologia: Phase-Associative Memory (PAM)

Gli autori propongono PAM, un modello ricorrente che opera nativamente in uno spazio di Hilbert complesso ($\mathbb{C}^d$), adottando un formalismo matematico ispirato alla logica quantistica operativa.

Componenti Chiave dell'Architettura:

• Rappresentazioni Complesse: Tutti i token, gli stati interni, le chiavi (Keys) e i valori (Values) sono vettori complessi. Le operazioni mantengono l'informazione di fase, cruciale per la struttura semantica.
• Stato Matriciale (Matrix State): A differenza dei modelli a stato vettoriale che soffrono di interferenza distruttiva, PAM accumula le associazioni in una matrice di stato $S_t \in \mathbb{C}^{d \times d}$ tramite prodotti esterni (outer products). Questo risolve il problema di capacità, offrendo una capacità associativa di $O(d^2)$ per testa invece di $O(d)$.
• Recupero tramite Prodotto Interno Coniugato: Il recupero delle informazioni non avviene tramite un prodotto scalare standard o softmax, ma attraverso il prodotto interno coniugato ($K^* \cdot Q$).
  • Se la fase della chiave memorizzata è coerente con la query, l'associazione viene rafforzata.
  • Se le fasi sono incoerenti, le associazioni vengono attivamente soppresse tramite interferenza distruttiva, senza bisogno di normalizzazione softmax.
• Meccanismi di Controllo:
  • Decadimento Esponenziale: Controllato dinamicamente per gestire la memoria a lungo termine.
  • Gate di Protezione: Un meccanismo appreso che può "congelare" lo stato se necessario, prevenendo la sovrascrittura di informazioni critiche.
  • Posizioni Assolute e Relative: Utilizzo di Complex Rotary Position Embeddings (RoPE) che codificano la posizione nella fase, preservando la struttura relativa.
• Efficienza: Il modello supporta un addestramento parallelo ($O(T^2)$) e un'inferenza ricorrente con stato fisso ($O(1)$ per token), eliminando la necessità di una cache Key-Value che cresce linearmente con la lunghezza della sequenza.

3. Contributi Chiave

1. Validazione del Formalismo Complesso: Dimostrazione empirica che un modello linguistico che opera nativamente in spazio complesso può competere con i Transformer, suggerendo che la semantica naturale beneficia intrinsecamente della struttura di Hilbert complessa.
2. Risoluzione del Collasso di Capacità: L'upgrade dallo stato vettoriale ($\mathbb{C}^d$) allo stato matriciale ($\mathbb{C}^{d \times d}$) risolve il problema della degradazione della capacità nei legami olografici, permettendo una sovrapposizione stabile di molte associazioni.
3. Interferenza come Meccanismo di Recupero: Sostituzione della selezione "one-hot" tramite softmax con la soppressione attiva tramite interferenza di fase, un meccanismo più naturale per la contestualità.
4. Architettura Pura: Implementazione di un modello linguistico completo (dall'embedding all'output) in spazio complesso senza convertire i dati in forme reali intermedie, utilizzando solo operazioni phase-preserving (es. modReLU, normalizzazione RMS sui moduli).

4. Risultati Sperimentali

Il modello è stato valutato sul dataset WikiText-103 con circa 100 milioni di parametri.

• Prestazioni: PAM ha raggiunto una perplexity di validazione di 30.0 dopo 10 epoche.
• Confronto: Un Transformer "matched" (addestrato nelle stesse condizioni, stesso numero di parametri, stesso hardware) ha raggiunto una perplexity di 27.1.
  • Il gap è di circa il 10%, considerato significativo dato che PAM opera con un overhead computazionale di 4x (dovuto alle operazioni complesse) e senza kernel CUDA personalizzati.
• Efficienza di Inferenza:
  • Transformer: Richiede una cache KV che cresce linearmente con la lunghezza della sequenza ($O(T)$ per token).
  • PAM: Lo stato è fisso (49.152 float per layer) indipendentemente dalla lunghezza della sequenza, offrendo un costo per token costante ($O(1)$).
• Ablazioni:
  • La normalizzazione delle chiavi e query a modulo unitario ha causato il collasso della generazione (ripetizioni lessicali), confermando che sia il modulo che la fase sono essenziali per il recupero.
  • L'aggiunta di attenzione a finestra sparsa non ha migliorato le prestazioni, suggerendo che la ricorrenza complessa cattura già le informazioni necessarie.

5. Significato e Implicazioni

Il lavoro ha implicazioni profonde sia per l'ingegneria dei modelli linguistici che per la teoria cognitiva:

• Nuovo Formalismo Computazionale: Suggerisce che il formalismo dello spazio di Hilbert complesso non è solo una simulazione, ma potrebbe essere il linguaggio matematico più naturale per descrivere la semantica del linguaggio umano, che è intrinsecamente contestuale e non separabile.
• Interpretabilità: Se le rappresentazioni sono fondamentalmente non separabili (come suggerito dalle violazioni di Bell), i tentativi di decomporre i modelli neurali in componenti locali (come fanno gli autoencoder sparsi) potrebbero fallire per limiti concettuali. PAM offre un'architettura dove la struttura è coerente con la natura non classica dei dati.
• Efficienza Futura: Sebbene l'implementazione attuale sia meno efficiente in termini di throughput (23k token/s contro 96k del Transformer) a causa della mancanza di ottimizzazioni hardware, il guadagno in capacità di memoria a lungo termine e la stabilità dello stato fisso promettono vantaggi significativi per contesti lunghi e applicazioni che richiedono affidabilità.

In sintesi, PAM dimostra che abbandonare l'ipotesi di separabilità classica a favore di un approccio quantistico (spazio complesso, interferenza di fase) permette di costruire modelli linguistici competitivi che risolvono problemi strutturali di capacità e recupero delle informazioni.