💻 computer science

Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures

Questo articolo dimostra che, nonostante i meccanismi microscopici fondamentalmente diversi, sia le architetture Transformer che Mamba sviluppano una dinamica collettiva infrarossa condivisa e quasi marginale caratterizzata da un continuo a modo lento, estendendo così l'universalità di tale organizzazione oltre i Transformer e supportando le previsioni della Teoria del Campo Cognitivo.

Autori originali: Byung Gyu Chae

Pubblicato 2026-08-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Byung Gyu Chae

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel vasto panorama dell'intelligenza artificiale, i ricercatori cercano da tempo di capire come le macchine imparino a ricordare. Due famiglie dominanti di modelli sono emerse per gestire sequenze di informazioni, come le parole in una frase o i fotogrammi in un video. La prima famiglia, nota come Transformer, si basa su un meccanismo chiamato auto-attenzione (self-attention), che permette al modello di pesare l'importanza di ogni pezzo di informazione rispetto a ogni altro pezzo simultaneamente. La seconda famiglia, rappresentata da modelli più recenti come Mamba, utilizza un approccio diverso basato sulla dinamica degli spazi di stato, dove il modello mantiene uno stato interno che evolve nel tempo, aggiornando la propria memoria man mano che elabora ogni nuova porzione di dati. Per anni, gli scienziati si sono chiesti se questi due modi fondamentalmente diversi di concepire il tempo e la memoria possano in realtà portare allo stesso comportamento sottostante nel profondo della macchina. Questa domanda è importante perché se architetture diverse convergono sugli stessi schemi, ciò suggerisce che la capacità di apprendere e ricordare sia governata da principi universali piuttosto che solo dalle specifiche scelte ingegneristiche dei progettisti.

Un ricercatore si è proposto di testare questa idea guardando dentro un modello Mamba addestrato per vedere come funziona effettivamente la sua memoria. Si è concentrato su una proprietà specifica chiamata "densità temporale degli stati" (time-scale density of states), che è essenzialmente una mappa che mostra quanti diversi ritmi di memoria possiede il modello. Immaginate una biblioteca dove i libri non sono ordinati per argomento, ma per la velocità con cui svaniscono dalla mente di un lettore. Alcuni libri vengono dimenticati in pochi secondi, altri in minuti, e altri ancora persistono per anni. Il ricercatore voleva vedere la distribuzione di queste "velocità di svanimento" nel modello Mamba. Sapeva che Mamba ha un meccanismo di memoria integrato che può essere esaminato in strati: prima, le velocità di memoria interne grezze codificate nel suo design; secondo, come quelle velocità cambiano a seconda dello specifico input che riceve; e infine, la velocità di memoria collettiva dell'intero blocco dopo che tutti i suoi complessi calcoli sono terminati.

Il ricercatore ha scoperto che questi tre strati non sono uguali. La memoria interna grezza del modello Mamba parte con un ampio intervallo di velocità, ma man mano che il modello elabora le informazioni, ricalibra selettivamente queste velocità in base a ciò che sta leggendo. Questa regolazione dipendente dall'input è una caratteristica unica di Mamba, che gli consente di rallentare o accelerare il proprio orologio interno a seconda del contesto. Tuttavia, la scoperta più sorprendente è arrivata quando il ricercatore ha osservato l'output collettivo finale dell'intero blocco del modello. Nonostante la complessa riorganizzazione delle velocità che avviene all'interno, il risultato finale si è stabilizzato in un modello molto specifico e stabile. Quando ha misurato le velocità di memoria attraverso diverse lunghezze di sequenza, ha scoperto che il modello sviluppava costantemente un ampio e continuo intervallo di memorie molto lente. Queste memorie lente non scomparivano; al contrario, formavano un continuum fluido e prevedibile che diventava più chiaro e definito man mano che il modello elaborava sequenze di dati più lunghe.

Per capire se si trattasse di una particolarità del design di Mamba o di una regola generale dei sistemi intelligenti, il ricercatore ha confrontato le sue scoperte con il comportamento dei modelli Transformer. I Transformer non hanno la stessa struttura interna di spazio di stato di Mamba; essi si affidano a meccanismi di attenzione. Eppure, quando il ricercamente ha misurato le velocità di memoria collettiva dei Transformer, ha trovato un modello sorprendentemente simile. Entrambe le architetture, nonostante utilizzino metodi microscopici completamente diversi per elaborare le informazioni, hanno sviluppato una distribuzione quasi piatta delle velocità di memoria, leggermente pesata verso le memorie più lente e durature. Nel linguaggio della fisica, questo è uno stato "quasi-marginale", il che significa che i modelli sono posizionati proprio al limite di avere una memoria infinita, permettendo loro di trattenere le informazioni per lunghi periodi senza rimanere bloccati.

Lo studio conferma che questa organizzazione della memoria lenta non è solo una caratteristica di un tipo specifico di rete neurale. Il ricercatore ha dimostrato che, anche se Mamba costruisce esplicitamente la sua memoria utilizzando una struttura matematica diversa dai Transformer, entrambi i sistemi finiscono per organizzare la propria dinamica collettiva nello stesso modo. Ha scoperto che il comportamento della memoria di Mamba si stabilizza attorno a un valore specifico, indicando un modello robusto e riproducibile che emerge indipendentemente dalla lunghezza della sequenza, a patto che la sequenza sia abbastanza lunga da rivelare il quadro completo. Ciò suggerisce che la capacità di mantenere una memoria a lungo termine è una proprietà fondamentale dell'elaborazione delle sequenze appresa, che sorge naturalmente in diverse forme architettoniche. Le scoperte estendono la nostra comprensione di come funzioni l'intelligenza artificiale, mostrando che, sotto le differenze superficiali di design, questi potenti modelli condividono una struttura comune e profonda per gestire il tempo e la memoria.

Titolo: Universalità dell'infrarosso della dinamica collettiva tra architetture Transformer e State-Space

Definizione del problema
Una questione fondamentale aperta nel deep learning è se distinte architetture neurali, nonostante utilizzino differenti meccanismi computazionali microscopici, sviluppino comportamenti dinamici collettivi comuni. Analisi recenti su modelli linguistici Transformer hanno rivelato una densità di stati delle scale temporali (TDOS) quasi piatta e debolmente potenziata nell'infrarosso nello spettro di rilassamento, associata a una dinamica di memoria a lungo termine quasi marginale ( $K(t) \sim 1/t$ ). Tuttavia, rimane da chiarire se questa organizzazione infrarossa sia un artefatto specifico del meccanismo di self-attention o un principio più generale di elaborazione delle sequenze apprese. Per testare questo, è necessario un confronto con un'architettura che impiega un meccanismo qualitativamente diverso per il calcolo temporale. I modelli state-space, in particolare Mamba, offrono tale contrasto, utilizzando una dinamica state-space selettiva dipendente dall'input piuttosto che la self-attention.

Metodologia
Lo studio impiega un'analisi spettrale multi-livello su un modello Mamba-370M pre-addestrato per distinguere tra la memoria microscopica dello stato-spazio e l'organizzazione collettiva macroscopica. La metodologia procede attraverso tre livelli dinamici distinti:

Spettro intrinseco dello State-Space: L'autore analizza lo spettro degli autovalori del generatore di stato-spazio appreso ( $A$ ), definendo i tassi di rilassamento intrinseci $\lambda^{int}_i = -\text{Re}(a_i)$ . Questo rappresenta la gerarchia di scale temporali codificate direttamente nei parametri del modello prima del condizionamento dell'input.
Spettro efficace condizionato dall'input: Lo studio esamina i tassi di rilassamento effettivi $\lambda^{eff}_{i,t} = \Delta_t(x) \lambda^{int}_i$ , dove il passo temporale selettivo dipendente dall'input $\Delta_t(x)$ riscala i tassi intrinseci durante l'inferenza. Ciò cattura come il meccanismo selettivo riorganizzi dinamicamente le scale di rilassamento in base alla sequenza di input.
Spettro collettivo del blocco completo: L'autore calcola il Jacobiano della completa trasformazione del blocco Mamba ( $J_\ell = \partial \text{vec}(H_{\ell+1}) / \partial \text{vec}(H_\ell)$ ). I tassi di rilassamento collettivi sono definiti come $\lambda^{block}_\alpha = -\ln |\zeta_\alpha|$ , dove $\zeta_\alpha$ sono gli autovalori del Jacobiano del blocco completo. Questo misura la risposta collettiva dell'intero blocco, inclusi proiezioni, gating, non linearità e propagazione residua.

La densità degli stati delle scale temporali (TDOS) collettiva, $\rho(\lambda)$ , è costruita da questi tassi. L'analisi varia sistematicamente la lunghezza della sequenza trattenuta ( $L$ ) da 8 a 512 token per testare la convergenza e la stabilità del settore infrarosso. L'esponente di scala infrarosso $\beta$ è determinato tramite statistiche dei modi cumulativi ( $N(<\lambda) \propto \lambda^{1+\beta}$ ) su un intervallo fisso e ben risolto per evitare artefatti di binning. Questi risultati sono confrontati direttamente con le precedenti misurazioni effettuate su modelli Transformer (specificamente Pythia-410M) utilizzando la stessa costruzione del Jacobiano del blocco completo.

Risultati chiave

Riorganizzazione Gerarchica: Gli spettri intrinseco, efficace e del blocco completo non sono identici. Sebbene il generatore SSM appreso contenga una ampia gerarchia intrinseca di tassi di rilassamento, il meccanismo selettivo e le successive trasformazioni del blocco riorganizzano sostanzialmente questa gerarchia. Lo spettro collettivo del blocco completo è una proprietà emergente distinta, non una copia diretta dello spettro microscopico SSM.
Emergenza di un continuo infrarosso collettivo: La dinamica del blocco completo di Mamba sviluppa un continuo di modi lenti riproducibile. All'aumentare della lunghezza della sequenza, il settore infrarosso diventa progressivamente meglio risolto e più fluido, estendendosi verso tassi di rilassamento più piccoli.
Esponente di scala infrarosso: L'analisi spettrale cumulativa rivela una scalatura power-law debolmente negativa $\rho(\lambda) \sim \lambda^\beta$ . Per sequenze lunghe ( $L \ge 64$ ), l'esponente si stabilizza vicino a $\beta_M \simeq -0.17$ . Ciò corrisponde a un kernel di memoria $K(t) \sim t^{-(1+\beta)} \approx t^{-0.83}$ , che è vicino al regime marginale $1/t$ .
Indipendenza dall'architettura: Nonostante i meccanismi microscopici fondamentalmente diversi (self-attention vs. state-space selettivo), i Transformer e Mamba esibiscono organizzazioni infrarosse collettive strettamente correlate. I Transformer mostrano un esponente rappresentativo di $\beta_{Tr} \sim -0.1$ , mentre Mamba si stabilizza vicino a $\beta_M \sim -0.17$ . Entrambe le architetture occupano un regime "quasi-marginale" caratterizzato da una TDOS ampia, quasi piatta, ma debolmente potenziata nell'infrarosso.

Significatività e rivendicazioni
Il documento sostiene di separare la memoria esplicita dello stato-spazio microscopico dall'organizzazione infrarossa collettiva, dimostrando che distinte architetture di sequenza possono sviluppare dinamiche di modi lenti quasi-marginali strettamente correlate. La primaria significatività risiede nel mostrare che questa organizzazione infrarossa non è unica al meccanismo di self-attention dei Transformer, ma emerge anche nei modelli state-space, nonostante le loro differenti radici computazionali.

L'autore argomenta che ciò suggerisce che la dinamica dei modi lenti quasi-marginale possa rappresentare un principio dinamico generale dell'elaborazione delle sequenze apprese, estendendo l'osservazione dell'organizzazione collettiva infrarossa oltre i Transformer. Questa scoperta fornisce un test indipendente della struttura dinamica descritta dalla Cognitive Field Theory, che associa la memoria macroscopica a lungo termine con l'organizzazione infrarossa dei modi di rilassamento collettivo. I risultati indicano che, sebbene le implementazioni microscopiche differiscano, la dinamica collettiva macroscopica dei modelli di sequenza appresi può convergere verso un regime simile e fisicamente significativo.

Articoli simili