Does Engram Do Memory Retrieval in Autoregressive Image Generation?

Sintesi Tecnica: Engram Esegue il Recupero della Memoria nella Generazione Autoregressiva di Immagini?

Enunciato del Problema
Il modulo Engram, una memoria associativa indicizzata tramite hash e a complessità $O(1)$ iniettata negli strati Transformer, è stato recentemente proposto per i Large Language Models (LLM) al fine di fornire una scorciatoia indirizzabile per contenuto per i pattern ricorrenti di token locali. L'ipotesi prevalente è che esso recuperi correzioni specifiche del contenuto basandosi sulla forma superficiale del contesto recente. Questo articolo indaga se tale meccanismo si trasferisca efficacemente alla generazione autoregressiva (AR) di immagini. Nello specifico, si chiede: (Q1) L'iniezione di Engram in un generatore AR condizionato alla classe migliora la qualità del campione (FID) a parità di numero di parametri rispetto a una baseline AR pura? (Q2) Se le prestazioni cambiano, il motore è un autentico recupero indirizzabile per contenuto dalla tabella di memoria, o è un effetto collaterale architettonico (ad esempio, gating, flussi residui o regolarizzazione)?

Metodologia
Gli autori adattano il modulo Engram dal linguaggio 1D alla visione 2D e lo integrano in un potente generatore AR condizionato alla classe addestrato su ImageNet 256×256.

• Adattamento Architettonico: Il modulo utilizza l'hashing degli n-grammi spaziali 2D su una griglia causale, fusione gating e inferenza incrementale compatibile con la cache KV. A differenza della versione NLP, l'adattamento visivo impiega vicini spaziali (ad esempio, sinistra, alto, diagonale) per definire i contesti degli n-grammi.
• Prerequisito di Tokenizzazione: Prima dell'adattamento, gli autori hanno verificato che i token visivi possiedano strutture ricorrenti di n-grammi locali. Utilizzando un'analisi Jaccard stratificata DINO, hanno scoperto che il tokenizzatore AliTok esibisce pattern di patch locali coerenti correlati alla similarità semantica, mentre MaskGIT-VQ no. Di conseguenza, AliTok è stato selezionato per tutti gli esperimenti.
• Progettazione Sperimentale:
  • Scansione dei Parametri: È stata condotta una scansione controllata del rapporto tra parametri del backbone e parametri totali ($\rho \in [0.17, 0.90]$), scambiando la larghezza del backbone con la capacità della tabella di memoria.
  • Analisi Gate-Clamp: Il meccanismo di gating appreso è stato sostituito con valori costanti ($g \in \{0.00, 0.10, \dots, 1.00\}$) per determinare l'uso ottimale del percorso di memoria.
  • Sonda Donatore: Gli input dell'hash sono stati scambiati con token da esemplari corrispondenti (stessa classe), avversari (classe diversa) o casuali per testare se il modello recupera contenuti semanticamente rilevanti.
  • Controllo Rumore Congelato: È stato addestrato un modello da zero con l'intera tabella di memoria congelata su rumore $N(0, 1)$, isolando il contributo architettonico dal contenuto appreso.

Risultati Chiave
I risultati empirici mettono in discussione l'ipotesi di "recupero indirizzabile per contenuto" per la generazione autoregressiva di immagini:

1. Nessun Guadagno di Qualità a Parità di Parametri: In tutti i rapporti backbone-memoria, ogni variante arricchita con Engram ha ottenuto un Fréchet Inception Distance (FID) peggiore rispetto alla baseline AR pura (2.02). Sebbene il modulo salvi i FLOP del backbone scaricando la ricostruzione dei pattern locali, non migliora intrinsecamente la qualità del campione. L'aggiunta di banche di n-grammi 2D (1×3, 3×1, 2×2) ha prodotto miglioramenti trascurabili (<0.01 FID) rispetto alla variante 1D.
2. Necessità del Percorso vs. Sovra-miscelazione del Contenuto: Disabilitare completamente il percorso Engram ($g=0$) ha causato un fallimento catastrofico della generazione (FID-10K è passato da 4.89 a 115). Tuttavia, è stato scoperto che il gate appreso è in "sovrapposizione"; un gate costante minuscolo ($g=0.10$ o $0.25$) ha eguagliato o superato il gate appreso, mentre gate più alti hanno degradato la qualità. Ciò suggerisce che il modello trae beneficio dal fatto che il percorso sia scarsamente utilizzato, incoerente con un meccanismo che si basa pesantemente sul recupero di contenuti specifici.
3. L'Indirizzo Hash Non Seleziona il Contenuto: Nella sonda donatore, lo scambio degli input dell'hash con esemplari corrispondenti, avversari o casuali della stessa classe ha prodotto distribuzioni del prossimo token statisticamente indistinguibili. Al contrario, collassare i bucket dell'hash o randomizzare la tabella ha degradato le prestazioni di due o tre ordini di grandezza. Ciò indica che il modello si basa sulla diversità e sulla struttura appresa della tabella, non sulla corrispondenza semantica tra la query e la voce recuperata.
4. Dominanza Architettonica: Addestrare un modello da zero con la tabella di memoria congelata su rumore $N(0, 1)$ ha portato a un aumento marginale dell'FID ($\Delta FID = 0.10$) rispetto a una tabella completamente appresa, mentre ha effettivamente aumentato l'Inception Score (da 259 a 285). Ciò conferma che la maggior parte del beneficio deriva dal percorso laterale indicizzato e con gating (parametri aggiuntivi e un flusso residuo parallelo) piuttosto che dai contenuti specifici della tabella di memoria.

Significato e Affermazioni
Il paper conclude che, nel contesto della generazione autoregressiva di immagini, il modulo Engram funziona principalmente come un percorso laterale architettonico con gating piuttosto che come un recuperatore indirizzabile per contenuto.

• Meccanismo: Il modulo agisce come un flusso residuo indicizzato tramite hash, dove la tabella appresa contribuisce solo a un affinamento distribuzionale minore. L'utilità primaria è l'aggiunta architettonica di un flusso parallelo e di un meccanismo di gating, che funge da regolarizzatore o prior sulle statistiche locali dei token-immagine.
• Implicazione per la Visione: L'interpretazione "indirizzabile per contenuto" che ha motivato il design originale di Engram non vale per i flussi di token visivi prodotti dai tokenizzatori attuali. I guadagni osservati (o la loro assenza) sono dominati dal percorso stesso, non dal recupero di pattern semantici ricorrenti.
• Ambito: Gli autori notano che il loro studio è limitato ai generatori AR densi a scale moderate e non esplora regimi di dati estremamente bassi, classi a coda lunga o risoluzioni più elevate, dove il recupero autentico della memoria potrebbe svolgere un ruolo maggiore.

In sintesi, Engram nella generazione autoregressiva di immagini è meglio descritto come un prior architettonico necessario ma debolmente indirizzabile per contenuto, dove la tabella di memoria appresa offre solo un piccolo affinamento rispetto ai benefici strutturali del percorso laterale.