Does Engram Do Memory Retrieval in Autoregressive Image Generation?

Technische Samenvatting: Doet Engram Geheugenopvraging bij Autoregressieve Afbeeldingsgeneratie?

Probleemstelling
De Engram-module, een hash-gekeyde, $O(1)$ associatieve geheugenmodule die in Transformer-lagen wordt ingebracht, werd onlangs voorgesteld voor Large Language Models (LLM's) om een inhoudsgeadresseerde snelweg te bieden voor terugkerende lokale tokenpatronen. De heersende hypothese is dat het specifieke inhoudscorrecties ophaalt op basis van de oppervlaktevorm van recente context. Dit artikel onderzoekt of dit mechanisme effectief overdraagt naar autoregressieve (AR) afbeeldingsgeneratie. Specifiek wordt de volgende vraag gesteld: (V1) Leidt het injecteren van Engram in een class-conditional AR-generator tot een verbetering van de steekproefkwaliteit (FID) bij gelijkblijvende parameteraantallen in vergelijking met een pure AR-baseline? (V2) Als de prestaties veranderen, is de drijvende kracht dan een echte inhoudsgeadresseerde opvraging uit de geheugentabel, of is het een architectonisch neveneffect (bijvoorbeeld gating, residustromen of regularisatie)?

Methodologie
De auteurs passen de Engram-module aan van 1D-taal naar 2D-visie en integreren deze in een sterke class-conditional AR-generator die is getraind op ImageNet 256×256.

• Architectuur-aanpassing: De module maakt gebruik van 2D-spatiale n-gram-hashing over een causaal rooster, gated fusion en KV-cache-compatibele incrementele inferentie. In tegenstelling tot de NLP-versie, maakt de visuele adaptatie gebruik van ruimtelijke buren (bijvoorbeeld links, boven, diagonaal) om n-gram-contexten te definiëren.
• Tokenisatie-voorwaarde: Voordat de aanpassing plaatsvond, verifieerden de auteurs dat visuele tokens terugkerende lokale n-gram-structuren bezitten. Met behulp van DINO-gestratificeerde Jaccard-analyse vonden ze dat de AliTok-tokenizer consistente lokale patchpatronen vertoont die correleren met semantische gelijkenis, terwijl MaskGIT-VQ dit niet doet. Bijgevolg werd AliTok geselecteerd voor alle experimenten.
• Experimenteel ontwerp:
  • Parameter-sweep: Een gecontroleerde sweep van de ratio tussen backbone en totale parameters ($\rho \in [0.17, 0.90]$) werd uitgevoerd, waarbij backbone-breedte werd ingeruild voor capaciteit van de geheugentabel.
  • Gate-Clamp-analyse: Het geleerde gating-mechanisme werd vervangen door constante waarden ($g \in \{0.00, 0.10, \dots, 1.00\}$) om het optimale gebruik van het geheugenpad te bepalen.
  • Donor-probe: De hash-ingangen werden gewisseld met tokens van overeenkomende (zelfde-klasse), adversariële (verschillende-klasse) of willekeurige voorbeelden om te testen of het model semantisch relevante inhoud ophaalt.
  • Bevroren-ruiscontrole: Een model werd vanaf nul getraind waarbij de gehele geheugentabel bevroren was op $N(0, 1)$-ruis, waardoor de architecturale bijdrage werd geïsoleerd van de geleerde inhoud.

Belangrijkste Resultaten
De empirische bevindingen daagden de hypothese van "inhoudsgeadresseerde opvraging" voor AR-afbeeldingsgeneratie uit:

1. Geen kwaliteitswinst bij gelijkblijvende parameters: Over alle backbone-naar-geheugen-ratio's heen behaalde elke Engram-verrijkte variant een slechtere Fréchet Inception Distance (FID) dan de pure AR-baseline (2,02). Hoewel de module backbone-FLOPs bespaart door lokale patroonreconstructie uit te besteden, verbetert het de steekproefkwaliteit niet inherent. Het toevoegen van 2D n-gram-banken (1×3, 3×1, 2×2) leverde verwaarloosbare verbeteringen (<0,01 FID) op ten opzichte van de 1D-variant.
2. Noodzaak van het pad versus over-mixing van inhoud: Het volledig uitschakelen van het Engram-pad ($g=0$) veroorzaakte een catastrofale generatiefout (FID-10K steeg van 4,89 naar 115). De geleerde gate bleek echter "over-mixing" te vertonen; een kleine constante gate ($g=0,10$ of $0,25$) kwam overeen met of presteerde beter dan de geleerde gate, terwijl hogere gates de kwaliteit verslechterden. Dit suggereert dat het model baat heeft bij het pad dat nauwelijks wordt gebruikt, wat onverenigbaar is met een mechanisme dat sterk afhankelijk is van het ophalen van specifieke inhoud.
3. Hash-adres selecteert geen inhoud: Bij de donor-probe leverde het wisselen van hash-ingangen met overeenkomende, adversariële of willekeurige voorbeelden van dezelfde klasse statistisch niet te onderscheiden volgende-tokenverdelingen op. Daarentegen verslechterde het samenvoegen van de hash-buckets of het randomiseren van de tabel de prestaties met twee tot drie ordes van grootte. Dit geeft aan dat het model vertrouwen stelt in de diversiteit en de geleerde structuur van de tabel, en niet in de semantische overeenkomst tussen de query en het opgehaalde item.
4. Architecturale dominantie: Het trainen van een model vanaf nul met de geheugentabel bevroren op $N(0, 1)$-ruis resulteerde slechts in een marginale FID-stijging ($\Delta FID = 0,10$) in vergelijking met een volledig geleerde tabel, terwijl de Inception Score daarentegen toenam (van 259 naar 285). Dit bevestigt dat het grootste deel van het voordeel voortkomt uit de gated, gehashte nevenweg (extra parameters en een parallelle residustroom) en niet uit de specifieke inhoud van de geheugentabel.

Betekenis en Beweringen
Het artikel concludeert dat de Engram-module in de context van autoregressieve afbeeldingsgeneratie primair fungeert als een gated architecturale nevenweg en niet als een inhoudsgeadresseerde ophaalmodule.

• Mechanisme: De module fungeert als een hash-gekeyde residustroom waarbij de geleerde tabel slechts een kleine verdeling verfijning bijdraagt. Het primaire nut is de architecturale toevoeging van een parallelle stroom en een gating-mechanisme, die dient als regularisator of prior op lokale afbeelding-tokenstatistieken.
• Implicatie voor Visie: De "inhoudsgeadresseerde" interpretatie die de oorspronkelijke Engram-ontwerp motiveerde, geldt niet voor visuele tokenstromen die door huidige tokenizers worden geproduceerd. De waargenomen winsten (of het ontbreken daarvan) worden gedomineerd door het pad zelf, en niet door het ophalen van terugkerende semantische patronen.
• Reikwijdte: De auteurs merken op dat hun studie beperkt is tot dichte AR-generatoren op gematigde schaal en niet extreme regimes met weinig data, long-tail klassen of hogere resoluties onderzoekt, waar echte geheugenopvraging mogelijk een grotere rol zou kunnen spelen.

Kortom, de Engram in AR-afbeeldingsgeneratie wordt het best beschreven als een noodzakelijke maar zwak inhoudsgeadresseerde architecturale prior, waarbij de geleerde geheugentabel slechts een kleine verfijning biedt boven de structurele voordelen van de nevenweg.