Technische Samenvatting: Do You Remember? Naar een Geheugencentrische Multimodale AI

1. Probleemstelling

Huidige Multimodale Large Language Models (MLLM's) opereren volgens een eenrichtingsparadigma: afbeeldingen worden verwerkt door een bevroren visuele encoder, geprojecteerd in de embedding-ruimte van een LLM, en geconsumeerd om tekst te genereren. Zodra de tekst is geproduceerd, wordt de visuele informatie binnen de verborgen toestanden (hidden states) van de LLM weggegooid. De auteurs stellen dat deze architectuur een gebrek heeft aan een mechanisme voor "reconstructief geheugen"—het vermogen om te herinneren en te verifiëren wat er is waargenomen.

Voortbouwend op de cognitieve wetenschap (Bartlett, 1932), stelt het artikel dat het menselijk geheugen geen getrouwe registratie is, maar een reconstructief proces. De centrale hypothese is dat voor MLLM's om echt te kunnen "herinneren", ze in staat moeten zijn om perceptuele inhoud te reconstrueren uit hun interne representaties. De auteurs identificeren echter een fundamentele discrepantie: hoewel MLLM's een afbeelding kunnen "begrijpen" (het genereren van een accurate semantische analyse), bevatten hun verborgen toestanden mogelijk geen enkele "decodeerbare visuele representatie" die nodig is voor reconstructie. Bovendien zijn pogingen om een gedeelde geheugenmatrix te trainen om deze kloof te overbruggen historisch gezien mislukt vanwege gradiënt-annulering en de onomkeerbare aard van de informatie-transformatie door de LLM.

2. Methodologie: De DoYouRemember-architectuur

De auteurs stellen DoYouRemember voor, een driefasige architectuur ontworpen om reconstructief geheugen in MLLM's te introduceren:

1. Sensory Compression (Fase 0): Een Vector Quantized Variational Autoencoder (VQ-VAE) comprimeert 256×256 afbeeldingen tot 1.024 discrete visuele tokens. Deze fase dient als een reversibele, verlieslatende compressie-baseline (ongeveer 2:1 ratio) die diagnostisch relevante kenmerken behoudt terwijl pixel-redundantie wordt verwijderd.
2. Conscious Reasoning (Fase 1): Visuele tokens en tekstprompts worden verwerkt door een LoRA-gefine-tuned LLM (Qwen2.5-7B-Instruct). Het model genereert dermatologische analyse-tekst terwijl de verborgen toestanden op de posities van de visuele tokens worden bewaard.
3. Reconstructive Verification (Fase 2): Een Diffusion Transformer (DiT-stijl) decoder probeert de oorspronkelijke afbeelding te reconstrueren vanuit de verborgen toestanden van de LLM of een speciale geheugenmatrix.

Experimenteel Ontwerp

De auteurs hebben een reeks gecontroleerde experimenten uitgevoerd om de informatiestroom te isoleren:

• Upper Bound Experiment: Het vergelijken van reconstructie vanuit VQ-VAE tokens (pre-LLM) versus LLM verborgen toestanden (post-LLM) met gebruik van dezelfde Diffusion Decoder.
• Geheugenarchitecturen: Vier generaties gedeelde geheugenmodules (SM-v1 tot SM-v4) werden getest, inclus[ief] aandacht-gebaseerd schrijven, ruimtelijke segmentatie (spatial sharding) en directe gradiëntpaden.
• Trainingsstrategieën: De auteurs testten backpropagation-gebaseerde methoden (MSE, DDPM) en contrastieve leermethoden (SimCLR, BYOL, SimSiam) voordat ze besloten bij Local EMA (Exponential Moving Average).

Datasets

• Gelabeld: 1.000 3D gezichtshuid-textuurkaarten met expert dermatologische analyses.
• Ongelabeld: 99.000 ongelabelde frontale gezichtsafbeeldingen gebruikt voor ongesuperviseerde geheugenaccumulatie.

3. Belangrijkste Bevindingen en Resultaten

A. De "Begrip versus Geheugen" Kloof

De meest cruciale bevinding is dat LLM verborgen toestanden ongeveer nul herstelbare visuele informatie bevatten.

• Bewijs: De Diffusion Decoder slaagde erin om duidelijke gelaatstrekken te reconstrueren vanuit VQ-VAE tokens (pre-LLM), maar produceerde pure hoogfrequente ruis wanneer deze werd gevoed met LLM verborgen toestanden (post-LLM).
• Implicatie: De LLM transformeert visuele informatie naar semantische betekenis voor tekstgeneratie, waardoor de visuele substantie onherstelbaar wordt. Dit is niet louter "verlieslatende compressie" (zoals VQ-VAE), maar een "onomkeerbare informatie-transformatie". Het model begrijpt de afbeelding, maar herinnert deze niet.

B. Het Falen van Backpropagation voor Gedeeld Geheugen

De auteurs hebben systematisch aangetoond dat het trainen van een gedeelde geheugenmatrix ($M$) via backpropagation faalt bij alle geteste architecturen en contrastieve methoden.

• Gradiënt-annulering: Wanneer een gedeelde matrix $N$ heterogene inputs bedient, annuleren de per-sample gradiënten elkaar. De effectieve gradiëntmagnitude schaalt als $O(1/\sqrt{N})$. Met $N=99.000$ wordt het gradiëntsignaal gedempt met een factor van ~314, wat onder de initialisatie-ruis valt.
• De "Chicken-and-Egg" Deadlock: Reconstructieverlies kan de compressor niet trainen omdat de compressor al moet weten wat hij moet bewaren om het verlies te minimaliseren, maar hij kan niet leren wat hij moet bewaren zonder een gradiëntsignaal.
• Global EMA Falen: Globale smoothing van geheugenslots via EMA vernietigt de diversiteit tussen de slots, waardoor alle slots convergeren naar bijna identieke vectoren.

C. Het Succes van Local EMA

De auteurs stellen Local EMA voor als een non-backpropagation oplossing die de geïdentificeerde kernoorzaken oplost.

• Mechanisme: Elke afbeelding werkt alleen de top-$k$ (bijv. 8) meest relevante geheugenslots bij van een totaal van $K$ (bijv. 64) via een exponentieel voortschrijdend gemiddelde. Er worden geen gradiënten berekend; updates worden gedreven door activatie-gelijkenis.
• Resultaten:
  • Diversiteit: Local EMA behoudt en vergroot de diversiteit tussen de slots (variantie steeg van 0.040 naar 0.194), waardoor de instorting die bij Global EMA optreedt, wordt vermeden.
  • Reconstructiekwaliteit: Een geheugenmatrix van 229K parameters ($K=64$) bereikte een reconstructiekwaliteit die de VQ upper bound benadert op ongeziene testafbeeldingen (LPIPS 0.123 vs. 0.071; SSIM 0.775 vs. 0.877).
  • Schaalbaarheid: Het vergroten van de geheugenslots naar $K=1024$ (3.67M parameters) stelde het geheugen in staat om de VQ upper bound te overtreffen (LPIPS 0.056 vs. 0.071). Dit verifieert dat de continue representatie van $M$ de VQ-kwantiseringsfout vermijdt, mits het aantal slots voldoende is om de EMA-annulering onder de kwantiseringsdrempel te reduceren.

4. Theoretische Bijdragen

Het artikel verenigt deze bevindingen onder een Informatie-theoretisch Kader:

1. Geheugen als Verlieslatende Compressie: Geheugen wordt gedefends als verlieslatende compressie, en herinnering als decompressie.
2. Rate-Distortion Limiet: Gradiënt-annulering wordt geïdentificeerd als de wiskundige manifestatie van de rate-distortion limiet wanneer een enkele gedeelde representatie heterogene inputs bedient.
3. Lokale Leeregels: Het artikel stelt dat gedeeld geheugen lokale leeregels vereist (zoals Hebbiaanse plasticiteit) in plaats van globale backpropagation. Local EMA slaagt omdat het gradiënt-annulering omzeilt door updates te beperken tot semantisch gelijkaardige clusters.
4. Hallucinatie als Decompressie-artefact: De auteurs herformuleren hallucinatie niet als een defect, maar als een inherente eigenschap van verlieslatende decompressie. Wanneer informatie verloren gaat tijdens compressie, moet de decompressor ontbrekende data interpoleren, wat leidt tot plausibele maar potentieel onnauwkeurige outputs. Dit is van toepassing op LLM's, menselijke herinnering en diffusiemodellen evenals.

5. Betekenis en Claims

Het artikel claimt een nieuw paradigma te hebben vastgesteld voor Geheugencentrische Multimodale AI:

• Architecturale Verschuiving: Het stelt voor om af te stappen van de "bolt-on" visuele encoder + LLM pijplijn naar een gedeelde geheugenmatrix ($M$) als het computationele centrum. In dit paradigma fungeren perceptie-encoders als "write-heads", de LLM fungeert als een bewustzijnlaag voor semantische organisatie, en herinnering is een iteratief decompressieproces.
• Validatie van Lokale Regels: Het biedt de eerste experimentele validatie dat lokale leeregels (Local EMA) succesvol gedeelde geheugenrepresentaties kunnen trainen waar backpropagation faalt.
• Domeintoepassing: De auteurs identificeren huidgezondheidsbeeldvorming als een ideaal validatiedomein vanwege de hoge dichtheid van gecoregistreerde multimodale data (20+ soorten afbeeldingen per patiënt), wat het testen van de "redundante codering" hypothese mogelijk maakt (dat multimodale codering hallucinatie vermindert).

Het werk concludeert dat het onderscheid tussen "begrip" (semantische extractie) en "geheugen" (behoud van decodeerbare perceptuele representatie) fundamenteel is voor huidige Transformer-architecturen. Het bereiken van echt reconstructief geheugen vereist architecturale wijzigingen die prioriteit geven aan lokale leeregels en persistente, gedeelde geheugensubstraten boven eenrichtings tekstgeneratie-doelstellingen.