🤖 machine learning

Composition of Memory Experts for Diffusion World Models

Dit artikel introduceert een op diffusie gebaseerd wereldmodel dat de afweging tussen geheugen en fideliteit van bestaande architecturen overwint door gespecialiseerde kortetermijn-, episodische en ruimtelijke geheugenspecialisten te combineren via een contrastieve product-van-specialisten-formulering, waardoor schaalbare, hoog-fideliteit toekomstvoorspelling wordt bereikt zonder kwadratische rekenkosten.

Oorspronkelijke auteurs: Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal probeert te vertellen over een lange reis die je hebt gemaakt door een doolhof. Je wilt dat het verhaal perfect is: de bochten moeten logisch zijn, de kamers die je uren geleden bezocht hebt, moeten er precies hetzelfde uitzien wanneer je terugkeert, en de details van het landschap moeten scherp zijn.

Het probleem met huidige AI-"verhalers" (zogenaamde Wereldmodellen) is dat ze een geheugenprobleem hebben.

De "Kortetermijn"-AI is als een persoon met een geweldig geheugen voor de laatste paar zinnen die ze hebben gehoord, maar ze vergeten wat er een uur geleden is gebeurd. Ze kunnen de directe volgende stap perfect beschrijven, maar ze verliezen het verhaal van de hele reis uit het oog.
De "Langetermijn"-AI is als een historicus die de hele reis onthoudt, maar de details van de directe volgende stap vaag maakt. Ze kennen de algemene vorm van het doolhof, maar kunnen de kleuren van de muren in de kamer waarin je op dit moment staat, door elkaar halen.

Proberen één gigantische AI te bouwen die alles perfect onthoudt, is als proberen een bibliotheek in je rugzak te dragen terwijl je een marathon rent; het is te zwaar, te traag, en uiteindelijk struikel je over de boeken.

De Oplossing: Een Team van Specialisten

De auteurs van dit artikel stellen een nieuwe manier voor om deze AI-verhalers te bouwen. In plaats van één gigantisch brein, gebruiken ze een team van gespecialiseerde experts die samenwerken om het verhaal te vertellen. Ze noemen dit Compositie van Geheugenexperts (CoME).

Stel je het voor als een productieteam voor een film:

De "Kortetermijn"-Expert (De Scriptschrijver): Deze expert concentreert zich op de directe scène. Ze kijken naar de laatste paar videoframes en zeggen: "Oké, het personage is net linksom gedraaid, dus het volgende frame moet een muur aan de rechterkant tonen." Ze zijn uitstekend in fijne details en directe beweging, maar kunnen zich niet herinneren wat er 100 frames geleden is gebeurd.
De "Langetermijn"-Expert (De Archivar): Deze expert heeft een enorme bibliotheek van de hele reis. Ze kijken niet in real-time naar elk enkel frame (wat te traag zou zijn). In plaats daarvan "bestuderen" ze de geschiedenis van de reis en werken ze hun eigen interne notities (hun "gewichten") bij om het grote plaatje te onthouden. Als je vraagt: "Hoe zag die kamer er 5 minuten geleden uit?", kunnen ze het perfect herinneren omdat ze de episode hebben gememoriseerd.
De "Ruimtelijke" Expert (De Kaartmaker): Deze expert houdt bij waar dingen zich bevinden. Als de AI in een lus loopt (zoals een gang die overal hetzelfde uitziet), kunnen de andere experts in de war raken. De Kaartmaker zegt: "Wacht, we zijn bij de noordelijke ingang, niet bij de zuidelijke", zodat het verhaal op de juiste plaats blijft.

Hoe Ze Samenwerken: Het "Product van Experts"

Normaal gesproken, als je drie mensen om advies vraagt, neem je misschien gewoon het gemiddelde. Maar in AI kan middelen soms een modderig, verward resultaat opleveren.

De auteurs gebruiken een slimme truc genaamd een Product van Experts. Stel je voor dat de drie experts allemaal borden omhoog houden met hun voorspellingen.

Als de Scriptschrijver, de Archivar en de Kaartmaker het allemaal eens zijn over hoe het volgende frame eruit moet zien, is de AI zeer zeker en tekent ze dat frame.
Als ze het oneens zijn, gokt de AI niet zomaar; ze zoeken naar het "gemeenschappelijke grondgebied".

Er is echter een addertje onder het gras. Soms zijn experts het oneens over de verkeerde dingen, gewoon omdat ze elkaar echoën. Om dit op te lossen, hebben de auteurs een "Contrastieve" methode uitgevonden.

De Analogie: Stel je voor dat de experts een liedje zingen. Soms neuriën ze allemaal dezelfde verkeerde noot, omdat ze te veel naar elkaar luisteren. De "Contrastieve" methode werkt als een dirigent die zegt: "Stop met het neuriën van de achtergrondruis! Focus alleen op de unieke noten die verschillen van je gebruikelijke gewoontes." Dit zorgt ervoor dat de AI niet vast komt te zitten in een lus van het herhalen van fouten en het verhaal fris en nauwkeurig blijft.

De Resultaten

Het artikel testte deze teamaanpak op:

Virtuele Doolhoven: Waar een agent een 3D-doolhof moet navigeren en moet onthouden waar het is geweest.
Wereldse Video's: Zoals door een huis lopen of een robot besturen.

Ze ontdekten dat deze teamaanpak veel beter was dan het proberen om één gigantische AI te gebruiken.

Beter Geheugen: De AI kon details van honderden frames geleden onthouden zonder in de war te raken.
Sneller: Het hoefde niet bij elke enkele stap een enorme "bibliotheek" aan data in zijn hoofd te dragen; het raadpleegde gewoon zijn specialisten.
Consistenter: Wanneer de AI terugliep in een kamer die het eerder had bezocht, zag de kamer er precies hetzelfde uit, niet als een wazige rommel.

Samenvattend

Het artikel betoogt dat we in plaats van te proberen één superbrein te bouwen dat alles doet, een comité van gespecialiseerde breinen moeten bouwen. Door een kortetermijnexpert de details te laten afhandelen, een langetermijnexpert de geschiedenis en een ruimtelijke expert de locatie, en ze vervolgens te laten stemmen over de toekomst met behulp van een speciale "contrastieve" regel, kunnen we AI creëren die het verleden perfect onthoudt terwijl het de toekomst nauwkeurig voorspelt – allemaal zonder dat er een supercomputer voor nodig is.

Technische Samenvatting: Samenstelling van Geheugenexperts voor Diffusiewereldmodellen

Probleemstelling

Wereldmodellen (WM's) zijn essentieel voor versterkend leren (RL) en planning, omdat ze plausibele toekomstige toestanden voorspellen die consistent zijn met eerdere waarnemingen. Bestaande architecturen staan echter voor een fundamentele afweging tussen geheugentrouwheid en computationele efficiëntie. Transformer-gebaseerde modellen behouden lokale details, maar lijden onder kwadratische attentiekosten, wat de contextlengte beperkt. Omgekeerd schalen recurrente netwerken en state-space modellen (SSM's) efficiënt, maar comprimeren ze geschiedenis tot verborgen toestanden, waardoor ze onvermijdelijk fijne details in de loop van de tijd verliezen. Het simpelweg vergroten van de contextlengte in één enkele architectuur leidt tot instabiele training en onbetaalbare inferentiekosten. Bovendien resulteert een naïeve samenstelling van meerdere modellen vaak in "mode collapse", waarbij de gecombineerde verdeling gemeenschappelijke gebieden te sterk verscherpt en diversiteit verliest.

Methodologie

De auteurs stellen Composition of Memory Experts (CoME) voor, een op diffusie gebaseerd raamwerk dat toekomst-verleden consistentie ontkoppelt van een enkele monolithische architectuur. In plaats daarvan maakt CoME gebruik van een set gespecialiseerde experts, waarbij elke expert een specifieke geheugenrol vervult, en fuseert ze op inferentietijd op probabilistische wijze.

1. Product van Contrastieve Experts (PoCE)

Om de beperkingen van het standaard Product of Experts (PoE) aan te pakken, dat diversiteit kan onderdrukken en spurious modes kan versterken, introduceren de auteurs een Product of Contrastive Experts-formulering.

Mechanisme: Voor een set heterogene experts $p_i(x)$ wordt de samenstelling gedefinieerd als $p(x) \propto \prod \tilde{p}_i(x)$ , waarbij $\tilde{p}_i(x) \propto p_i(x)^{\alpha_i} \bar{p}_i(x)^{1-\alpha_i}$ .
Contrastieve Baseline: $\bar{p}_i(x)$ vertegenwoordigt de onvoorwaardelijke baseline-verdeling van de expert. De coëfficiënt $\alpha_i > 1$ fungeert als een contrastfactor.
Theoretische Rechtvaardiging: In tegenstelling tot naïef temperen (dat de variantie van de kernel verkleint en de lokale geometrie vervormt), herschikt deze contrastieve mix de mengcomponenten terwijl de vorm van de kernen behouden blijft. Het onderdrukt effectief spurious modes (waar een expert een hoge waarschijnlijkheid toekent zonder sterke bewijzen) terwijl geldige secundaire modes behouden blijven, mits de conditionele expert een hogere waarschijnlijkheid toekent aan geldige modes dan de baseline.

2. Gespecialiseerde Geheugenexperts

Het raamwerk instantieert drie complementaire experts:

Kortetermijngeheugen (STM): Een diffusiemodel dat is geconditioneerd op een recente contextvenster ( $10\text{--}100$ frames). Het vangt fijne lokale dynamiek en directe temporele afhankelijkheden op met een architectuur met een verlengde contextlengte (bijvoorbeeld sliding window attention).
Langertermijngeheugen (LTM): Een apart diffusiemodel dat episodische geschiedenis ( $100\text{--}1000$ frames) direct opslaat in zijn gewichten. Dit wordt bereikt via finetuning op inferentietijd van lichtgewicht LoRA-adapters op de lange-termijncontext. Deze benadering amortiseert de kosten van herinnering, waardoor hergebruik van eerdere ervaringen in constante tijd mogelijk is zonder de volledige geschiedenis bij elke stap door het model te voeren. Het voorkomt catastrofaal vergeten door de backbone te bevriezen en alleen de adapters bij te werken.
Ruimtelijk Langertermijngeheugen (SLTM): Een uitbreiding van LTM die ruimtelijke prioren (bijvoorbeeld cameraposities, puntkaarten) integreert die uit de geschiedenis zijn onttrokken. Deze expert dwingt geometrische en ruimtelijke coherentie af en maakt locaties in repetitieve of visueel vergelijkbare omgevingen ondubbelzinnig.

3. Geïntegreerde Generatie

De uiteindelijke verdeling is een product van de vooraf getrainde prior en de drie contrastieve experts (STM, LTM, SLTM). Tijdens het sampling worden de scorefuncties van deze experts additief gecombineerd (in log-ruimte) om het denoisingsproces te sturen, zodat de gegenereerde toekomst rekening houdt met recente dynamiek, lange-termijn geschiedenis en ruimtelijke consistentie.

Belangrijkste Bijdragen

Ontkoppelde Geheugenarchitectuur: Het artikel stelt voor om de geheugenafweging op te lossen door geheugen te verdelen over gespecialiseerde experts in plaats van één enkele backbone, geformuleerd als een Product of Experts-probleem.
Product van Contrastieve Experts (PoCE): Een nieuwe strategie om heterogene experts te fuseren. De auteurs leveren theoretisch en empirisch bewijs dat deze methode mode collapse en oververtrouwen voorkomt door redundante modes uit te faseren, in tegenstelling tot standaard PoE.
Externe Diffusiegeheugen: De introductie van een LTM-module die finetuning van LoRA-adapters op inferentietijd gebruikt om episodische kennis in gewichten op te slaan. Dit wordt uitgebreid tot SLTM om ruimtelijke structuur te integreren, wat de nauwkeurigheid in navigatietaken verbetert.

Experimentele Resultaten

De methode werd geëvalueerd op synthetische (Memory Maze, DMLab, Minecraft) en real-world (RealEstate10K, RECON) benchmarks.

Reconstructiekwaliteit: Op de Memory Maze-dataset behaalde CoME state-of-the-art prestaties in LPIPS (0,097), SSIM (0,892) en PSNR (23,07), waarmee het aanzienlijk beter presteerde dan baselines, waaronder full-attention transformers, SSM's en sliding-window modellen.
Schaalbaarheid: In tegenstelling tot full-attention modellen die $60\times$ meer rekenkracht vereisen dan de STM-baseline, bereikt CoME superieure consistentie met een fractie van de trainings- en inferentiekosten.
Contextlengte: Het model vertoonde geen verzadiging in prestatieconsistentie tot 480 frames context, wat de effectiviteit van het LTM-component aantoont.
Planning en Navigatie: In doelgeconditioneerde navigatietaken (RECON-benchmark) verlaagde CoME de Absolute Trajectfout (ATE) tot 0,96, waarmee het gespecialiseerde navigatiewereldmodellen (NWM) en andere baselines overtrof.
Herinneringsvermogen: In een experiment met omgekeerde trajecten op RealEstate10K slaagde CoME erin om initiële frames te herinneren na voorwaartse rollouts, terwijl baselines zonder geheugen plausibele maar inconsistente scènes genereerden.
Ablatiestudies: Het verwijderen van de contrastieve formulering veroorzaakte een instorting van de prestaties, wat de noodzaak van het PoCE-mechanisme bevestigt. Het verhogen van de LoRA-rang en de contextlengte voor LTM verbeterde de resultaten consequent zonder overfitting.

Betekenis en Claims

Het artikel claimt een nieuw paradigma te vestigen voor het bouwen van geheugenverrijkte diffusiewereldmodellen. Door geheugen te verdelen over gespecialiseerde experts en een contrastieve samenstellingsstrategie te gebruiken, balanceert CoME efficiëntie met hoge-trouwheid temporele consistentie. De auteurs betogen dat deze benadering wereldmodellen in staat stelt te schalen naar lange contexten zonder kwadratische kosten te maken of te lijden onder het detailverlies dat inherent is aan recurrente compressie. De methode wordt gepresenteerd als een algemeen raamwerk dat toepasbaar is op diverse op diffusie gebaseerde wereldmodellen, waardoor hun betrouwbaarheid voor planning en besluitvorming in versterkingsleersituaties wordt versterkt. Het werk benadrukt dat geheugen een eigenschap van een gedistribueerd systeem moet zijn in plaats van een beperking van één enkele architectuur.