🤖 AI

Agentic Learner with Grow-and-Refine Multimodal Semantic Memory

Dit artikel introduceert ViLoMem, een tweestromen-geheugenframework dat een groeien-en-verfijnen-principe toepast om visuele afleidingspatronen en logische redeneerfouten afzonderlijk te coderen, waardoor multimodale grote taalmodellen de beperkingen van trajectgebaseerd geheugen kunnen overwinnen en verbeterde nauwkeurigheid met verminderde herhaling van fouten bereiken op diverse benchmarks.

Oorspronkelijke auteurs: Weihao Bo, Shan Zhang, Yanpeng Sun, Jingjing Wu, Qunyi Xie, Xiao Tan, Kunbin Chen, Wei He, Xiaofan Li, Na Zhao, Jingdong Wang, Zechao Li

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weihao Bo, Shan Zhang, Yanpeng Sun, Jingjing Wu, Qunyi Xie, Xiao Tan, Kunbin Chen, Wei He, Xiaofan Li, Na Zhao, Jingdong Wang, Zechao Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar iets onhandige robot leert puzzels op te lossen die zowel afbeeldingen als wiskundeproblemen bevatten.

Op dit moment zijn de meeste van deze robots (Multimodale Grootte Taalmodellen genoemd) als studenten die een toets maken, een vraag verkeerd beantwoorden en de fout vervolgens direct vergeten. Wanneer ze op de volgende toets een vergelijkbare vraag zien, maken ze exact dezelfde fout opnieuw. Ze lossen elk probleem vanaf nul op, alsof ze nog nooit een puzzel hebben gezien.

Sommige onderzoekers probeerden dit op te lossen door de robot een "notitieboek" te geven om eerdere fouten in op te schrijven. Maar deze notitieboeken waren gebrekkig. Ze schreven alleen de logica van de fout op (bijvoorbeeld: "Ik heb het verkeerde formule gebruikt") en negeerden het visuele deel (bijvoorbeeld: "Ik keek naar het verkeerde getal in de afbeelding"). Het is alsof een leerling tegen een student zegt: "Je hebt de wiskunde verkeerd gedaan", maar nooit aangeeft dat de student naar de verkeerde regel op de grafiek keek.

ViLoMem: Het "Twee-Hersenen" Geheugensysteem van de Robot

Het artikel introduceert ViLoMem, een nieuw systeem dat de robot een slimmer, tweeledig geheugen geeft, geïnspireerd op hoe menselijke hersenen werken. In plaats van één rommelig notitieboek, gebruikt ViLoMem twee distincte, gespecialiseerde "stromen" van geheugen die samenwerken maar gescheiden blijven.

1. De Twee Stromen van Geheugen

Stel je het brein van de robot voor met twee verschillende bibliothecarissen:

De Visuele Bibliothecaris (Visueel Geheugen): Deze bibliothecaris geeft alleen om wat de robot ziet. Als de robot een glanzende metalen bol verward met een rubberen bal, of een klein getal op een grafiek verkeerd leest, schrijft deze bibliothecaris een regel op zoals: "Wanneer je een glanzend object ziet, controleer of het licht reflecteert als metaal, niet als rubber." Hij tekent ook een kleine "warmtekaart" (zoals een schijnwerper) op toekomstige afbeeldingen om de robot precies te laten zien waar hij moet kijken, zodat hij de belangrijke details niet mist.
De Logische Bibliothecaris (Logisch Geheugen): Deze bibliothecaris geeft alleen om het denken. Als de robot de verkeerde wiskundige formule gebruikt of getallen verkeerd optelt, schrijft deze bibliothecaris een regel op zoals: "Vergeet niet, de oppervlakte van een driehoek is ½ × basis × hoogte, niet gewoon de zijden bij elkaar optellen."

2. Hoe het Leert: De "Groeien en Verfijnen" Cyclus

Het systeem werkt als een continue lus van oefening en correctie:

De Poging: De robot probeert een probleem op te lossen met behulp van zijn huidige geheugen.
De Controle: Een "Verificator" (zoals een strenge leraar) controleert het antwoord.
De Diagnose: Als de robot het verkeerd heeft, vraagt het systeem: "Was dit een kijkfout of een denkfout?"
- Als het een kijkfout was, actualiseert de Visuele Bibliothecaris zijn regels en tekent een nieuwe schijnwerper voor de volgende keer.
- Als het een denkfout was, actualiseert de Logische Bibliothecaris zijn regels.
De Opruiming: Het systeem is slim genoeg om rommel te vermijden. Als de robot twee keer dezelfde fout maakt, schrijft het geen twee nieuwe notities; het verfijnt de bestaande notitie om deze duidelijker te maken. Dit voorkomt dat het geheugen te groot en verwarrend wordt (een probleem dat "catastrofische vergetelheid" wordt genoemd).

3. Waarom dit Belangrijk is (De Resultaten)

De onderzoekers testten dit systeem op zes verschillende soorten moeilijke puzzels die wiskunde, wetenschap en realistische afbeeldingen omvatten.

Het Resultaat: Robots die ViLoMem gebruikten, werden aanzienlijk beter in het oplossen van deze problemen. Ze stopten met het herhalen van dezelfde visuele fouten (zoals het verkeerd lezen van een diagram) en dezelfde logische fouten (zoals het gebruik van de verkeerde formule).
De Analogie: Stel je een robot voor die de oppervlakte van een driehoek probeert te berekenen.
- Zonder ViLoMem: Het kijkt misschien naar de verkeerde zijde van de driehoek (Visuele fout) en gebruikt vervolgens de verkeerde formule (Logische fout). Het faalt, vergeet en faalt opnieuw.
- Met ViLoMem: Na één keer falen zegt de Visuele Bibliothecaris: "Volgende keer, kijk naar de zijde met het label '12', niet '5'." De Logische Bibliothecaris zegt: "Volgende keer, vergeet niet te vermenigvuldigen met ½." Bij de volgende poging kijkt de robot naar de juiste plek en gebruikt de juiste wiskunde, waardoor het antwoord correct is.

4. De "Cross-Training" Bonus

Een van de coolste bevindingen is dat dit geheugensysteem verplaatsbaar is. De onderzoekers lieten zien dat een kleinere, minder krachtige robot kon leren van de "notitieboeken" van een veel grotere, slimmere robot. Het is alsof een juniorstudent de studienotities van een topstudent leest en direct slimmer wordt zonder zelf de harde arbeid van het maken van fouten te hoeven doorlopen.

Samenvattend:
ViLoMem is een systeem dat AI leert van zijn fouten door "wat ik zag" te scheiden van "wat ik dacht". Door deze twee soorten leren in aparte, georganiseerde bestanden te houden, stopt de AI met het steeds opnieuw maken van dezelfde domme fouten en wordt het een betrouwbaarder en accurater probleemoplosser.

Technische Samenvatting: ViLoMem

Probleemstelling

Multimodale Grote Taalmodellen (MLLM's) vertonen momenteel een kritieke beperking: ze lossen problemen de novo op, waarbij elke query onafhankelijk wordt behandeld zonder ervaringen uit het verleden te behouden of ervan te leren. Dit leidt tot het herhalen van identieke fouten en het falen om domeinkennis over tijd op te bouwen. Hoewel recente geheugenaugmentatie-agenten proberen om verleden trajecten op te slaan, lijden bestaande benaderingen aan drie primaire tekortkomingen:

Kortstondigheidsbias: Iteratief herschrijven van geheugen verwijdert essentiële details, wat leidt tot verlies van domeinspecifieke kennis.
Unimodale focus: Huidige systemen registreren voornamelijk hoog-niveau logische samenvattingen, waarbij de visuele gronding en perceptuele aanwijzingen die essentieel zijn voor multimodaal redeneren, worden weggegooid.
Misalignering met menselijke cognitie: Menselijk semantisch geheugen is multimodaal en geïntegreerd, waarbij visuele en abstracte kennis worden behouden via distincte maar gecoördineerde stromen. Bestaande AI-systemen repliceren deze scheiding niet; ze verwarren vaak visuele aandachtfouten met logische redeneerfouten.

Onderzoek wijst uit dat visuele perceptiefouten (bijvoorbeeld verkeerde interpretatie van diagrammen) logische redeneerfouten vaak overtreffen en fungeren als een primaire bottleneck, waardoor downstream logische hallucinaties ontstaan. Daarom is een geheugenkader nodig dat visuele en logische fouten behandelt als distincte, gestructureerde entiteiten voor progressief leren.

Methodologie: ViLoMem

De auteurs stellen ViLoMem voor, een dual-stream geheugenkader ontworpen voor agentische leraren. Het werkt volgens een "groei-en-verfijn"-principe, waarbij compacte, schema-gebaseerde geheugens worden geconstrueerd die visuele afleidingspatronen en logische redeneerfouten afzonderlijk coderen.

Kernarchitectuur

Het systeem onderhoudt twee distincte geheugenbanken:

Logisch Geheugen ( $M_L$ ): Bewaart tekstuele redeneerrichtlijnen, theorema-toepassingen en logische drogredenen.
Visueel Geheugen ( $M_V$ ): Bewaart visuele richtlijnen gekoppeld aan bronafbeeldingen, met focus op perceptieve valkuilen, objectattributen en ruimtelijke relaties.

De Geheugencyclus

Het kader werkt via een gesloten-luscyclus die vier fasen omvat:

Retrievale: Gegeven een nieuwe multimodale invoer (afbeelding $I_i$ $I_{i}$ , vraag $q_i$ $q_{i}$ ), voert het systeem parallelle retrievales uit vanuit beide geheugenbanken.
- Visuele Retrieval: Gebruikt een twee-staps pipeline. Eerst wordt een zoekopdracht op basis van afbeeldings-embedding-similariteit uitgevoerd om visueel vergelijkbare diagrammen te vinden. Vervolgens wordt tekst-embedding-filtering toegepast met een verrijkte query (originele vraag + probleemanalyse) om semantische relevantie te waarborgen. Cruciaal genereert het vraag-bewuste attentiekaarten om historisch foutgevoelige gebieden in de query-afbeelding te markeren.
- Logische Retrieval: Gebruikt probleemanalyse om vakdomeinen en sleutelconcepten te extraheren, waarbij een verrijkte query wordt geconstrueerd voor tekst-embedding-similariteitsmatching tegen logische schema's.
Utilisatie: De solver (MLLM) integreert de originele invoer met de opgehaalde logische en visuele richtlijnen om een kandidaat-antwoord te genereren.
Verificatie: Een verifier vergelijkt het kandidaat-antwoord met de ground truth.
Generatie (Update): Bij detectie van een fout attribueert een parallel generatieproces het falen aan de visuele of logische stroom (of beide).
- Visuele Generatie: Een MLLM analyseert de afbeelding en redeneertrace om visuele misinterpretaties te identificeren (bijvoorbeeld objectverwarring, over het hoofd geziene symbolen) en genereert een gestructureerde visuele richtlijn.
- Logische Generatie: Een LLM analyseert de redeneerketen op niet-visuele fouten (bijvoorbeeld verkeerde toepassing van formules, rekenfouten) en genereert een logische richtlijn.
- Samenvoegen/Verfijnen: Voorafgaand aan opslag voert het systeem een similariteitscontrole uit tegen bestaande geheugens. Als een nieuwe richtlijn voldoende vergelijkbaar is met een bestaande, worden ze samengevoegd om redundantie en erosie van details te voorkomen. Anders wordt een nieuwe vermelding aangemaakt.

Belangrijkste Technische Innovaties

Dual-Stream Decoupling: Door visuele en logische foutpatronen te scheiden, vermijdt het systeem de "detail-erosie" die gebruikelijk is in single-stream geheugen en maakt het gerichte correctie van specifieke faalmodi mogelijk.
Vraag-bewuste Visuele Aandacht: In tegenstelling tot standaard afbeeldingsretrieval genereert ViLoMem attentiekaarten die zijn geconditioneerd op de specifieke vraag en bekende foutpatronen, waardoor het model wordt geleid om te kijken naar taakrelevante gebieden.
Groei-en-verfijn Mechanisme: Het systeem accumuleert kennis incrementeel terwijl het vergelijkbare foutpatronen filtert, wat zorgt voor lange-termijn schaalbaarheid zonder catastrofale vergetelheid.

Belangrijkste Bijdragen

Dual-Stream Geheugenkader: De introductie van ViLoMem, dat visuele afleidingspatronen en logische hallucinatiefouten expliciet modelleert als separate, gestructureerde schema's, geïnspireerd door de architectuur van menselijk semantisch geheugen.
Gespecialiseerde Retrievalstrategieën: De ontwikkeling van een twee-staps visuele retrievalpipeline (afbeeldingsimilariteit + vraag-specifiek tekstfiltering) en een logisch retrievalmechanisme gebaseerd op probleemanalyse, waardoor precieze geheugenvolmatching mogelijk wordt.
Progressief Leren zonder Vergeten: Een mechanisme dat MLLM's in staat stelt om over tijd te leren van zowel succesvolle als gefaalde ervaringen, waardoor herhaalde fouten worden verminderd via iteratieve zelfcorrectie.
Cross-Model Kennisoverdracht: Demonstratie dat geheugen dat is gedistilleerd uit sterkere modellen de prestaties van kleinere, resource-beperkte modellen effectief kan verbeteren zonder expliciete fine-tuning.

Experimentele Resultaten

ViLoMem werd geëvalueerd over zes multimodale benchmarks: MMMU, MathVista, MathVision, HallusionBench, MMStar en RealWorldQA.

Prestatiewinst: Het kader verbeterde consistent de pass@1-nauwkeurigheid over alle geteste modellen (GPT-4.1, Qwen3-VL-235B en Qwen3-VL-8B). Opmerkelijke verbeteringen werden waargenomen in wiskundige redeneertaken, waar visueel-logische koppeling cruciaal is (bijvoorbeeld zag GPT-4.1 een winst van +6,48 punten op MathVision).
Ablatiestudies: Het verwijderen van ofwel de visuele ofwel de logische stroom resulteerde in consistente prestatiedegradatie, wat bevestigt dat beide stromen noodzakelijk en complementair zijn. De visuele stroom bleek de dominante factor in foutgeneratie (59%–93% van de opgeslagen gevallen), wat visuele perceptie als primaire bottleneck benadrukt.
Schaalbaarheid: Experimenten op de WeMath-benchmark toonden aan dat de nauwkeurigheid verbeterde naarmate het geheugenpool groeide van 15k naar 150k tokens, wat effectieve lange-termijn schaalbaarheid zonder catastrofale vergetelheid aantoont. Cross-domein geheugenoverdracht toonde aan dat taak-uitgelijnde geheugens essentieel zijn voor optimale prestaties, terwijl cross-domein overdracht slechts gedeeltelijke voordelen bood.
Efficiëntie: ViLoMem bereikte hogere nauwkeurigheid met aanzienlijk lagere retrievallatentie en opslagkosten in vergelijking met bestaande geheugenmethoden zoals Dynamic-Cheatsheet, dankzij zijn selectieve updatestrategie (alleen het opslaan van onjuiste antwoorden) en efficiënte twee-staps retrieval.

Betekenis en Claims

Het artikel beweert dat ViLoMem een fundamentele verschuiving vertegenwoordigt van geïsoleerde probleemoplossing naar progressief, levenslang leren voor multimodale agenten. Door AI-geheugenmechanismen af te stemmen op menselijke cognitieve principes – specifiek de scheiding van visuele en logische verwerkingsstromen – stelt het systeem modellen in staat om:

Systematisch herhaalde visuele en logische fouten te verminderen.
Kennis over domeinen en modelschalen te transfereren.
Stabiele, generaliseerbare strategieën te behouden terwijl de "kortstondigheidsbias" van iteratief context-engineering wordt vermeden.

De auteurs positioneren ViLoMem niet louter als een tool voor retrieval-augmentatie, maar als een fundamenteel mechanisme voor het bouwen van agentische leraren die capable zijn van continue zelfverbetering in complexe, multimodale wetenschappelijke redeneertaken. Het werk suggereert dat toekomstige vooruitgang in MLLM's zal afhangen van het vermogen om distincte modaliteiten van geheugen te ontkoppelen en te coördineren, in plaats van ze te behandelen als een monolithische context.