🤖 machine learning

Mem-W: Latent Memory-Native GUI Agents

Mem-W introduceert een nieuwe klasse van GUI-agenten die historische en werkgeheugen direct integreren in de latente context van het model als compacte tokens, waardoor de discrepantie tussen externe symbolische geheugens en interne representaties wordt geëlimineerd om de prestaties bij taken met een lange horizon aanzienlijk te verbeteren op web- en mobiel benchmarks.

Oorspronkelijke auteurs: Guibin Zhang, Yaohui Ling, Fanci Meng, Kun Wang, Shuicheng Yan

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guibin Zhang, Yaohui Ling, Fanci Meng, Kun Wang, Shuicheng Yan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Notitieboek" versus het "Brein"

Stel je voor dat je probeert een robot te leren navigeren in een complexe videospelwereld (zoals een website of een mobiele app). De robot moet dingen onthouden: "Ik klikte drie schermen geleden op de verkeerde knop," of "Ik zag in een vorig spel een menu dat er zo uitzag."

De Oude Manier (Het Notitieboek):
De meeste huidige AI-agenten werken als een student met een fysiek notitieboek. Wanneer ze iets moeten onthouden, stoppen ze, schrijven ze een samenvatting in het notitieboek (bijvoorbeeld: "De gebruiker wilde schoenen kopen, maar de winkelwagen was leeg"), lezen ze het terug en proberen ze die tekst vervolgens te gebruiken om te beslissen wat ze als volgende moeten doen.

De Tekortkoming: Dit is als een gedachte vertalen van Engels naar Frans, het opschrijven, terugvertalen naar Engels en daarna pas erover nadenken. Het is traag, onhandig en je kunt de nuance van het oorspronkelijke gevoel verliezen. De robot vertaalt zijn eigen geschiedenis constant naar "menselijk leesbare notities" voordat hij ze kan gebruiken.

De Mem-W Oplossing (Het Brein):
De auteurs van dit artikel, Mem-W, zeggen: "Waarom vertalen we überhaupt?"
In plaats van notities te schrijven, zet Mem-W de volledige geschiedenis van de robot om in ruwe, continue elektrische signalen (zogenaamde "latente tokens") die direct in het brein van de robot passen. Het is alsof de robot geen notitieboek nodig heeft; hij voelt het geheugen gewoon als onderdeel van zijn huidige denkproces.

Hoe Mem-W Werkt: De "Geheugenwever"

Stel je Mem-W voor als een meesterwever die twee verschillende soorten garen neemt en tot één naadloze stof spint die de robot kan dragen.

1. De Twee Soorten Garen

De robot heeft twee soorten geheugen nodig:

Werkgeheugen (Het "Nu" Garen): Dit is wat er in de laatste paar seconden van de huidige taak is gebeurd. (Bijvoorbeeld: "Ik heb zojuist naar beneden geschrold en een rode knop gezien.")
Ervaringsgeheugen (Het "Vroeger Ervaring" Garen): Dit is wat er is gebeurd in andere taken die de robot eerder heeft uitgevoerd. (Bijvoorbeeld: "De vorige keer dat ik een rode knop zag, was het een 'Verwijderen'-knop, dus ik moet voorzichtig zijn.")

2. De Magische Compressor (Het "Spinnenwiel")

In het verleden werden deze twee garens in aparte dozen bewaard. Mem-W introduceert een Compressor.

Stel je een machine voor die een lange, rommelige video van een taak opneemt en deze verkleint tot een tiny, dichte "geheugenchip".
Het vat de video niet samen tot tekst; het zet de video om in een gecomprimeerd signaal dat het brein van de robot direct kan begrijpen.
Cruciaal is dat het zowel het "Nu"-garen als het "Vroeger Ervaring"-garen comprimeert met behulp van dezelfde machine. Dit betekent dat ze dezelfde taal spreken.

3. Het Weven (De "Naadloze Stof")

Zodra de garens zijn gecomprimeerd tot deze tiny chips, weeft Mem-W ze samen met het huidige beeld van het scherm van de robot.

Resultaat: De robot kijkt naar het scherm en ziet één continue stroom van informatie. Het ziet niet "Huidig Scherm" + "Oude Notities". Het ziet "Huidig Scherm + Vroegere Lessen + Huidige Vooruitgang", allemaal gemengd in één vloeiende gedachte.

Hoe Het Leert: "Leren door Te Doen"

Het artikel beschrijft een trainingsproces in twee stappen om deze wever te leren werken:

Fase 1: De "Schaduw" Leraar (Zelf-distillatie)
- De robot krijgt een lange, perfecte video te zien van een mens die een taak uitvoert.
- De robot probeert de mens na te bootsen met alleen de gecomprimeerde geheugenchips.
- Als de robot een fout maakt, leert het de "compressie" aan te passen zodat de belangrijkste details (zoals "klik niet op de rode knop") behouden blijven in de tiny chip. Het is als een student die probeert een heel boek te memoriseren door alleen de belangrijkste plotpunten te onthouden, en vervolgens te controleren of het verhaal klopt.
Fase 2: De "Uitkomst" Coach (Uitkomstbewuste Supervisie)
- Nu probeert de robot taken zelfstandig op te lossen.
- Als het slaagt, zegt het systeem: "Geweldig! Bewaar die geheugenchips precies zoals ze zijn."
- Als het faalt, zegt het systeem: "Slecht! Die geheugenchips hebben je niet geholpen om de valstrik te vermijden. Verander ze."
- Dit leert de robot specifiek te onthouden wat leidt tot succes en wat leidt tot falen, en ruis eruit te filteren.

De Resultaten: Waarom Het Belangrijke Is

Het artikel testte Mem-W op vier verschillende "werelden" (websites en mobiele apps). Dit is wat er gebeurde:

Het Is Sneller en Slimmer: Door de stap "vertalen naar tekst" over te slaan, maakte de robot minder fouten en voltooide het taken vaker.
Het Werkt Ook op Kleine Breinen: Zelfs toen ze een kleiner, minder krachtig AI-model gebruikten, zorgde het toevoegen van Mem-W ervoor dat het net zo goed (of beter) presteerde als veel grotere modellen zonder dit geheugensysteem.
Het "Sweet Spot": Ze ontdekten dat het ophalen van ongeveer 5 vroegere ervaringen en het comprimeren van de huidige geschiedenis de perfecte balans was. Te veel geheugen vertraagde het; te weinig maakte het vergeetachtig.

De Conclusie

Mem-W is een nieuwe manier voor AI-agenten om te onthouden. In plaats van een dagboek bij te houden van wat ze deden, zetten ze hun volledige geschiedenis om in een native taal die hun brein vloeiend spreekt. Dit stelt hen in staat om gelijktijdig te leren van eerdere fouten en huidige vooruitgang, waardoor ze veel beter zijn in het navigeren door complexe digitale werelden zoals het internet en smartphones.

Kortom: Mem-W stopt de AI met het schrijven van een dagboek en laat het in plaats daarvan dromen in zijn eigen native taal.

Technische Samenvatting: Mem-W: Latente, geheugen-native GUI-agenten

Probleemstelling

Graphical User Interface (GUI)-agenten krijgen steeds vaker de taak complexe omgevingen met een lange horizon te bedienen op web-, mobiel- en desktopplatforms. Succesvolle besturing in deze omgevingen vereist dat de agent visuele, procedurele en taakgerelateerde bewijsstukken behoudt die veel verder reiken dan het directe scherm. Echter, huidige benaderingen behandelen geheugen als een extern, door mensen leesbaar artefact. Bestaande systemen vatten interactiegeschiedenissen typisch samen, categoriseren en halen ze op als tekst of gestructureerde records (bijvoorbeeld grafieken, lijsten of gelaagde toestanden) voordat ze opnieuw worden gecodeerd in het beleid van het model.

Dit creëert een fundamentele representatieve mismatch: de ervaring wordt opgeslagen in een symbolisch formaat (tekst/gestructureerde records) dat verschilt van de continue latente inbeddingssequentie waarover moderne Vision-Language Models (VLM's) daadwerkelijk opereren. Dit vereist herhaalde vertaling tussen formaten en dwingt ontwerpers vooraf geheugen-ontologieën te definiëren (categorieën, representatieformaten en interface-regels) die mogelijk niet aansluiten bij de specifieke structurele behoeften van downstream-taken. De auteurs stellen dat dit "ontologie-eerst"-paradigma de capaciteit van de agent beperkt om organisch te leren welke informatie relevant is voor taaksucces.

Methodologie: Mem-W

Het artikel introduceert Mem-W, een reeks latente, geheugen-native GUI-agenten die de kloof tussen geheugenslag en beleidsuitvoering elimineren. In plaats van externe symbolische steigers behandelt Mem-W geheugen als een continu onderdeel van de context van de agent, direct geweven in de inbeddingsruimte.

Kernarchitectuur

Unificatie van Latente Ruimte: Mem-W verenigt twee verschillende geheugenschaal in één leerbare ruimte:
- Ervaringsgeheugen: Lange-horizon, cross-sessie historische trajecten opgehaald uit een externe bank.
- Werkgeheugen: Korte-horizon, intra-sessie geschiedenis (het "verlopen voorvoegsel" van het huidige episode).
Traject-naar-Latent Compressor ( $C_\phi$ ): Een gedeelde, lichtgewicht compressor (geïmplementeerd als een query-gebaseerde transformer volgens het Q-Former-ontwerp) mapt variabele lengte waarneming-actie segmenten naar vaste grootte latente blokken ( $K \times d$ $K \times d$ ).
- Het verwerkt zowel opgehaalde historische trajecten als het verlopen voorvoegsel van het huidige episode.
- Het integreert een uitkomst-inbedding ( $\gamma(y)$ ) die codeert of een traject resulteerde in succes of falen, waardoor de agent procedurele polariteit kan onderscheiden zonder expliciete filterregels.
- Voor online werkgeheugen waar de uitkomst onbekend is, wordt een speciaal "onbekend"-markering gebruikt.
Dual-Scale Weven: Tijdens inferentie worden de gecomprimeerde geheugentokens geweven met de huidige GUI-waarneming en lokale context tot één continue inbeddingssequentie. De bevroren GUI-agentbeleid ( $\Pi_\theta$ ) besteedt vervolgens aandacht aan deze unificatie sequentie als native context, in plaats van als externe notities.

Trainingsstrategie

Mem-W hanteert een tweestaps trainingsprocedure om de compressorparameters ( $\phi$ ) te optimaliseren terwijl het ruggengraat GUI-agent ( $\Pi_\theta$ ) bevroren blijft:

Fase 1: Zelfdistillatie: De compressor leert om ruwe historische context te vervangen. Een "leraar"-agent observeert een uitgebreid ruw venster van geschiedenis, terwijl een "student"-agent de latente-augmentatie input observeert. Het doel minimaliseert de divergentie tussen de actie-distributies van de leraar en de student, waardoor de latente tokens beslissingsrelevante toestanden moeten vastleggen.
Fase 2: Uitkomst-bewuste Supervisie: Het systeem optimaliseert de compressor met behulp van omgevingsfeedback (terminale beloningen). Met behulp van een beleidsgradiëntdoelstelling (specifiek RLOO-gebaseerd) leert de compressor bewijs te coderen dat leidt tot taaksucces en patronen die falen veroorzaken te filteren, geleid door de uitkomst-inbeddingen.

Belangrijkste Bijdragen

Unificatie Formulering: Het artikel herformuleert de ingewikkelde hiërarchie van GUI-geheugen als één enkel latent representatieprobleem. Het betoogt dat werkgeheugen en ervaringsgeheugen compact kunnen worden verankerd in één leerbare ruimte waar taakrelevante structuur ontstaat via end-to-end optimalisatie, waardoor de noodzaak voor voorgeschreven taxonomieën wordt verwijderd.
Leerbaar Instantiëren: Mem-W biedt een concrete implementatie met een gedeelde traject-naar-latent compressor. Dit staat toe dat zowel opgehaalde historische data als online episode-voorvoegsels worden geprojecteerd in een unificatie latent ruimte, getraind via zelfdistillatie en uitkomst-bewuste supervisie.
Empirisch Bewijs: Uitgebreide experimenten tonen aan dat deze benadering consistent diverse ruggengraten verbetert en agenten met handmatig ontworpen geheugenarchitecturen overtreft.

Experimentele Resultaten

Mem-W werd geëvalueerd op vier benchmarks: Multimodal-Mind2Web, MMInA (webnavigatie), GUI-Odyssey en AndroidControl-v2 (mobiele navigatie).

Prestatiewinst: Mem-W verbeterde consistent de prestaties over alle geteste ruggengraten (waaronder UI-TARS, Qwen3-VL en UI-Venus).
- Op MMInA behaalde Mem-W winsten tot +30,0 procentpunten ten opzichte van basismodellen (bijvoorbeeld UI-Venus-1.5-8B verbeterde van 18,5% naar 48,5%).
- Op Multimodal-Mind2Web varieerden de verbeteringen van +8,83 tot +20,58 punten, afhankelijk van de ruggengraat en de taaksubset.
- Op AndroidControl-v2 behaalde Mem-W-8B een Pass@4-score van 81,16, wat eigentijdse modellen zoals GPT-5+UGround en grotere open-source baselines overtrof.
Vergelijking met Geheugen-verrijkte Agenten: Mem-W presteerde beter dan bestaande geheugen-verrijkte agenten (bijvoorbeeld ReasoningBank, AWM, CoMEM, HyMEM). De auteurs schrijven dit toe aan het vermogen van Mem-W om trajecten dynamisch te distilleren tot compacte, beslissingsrelevante latente samenvattingen en het gebruik van uitkomst-bewuste supervisie, terwijl concurrenten vaak vertrouwen op grove truncatie of imitatie van expert-trajecten zonder expliciete succes/mislukking-conditionering.
Efficiëntie: Ondanks de extra compressiestap behield Mem-W een gunstige afweging tussen nauwkeurigheid en efficiëntie, waarbij vaak het aantal stappen dat nodig is om taken te voltooien werd verminderd en de frequentie van het bereiken van maximale staplimieten werd verlaagd ten opzichte van baselines.
Schaalbaarheid: De prestaties schaalden positief met de grootte van de externe geheugenbank (tot 50K trajecten) en het aantal opgehaalde trajecten, wat aangeeft dat het systeem grotere reservoirs van ervaring effectief benut.

Betekenis en Claims

Het artikel beweert dat latente-context-native geheugen dient als een schaalbare basis voor lange-horizon GUI-agentuur. Door geheugen te behandelen als een continu substraat in plaats van een extern symbolisch steiger, stelt Mem-W de agent in staat om successen, mislukkingen en onvoltooide voortgang te "lezen" via dezelfde machine-native interface die wordt gebruikt voor huidige waarnemingen.

De auteurs concluderen dat de bottleneck in lange-horizon GUI-agentuur niet enkel de modelgrootte is, maar hoe interactiegeschiedenis en eerdere ervaring worden gerepresenteerd en blootgelegd aan het beleid. Mem-W demonstreert dat een unificatie, end-to-end leerbaar latent interface voorgeschreven geheugenhiërarchieën kan vervangen, waardoor taakrelevante geheugenstructuren natuurlijk kunnen ontstaan uit training. Dit perspectief suggereert een weg naar interactieve multimodale agenten wiens bekwaamheid is gebouwd op geleerde latente contextinterfaces in plaats van handmatig ontworpen geheugenmodules.