Technische Samenvatting: FocusMem

Probleemstelling

GUI-agenten hebben geheugen nodig op twee complementaire temporele schalen: episodisch geheugen (herbruikbaar bewijs uit voltooide taken) en werkgeheugen (beperkingen en voortgang binnen de huidige interactie). Bestaande benaderingen kampen met een trade-off: het herafspelen van volledige multimodale trajecten is computationeel duur en vergroot de context van het beleid (policy), terwijl tekstgebaseerd geheugen kritieke visuele of procedurele details verliest.

Latente geheugen biedt een oplossing door multimodale trajecten te comprimeren tot een paar continue tokens. Huidige methoden voor latent geheugen lijden echter aan drie specifieke faalmodi vanwege hun "one-shot" mapping van een traject naar een enkele, vaste latente blok:

1. Inhoudelijke Herstelbaarheid (Content Recoverability): Belangrijke details kunnen verloren gaan tijdens compressie omdat één enkel blok zowel als bruikbare ervaring als voor de huidige taakvoortgang moet dienen, wat verschillende informatievereisten heeft.
2. Conditionele Readout (Conditional Readout): Een vast geheugenblok kan zich niet aanpassen aan verschillende beslissingsfasen. Dezelfde gecomprimeerde bewijslast kan verschillende delen van een traject moeten benadrukken, afhankelijk van of de agent aan het zoeken, filteren of verifiëren is.
3. Bewijsvertrouwen (Evidence Trust): Ongerelateerde of niet-overeenstemmende trajecten kunnen worden opgehaald, maar vaste latente blokken blijven het beleid beïnvloeden, wat de agent potentieel kan misleiden.

Methodologie: FocusMem

FocusMem pakt deze problemen aan door de latente geheugeninterface te factoriseren in drie afzonderlijke verantwoordelijkheden: Inhoudsvorming, State-Conditioned Readout en Bewijsvertrouwen. Het framework werkt met een bevroren GUI-beleid (frozen GUI policy) en optimaliseert alleen het geheugentraject.

1. Bewijsvorming (Evidence Construction)

• Episodisch Bewijs: Volledige trajecten die zijn opgehaald uit een episodische bank.
• Werkend Bewijs: Gesegmenteerde stukken van de verlopen prefix van de huidige interactiegeschiedenis.
• Beider worden gemapt naar een $K$-token latent blok.

2. Gefactoriseerd Latent Geheugen

De architectuur bestaat uit drie stadia:

• Stadium A: Rolbewust Inhoudsbasis (Wat blijft herstelbaar?)

  • In plaats van gedeelde queries introduceert FocusMem rolspecifieke basisqueries ($Q_{0}^{ri}$) voor episodisch en werkend geheugen.
  • Semantische Supervisie: Een KL-divergentie verlies zorgt ervoor dat het latente blok breed verbaal beschrijfbare trajectinhoud behoudt.
  • Functionele Supervisie: Een rolls-specifieke pseudo-target loss ($\hat{v}^{ri}_i$) zorgt ervoor dat het blok controle-relevante informatie behoudt (bijv. herbruikbare procedures voor episodisch geheugen, statusveranderingen voor werkend geheugen).
  • Dit stadium vestigt een stabiele, rolls-specifieke fundering die onafhankelijk is van de huidige beslissingstoestand.

• Stadium B: State-Conditioned Readout (Wat wordt nu blootgesteld?)

  • Een lichtgewicht state–item adapter genereert een residuele query ($\Delta Q_{t,i}$) op basis van de huidige beslissingstoestand ($u_t$) en de gecodeerde item.
  • Het uiteindelijke beslissingsgerichte blok ($Z^{dynamic}_{t,i}$) wordt gegenereerd door cross-attention toe te passen van de dynamische query op het bewijs.
  • Dit stelt hetzelfde opgeslagen bewijs in staat om verschillende latente representaties te produceren afhankelijk van de huidige interactiefase, waardoor alleen de relevante delen van het traject naar boven komen.

• Stadium B: Bewijsvertrouwen (Moet het gebruikt worden?)

  • Een lichtgewicht trust gate scoort elk beslissingsgericht geheugenblok.
  • Tijdens inferentie worden blokken met een score onder een drempelwaarde $\gamma$ gedropt en verwijderd uit de aandacht van het beleid.
  • Tijdens training wordt een straight-through HardConcrete mask gebruikt en wordt er met hoge zekerheid irrelevante episodische items geïnjecteerd om de gate te leren mismatched bewijs te onderdrukken.

3. Optimalisatie

De training verloopt in twee stadia:

• Stadium A: Traint de rolbewuste inhoudsbasis met vaste queries en semantische/functionele supervisie.
• Stadium B: Initialiseert vanuit Stadium A, waarbij de dynamische query residual en de trust gate worden geactiveerd. De gedeelde compressor, de conditionele readout en de trust module worden gezamenlijk geoptimaliseerd terwijl het beleid bevroren blijft.

Belangrijkste Bijdragen

1. Probleemformulering: De auteurs formuleren compact latent GUI-geheugen rond drie onderscheidende verantwoordelijkheden: het vormen van herstelbare inhoud, het aanpassen van de beleidsgerichte weergave aan de huidige beslissing, en het controleren van de invloed op het beleid.
2. FocusMem Framework: Een latent-geheugenframework met een bevroren beleid dat deze verantwoordelijkheden realiseert via een rolbewuste inhoudsbasis, een state-conditioned readout en een onafhankelijke block-level trust gate.
3. Uitgebreide Evaluatie: Gekoppelde evaluaties over vijf GUI-agent benchmarks (MMInA-Wikipedia, MMInA-Shopping, DeepShop, WebVoyager, Online-Mind2Web) en gerichte diagnostiek die de bron van prestatiewinsten isoleren.

Experimentele Resultaten

FocusMem werd geëvalueerd tegen agenten zonder geheugen, ruwe trajectreplay en eerdere latente geheugenadaptaties (CoMEM-stijl, HyMEM-stijl, Mem-W-stijl).

• Prestaties: FocusMem presteert consistent beter dan alle baselines. Het verbetert de taaksuccesratio's (SR) met +10,8 tot +18,0 punten ten opzichte van een volledig gematchte "Action-only Fixed" baseline over de vijf benchmarks.
• Efficiëntie: Het bereikt deze winsten terwijl het geheugeninterface compact blijft (maximaal 48 latente tokens vóór gating) en het gemiddelde aantal uitgevoerde stappen per taak vermindert.
• Ablatie-studies:
  • Content Basis: Het combineren van semantische en functionele supervisie levert de beste herstelbaarheid voor zowel algemene inhoud als rolls-specifieke informatie.
  • Dynamic Readout: Hoewel vaste en dynamische readouts vergelijkbaar presteren met beknopte bewijslast, is de dynamische readout aanzienlijk robuuster wanneer relevante inhoud moet concurreren met aanvullende trajectcontext onder een compacte bottleneck.
  • Trust Gate: De gate onderdrukt effectief geïnjecteerd irrelevant bewijs, waardoor prestatievermindering wordt voorkomen die de niet-gated baselines treft.

Betekenis en Claims

Het artikel claimt dat effectief latent geheugen niet enkel afhangt van het comprimeren van eerdere interacties, maar van wat wordt behouden, wat wordt blootgesteld en wat wordt toegestaan om het beleid te beïnvloeden. Door deze verantwoordelijkheden te scheiden, demonstreert FocusMem dat:

• Episodisch en werkend geheugen verschillende rollen dienen die verschillende strategieën voor inhoudsbehoud vereisen.
• Een enkel traject verschillende informatie kan bieden op verschillende interactiefases, in plaats van te vertrouwen op een vaste samenvatting.
• Mismatched bewijs kan worden uitgesloten onder een begrensde contextbudget, wat voorkomt dat de agent wordt misleid door opgehaalde maar irrelevante historie.

De auteurs concluderen dat het scheiden van inhoudsvorming, state-conditioned readout en bewijsvertrouwen een compact maar sterker geheugeninterface oplevert, wat suggereert dat toekomstige latente geheugensystemen deze afzonderlijke mechanismen expliciet moeten modelleren in plaats van geheugen te behandelen als een monolithisch gecomprimeerd blok.