Technische Samenvatting: ReVision – Schalen van Computer-Use Agents via Temporele Visuele Redundantiereductie

Probleemstelling

Computer-use agents (CUAs) vertrouwen op multimodale grote taalmodellen (MLLMs) om te interageren met grafische gebruikersinterfaces (GUI's) door sequenties van screenshots te verwerken. Een kritieke bottleneck bij het schalen van deze agents naar taken met een lange horizon is de snelle toename van visuele tokenkosten. Naarmate interactietrajecten groeien, introduceert het toevoegen van vorige screenshots aan de modelcontext honderden of duizenden visuele tokens per afbeelding.

De auteurs identificeren dat opeenvolgende GUI-screenshots aanzienlijke temporele redundantie vertonen. In de meeste stappen veranderen slechts kleine gebieden van de interface (bijvoorbeeld een klik op een knop of een tekstupdate), terwijl het grootste deel van het scherm statisch blijft. Standaard MLLMs verwerken elke afbeelding onafhankelijk, waarbij bijna identieke visuele tokens herhaaldelijk worden gecodeerd. Deze inefficiëntie put contextbudgetten uit, waardoor agents gedwongen worden nuttige historische informatie te verwijderen of de lengte van de trajecten die ze kunnen verwerken, wordt beperkt. Bijgevolg stagneert de prestatie vaak of verslechtert deze zelfs bij het toevoegen van meer geschiedenis, niet omdat vorige informatie nutteloos is, maar omdat de tokenrepresentatie inefficiënt is.

Methodologie: ReVision

Om dit aan te pakken, introduceren de auteurs ReVision, een redundantiebewust trainingskader dat ontworpen is om onnodige visuele tokens te reduceren terwijl de ruimtelijke structuur en taakrelevante informatie die nodig is voor redeneren, behouden blijven. De aanpak bestaat uit twee hoofdbestanddelen:

1. ReVision Tokenselectie (RTS)

In de kern van het kader staat een lichtgewicht, geleerde patchselector (een MLP met drie lagen) die getraind is om redundante visuele patches over opeenvolgende screenshots te identificeren.

• Mechanisme: Voor een trajectstap $t$ vergelijkt de RTS-module de patch-niveau embeddings van de huidige screenshot ($I_t$) met de corresponderende patches van de vorige screenshot ($I_{t-1}$).
• Trainingsopdracht: Het model wordt getraind met labels gegenereerd door OmniParserV2, die screenshots segmenteert in semantische regio's. Patches worden als redundant gelabeld als hun corresponderende regio's in opeenvolgende afbeeldingen een hoge Intersection over Union (IoU) hebben, wat ongewijzigde inhoud aangeeft. Deze matching op regio-niveau wordt verkiest boven ruwe pixelgelijkheid om kleine variaties zoals renderingsruis of cursorbeweging te hanteren.
• Output: De RTS produceert een binaire masker $m_t$ voor elke stap, waarbij patches die visueel redundant zijn ten opzichte van het vorige frame, worden gefilterd.

2. Training met Gefilterde Trajecten

In plaats van tokenreductie te behandelen als een post-processing-stap, integreert ReVision het filtermechanisme direct in de trainingspijplijn.

• Dataconstructie: Het model wordt fine-tuned op AgentNet-trajecten waarbij redundante patches worden verwijderd uit alle afbeeldingen in het geschiedenisvenster, behalve de eerste (die intact wordt gehouden om ruimtelijke uitlijning te behouden).
• Inferentieconsistentie: Tijdens inferentie wordt dezelfde RTS-filtering toegepast. Het model baseert zich op de volledige tekstuele context (redenering en acties uit vorige stappen) maar ontvangt een gecomprimeerde set visuele tokens $\{V'_1, \dots, V'_t\}$.
• Ruimtelijke Behoud: Cruciaal behoudt het filterproces de oorspronkelijke positionele indices van de behouden tokens. Dit zorgt ervoor dat de attentiemechanismen en positionele coderingen van het model (bijvoorbeeld m-ROPE) geldig blijven, waardoor het model kan redeneren over de compacte visuele geschiedenis zonder ruimtelijke coherentie te verliezen.

Belangrijkste Bijdragen

Het artikel schetst drie hoofdbijdragen:

1. Kwantificering van Redundantie: De auteurs tonen aan dat een aanzienlijk deel van de visuele tokens in GUI-trajecten redundant is. Over meerdere benchmarks (OSWorld, AgentNetBench, WebTailBench, enz.) blijft gemiddeld 45,4% van de patches ongewijzigd tussen opeenvolgende stappen, waarbij sommige omgevingen meer dan 56% redundantie vertonen.
2. Het ReVision-kader: Zij introduceren een methode om MLLMs te trainen op trajecten waarbij redundante patches dynamisch worden verwijderd. Dit stelt het model in staat te redeneren over compacte visuele geschiedenissen zonder de onderliggende architectuur te wijzigen, en vertrouwt in plaats daarvan op temporeel verdeeld bewijs.
3. Herwaardering van Geschiedenis-schaling: Het werk daagt de observatie uit dat prestaties van visuele geschiedenis vroeg verzadigen. De auteurs tonen aan dat verzadiging een gevolg is van inefficiënte tokenrepresentaties; wanneer redundantie wordt verwijderd, blijft de prestatie verbeteren naarmate meer waarnemingen uit het verleden worden opgenomen.

Experimentele Resultaten

De auteurs evalueerden ReVision met Qwen2.5-VL-7B over drie benchmarks: OSWorld, WebTailBench en AgentNetBench.

• Token-efficiëntie: Bij het verwerken van trajecten met 5 historische screenshots reduceert ReVision het tokengebruik met ongeveer 46% gemiddeld in vergelijking met een baseline die alle patches behoudt.
• Prestatiewinst: Ondanks het verminderde tokenaantal verbetert ReVision het slagingspercentage met 3% ten opzichte van de "no-drop"-baseline. In specifieke benchmarks zoals WebTailBench bedraagt de verbetering tot 14 procentpunten.
• Schalingsgedrag:
  • Baseline: Standaard modellen tonen afnemende meerwaarde of prestatieverzadiging naarmate de geschiedenislengte toeneemt (bijvoorbeeld piekend rond 7 afbeeldingen) als gevolg van uitputting van het contextbudget.
  • ReVision: Door redundante tokens te verwijderen, wordt het verzadigingspunt uitgesteld (tot 11 afbeeldingen), waardoor het model effectief langere geschiedenissen kan benutten binnen hetzelfde rekenbudget.
• Trajectlengte: ReVision-agents lossen taken efficiënter op en vereisen minder interactiestappen om taken te voltooien. Op OSWorld bijvoorbeeld werd de gemiddelde trajectlengte met 4 stappen verkort terwijl hogere slagingspercentages werden behaald.
• Vergelijking met Andere Strategieën: ReVision presteert beter dan naïeve token-dropstrategieën (random, spiraal) en eenvoudige op gelijkheid gebaseerde filtering (pixel of embedding cosine-gelijkheid). Hoewel regio-gebaseerde methoden die OmniParser tijdens inferentie gebruiken iets hogere prestaties opleveren, leiden ze tot onaanvaardbare latentie (>550ms). ReVision bereikt vergelijkbare winsten met lage latentie (~22ms).
• Generalisatie: De methode generaliseert over verschillende modelfamilies (Qwen2.5-VL-7B en Qwen3-VL-8B) en verslechtert de prestaties niet in settings met één afbeelding, wat bevestigt dat de verschuiving in trainingsverdeling de standaard grondingsvaardigheden niet schaadt.

Betekenis en Claims

Het artikel stelt dat de primaire barrière voor het schalen van computer-use agents niet het gebrek aan historische informatie is, maar de inefficiëntie van visuele tokenrepresentaties. Door temporele redundantie expliciet te modelleren en te verwijderen, verschuift ReVision de efficiëntiegrens, waardoor agents langere, informatieverrijkte trajecten kunnen verwerken zonder rekenkosten te verhogen.

De auteurs concluderen dat de vaak waargenomen verzadiging in prestaties van visuele geschiedenis een artefact is van contextbudgetbeperkingen in plaats van een beperking van de bruikbaarheid van de informatie. Door het contextbudget vrij te maken via redundantiereductie, kunnen agents langere geschiedenissen opnemen, wat leidt tot betere redenering en besluitvorming op lange horizon. Het werk suggereert dat toekomstige schaling van visueel redeneren zich moet richten op het behouden van nuttige informatie binnen beperkte budgetten in plaats van simpelweg meer ruwe data te accumuleren.