Technische Samenvatting: MIRAGE (Mobile Agents with Implicit Reasoning and Generative World Models)

1. Probleemstelling

Mobiele agenten, die alledaagse applicaties bedienen op basis van screenshots en taaldoelen, staan voor een kritieke afweging tussen redeneervermogen en efficiëntie bij implementatie. Huidige state-of-the-art systemen (bijv. UI-TARS, MAI-UI) vertrouwen op expliciete Chain-of-Thought (CoT), waarbij modellen verbale tekstuele rationalisaties genereren voordat ze acties uitvoeren. Hoewel dit de besluitvorming verbetert, introduceert het aanzienlijke overhead:

• Inefficiëntie: Het genereren van lange tekstuele gedachten verhoogt de decoding-latentie en het tokenverbruik, wat de interactieve controle vertraagt.
• Kosten: Supervisie vereist menselijk geschreven of synthetische rationalisatiegegevens, wat de trainingskosten verhoogt.
• Implementatiebeperkingen: In real-world mobiele scenario's vertraagt elke extra token de feedback, waardoor expliciet redeneren onpraktisch is voor toepassingen met een lage latentie.

De kernuitdaging is om de capaciteiten voor meerstapsredeneren en toekomstige toestandvoorspelling van expliciete CoT te behouden, terwijl de kosten van het decoderen van tussenliggende gedachten naar zichtbare tekst worden geëlimineerd.

2. Methodologie

MIRAGE pakt dit aan door redeneren te verschuiven van de zichtbare tokenstream naar de continue latente ruimte. Het framework maakt gebruik van een tweefasige trainingspipeline en introduceert twee nieuwe componenten: Approximate Parallel Latent Refinement (APLR) en een Q-Former World Model head.

2.1 Latent-Thought Formulering

In plaats van een sequentie van tekstuele tokens $\tau_t$ gevolgd door een actie $a_t$ te genereren, genereert MIRAGE een sequentie van continue latente variabelen $z_t = (z_{t,1}, \dots, z_{t,N})$ binnen de decodercontext. Deze latente slots representeren de interne "gedachten" van de agent (observatie, rationale en toekomstige voorspelling) zonder gedetokeniseerd te worden. Het inferentieproces decodeert alleen de uiteindelijke actie-tokens, wat de outputlengte drastisch vermindert.

2.2 Approximate Parallel Latent Refinement (APLR)

Om het model te trainen om effectief te redeneren in de latente ruimte zonder de verboden kosten van seriële generatie, introduceert MIRAGE APLR.

• Concept: Traditionele latente CoT vereist seriële verfijning (één stap per keer), wat computationeel duur is. APLR behandelt het gedachtenblok als $N$ slots en verfijnt deze parallel over $K$ rondes (Jacobi-stijl).
• Mechanisme: In elke ronde $k$ worden alle latente slots $z_i^{(k+1)}$ simultaan bijgewerkt met behulp van de waarden uit ronde $k$.
• Theoretische Garantie: De methode biedt een bewijsbaar verband op de benaderingsfout. Na $K$ rondes komen de eerste $K$ latente slots exact overeen met de seriële oplossing, terwijl de resterende "staart"-slots een begrensde fout behouden.
• Efficiëntie: Dit vermindert de trainingskosten van $N$ seriële passes naar een klein aantal synchrone passes ($K \ll N$), doorgaans $K=3$.

2.3 Q-Former World Model Alignment

Een beperking van parallelle verfijning is dat de "staart"-latente slots (die vaak toekomstige toestandvoorspellingen bevatten) mogelijk niet voldoende gesuperviseerd worden door een actie-gebaseerde loss. Om dit aan te pakken, integreert MIRAGE een World Model perspectief:

• Doel: Het model wordt getraind om de visuele kenmerken van de volgende screenshot ($x_{t+1}$) te voorspellen op basis van de huidige latente redeneertoestand.
• Architectuur: Een lichtgewicht Q-Former head stemt de verfijnde latente toestanden af op stop-gradient visuele kenmerken die geëxtraheerd zijn uit de volgende screenshot door een bevroren visuele encoder.
• Voordeel: Dit dwingt de latente slots om omgevingsdynamiek en transitievoorspellingen te coderen, wat de representatie-instorting voorkomt en zorgt voor dichte supervisie voor de "voorspel"-dimensie van het denkproces.

2.4 Tweefasige Trainingspipeline

1. Fase 1 (Explicit CoT Warm-up): Het model wordt getraind op gestructureerde tekstsporen die <THOUGHT> (observatie, rationale, voorspelling) en <ACTION> blokken bevatten. Dit leert de backbone de mobiele actieruimte en redeneerpatronen.
2. Fase 2 (Latent Distillatie): Het <THOUGHT> tekstblok wordt vervangen door latente slots. Het model wordt getraind met APLR voor verfijning en de Q-Former head voor world-model alignment. De gezamenlijke loss-functie combineert Action Cross-Entropy ($L_{ce}$) en de World Model alignment loss ($L_{wm}$).

3. Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

1. MIRAGE Framework: Een mobiele agent die volledig redeneert in de latente ruimte, waarbij het niveau van prestaties van expliciete-CoT wordt bereikt met 3–5$\times$ minder gedecodeerde tokens en aanzienlijk lagere inferentie-latentie.
2. APLR: Een parallel Jacobi-stijl verfijningsprocedure die een volledige seriële latente CoT benadert tegen een fractie van de trainingskosten, met een theoretische grens op de benaderingsfout van de staart-slots.
3. Q-Former World Model Head: Een mechanisme dat latente redeneertoestanden afstemt op toekomstige screenshot-kenmerken, waardoor de agent GUI-toestandstransities kan anticiperen en de taakcapaciteit verbetert zonder pixels of tekst te genereren tijdens de inferentie.

4. Experimentele Resultaten

MIRAGE werd geëvalueerd op AndroidControl (instructievolging en actie-accuratesse) en AndroidWorld (dynamische on-device taakvoltooiing).

• AndroidControl:

  • MIRAGE-4B verbeterde de Exact Match (EM) van 68,48% naar 77,59% en de Action Accuracy van 75,15% naar 91,09% vergeleken met de Qwen3-VL-4B baseline.
  • Token Reductie: Het gemiddeld gegenereerde aantal tokens per stap daalde van ~115 naar ~19 (een reductie van 83%).
  • Latentie: De first-token-to-last-token latentie werd met 1,8$\times$ tot 2$\times$ verminderd vergeleken met sterke baselines.

• AndroidWorld:

  • MIRAGE-4B behaalde een Task Success Rate (SR) van 52,6%, waarmee de Qwen3-VL-4B baseline (42,9%) met 9,7 procentpunten werd verslagen.
  • MIRAGE-8B behaalde een SR van 57,8%, een verbetering van 10,2 punten ten opzichte van de baseline.
  • Efficiëntie: Ondanks hogere succespercentages genereerden MIRAGE-modellen ~70–75% minder tokens dan hun baselines.

• Ablatie studies:

  • Het verwijderen van de World Model objectieve (alleen APLR) resulteerde in lagere prestaties (48,2% SR vs. 52,6% voor volledige MIRAGE), wat de noodzaak van toekomstige-toestand alignment bevestigt voor het verfijnen van de staart-latente slots.
  • Het reduceren van de latente slots van 9 naar 3 leidde tot een significante verslechtering van de prestaties, wat de noodzaak van voldoende continue capaciteit onderstreept om complexe redenering te representeren.

5. Betekenis en Claims

Het artikel positioneert MIRAGE als een oplossing voor de "redeneer-bottleneck" in mobiele agenten. Het claimt dat:

• Impliciet redeneren levensvatbaar is: Hoogwaardig redeneren vereist geen verbale tekstuele output; het kan effectief worden gecomprimeerd in latente toestanden.
• Efficiëntie zonder opoffering: Door redeneren los te koppelen van de tokenstream, kunnen agenten de robuustheid van expliciete CoT bereiken terwijl ze voldoen aan de strikte latentie- en token-budgetbeperkingen van mobiele implementatie.
• Toekomstige-toestand Voorspelling: Het integreren van world-model objectieven direct in het latente redeneerproces stelt agenten in staat om interface-veranderingen te anticiperen, een capaciteit die voorheen moeilijk te handhaven was in compacte latente representaties.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige aanpak afhankelijk is van supervised training, gebruikmaakt van feature-level (in plaats van pixel-level) world modeling, en privacy- en veiligheidswaarborgen vereist voordat het in de echte wereld kan worden ingezet.