Quick on the Uptake: Eliciting Implicit Intents from Human Demonstrations for Personalized Mobile-Use Agents

Probleemstelling

Met de snelle vooruitgang van multimodale grote taalmodellen (MLLMs) worden mobiele agents die menselijke interacties nabootsen (zoals klikken en scrollen) steeds realistischer. Echter, bestaande methoden voor het trainen van deze agents via menselijke demonstraties (demonstration learning) hebben twee fundamentele tekortkomingen:

1. Focus op expliciete intenties: Bestaande methoden richten zich uitsluitend op de expliciete stroom van intenties (bijv. de volgorde van stappen of operationele logica) en negeren impliciete intentiestromen, zoals persoonlijke voorkeuren en gebruiksgebruiken.
2. Gebrek aan evaluatie en personalisatie: Er ontbreekt een dataset om de uitlijning (alignment) tussen een agent en menselijke intenties te meten. Bovendien is het onpraktisch om voor elke gebruiker een apart model te fine-tunen om personalisatie te bereiken.

Dit leidt tot agents die taken wel kunnen voltooien, maar niet op de manier die de specifieke gebruiker wenst, wat de gebruikerservaring beperkt.

Methodologie: IFRAgent

De auteurs stellen IFRAgent voor, een plug-and-play framework dat gebaseerd is op het herkennen van zowel expliciete als impliciete intentiestromen uit menselijke demonstraties. Het framework werkt in twee fasen:

1. Fase: Extractie van Intentiestromen (Training/Preprocessing)

In deze fase worden menselijke demonstraties geanalyseerd om twee soorten kennisbronnen te bouwen per gebruiker:

• Expliciete Intentiestroom (SOP Library): Een agent ($A_e$) analyseert de interactie-sequenties om een standaardoperatieprocedure (SOP) te extraheren. Deze wordt opgeslagen als een vectorbibliotheek gekoppeld aan de query.
• Impliciete Intentiestroom (Habit Repository): Een tweede agent ($A_i$) analyseert de interacties om een "habit repository" (gewoontenrepository) te bouwen. Dit bevat de latente gedragspatronen en persoonlijke voorkeuren van de gebruiker.

2. Fase: Implementatie (Deployment)

Wanneer een gebruiker een nieuwe, vaak ambiguïe query indient, doorloopt IFRAgent het volgende proces:

• Retrieval-Augmented Generation (RAG): De invoerquery wordt geëncodeerd en vergeleken met de SOP-library van de gebruiker. Als er een voldoende gelijke match is, wordt de meest relevante SOP opgehaald.
• Query Rewriting: Een Query Rewriter ($W$), die is opgeleid via kennisdistillatie (van een groot model zoals GPT-4o naar een lichter model zoals Qwen3-4B), gebruikt de opgehaalde SOP en de gebruiker's habit repository om de originele query te herschrijven.
• Generatie: Het herschreven, gepersonaliseerde query en de gepersonaliseerde SOP worden aan de mobiele agent ($F$) gegeven om de uiteindelijke actie te bepalen.

Dit proces zorgt ervoor dat de agent niet alleen weet wat er gedaan moet worden, maar ook hoe de specifieke gebruiker dat graag ziet gebeuren.

Belangrijkste Bijdragen

1. MobileIAR Dataset: De auteurs hebben een nieuwe dataset verzameld en open-source gemaakt genaamd MobileIAR. Deze bevat 945 instructies over 16 apps in 7 dagelijkse scenario's (voor zowel Engels als Chinees).
   • Het uniek aan deze dataset is dat het twee soorten labels bevat: Ground Truth (alle mogelijke correcte acties voor taakvoltooiing) en Human-Intent-Aligned Actions (de specifieke actie die de gebruiker prefereert).
   • Dit introduceert de Intention Alignment Rate (IAR) als nieuwe metriek om personalisatie te meten.
2. IFRAgent Framework: Een nieuw framework dat expliciete en impliciete intenties combineert om mobiele agents te personaliseren zonder per gebruiker te fine-tunen.
3. Uitgebreide Evaluatie: Het paper biedt een grondige analyse van de prestaties van IFRAgent op diverse basismodellen (zowel open-source als gesloten bron) en toont aan dat het framework breed toepasbaar is.

Resultaten

Experimenten uitgevoerd op diverse mobiele agents (zoals OS-Atlas, UI-TARS, Qwen2.5-VL, GPT-4o) tonen aanzienlijke verbeteringen:

• Intentie-uitlijning (IAR): Een gemiddelde relatieve verbetering van 28,80% (absoluut +6,56%).
• Taakvoltooiing (Step-wise Success Rate): Een gemiddelde relatieve verbetering van 24,20% (absoluut +5,50%).
• Modelonafhankelijkheid: De verbeteringen zijn het meest significant bij algemene domeinmodellen (zoals Qwen2.5-VL-7B en GPT-4o) in vergelijking met gespecialiseerde mobiele agent-modellen. Dit suggereert dat algemene taalbegrip cruciaal is voor het begrijpen van impliciete intenties.
• Efficiëntie: De toegevoegde tijdskosten voor query-rewriting en SOP-generatie zijn minimaal, aangezien dit wordt afgehandeld door een klein model (Qwen3-4B) dat slechts één keer per query wordt aangeroepen.

Betekenis en Impact

Dit onderzoek is van groot belang voor de ontwikkeling van persoonlijke AI-assistenten:

• Paradigmaverschuiving: Het beweegt het veld van "taakvoltooiing" naar "menselijke intentie-uitlijning". Een agent die een taak op de juiste manier voor de juiste gebruiker uitvoert, is waardevoller dan een agent die de taak alleen maar afmaakt.
• Praktische Toepasbaarheid: Door gebruik te maken van retrieval en rewriting in plaats van per-user fine-tuning, maakt IFRAgent personalisatie schaalbaar en haalbaar voor real-world toepassingen.
• Benchmarks: De introductie van MobileIAR en de IAR-metriek stelt een nieuwe standaard voor het evalueren van de kwaliteit van interactie tussen mens en agent, wat essentieel is voor de volgende generatie mobiele automatisering.

Kortom, IFRAgent lost het probleem van "eenheidsworst" in mobiele agents op door agents te leren de onuitgesproken wensen en voorkeuren van individuele gebruikers te begrijpen en toe te passen.