SwipeGen: Bridging the Execution Gap in GUI Agents via Human-like Swipe Synthesis
Dit artikel introduceert SwipeGen, een tool voor het synthetiseren van diverse mensachtige swipe-interacties, en SwipeBench, een benchmark voor het evalueren daarvan, om de rigide swipe-uitvoering aan te pakken die de prestaties van huidige GUI-agenten in realistische scenario's beperkt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin je telefoon je gesproken commando's kan begrijpen en je apps voor je kan bedienen, door op knoppen te tikken en tekst te typen precies zoals jij dat zou doen. Dit is de belofte van de grafische gebruikersinterface-agent, een type kunstmatige intelligentie dat is ontworpen om met schermen te interageren zoals mensen dat doen. Jarenlang hebben onderzoekers deze systemen geleerd om iconen te herkennen, tekst te lezen en op specifieke doelen te klikken. Echter, er bleef een kritieke kloof bestaan: hoewel deze agenten met toenemende nauwkeurigheid konden wijzen en klikken, hadden ze grote moeite met de meest voorkomende handeling aller tijden—de swipe. Of het nu ging om het scrollen door een nieuwsfeed, het aanpassen van een volumeregelaar of het onthullen van verborgen menuopties, de digitale hand van de machine bewoog vaak met een rigide, mechanische precisie die er niet in slaagde de reactie van het scherm uit te lokken. Deze beperking betekende dat zelfs de slimste agenten vast konden lopen, niet in staat om eenvoudige taken te voltooien die de vloeiende beweging van een menselijke vinger vereisten.
Een team onderzoekers aan de Fudan Universiteit zette zich schouder aan schouder met dit specifieke probleem door een fundamentele vraag te stellen: waarom falen machines bij het swipen terwijl mensen dit zo natuurlijk vinden? Ze ontdekten dat het probleem niet een gebrek aan intelligentie was, maar een gebrek aan data en een misverstand over hoe swipes werken. Bestaande systemen werden getraind op datasets die gedomineerd werden door eenvoudige klikken, waarbij elke interactie werd behandeld als een enkel punt op een scherm. Maar een swipe is geen punt; het is een reis. Het omvat een beginpunt, een richting, een afstand en een snelheid. De onderzoekers ontdekten dat huidige agenten, die probeerden een enkel coördinaat te raden, vaak volledig de plank misslaan omdat ze niet begrepen dat de snelheid van een swipe of het exacte startpunt de uitkomst kon veranderen. Om dit op te lossen, bouwden ze een nieuwe tool genaamd SwipeGen, een geautomatiseerd systeem dat ontworpen is om machines te leren hoe ze moeten swipen door duizenden voorbeelden van mensachtige gebaren te genereren.
Het proces begon door het systeem zichzelf de mobiele apps te laten verkennen, precies zoals een gebruiker dat zou doen. Het navigeerde door schermen en identificeerde gebieden die gescrold konden worden, zoals lijsten met foto's of rijen iconen. Zodra het systeem een scrollbaar gebied vond, gokte het niet alleen; het testte systematisch verschillende manieren om te swipen. Het testte swipes beginnend vanuit het midden van een scherm, vanuit de randen, bewegend naar boven, beneden, links, rechts, of in verschillende snelheden. Cruciaal was dat het systeem het scherm observeerde vóór en na elke poging. Als de swipe ervoor zorgde dat de inhoud bewoog of veranderde, registreerde het systeem dit als een succes, waarbij de exacte coördinaten, richting en duur werden vastgelegd die het werkten. Als het scherm niet reageerde, werd de poging weggegooid. Deze cyclus van proberen, observeren en registreren stelde het team in staat om een enorme bibliotheek van succesvolle swipe-interacties op te bouwen, compleet met natuurlijke taalbeschrijvingen die uitlegden wat elk gebaar bereikte.
Met deze nieuwe bibliotheek aan data in handen, trainden de onderzoekers een nieuwe versie van hun kunstmatige intelligentie-model, dat ze GUISwiper noemden. Ze leerden het model niet alleen om een knop te vinden, maar om de fysica van een swipe te begrijpen. De resultaten waren opmerkelijk. Wanneer getest op een nieuwe set apps die het model nog nooit eerder had gezien, slaagde GUISwiper erin om swipe-acties meer dan tweeënhalf keer beter uit te voeren dan eerdere state-of-the-art modellen. Terwijl oudere modellen slechts ongeveer een kwart van de swipe-taken correct uitvoerden, slaagde het nieuwe model in meer dan 60 procent van de gevallen. Belangrijker nog, de onderzoekers bewezen dat het aanleren van de machine om te swipen het niet slechter maakte in andere taken. Het model bleef net zo goed in het identificeren van knoppen en het lezen van tekst, wat aantoont dat het complexe gebaren kon leren zonder zijn vermogen om het lay-out van het scherm te begrijpen te verliezen.
De studie benadrukte ook dat de grootste hindernis voor deze agenten niet het begrijpen van wat te doen was, maar weten hoe het moest worden gedaan. De onderzoekers ontdekten dat wanneer het model faalde, dit meestal kwam doordat het de swipe op de verkeerde plek begon of te langzaam bewoog om de reactie van het scherm uit te lokken, in plaats van dat het de verkeerde richting koos. Door zich te concentreren op de details van de uitvoering—de precieze start, het einde en de snelheid van de beweging—overbrugden zij de kloof tussen de rigide logica van een machine en de vloeiende intuïtie van een menselijke gebruiker. Dit werk suggereert dat voor kunstmatige intelligentie om het digitale domein echt te beheersen, het niet alleen moet leren zien, maar ook moet bewegen met dezelfde nuance en timing als de mensen die het dient. Het vermogen om effectief te swipen is niet langer slechts een kleine functie; het is een fundamentele vereiste voor elke agent die hoopt onze schermen te navigeren met de gemak van een menselijke hand.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.