Large Language Models for Mobile GUI Text Input Generation: An Empirical Study
Dit artikel presenteert een grootschalige empirische studie waarin negen state-of-the-art LLM's op 115 real-world Android-apps worden geëvalueerd om aan te tonen dat geëxtraheerde tekstuele en XML-gebaseerde UI-contexten vergelijkbare succespercentages voor tekstinvoergeneratie bereiken met visuele inputs tegen lagere kosten, terwijl feedbackmechanismen en menselijke interventie zowel de page-pass-through-ratio's als de foutdetectiecapaciteiten aanzienlijk verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, maar enigszins letterlijke robot probeert te leren hoe hij door een complexe doolhof van mobiele apps moet navigeren. De robot is geweldig in het klikken op knoppen en het swipen over schermen, maar hij loopt tegen een muur op zodra hij een tekstvak tegenkomt. Als de robot simpelweg "Hello World" typt in een vak dat om een specifieke plaatsnaam vraagt, laat de app hem niet naar het volgende scherm gaan. De robot komt vast te zitten.
Dit artikel is een grootschalig experiment om te zien of Large Language Models (LLM's) — hetzelfde soort AI dat essays schrijft en vragen beantwoordt — als een "slimme typist" kunnen fungeren om deze robots te helpen succesvol door mobiele apps te navigeren. De onderzoekers hebben negen verschillende top-AI-modellen getest om te zien welke het beste was in het raden van de juiste woorden om in mobiele apps te typen.
Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:
1. De drie manieren om het scherm aan de AI te tonen
De onderzoekers wilden weten: Hoe moeten we het scherm van de app aan de AI laten zien zodat deze begrijpt wat er getypt moet worden? Ze probeerden drie verschillende methoden:
- De "Blauwdruk"-methode (XML): Ze gaven de AI een ruwe, technische lijst van elke knop en elk vak op het scherm (zoals een bouwtekening).
- Resultaat: Het werkte goed, maar het was duur. Het kostte veel "tokens" (de munteenheid die AI gebruikt om na te denken) om de hele blauwdruk te lezen.
- De "Foto"-methode (Screenshot): Ze maakten een foto van het scherm en lieten die aan de AI zien, precies zoals een mens het zou zien.
- Resultaat: Het werkte redelijk, maar niet zo goed als de tekstmethoden. Ook was het lezen van de foto erg duur in termen van kosten.
- De "Samenvatting"-methode (Geëxtraheerde context): Ze gaven de AI niet de hele blauwdruk of de foto. In plaats daarvan gaven ze een korte, begrijpelijke samenvatting: "Dit is een inlogscherm. Het eerste vak vraagt om een bijnaam, en het label ernaast zegt 'Voer een naam in'."
- Resultaat: Dit was de winnaar. Het werkte bijna net zo goed als de dure blauwdruk-methode, maar kostte slechts een fractie van de prijs.
De les: Je hoeft de AI niet de hele rommelige blauwdruk of de foto te laten zien. Een heldere, korte samenvatting van waar het scherm om vraat, is de meest efficiënte manier om goede resultaten te krijgen.
2. De "Probeer, Faal, Probeer Opnieuw"-strategie (Feedback)
Soms raadt de AI het fout. De onderzoekers vroegen: Wat als we tegen de AI zeggen: "Hé, dat werkte niet. Probeer iets anders"?
- Voor het navigeren naar de volgende pagina: Als de AI iets verkeerds typde en het scherm veranderde niet, hielp het vertellen van "Dat was fout" de AI om de fout te herstellen. Het verbeterde het succespercentage een beetje, maar niet spectaculair.
- Voor het vinden van bugs: Dit is waar feedback een gamechanger was. Het vinden van bugs is als zoeken naar een speld in een hooiberg. Als de AI een "slechte" invoer probeert en er gebeurt niets, helpt het vertellen van "Dat heeft de app niet gebroken" de AI om de zoektocht te verfijnen. Door deze feedbackloop te gebruiken, vond de AI aanzienlijk meer bugs (een sprong van ongeveer 51% naar 64% succes).
- Het nadeel: Deze "Probeer, Faal, Probeer Opnieuw"-methode is erg traag en duur. Het is also[f] een detective inhuren om een zaak telkens opnieuw te onderzoeken wanneer hij een doodlopende weg tegenkomt. Het werkt geweldig als je echt die bug wilt vinden, maar het is te kostbaar voor dagelijks testen.
3. Mensen versus Machines
De onderzoekers brachten ook menselijke testers in beeld om te zien hoe zij zich verhielden tot de AI.
- De kracht van de AI: De AI is snel en kan duizenden ideeën genereren.
- De voorsprong van de mens: Wanneer mensen naar de suggesties van de AI keken, konden ze deze gemakkelijk aanpassen.
- Als de AI een generiek "slecht" wachtwoord schreef, kon een mens dit veranderen in een specifiek "slecht" wachtwoord dat de app daadwerkelijk breekt.
- Als de AI een plaatsnaam raadde die er juist uitzag maar fout was, kon een mens deze vervangen door de juiste naam op basis van de context.
- Het resultaat: Wanneer mensen het werk van de AI bijstuurden, schoot het succespercentage omhoog. Voor het vinden van bugs vonden menselijk aangepaste invoer in hun testgevallen 100% van de tijd bugs, vergeleken met 36% voor de AI.
De les: De AI is een geweldige schrijver van de "eerste versie", maar een menselijke redacteur is nog steeds nodig om het eindproduct te polijsten, vooral bij lastige problemen.
4. Alles samenvoegen (De realiteitstest)
Ten slotte namen de onderzoekers hun "Slimme Typist" AI en plugden deze in in DroidBot, een populaire tool voor geautomatiseerd testen.
- Vóór: DroidBot liep vast op schermen die tekstinvoer vereisten, waardoor grote delen van de app onverkend bleven.
- Ná: Met de hulp van de AI om de juiste woorden te typen, was DroidBot in staat om 36% meer schermen en 35% meer app-functies (activiteiten) te verkennen.
Samenvatting van inzichten voor testers
Het artikel concludeert met zes praktische tips voor iedereen die AI gebruikt om apps te testen:
- Maak de prompt niet te ingewikkeld: Een korte tekstuele samenvatting van het scherm is beter dan een volledige foto of ruwe code.
- Gebruik feedback verstandig: Als je op zoek bent naar bugs, vertel de AI dan wanneer hij faalt. Als je alleen door de app wilt navigeren, is het minder cruciaal.
- Obsedeer niet over welk AI-model "het beste" is: De meeste topmodellen presteerden vergelijkbaar. Kies op basis van kosten en snelheid, niet alleen op basis van een ranglijst.
- Gebruik een hybride aanpak: Laat de AI de ideeën genereren, maar laat een mens (of een slim script) de moeilijkste gevallen verfijnen.
- Let op "kritieke" velden: Sommige tekstvakken zijn belangrijker dan andere. Als de AI deze fout doet, faalt de hele test.
- Pas de tool aan het doel aan: Verschillende metrieken zijn belangrijk voor verschillende doelen. Alleen omdat een AI een pagina verder kan brengen, betekent niet dat het een beveiligingsfout zal vinden.
Kortom: Large Language Models zijn uitstekende "slimme typisten" voor mobiele apps. Ze werken het best wanneer ze een eenvoudige tekstuele samenvatting van het scherm krijgen, en ze worden nog krachtiger wanneer ze van hun fouten mogen leren of wanneer een mens ze een laatste zetje geeft. Deze combinatie kan testers helpen om veel dieper in apps te duiken dan voorheen mogelijk was.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.