CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications
CoAdapt-GUI ist ein Framework zur Anpassung zur Testzeit, das die Generalisierung mobiler GUI-Agenten auf ungesehene Anwendungen verbessert, indem es eine aufgabenspezifische Policy mittels LoRA gemeinsam anpasst und den übertragbaren Workflow-Kontext aus den eigenen Interaktionen des Agenten verfeinert, wodurch signifikante Leistungssteigerungen gegenüber Baseline-Methoden erzielt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, wie er sich in der digitalen Welt orientiert. Dieser Roboter ist ein „GUI-Agent“, ein intelligenter Assistent, der einen Telefonbildschirm betrachten, lesen kann, was er sieht, und Schaltflächen antippen kann, um Ihre Anweisungen zu befolgen, wie zum Beispiel „einen Flug buchen“ oder „eine Textnachricht senden“. Eine Zeit lang wurden diese Roboter ziemlich gut darin, aber nur, wenn sie genau die Apps üben, die sie später auch verwenden werden. Es ist wie ein Schüler, der die Antworten für eine ganz bestimmte Matheprüfung auswendig lernt, aber erstarrt, wenn er ein neues Lehrbuch sieht. Die eigentliche Herausforderung entsteht, wenn der Roboter auf eine App trifft, die er noch nie zuvor gesehen hat, mit Schaltflächen und Menüs, die er nicht erkennt. Dies ist das Problem der „unbekannten Anwendung“ (unseen application). Wissenschaftler versuchen herauszufinden, wie sie diese Roboter dazu bringen können, vor Ort zu lernen, indem sie nur wenige Versuche nutzen, um zu verstehen, wie eine neue App funktioniert, ohne dass ein Mensch ihnen jedes Mal alles erklären muss.
Dieses Paper stellt ein cleveres neues System namens CoAdapt-GUI vor, das diesen Roboter-Agenten hilft, sich viel besser an brandneue Apps anzupassen als bisher. Stellen Sie sich das Gehirn des Roboters als zwei Teile vor: eine „Policy“, also seinen Instinkt dafür, wie er tippen und wischen soll, und einen „Workflow“, also eine mentale Checkliste von Schritten und Regeln dafür, wie er eine Aufgabe abschließt. Frühere Versuche, Robotern beim Lernen neuer Apps zu helfen, konzentrierten sich hauptsächlich darauf, lediglich ihre Instinkte (die Policy) anzupassen, während sie ihre Checkliste ignorierten. Die Autoren fanden heraus, dass dies nicht ausreicht. Wenn die Checkliste des Roboters voll mit Details ist, die spezifisch für die alten Apps sind (wie „suche nach dem blauen Button auf dem Startbildschirm“), gerät er durcheinander, wenn die neue App einen roten Button an einer anderen Stelle hat.
CoAdapt-GUI löst dies, indem es zwei Dinge gleichzeitig tut. Erstens fungiert es wie ein strenger Editor für die Checkliste des Roboters. Es nimmt die allgemeinen Regeln, die der Roboter kennt (wie „wenn du stecken bleibst, versuche zurückzugehen“), aber entfernt alle spezifischen Details über die alten Apps (wie „der Zurück-Button ist oben links in der Ecke“). Dadurch entsteht ein „reiner“ Leitfaden, der überall funktionieren kann. Zweitens lässt es den Roboter die neue App üben und seine Instinkte (die Policy) basierend auf dem, was funktioniert und was scheitert, aktualisieren. Die Magie geschieht, weil diese beiden Teile einander helfen: Die reine Checkliste hilft dem Roboter, besser zu üben, und die Übungsergebnisse helfen dem Roboter, seine Checkliste zu verfeinern.
Die Forscher testeten dieses System in einem digitalen Spielplatz namens AndroidWorld. In einem Test, bei dem der Roboter neue Versionen vertrauter Aufgaben bewältigen musste, war CoAdapt-GUI in 45,0 % der Fälle erfolgreich. Dies war ein signifikanter Sprung im Vergleich zur bisher besten Methode, die nur in 37,5 % der Fälle erfolgreich war. In einem schwierigeren Test, bei dem der Roboter völlig neue Arten von Aufgaben bewältigen musste, die er zuvor noch nie gesehen hatte, steigerte das System die Erfolgsraten von 38,6 % auf 52,9 %. Das Paper legt nahe, dass Roboter, indem sie das „Was zu tun ist“ (Workflow) vom „Wie es zu tun ist“ (Policy) trennen und die Anweisungen vor der Anwendung bereinigen, viel flexibler und bereit für die reale Welt werden können, in der sich Apps ständig ändern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.