MobileExplorer: Accelerating On-Device Inference for Mobile GUI Agents via Online Exploration
MobileExplorer ist ein neuartiges Framework, das die Inferenz auf mobilen Geräten für mobile GUI-Agenten beschleunigt, indem es die Denkzeit des Modells nutzt, um eine parallele Online-Exploration von UI-Elementen durchzuführen, was kontextuelle Hinweise erzeugt, um die Anzahl der Denkschritte und die Latenz zu reduzieren, während gleichzeitig hohe Erfolgsquoten bei der Aufgabenerfüllung beibehalten werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen sehr intelligenten, aber leicht langsamen persönlichen Assistenten, der in Ihrem Telefon lebt. Die Aufgabe dieses Assistenten besteht darin, auf Ihren Bildschirm zu schauen, herauszufinden, was Sie tun möchten (wie „eine Nachricht senden" oder „ein Rezept finden"), und dann die richtigen Tasten zu drücken, um dies zu bewerkstelligen.
Das Problem ist, dass dieser Assistent ein „Vision-Language-Modell" ist. Er ist unglaublich gut darin, Bilder und Texte zu verstehen, aber er braucht lange zum Nachdenken. Stellen Sie es sich wie einen brillanten Professor vor, der 30 Sekunden benötigt, um ein einziges mathematisches Problem zu lösen. Inzwischen dauert die eigentliche Handlung, eine Taste auf Ihrem Telefon zu drücken, nur einen splitsekunden.
Auf die alte Art und Weise würde der Assistent auf den Bildschirm starren, 30 Sekunden zum Nachdenken benötigen und dann endlich eine Taste drücken. Während dieser 30 Sekunden sitzt das Telefon einfach da und tut nichts. Wenn eine Aufgabe 20 Tastendrücke erfordert, ist das eine lange Wartezeit.
Hier kommt „MobileExplorer" ins Spiel.
Die Forscher hinter MobileExplorer erkannten, dass sie diese „Nachdenkzeit" nutzen konnten, um etwas anderes zu tun. So funktioniert es, anhand einiger einfacher Analogien:
1. Die „Während Sie warten"-Strategie
Stellen Sie sich vor, Sie warten darauf, dass eine Pizza im Ofen backt (die 30-sekündige Nachdenkzeit). Anstatt nur dazustehen und den Ofen anzustarren, nutzen Sie diese Zeit, um schnell den Kühlschrank zu überprüfen, Getränke zu holen und den Tisch zu decken. Sie verzögern die Pizza nicht; Sie bereiten sich einfach auf den nächsten Schritt vor, während der Ofen seine Arbeit verrichtet.
MobileExplorer macht genau das. Während die KI darüber „nachdenkt", was als Nächstes zu tun ist, tippt das System leise und schnell auf ein paar verschiedene Tasten auf dem Bildschirm, um zu sehen, was passiert. Es ist wie das Anpochen an ein paar Türen in einem Flur, um zu sehen, welche sich öffnen, nur um Informationen zu sammeln.
2. Der „Schlaue Detektiv" (Aufgabenrelevanz)
Das System stößt nicht einfach zufällig auf Tasten. Das wäre chaotisch. Stattdessen agiert es wie ein Detektiv, der das Ziel kennt.
- Das Ziel: „Ich muss einen Film finden."
- Die Aktion: Das System betrachtet den Bildschirm und fragt: „Welche Tasten sehen so aus, als könnten sie zu Filmen führen?" Es ignoriert die Tasten „Rechner" oder „Wetter" und konzentriert sich auf die Tasten „Netflix" oder „Suche".
- Das Ergebnis: Es überprüft schnell diese spezifischen Bereiche, sieht, welche neuen Bildschirme erscheinen, und notiert sich eine kleine Notiz: „Ah, die Taste 'Filme' führt zu einer Liste von Genres."
3. Der „Magische Rückgängig"-Button (Zweistufiges Rollback)
Hier kommt der knifflige Teil: Wenn Sie zu viel herumprobieren, könnten Sie sich verirren. Sie könnten versehentlich ein Menü öffnen, das Sie nicht wollten, und jetzt finden Sie nicht mehr zurück zum ursprünglichen Bildschirm.
MobileExplorer verfügt über ein supermächtiges „Rückgängig"-System mit zwei Ebenen:
- Ebene 1 (Das schnelle Rückgängig): Es versucht, ein paar Mal auf die „Zurück"-Taste zu drücken, um dorthin zurückzukehren, wo es begonnen hat. Es prüft, ob der Bildschirm genauso aussieht wie zuvor (unter Verwendung eines digitalen Fingerabdrucks, der als „perzeptueller Hash" bezeichnet wird).
- Ebene 2 (Der Reset-Button): Wenn die „Zurück"-Taste versagt (vielleicht hat ein Popup den Weg blockiert), gerät es nicht in Panik. Es kehrt sofort ganz zurück zum „Startbildschirm" des Telefons und spielt dann genau die Schritte nach, die es unternommen hat, um zum ursprünglichen Ort zu gelangen. Es ist, als würde man sagen: „Okay, lassen Sie uns von zu Hause aus neu beginnen und den Weg erneut gehen, aber dieses Mal werde ich schneller sein."
Dies stellt sicher, dass das „Herumprobieren" die Hauptaufgabe niemals durcheinanderbringt. Das Telefon kehrt immer genau in den Zustand zurück, in dem es sich vor Beginn der Erkundung befand.
4. Die „Spickzettel" (Kontextuelle Hinweise)
Sobald das System all diese zusätzlichen Informationen gesammelt hat (wie „die Filmliste befindet sich unter dem Reiter 'Unterhaltung'"), fasst es diese in einer winzigen, leicht lesbaren Notiz zusammen. Es reicht diese Notiz der KI bevor die KI ihre endgültige Entscheidung trifft.
Anstatt also zu raten, hat die KI nun einen Spickzettel: „Hey, ich habe es früher überprüft. Die Filmliste ist genau hier." Dies hilft der KI, schneller die richtige Wahl zu treffen, was bedeutet, dass sie weniger Gesamtschritte benötigt, um die Aufgabe abzuschließen.
Die Ergebnisse
Die Forscher testeten dies an echten Telefonen mit echten Apps. Sie stellten fest, dass:
- Es schneller ist: Der gesamte Prozess dauerte etwa 23 % weniger Zeit, weil die KI nicht so viel raten musste.
- Es intelligenter ist: Die KI erledigte die Aufgabe etwas häufiger richtig (bis zu 5 % besser), weil sie mehr Informationen hatte.
- Es privat ist: Alles geschieht direkt auf dem Telefon. Es werden keine Daten in die Cloud gesendet, sodass Ihre Bildschirmaktivität privat bleibt.
Kurz gesagt, verwandelt MobileExplorer die „Wartezeit" einer langsamen, aber intelligenten KI in „produktive Zeit", sodass das Telefon die Schnittstelle sicher und effizient erkunden kann, damit die KI Ihre Aufgaben schneller abschließen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.