Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man Ihr Smartphone benutzt. Sie würden ihm nicht einfach ein Handbuch in die Hand drücken und hoffen, dass es klappt; Sie würden ihm wahrscheinlich zeigen, wie man eine App öffnet, einen Button tippt und vielleicht sogar, wie man sich erholt, wenn man versehentlich auf das Falsche klickt. Dies ist die Welt der GUI-Agenten – intelligente Computerprogramme, die von „Vision-Language-Modellen“ angetrieben werden (denken Sie an Roboter mit Augen und einem Gehirn, das Text lesen und Bilder verstehen kann). Diese Agenten sollen reale Aufgaben auf Ihrem Telefon erledigen, wie zum Beispiel Kaffee bestellen oder einen Flug buchen. Aber hier ist der Haken: Um zu lernen, wie man diese Dinge tut, benötigen die Roboter eine riesige Bibliothek von Übungsdurchläufen, sogenannte „Trajektorien“. Das Problem ist, dass die bisherigen Trainingsdaten meistens wie ein Videospiel im „Leicht“-Modus sind. Sie zeigen dem Roboter nur die einfachen, geraden Pfade, bei denen alles glattläuft. Das echte Leben ist jedoch chaotisch. Apps sind vollgestopft mit Buttons, Pop-ups erscheinen aus dem Nichts, und manchmal muss man zurückgehen oder einen anderen Weg versuchen. Ohne das Training an diesen chaotischen, langen und komplizierten Szenarien sind unsere Roboter-Helfer zerbrechlich und verlieren leicht den Faden, wenn sie mit einer echten App konfrontiert werden.

Hier kommt SEE ins Spiel, eine neue Methode, die von Forschern des Harbin Institute of Technology entwickelt wurde, um diese Trainingslücke zu schließen. Betrachten Sie SEE als einen superintelligenten Reiseleiter, der nicht einfach nur ziellos durch eine App wandert, sondern stattdessen vor dem Entsenden des Robotors zur Übung eine detaillierte, interaktive Karte über jeden möglichen Pfad erstellt. Anstatt nur zu raten und zu probieren (was langsam ist und oft zu Sackgassen führt), „exploriert“ SEE zuerst die App, um einen Graphen zu zeichnen, der jeden Bildschirm und jeden Button miteinander verbindet. Dann nutzt es diese Karte, um das Wissen zu „exploitieren“ (auszunutzen) und plant lange, komplexe Reisen, die mehrere Schritte, Umwege und sogar den Umgang mit nervigen Pop-ups beinhalten. Das Ergebnis ist ein massiver Datensatz von Übungsdurchläufen, die viel länger und realistischer sind als alles bisher Dagewesene. Die Arbeit legt nahe, dass Roboter durch das Training mit diesen neuen, schwierigeren Daten viel besser darin werden, durch die chaotische Welt mobiler Apps zu navigieren, und Aufgaben erfolgreich abschließen, die sie zuvor verwirrt zurückgelassen hätten.

Das Problem: Roboter, die sich im App Store verlaufen

Stellen Sie sich vor, Sie versuchen, einem Hund beizubringen, durch ein riesiges, sich ständig veränderndes Labyrinth zu navigieren. Wenn Sie den Hund nur in einem kleinen, leeren Flur üben lassen, in dem er den Leckerli immer beim ersten Versuch findet, wird er niemals lernen, wie man mit einem echten Labyrinth umgeht, das Sackgassen, bewegliche Wände und verwirrende Schilder hat. Genau das passiert derzeit mit GUI-Agenten.

Diese Agenten sind KI-Systeme, die darauf ausgelegt sind, Ihren Telefonbildschirm zu steuern. Sie betrachten den Bildschirm, erkennen, welche Buttons vorhanden sind, und tippen darauf, um Aufgaben zu erledigen. Aber um dies zu lernen, müssen sie tausende Beispiele davon sehen, wie Menschen Apps benutzen. Das Problem ist, dass die meisten Daten, die wir haben, genau wie dieser leere Flur sind. Sie bestehen aus kurzen, einfachen Aufgaben, bei denen alles perfekt läuft. Reale mobile Apps hingegen sind wie eine belebte Stadt. Sie haben hunderte von Buttons, Werbe-Pop-ups, die die Sicht versperren, und lange, gewundene Pfade, um von „Home“ zum „Checkout“ zu gelangen.

Derzeitige Methoden zur Erstellung dieser Trainingsdaten sind entweder zu teuer (Menschen bezahlen, die jeden Schritt aufzeichnen) oder zu unbeholfen (die KI einfach wahllos herumklicken zu lassen). Wahlloses Klicken ist wie das Werfen eines Dartpfeils auf eine Landkarte; man trifft vielleicht ein Ziel, aber meistens trifft man die Wand. Es verpasst die seltenen, aber wichtigen Momente, wie etwa die Frage, wie man reagiert, wenn ein Berechtigungs-Pop-up erscheint, oder wie man durch ein komplexes Menü navigiert. Aus diesem Grund versuchen diese KI-Agenten, echte Apps zu nutzen, bleiben oft stecken oder sind verwirrt von der schieren Anzahl der Optionen und den langen Ketten von Schritten, die erforderlich sind, um eine Aufgabe abzuschließen.

Die Lösung: Eine Karte erstellen, bevor die Reise beginnt

Die Forscher hinter SEE (Structure-aware Exploring & Exploiting) entschieden sich dagegen, Dartpfeile zu werfen, und begannen stattd� Sie, Karten zu zeichnen. Ihr Ansatz ist ein zweistufiger Prozess, der dem nachahmt, wie ein Mensch eine neue Stadt lernt: erst erkunden und kartieren; zweitens die besten Routen planen.

Schritt 1: Der Explorer (Die Karte erstellen)
Im ersten Stadium agiert der KI-Agent als neugieriger Entdecker. Anstatt nur wahllos zu klicken, nutzt er eine intelligente Strategie, um das Layout der App zu entdecken. Er betrachtet den Bildschirm, identifiziert die Buttons und Icons und fragt sich selbst: „Was passiert, wenn ich hierauf tippe?“

• Der „struktur-bewusste“ Teil: Der Agent sieht nicht nur ein Bild; er versteht die Struktur. Er weiß, dass ein „Zurück“-Button einen normalerweise zur vorherigen Seite führt, und dass eine „Suche“-Leiste zu einer neuen Seite führt.
• Der „Reflexions“-Teil: Nach jedem Tipp pausiert der Agent, um nachzudenken. „Hat das funktioniert? Bin ich tatsächlich auf die neue Seite gelangt, die ich erwartet habe, oder habe ich nur ein Pop-up aufgerufen?“ Wenn die Aktion sinnvoll war und zu einem neuen Zustand führte, fügt er diese Verbindung zu seiner mentalen Karte hinzu. Wenn es eine Sackgasse oder ein Fehler war, vermerkt er dies ebenfalls.
• Das Ergebnis: Dieser Prozess baut einen Transition Graph auf. Stellen Sie sich eine U-Bahn-Karte vor, in der jede Station ein Bildschirm auf dem Telefon ist und jede Linie ein Button, den man drücken kann. Diese Karte enthält nicht nur die einfachen Pfade, sondern auch die kniffligen, wie etwa den Weg an eine „Anmelden“-Barriere oder den Umgang mit einer Systembenachrichtigung.

Schritt 2: Der Planer (Die Routen zeichnen)
Soblich die Karte erstellt ist, tritt die zweite Phase in Kraft. Hier geschieht die Magie der Long-Horizon-Aufgaben (langfristigen Aufgaben). Anstatt jedes Mal zu versuchen, die gesamte Reise von Grund auf neu zu planen, betrachtet der Planer die Karte.

• Er wählt einen Startpunkt (wie den Home-Bildschirm) und ein Ziel (wie den „Zahlungs“-Bildschirm).
• Dann nutzt er die Karte, um einen Pfad zu finden. Aber das ist der Clou: Er kann komplexe Reisen planen. Er kann sagen: „Lass uns von Home zur Sektion ‚Anime‘ gehen, dann ein bestimmtes Hemd finden, es zur Wunschliste hinzufügen und es schließlich teilen.“
• Da er die vorgefertigte Karte nutzt, muss er nicht raten. Er weiß genau, welche Buttons er drücken muss, um von einem Bildschirm zum nächsten zu gelangen. Er kann sogar „Teilziele“ definieren und eine große Aufgabe in kleinere, handhabbare Häppchen unterteilen.

Diese Methode ermöglicht es SEE, tausende von Übungsdurchläufen zu generieren, die im Durchschnitt 14,8 Schritte lang sind. Um dies einzuordnen: Viele bestehende Datensätze haben Aufgaben, die nur etwa 5 bis 8 Schritte lang sind. SEE lehrt die Roboter, einen Marathon zu laufen, anstatt nur eine Runde um den Block zu joggen.

Was sie herausfanden: Ein härterer, klügerer Trainingsplatz

Die Forscher testeten diese neue Methode, indem sie einen Datensatz namens SEE erstellten und prüften, wie er im Vergleich zu anderen abschneidet. Die Ergebnisse waren ziemlich beeindruckend, verdeutlichten aber auch, wie schwierig die reale Nutzung eines Telefons wirklich ist.

1. Die Daten sind viel reicher
Der SEE-Datensatz ist voller Komplexität. Während andere Datensätze Bildschirme mit etwa 14 Buttons enthalten können, haben die Bildschirme in SEE durchschnittlich 24,63 interaktive Elemente. Das bedeutet, die KI muss lernen, den richtigen Button aus einer viel gedrängteren und verwirrenderen Menge auszuwählen. Auch die Aufgaben sind länger, mit einem Durchschnitt von 14,8 Schritten pro Reise, verglichen mit den viel kürzeren Aufgaben in anderen Datensätzen.

2. Die Roboter kämpfen (aber lernen)
Als die Forscher bestehende KI-Agenten mit diesen neuen, schwierigeren Daten testeten, schnitten diese Agenten nicht besonders gut ab. Sie konnten oft die Art der benötigten Aktion erraten (wie „tippen“ oder „wischen“), aber sie scheiterten daran, den richtigen Button zu wählen. Dies wird als „Grounding“-Problem bezeichnet. Es ist, als wüsste man, dass man links abbiegen muss, aber man biegt an der falschen Straße ab.

• Erfolgsquote: Selbst die besten Modelle erreichten ohne zusätzliches Training eine Erfolgsquote von nur etwa 39,92 % im Testset.
• Der Engpass: Das Hauptproblem war nicht die Planung der Schritte, sondern das Finden des richtigen Buttons auf einem Bildschirm voller ähnlicher Elemente. Das ist das „Grounding“-Problem.

3. Training auf SEE macht einen riesigen Unterschied
Als sie jedoch ein KI-Modell nahmen und es gezielt (fine-tuned) auf den SEE-Daten trainierten, stiegen die Ergebnisse signifikant an.

• Die Erfolgsquote des fein abgestimmten Modells sprang auf 77,29 %.
• Die Fähigkeit, den richtigen Button zu wählen (Grounding Accuracy), verbesserte sich von 60,79 % auf 69,91 %.
• Noch wichtiger ist, dass dieses Training den Robotern half, auch bei anderen Apps, die sie noch nicht gesehen hatten, besser zu performen. Dies deutet darauf hin, dass das Lernen dieser komplexen, langen Aufgaben der KI allgemeine Fähigkeiten vermittelt, die auf neue Situationen übertragbar sind.

4. Die Karte ist entscheidend
Die Forscher prüften auch, ob ihr „Kartenerstellungs-Prozess“ (die Explorationsphase) tatsächlich funktionierte. Sie fanden heraus, dass der „Reflexions“-Schritt – bei dem die KI doppelt prüft, ob eine Bewegung sinnvoll war – entscheidend war. Oh ohne diesen Schritt wies die Karte viele Fehler auf (etwa 27,1 % falsche Verbindungen). Mit dem Reflexionsschritt wurde die Karte viel sauberer, mit nur noch 9,1 % Fehlern. Dies beweist, dass ein Moment des Nachdenkens darüber, was gerade passiert ist, das gesamte System wesentlich zuverlässiger macht.

Warum das wichtig ist

Die Arbeit legt nahe, dass wir nicht einfach mehr Geld in menschliche Demonstrationen stecken oder darauf hoffen können, dass wahlloses Klicken den Robotern den Umgang mit Telefonen beibringt. Die reale Welt ist zu komplex. Indem wir einen struktur-bewussten Ansatz verwenden, der zuerst eine Karte erstellt und dann lange, realistische Reisen plant, können wir Trainingsdaten erzeugen, die KI tatsächlich auf die chaotische Realität mobiler Apps vorbereiten.

Das SEE-Framework zeigt, dass mit der richtigen Art von Übung – lang, komplex und voller realer Ablenkungen – KI-Agenten lernen können, die digitale Welt wesentlich effektiver zu navigieren. Es ist ein Schritt hin zu Robotern, die nicht nur einfachen Anweisungen folgen, sondern tatsächlich verstehen, wie sie Dinge in der chaotischen, sich ständig ändernden Welt unserer Smartphones erledigen können. Auch wenn noch viel zu tun ist (die Erfolgsquoten sind noch nicht perfekt), bietet dieser Ansatz einen vielversprechenden Weg, um unsere digitalen Assistenten wirklich hilfreich zu machen.