GTA: Generating Long-Horizon Tasks for Web Agents at Scale
Dieser Artikel stellt GTA vor, ein skalierbares Framework, das durch die Integration von Crawling, retrieval-basiertem Seeding und automatisierter Validierung realistische, mehrstufige Web-Agent-Aufgaben mit ausführbaren Trajektorien automatisch generiert, um die Einschränkungen bestehender Benchmarks zu überwinden und ein robustes Training sowie eine robuste Evaluierung zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man das Internet nutzt. Der Roboter verfügt über ein Gehirn (ein Sprachmodell) und Hände (Werkzeuge zum Klicken und Tippen), ist jedoch derzeit noch sehr ungeschickt. Er kann einfache Antworten finden, wie etwa „Was ist die Hauptstadt von Frankreich?", hat aber Schwierigkeiten mit komplexen Missionen, wie zum Beispiel: „Finden Sie den billigsten Flug nach Tokio, prüfen Sie, ob das Hotel einen Pool hat, und sehen Sie, ob die Flugzeit mit meinem Arzttermin übereinstimmt."
Das Problem ist, dass wir dem Roboter nicht genug gute Übung gegeben haben.
Das Problem: Training mit einer kaputten Karte
Derzeit ähneln die meisten Tests für diese Web-Roboter dem Übergeben einer Karte mit nur einem „Start"- und einem „Ziel"-Punkt, jedoch ohne Anweisungen, wie man dorthin gelangt.
- Alte Benchmarks: Diese sind wie handgeschriebene Rätsel, die von Menschen erstellt wurden. Sie sind in geringer Anzahl vorhanden und testen oft nur einfache, einstufige Aufgaben.
- Automatische Versuche: Einige Forscher versuchten, Roboter Websites eigenständig erkunden zu lassen, um neue Rätsel zu erstellen. Doch dies war so, als würde man ein Kleinkind durch ein Einkaufszentrum wandern lassen, um Spielzeug zu finden: Es fand nur die glänzenden, offensichtlichen Dinge (wie den Spielwarenladen) und ignorierte den Rest (wie die Apotheke oder das Food-Court). Zudem war es unglaublich teuer und langsam.
Aus diesem Grund „overfitten" die Roboter. Sie haben sich die spezifischen Rätsel, die ihnen gegeben wurden, auswendig gelernt, sind aber nicht in der Lage, reale, chaotische Situationen zu bewältigen, in denen sie zwischen verschiedenen Seiten und Websites springen müssen, um ein Problem zu lösen.
Die Lösung: GTA (Der „Architekt"-Ansatz)
Die Autoren stellen GTA vor (Generating Long-Horizon Tasks for Web Agents at Scale). Betrachten Sie GTA nicht als Lehrer, der Arbeitsblätter verteilt, sondern als Meisterarchitekten, der ein Trainingszentrum baut.
So haben sie es mit einfachen Schritten aufgebaut:
- Das Crawlen (Kartierung der Stadt): Anstatt den Roboter blind umherwandern zu lassen, schickt GTA zunächst eine Flotte digitaler „Späher" aus, um ganze Websites (wie E-Commerce-Shops, Regierungsseiten und Nachrichtenportale) zu kartieren. Sie erstellen eine vollständige „Stadtplan" jeder Seite und deren Verbindungen.
- Der Samen (Auswahl der Herausforderung): Anstatt zu raten, wie eine schwierige Aufgabe aussieht, wählt GTA zwei zufällige Orte auf der Karte aus (z. B. eine Seite über einen bestimmten Schuh und eine Seite über einen bestimmten Rabatt).
- Die Generierung (Schreiben der Mission): Eine KI wird gebeten, eine Mission zu verfassen, die erfordert, beide Orte zu besuchen, um sie zu lösen. Zum Beispiel: „Finden Sie den Preis des Schuhs auf Seite A, prüfen Sie dann, ob Seite B einen Gutschein hat, der ihn günstiger macht."
- Die Qualitätskontrolle (Der Schiedsrichter): Bevor die Mission freigegeben wird, überprüft sie ein strenger Schiedsrichter.
- Ist sie lösbar? (Können Sie die Antwort tatsächlich erhalten?)
- Ist sie klar? (Gibt es nur eine richtige Antwort?)
- Ist sie mehrstufig? (Zwingt sie den Roboter, mehr als eine Seite zu besuchen?)
- Der Goldpfad (Der Lösungsschlüssel): Entscheidend ist, dass GTA den exakten Pfad aufzeichnet, den der Roboter nehmen sollte. Dies ermöglicht es den Forschern, die Mission perfekt wiederzuspielen und genau zu sehen, wo der Roboter einen Fehler gemacht hat.
Warum dies wichtig ist: Die Lücke zwischen „Mensch und Roboter"
Die Autoren testeten dieses neue Trainingszentrum mit aktuellen Robotern und stellten eine massive Lücke fest:
- Die Roboter: Konfrontiert mit diesen neuen, mehrstufigen Aufgaben scheiterten die Roboter die meiste Zeit (oft mit Ergebnissen unter 20 %). Sie verirrten sich, gaben zu früh auf oder versuchten, die Suchleiste zu verwenden, anstatt die Seite ordnungsgemäß zu navigieren.
- Die Menschen: Als Menschen dieselben Aufgaben versuchten, lösten sie diese mühelos (85 % Erfolgsrate).
- Die Suchmaschine: Selbst eine einfache Google-Suche konnte diese Aufgaben nicht lösen, da die Antwort nicht an einem Ort zu finden war; sie war über verschiedene Seiten verteilt.
Schlüsselfunktionen von GTA
- Es ist ein „lebendes" Trainingszentrum: Im Gegensatz zu alten Tests, die statisch (in der Zeit eingefroren) sind, kann GTA kontinuierlich neue Aufgaben von lebenden Websites generieren. Dies verhindert, dass Roboter einfach die Antworten auswendig lernen.
- Es ist global: Es funktioniert in vielen Sprachen (Englisch, Italienisch, Japanisch, Deutsch, Chinesisch), nicht nur in Englisch. Die Roboter hatten mit nicht-englischen Seiten noch größere Schwierigkeiten.
- Es ist plattformübergreifend: Einige Aufgaben erfordern, dass der Roboter von einer Gesundheitsseite zu einer Finanzseite springt, um ein Problem zu lösen, was die Art und Weise nachahmt, wie echte Menschen das Web nutzen.
Das Fazit
GTA ist ein neues, massives und automatisiertes System zur Erstellung realistischer, schwieriger Trainingsmissionen für Web-Roboter. Es beweist, dass aktuelle Roboter beim Navigieren in der komplexen, mehrstufigen Natur des echten Internets immer noch recht schwach sind. Indem es eine Möglichkeit bietet, endlose, hochwertige und überprüfbare Herausforderungen zu generieren, hilft GTA den Forschern herauszufinden, genau wo Roboter versagen, damit sie bessere bauen können.
Was es NICHT ist:
- Es ist kein Werkzeug, das Ärzte oder Unternehmen sofort nutzen können.
- Es behauptet nicht, das Problem der Web-Agenten gelöst zu haben; es bietet lediglich einen besseren Weg, sie zu testen, und zeigt auf, wie viel Arbeit noch zu leisten ist.
- Es deckt keine Aufgaben ab, die das Einloggen in private Konten oder echte Käufe erfordern (aufgrund von Sicherheitsregeln).
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.