Scalable Behaviour Cloning on Browser Using via Skill Distillation
Dieses Paper schlägt einen skalierbaren Ansatz zum Training von Browser-Agenten vor, indem menschliche Interaktionstrajektorien in kompakte, abrufbare natürliche Sprachfertigkeiten destilliert werden, die innerhalb eines Skill-Graphen organisiert sind, wodurch bestehende Nutzerdaten genutzt werden, um Entscheidungsprozess-Engpässe zu überwinden, anstatt sich auf manuell entworfene Aufgaben zu verlassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man einen Webbrowser benutzt. Sie könnten dem Roboter ein Video zeigen, in dem ein Mensch auf „Absenden“ bei einem bestimmten Formular klickt, und der Roboter lernt vielleicht, genau diesen Punkt anzuklicken. Aber in dem Moment, in dem sich das Layout der Website ändert oder der Button zwei Zentimeter nach links verschoben wird, versagt der Roboter. Es ist, als würde man jemandem das Autofahren beibringen, indem man die exakte Position des Lenkrads in einem ganz bestimmten Auto auswendig lernt; wenn die Person in ein anderes Auto steigt, fährt sie gegen die Wand.
Dieses Paper, BrowserBC, argumentiert, dass das Problem nicht darin besteht, dass Roboter nicht auf Knöpfe klicken oder Buchstaben tippen können. Das Problem ist, dass sie nicht wissen, was als Nächstes zu tun ist, wenn sie sich verlaufen haben. Ihnen fehlen „Entscheidungsprioritäten“ (decision priors) – das Bauchgefühl oder der gesunde Menschenverstand, den Menschen beim Navigieren auf einer Website besitzen.
So lösen die Autoren dieses Problem mithilfe einfacher Analogien:
1. Das Problem: Der Roboter ist „amnesisch“
Aktuelle KI-Agenten sind wie Touristen, die noch nie zuvor in einer Stadt waren. Sie können die Straßenschilder sehen (die Webseite) und sie können gehen (klicken und tippen), aber sie wissen nicht, welche Abkürzungen es gibt, wo Sackgassen sind oder wie sie erkennen, dass sie tatsächlich ihr Ziel erreicht haben. Sie wandern im Kreis herum und probieren wahllos Dinge aus, bis sie Glück haben.
Die Autoren sagen, wir haben eine riesige, ungenutzte Ressource, um dies zu beheben: die Milliarden von Stunden, die Menschen bereits mit dem Surfen im Internet verbracht haben. Jedes Mal, wenn ein Mensch erfolgreich ein Formular ausfüllt oder ein Produkt findet, hinterlässt er eine „Spur“ seiner Reise.
2. Die Lösung: „Fußabdrücke“ in „Bedienungsanleitungen“ verwandeln
Das Paper schlägt ein System namens Skill Distillation (Fertigkeitsdestillation) vor. Anstatt die rohen Videoaufnahmen eines Menschen beim Klicken auf Buttons zu speichern (was unordentlich und spezifisch für einen einzelnen Moment ist), wandelt das System diese Handlungen in natürlichsprachliche Fertigkeiten um.
Denken Sie an Folgendes:
- Rohe Spur: Ein Video von einer Person, die von ihrem Haus zum Supermarkt läuft, an einer roten Ampel hält, über einen Riss im Boden stolpert und Milch kauft. Das ist zu spezifisch. Wenn die Straße morgen gesperrt ist, ist das Video nutzlos.
- BrowserBC Skill: Eine geschriebene Rezeptkarte, die besagt: „Um Milch zu kaufen: Gehen Sie zum Laden, finden Sie den Milchregal, nehmen Sie einen Karton und prüfen Sie das Verfallsdatum. Wenn der Laden geschlossen ist, gehen Sie zum nächsten.“
Diese „Rezeptkarte“ ist eine Skill Card (Fertigkeitskarte). Sie kümmert sich nicht um die spezifischen Straßennamen oder die Farbe der Ampel. Sie kümmert sich um die Logik der Aufgabe.
3. Die Bibliothek: Ein „Skill Graph“
Wenn Sie einfach nur Tausende dieser Rezeptkarten sammeln würden, hätten Sie am Ende einen unordentlichen Haufen, in dem einige sagen „Milch kaufen“ und andere „Gehen Sie zum Milchregal“, was zu Verwirrung führt.
Die Autoren organisieren diese Karten in einem Skill Graph. Stellen Sie sich eine gut organisierte Bibliothek oder ein Flussdiagramm vor:
- Wenn Sie eine „Formular ausfüllen“ müssen, sucht das System im Graphen nach der allgemeinen „Formular ausfüllen“-Karte.
- Wenn dieses Formular für eine „Zahlung“ ist, verlinkt es auf eine spezifischere „Zahlungsformular“-Karte.
- Wenn das Formular fehlschlägt, verlinkt es auf eine „Wiederherstellungskarte“, die besagt: „Wenn eine Fehlermeldung erscheint, überprüfen Sie Ihre E-Mail-Adresse.“
Dies ermöglicht es dem System, intelligent zu wachsen, ohne unübersichtlich zu werden. Es konsolidiert Wissen, anstatt es nur anzuhäufen.
4. Der Zaubertrick: „Einmal destillieren, günstig anwenden“
Dies ist der leistungsstärkste Teil des Papers.
- Der Destillierer: Eine sehr intelligente, teure KI (wie ein Doktorand) beobachtet einen Menschen beim Surfen auf einer Website. Sie schreibt die perfekte „Skill Card“ (das Rezept).
- Der Ausführer: Eine kleinere, günstigere, schnellere KI (wie ein Praktikant im Gymnasium) erhält dann diese Karte, um die eigentliche Arbeit zu erleden.
Der „Doktorand“ leistet einmalig die schwere Denkarbeit, um die Regelwerks zu erstellen. Der „Praktikant“ befolgt dann einfach nur das Regelwerk. Das bedeutet, dass Sie nicht für jede einzelne Aufgabe einen Supercomputer benötigen. Sie können die menschliche Expertise einmal aufzeichnen und tausenden kleineren, günstigeren Robotern dieses Wissen für immer zur Verfügung stellen.
5. Die Ergebnisse: Weniger Umherirren, mehr Erfolg
Die Autoren haben dies auf echten Websites getestet und fanden heraus, dass Agenten, die diese „Skill Cards“ nutzen:
- Mehr Aufgaben lösten: Sie waren etwa 20 % bis 35 % häufiger erfolgreich als Agenten ohne die Karten.
- Weniger Schritte brauchten: Sie irrten nicht so viel herum. Sie wussten, wohin sie gehen mussten.
- Fehler korrigierten: Wenn etwas schiefging, wussten sie, wie sie es beheben konnten, weil der „Wiederherstellungsteil“ der Skill Card ihnen sagte, was zu tun ist.
- Auf neuen Websites funktionierten: Da die Fertigkeiten in allgemeiner Sprache (nicht in spezifischen Koordinaten) geschrieben waren, funktionierten sie auch dann, wenn sich das Design der Websites änderte.
Zusammenfassung
Das Paper argumentiert, dass die Zukunft smarter Web-Agenten nicht darin besteht, sie schneller klicken oder besser sehen zu lassen. Es geht darum, ihnen eine Bibliothek menschlicher Weisheit zu geben. Indem wir die unordentliche menschliche Browsing-Historie in saubere, wiederverwendbare „Bedienungsanleitungen“ verwandeln, können wir Roboter lehren, das Internet mit demselben gesunden Menschenverstand zu navigieren, den Menschen besitzen, ohne jedes Mal alles neu lernen zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.