Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining
Diese Arbeit präsentiert eine diagnostische Studie, die aufzeigt, dass das Mining von Interaktionstrajektorien zwar lesbare und hochreine Skill-Bibliotheken für computer-nutzende Agenten generieren kann, der aktuelle Ansatz jedoch aufgrund von Einschränkungen bei der Grenzerkennung, der Segmentrepräsentation und der Offline-Belohnungsmodellierung daran scheitert, diese Erkenntnisse in zuverlässige domänenübergreifende Richtlinienverbesserungen zu überführen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen Roboter-Assistenten, der einen Computer genauso benutzen kann wie ein Mensch: klicken, tippen, scrollen und kopieren. Um diesen Roboter intelligenter zu machen, geben wir ihm oft ein „Spickzettel“ namens SKILL.md. Betrachten Sie diesen Spickzettel als ein Rezeptbuch. Anstatt dem Roboter zu sagen: „Klicke hier, dann tippe dort“, sagt das Buch: „Hier ist, wie man eine ‚E-Mail versendet‘ oder eine ‚Datei speichert‘“. Dies sind vorgefertigte Fähigkeiten (Skills), die es dem Roboter erleichtern, die Aufgabe zu verstehen und auszuführen.
Normalerweise müssen Menschen diese Rezeptbücher von Hand schreiben. Aber was wäre, wenn wir den Roboter lehren könnten, sein eigenes Rezeptbuch zu schreiben, indem er einfach beobachtet, wie Menschen Computer benutzen? Genau das versucht dieser Artikel zu tun.
Das Experiment: Einem Roboter beibringen, sein eigenes Kochbuch zu schreiben
Die Forscher bauten eine dreistufige Maschine, um rohe Computer-Nutzungsdaten in ein Rezeptbuch zu verwandelt:
- Das Schneiden des Videos: Stellen Sie sich vor, Sie schauen ein langes Video davon, wie jemand arbeitet. Die Maschine versucht, die „Szenenwechsel“ zu finden. Wenn die Person plötzlich aufhört zu tippen und anfängt zu scrollen, schneidet die Maschine das Video genau dort, in dem sie denkt: „Okay, das war eine Aufgabe; jetzt beginnt eine neue.“
- Das Gruppieren der Szenen: Die Maschine nimmt all diese kleinen Videoclips und versucht, ähnliche zusammenzugruppieren. Wenn 50 Clips das „Kopieren und Einfügen“ beinhalten, legt sie sie in einen Eimer mit der Aufschrift „Datentransfer“. Dann erstellt sie einen digitalen „Fingerabdruck“ für jeden Eimer, damit der Roboter sie später wiedererkennen kann.
- Das Training des Roboters: Schließlich bringen sie dem Roboter eine neue Strategie (eine Menge von Regeln) anhand dieser Eimer bei. Das Ziel ist es zu sehen, ob der Roboter in der Lage ist, sich eine neue Aufgabe anzusehen und zu sagen: „Zuerst muss ich die ‚Suche‘-Fähigkeit anwenden, dann die ‚Kopieren‘-Fähigkeit“ – und dies tatsächlich besser macht als zuvor.
Die Ergebnisse: Ein gemischtes Bild
Die Ergebnisse waren ein wenig so, als fände man eine Schatzkarte, die zu einer wunderschönen Insel führt, aber das Boot, das man gebaut hat, segelt nicht besonders gut.
Die gute Nachricht: Die Karte ist lesbar
Auf dem spezifischen Datensatz, den sie zur Erstellung der Karte verwendeten (genannt „IW“), machte die Maschine einen großartigen Job bei der Organisation der Daten. Fünf von acht ihrer „Eimer“ waren sehr rein. Zum Beispiel bestand ein Eimer fast ausschließlich aus „Dokumentbearbeitungs“-Aktionen und ein anderer bestand rein aus „Nachrichten senden“.
- Analogie: Es ist, als würde man einen Roboter bitten, einen Haufen gemischter Wäsche zu sortieren, und er schafft es erfolgreich, alle Socken in einen Korb und alle Hemden in einen anderen zu legen. Das Sortieren war klar und für Menschen leicht nachvollziehbar.
Die schlechte Nachricht: Das Boot segelt nicht
Hier ist der knifflige Teil: Nur weil der Roboter die Wäsche gut sortiert hat, bedeutet das nicht, dass er auch weiß, wie man die Kleidung trägt.
- Das Transfer-Problem: Als sie versuchten, diese sortierten Fähigkeiten auf neue Aufgaben anzuwenden (andere Websites oder andere Arten von Arbeit), wurde der Roboter nicht besser. Tatsächlich wurde er manchmal sogar etwas schlechter.
- Die „Häufigkeits“-Überraschung: Die Forscher testeten den Roboter gegen eine sehr einfache, banale Baseline: eine „Frequency Prior“. Das ist lediglich eine Regel, die besagt: „Was auch immer die am häufigsten verwendete Fähigkeit war, tu das wieder.“ Überraschenderweise schlug diese dumme Regel den komplexen, gelernten Fähigkeiten des Roboters.
- Analogie: Stellen Sie sich vor, Sie versuchen eine neue Sprache zu lernen. Sie studieren ein komplexes Grammatikbuch (die Fähigkeiten des Roboters), aber Sie machen ständig Fehler. Währenddessen lernt Ihr Freund einfach das häufigste Wort, das er gestern gehört hat („Hallo“), und er kommuniziert in diesem speziellen Test tatsächlich besser als Sie.
Warum ist es gescheitert?
Der Artikel nennt einige Gründe, warum das „Rezeptbuch“ des Roboters ihm nicht geholfen hat, besser zu „kochen“:
- Die Reihenfolge fehlte: Die Maschine gruppierte Aktionen basierend darauf, was sie waren (Klicks, Tippen), aber sie vergaß die Reihenfolge. Sie wusste, dass „Klicken“ und „Einfügen“ im selben Eimer waren, aber sie erinnerte sich nicht daran, dass man erst klicken muss, bevor man einfügt. Es ist, als hätte man einen Beutel mit Zutaten für einen Kuchen, aber vergessen, in welcher Reihenfolge man sie mischen muss.
- Falsche Schnitte: Die Maschine schnitt das „Video“ manchmal an den falschen Stellen. Sie könnte denken, dass eine lange Pause beim Tippen eine neue Fähigkeit ist, obwohl es sich nur um die Fortsetzung derselben Fähigkeit handelte.
- Das Belohnungssystem: Das System, das den Roboter trainierte (genannt GRRO), war nicht gut genug darin, Feedback zu geben. Es war wie ein Trainer, der vages Lob gibt anstatt spezifischer Korrekturen.
Das Fazit
Dieser Artikel ist eine diagnostische Studie, was bedeutet, dass es eher darum geht, herauszufinden, war Warum etwas nicht perfekt funktioniert hat, als einen riesigen Sieg zu beanspruchen.
- Was funktionierte: Wir können Computer-Nutzungsdaten automatisch auswerten, um eine lesbare, organisierte Liste von Fähigkeiten zu erstellen, die Menschen verstehen können.
- Was nicht funktionierte: Diese Liste von Fähigkeiten in einen Roboter zu verwandeln, der diese Fähigkeiten tatsächlich nutzen kann, um neue Probleme zu lösen, ist viel schwieriger. Die aktuelle Methode war einer einfachen „Rate die häufigste Aktion“-Strategie nicht überlegen.
Die Autoren kommen zu dem Schluss, dass wir zwar einen guten Weg haben, die Struktur dessen zu sehen, wie Menschen arbeiten, aber wir haben noch nicht herausgefunden, wie wir diese Struktur in ein zuverlässiges, übertragbares Set an Fähigkeiten für Roboter umwandeln können. Das „Rezeptbuch“ existiert, aber der Roboter braucht noch mehr Übung, bevor er ein Gericht auf eigene Faust kochen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.