ISE: An Execution-Grounded Recipe for Multi-Turn OS-Agent Trajectories
Das Paper stellt ISE vor, ein dreistufiges Synthese-Paradigma, das hochwertige, ausführungsbasiert verankerte Multi-Turn-OS-Agenten-Trajektorien generiert, um die Tool-Use-Leistung in feinabgestimmten Modellen signifikant zu verbessern und dabei größere Zero-Shot-Baselines zu übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber unerfahrenen Roboter beizubringen, wie man einen Computer benutzt. Sie möchten, dass er komplexe Aufgaben bewältigen kann, wie zum Beispiel: „Organisiere meine Dateien, schreibe einen Bericht basierend darauf und sende ihn per E-Mail an meinen Chef.“
Das Problem ist laut dieser Arbeit, dass die „Lehrbücher“ (Trainingsdaten), mit denen wir diese Roboter unterrichten, in drei spezifischen Punkten fehlerhaft sind:
- Sie beginnen mit den Werkzeugen, nicht mit dem Nutzer: Die meisten Daten werden erstellt, indem man eine Liste verfügbarer Computerbefehle (wie „Datei löschen“ oder „E-Mail senden“) betrachtet und dann einen Grund erfindet, sie zu benutzen. Es ist, als würde man einen Koch lehren, indem man sagt: „Hier ist ein Messer, stell dir nun einen Grund vor, etwas zu hacken“, anstatt mit „Ich habe Hunger, mach mir ein Sandwich“ zu beginnen.
- Sie sind zu kurz: Das echte Leben beinhaltet ein Hin und Her. Wenn ein Roboter einen Fehler macht, korrigiert man ihn. Wenn er Erfolg hat, bittet man ihn um den nächsten Schritt. Die meisten Trainingsdaten sind nur eine Frage und eine Antwort, wie eine Transaktion am Verkaufsautomaten, und kein echtes Gespräch.
- Sie sind fake: Roboter werden meist auf „simulierten“ Ergebnissen trainiert. Der Computer tut so, als ob er eine Datei gelöscht hätte oder rät, wie eine Fehlermeldung aussehen würde. Er berührt nie einen echten Computer, wes_{\text{t}} er nie lernt, was zu tun ist, wenn im echten Leben etwas schiefgeht.
Die Lösung: ISE (Intent → Simulate → Execute)
Die Autoren schlagen ein neues dreistufiges Rezept namens ISE vor, um diese Probleme zu lösen. Betrachten Sie es als eine hochklassige Kochschule für Roboter.
Schritt 1: Das Menü (Intent)
Anstatt mit einer Liste von Werkzeugen zu beginnen, fangen sie mit echten menschlichen Bedürfnissen an.
- Die Analogie: Stellen Sie sich einen Koch vor, der ein Menü basierend darauf erstellt, was verschiedene Arten von Menschen tatsächlich essen wollen, und nicht nur basierend darauf, was sich im Vorratsschrank befindet.
- Wie sie es gemacht haben: Sie erstellten 50.000 einzigartige „Personas“ (wie einen beschäftigten Finanzmanager, einen kreativen Schriftsteller oder einen Studenten) und mischten diese mit verschiedenen Arten von Aufgaben und Schwierigkeitsgraden. Dies stellt sicher, dass der Roboter lernt, eine Vielzahl von realen Anfragen zu bewältigen, nicht nur die einfachen, häufigen.
Schritt 2: Das Rollenspiel (Simulate)
Hier beheben sie das Problem der „zu kurzen“ Dauer. Sie verwenden eine spezielle KI, die als der menschliche Nutzer fungiert.
- Die Analogie: Stellen Sie sich einen Method Actor vor, der die Rolle eines frustrierten Kunden spielt. Dieser Schauspieler sagt nicht einfach nur „Mach ein Sandwich“ und hört dann auf. Wenn der Roboter das Brot fallen lässt, sagt der Schauspieler: „Hey, du hast das Brot fallen lassen, heb es auf!“ Wenn der Robat gute Arbeit leistet, sagt er: „Super, jetzt leg den Käse drauf.“
- Die Geheimzutat: Die Autoren haben sichergestellt, dass diese „Schauspieler“-KI in ihrer Rolle bleibt. Sie verwandelt sich nicht versehentlich in einen hilfreichen Assistenten (was das Training ruinieren würde). Sie bleibt strikt in der Rolle des Nutzers und reagiert auf das, was der Roboter tatsächlich tut, nicht auf das, was der Roboter denkt, dass er getan hat.
Schritt 3: Die echte Küche (Execute)
Dies ist der kritischste Schritt. Der Roboter rät nicht nur, was passiert; er leistet die Arbeit tatsächlich auf einem echten, isolierten Computer.
- Die Analogie: Anstatt dass ein Koch vorgibt, Gemüse auf einem Schneidebrett zu hacken, das gar nicht echt ist, hackt der Koch tatsächlich echtes Gemüse. Wenn das Messer abrutscht und den Tisch beschädigt, zeichnet das System diesen echten Fehler auf.
- Warum es wichtig ist: Wenn der Roboter versucht, einen Befehl auszuführen und dies fehlschlägt (z. B. „Datei nicht gefunden“), sieht der „Schauspieler“-Nutzer die echte Fehlermeldung und reagiert darauf. Dies lehrt den Roboter, wie man sich von echten Katastrophen erholt, etwas, das echte Simulationen nicht leisten können.
Die Ergebnisse
Sie nahmen dieses neue „Lehrbuch“ (genannt ISETrace) und nutzten es, um einen Roboter (speziell ein Modell namens Qwen3-8B) zu trainieren.
- Vorher: Ohne dieses neue Training konnte der Roboter nur etwa 19 % der komplexen, mehrstufigen Computeraufgaben lösen.
- Nachher: Mit diesem neuen Training löste der Roboter 37 % der Aufgaben.
- Der Vergleich: Dieser trainierte Roboter mit 8 Milliarden Parametern schnitt tatsächlich besser ab als:
- Ein viel größerer Roboter (32 Milliarden Parameter), der nicht mit diesen Daten trainiert wurde.
- Ein sehr berühmter, teurer kommerzieller Roboter (GPT-4o), der nicht mit diesen Daten trainiert wurde.
Das Fazit
Das Paper argumentiert, dass es genauso wichtig ist, wie man Trainingsdaten erstellt, wie auch, welche Daten man erstellt. Indem sie mit echten menschlichen Bedürfnissen begannen, lange Gespräche erzwangen und den Roboter an echten Computern üben ließen (einschließlich der Fehler), erschufen sie einen viel intelligenteren Agenten.
Sie bewiesen auch, dass der Teil mit dem „langen Gespräch“ der entscheidende Faktor war. Als sie die Trainingsdaten auf einfache Fragen reduzierten (indem sie das Hin und Her entfernten), sank die Leistung des Roboters signifikant. Dies zeigt, dass das Erlernen eines Gesprächs essenziell ist, damit ein Roboter wirklich nützlich sein kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.