AliyunConsoleAgent: Training Web Agents in Real-World Cloud Environments via Distillation and Reinforcement Learning
Das Paper stellt AliyunConsoleAgent vor, ein kosteneffizientes Web-Agent-Framework, das durch ein zweistufiges Trainingsparadigma, welches Supervised Fine-Tuning auf destillierten Trajektorien mit Reinforcement Learning mittels eines robusten Belohnungssystems in realen Umgebungen kombiniert, eine nahezu führende Leistung bei der Verifizierung von Cloud-Console-Dokumentationen erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Manager eines riesigen, sich ständig verändernden Freizeitparks (die Cloud Console). Jeden Tag kommen im Park neue Fahrgeschäfte hinzu, werden Kassenstände geändert und Sicherheitsregeln aktualisiert. Währenddessen werden die Reiseführer (die Dokumentation) von einem anderen Team geschrieben, das sie langsam und manuell aktualisiert.
Das Problem:
Da sich der Park so schnell verändert, veralten die Reiseführer schnell. Ein Schritt im Buch besagt vielleicht: „Klicken Sie auf den blauen Button“, aber im echten Park ist dieser Button nun rot oder wurde durch einen Touchscreen ersetzt.
Jede einzelne Anweisung im Reiseführer gegen den echten Park zu prüfen, ist ein Albtraum. Es würde ein menschliches Team Millionen von Stunden pro Jahr kosten, und derzeit prüfen sie nur etwa 1 % der Anweisungen. Wenn sie es nicht tun, verirren sich die Kunden und werden frustriert.
Die alte Lösung (und warum sie scheiterte):
Das Unternehmen versuchte, „superintelligente Roboter“ (Frontier Proprietary Models) einzustellen, um die Prüfung zu übernehmen. Diese Roboter sind unglaublich klug und können die Reiseführer lesen und den Park perfekt navigieren. Sie sind jedoch teuer (als würde man für jede einzelne Prüfung ein Team von PhDs anheuern) und riskant (man müsste ihnen die privaten Karten des Parks zeigen, was gegen Sicherheitsregeln verstößt). Man kann es sich nicht leisten, sie für die Millionen von Prüfungen einzusetzen, die nötig sind.
Die neue Lösung: AliyunConsoleAgent
Die Autoren bauten ihren eigenen „trainierbaren Roboter“ (ein KI-Modell mit 32 Milliarden Parametern), der günstiger und sicherer auf den eigenen Servern zu betreiben ist. Aber ein Standard-Roboter ist nicht klug genug, um mit einem chaotischen, sich verändernden Freizeitpark fertig zu werden. Deshalb verwendeten sie eine zweistufige Trainingsmethode:
1. Die „Shadowing“-Phase (Supervised Fine-Tuning)
Zuerst nahmen sie die superintelligenten Roboter und ließen den neuen Roboter ihnen folgen (Shadowing).
- Die Analogie: Stellen Sie sich vor, ein Meisterkoch (der Super-Roboter) bereitet ein komplexes Gericht zu. Der neue Roboter beobachtet den Meister und lernt jeden Schnitt, jedes Rühren und jeden Gewürzschritt auswendig.
- Das Ergebnis: Der neue Roboter lernt die Grundlagen, wie man sich im Park bewegt und Anweisungen folgt. Er wird ziemlich gut darin, aber er ist immer noch nur ein Kopierer. Wenn sich der Park leicht verändert, wird er verwirrt sein, weil er das Ziel nicht wirklich versteht, sondern nur die Schritte auswendig gelernt hat.
2. Die „Versuch und Irrtum“-Phase (Reinforcement Learning)
Als Nächstes ließen sie den Roboter in einer simulierten Version des Parks los, um durch Tun zu lernen.
- Die Herausforderung: In einer echten Cloud-Umgebung scheitert der Roboter oft nicht, weil er dumm ist, sondern weil der „Park“ noch nicht bereit ist. Zum Beispiel versucht er, einen Server zu löschen, aber der Server existiert noch gar nicht. Wenn der Roboter dafür bestraft wird, lernt er die falsche Lektion (dass er schlecht darin ist, Server zu löschen) anstatt der richtigen (dass er zuerst den Server bauen muss).
- Die Lösung (Der High-Determinism Rollout): Das Team baute einen speziellen „Trainingsplatz“ unter Verwendung von Terraform (einem Werkzeug, das Infrastruktur wie Lego baut). Bevor der Roboter eine Aufgabe versucht, baut dieses System automatisch die genauen Voraussetzungen (wie das Bauen des Servers, das Einrichten des Netzwerks), damit der Roboter erfolgreich sein kann, sofern er die richtigen Schritte macht.
- Das Belohnungssystem: Anstatt dass ein Mensch den Roboter bewertet, nutzen sie einen Dual-Channel-Richter (Dual-Channel Judge):
- Der Regel-Prüfer: Er sieht sich die offiziellen „Audit-Logs“ (wie die Überwachungskameras des Parks) an, um zu sehen, ob die Aktion tatsächlich stattgefunden hat. Wurde der Server gelöscht? Ja/Nein. Das ist 100 % objektiv.
- Das Gremium der Richter: Wenn es kein klares Protokoll gibt, fungieren zwei andere KI-Modelle als Richter. Sie geben nur dann ein „Bestanden“ (Pass) aus, wenn beide zustimmen, dass der Roboter erfolgreich war. Dies verhindert, dass der Roboter „schummelt“ oder einen einzelnen Richter täuscht.
Das Ergebnis
Nach diesem Training entwickelte sich der Roboter von einem gedankenlosen Nachahmer zu einem autonomen Problemlöser.
- Vorher: Wenn im Leitfaden stand „Deaktivieren Sie die automatische Verlängerung“, der Schalter aber bereits aus war, stoppte der Roboter einfach und sagte: „Ich kann es nicht tun.“
- Nachher: Der Roboter denkt: „Warte, ich kann es nicht ausschalten, wenn es schon aus ist. Ich muss es zuerst einschalten, damit ich es dann ausschalten kann, um zu beweisen, dass ich es getan habe.“ Er hat die Logik selbstständig erschlossen.
Das Wichtigste im Überblick:
- Leistung: Ihr neuer Roboter (AliyunConsoleAgent-32B) ist fast so gut wie die teuren „Super-Roboter“ (innerhalb einer Differenz von 1,8 %).
- Kosten: Er kostet 92 % weniger im Betrieb.
- Auswirkung: Sie haben dieses System genutzt, um über 54.000 Anweisungen zu prüfen und dabei fast 4.400 echte Fehler gefunden, die von den Produktteams behoben wurden.
Kurz gesagt: Sie haben einem lokalen, erschwinglichen Roboter beigebracht, wie ein Genie zu denken, indem sie ihn ein Genie shadowen ließen und ihn dann in einem perfekt vorbereiteten Trainingsgym ausprobieren ließen, wo er aus seinen Fehlern lernen konnte, ohne für Dinge bestraft zu werden, die außerhalb seiner Kontrolle lagen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.