SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL
ScaleCUA ist ein vereinheitlichtes Framework, das Open-Source-Computer-Use-Agenten durch die Adressierung von Datenknappheit und Trainingseffizienz mittels VeriGen für verifizierbare Aufgaben-Synthese, Frontier Sampling für optimierte Probenallokation und Visual Context Segmentation für beschleunigtes Training auf den Stand der Technik bringt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen Computer genau wie ein Mensch zu benutzen. Der Roboter muss auf den Bildschirm schauen, Schaltflächen anklicken, in Terminals tippen und herausfinden, wie man Software installiert oder Dateien organisiert. Dies ist die Welt der Computer Use Agents (CUAs).
Lange Zeit glich das Lehren dieser Roboter dem Versuch, ein neues Videospiel ohne Punktestand zu lernen. Man kann zwar spielen, aber man weiß erst, ob man tatsächlich gewonnen hat, wenn ein Mensch das Ganze beobachtet und sagt: „Gut gemacht!“ oder „Versuch es nochmal!“. Das macht das Lernen super langsam und teuer, da man nicht einfach tausende Spiele gleichzeitig laufen lassen kann, wenn man für jedes einzelne eine menschliche Bewertung benötigt.
Hier kommt SCALECUA ins Spiel, ein neues Framework, das wie ein supergeladenes, selbstkorrigierendes Trainingslager für diese Roboter-Agenten fungiert. Es löst zwei große Probleme: das Finden von genügend Übungsaufgaben, die eine klare „Gewinnbedingung“ haben, und das schnelles genug zu machen, dass der Trainingsprozess tatsächlich funktioniert.
Das Problem mit dem Punktestand: Enter VERIGEN
Die erste Hürde war, dass die meisten Computeraufgaben kein eingebautes „Game Over, du hast gewonnen“-Signal besitzen. Um dies zu beheben, entwickelten die Forscher VERIGEN.
Stellen Sie sich VERIGEN als ein Team aus drei Roboter-Coaches vor, die in einem riesigen, unendlichen Spielplatz aus virtuellen Computern (Docker-Containern) arbeiten.
- Der Proposer (Vorschlagender) schlägt eine Aufgabe vor, wie zum Beispiel: „Installiere dieses spezifische Design für deinen Computer.“
- Der Judger (Beurteiler) prüft, ob die Anweisungen Sinn ergeben und ob die „Gewinnbedingung“ logisch ist.
- Der Checker (Prüfer) versucht tatsächlich, die Aufgabe im virtuellen Computer auszuführen, um zu sehen, ob sie möglich ist und ob die „Gewinnbedingung“ tatsächlich ausgelöst wird.
Wenn die Aufgabe eine dieser Prüfungen nicht besteht, wird sie aussortiert. Wenn sie besteht, wird sie zu einer verifizierten Trainingsaufgabe. Das Coole daran? Dieses Team von Coaches arbeitet parallel. Sie können 100+ dieser Coaches gleichzeitig laufen lassen, die mit 100+ virtuellen Computern simultan interagieren.
Das Ergebnis? Sie generierten über 24.000 verifizierte Aufgaben und fast 3.000 hochwertige Aufgaben speziell für das Training. Das ist ein massiver Sprung im Vergleich zu bisherigen Methoden, die oft auf winzigen, manuell geschriebenen Aufgabenlisten basierten.
Die Trainingsstrategie: Frontier Sampling
Sob falls man einen Berg an Aufgaben hat, wie wählt man dann aus, welche man übt? Ein häufiger Fehler ist es, Aufgaben zufällig auszuwählen. Aber stellen Sie sich vor, Sie würden lernen, Fahrrad zu fahren:
- Wenn Sie eine Aufgabe wählen, die zu einfach ist (Fahren auf flachem Boden), lernen Sie nichts.
- Wenn Sie eine Aufgabe wählen, die zu schwer ist (Fahren einen steilen Abhang hinunter), stürzen Sie ab und werden entmutigt.
- Der ideale Bereich ist die „Lernfrontier“ (Learning Frontier) – die Aufgaben, bei denen man gerade erst anfängt, sie zu verstehen.
SCALECUA nutzt eine intelligente Strategie namens Frontier Sampling. Es führt eine laufende Bewertung darüber, wie gut der Roboter bei jeder einzelnen Aufgabe abschneidet. Dann konzentriert es seine Trainingszeit auf die Aufgaben, bei denen der Roboter sich gerade um eine Erfolgsquote von etwa 50 % bewegt. Dies stellt sicher, dass der Roboter ständig seine Grenzen austestet, ohne bei unmöglichen Herausforderungen stecken zu bleiben oder sich bei zu leichten Aufgaben zu langweilen.
Der Geschwindigkeits-Trick: Visual Context Segmentation
Hier liegt der knifflige Teil: Computeraufgaben können viel Zeit in Anspruch nehmen. Eine einzige Aufgabe kann 47 Schritte umfassen (wie das Beispiel in der Arbeit, in dem der Roboter ein Design installiert). Wenn man versucht, sich an jeden Screenshot von Schritt 1 bis Schritt 47 zu erinnern, wird das Gehirn (oder der Speicher des Computers) überfordert, und das Training verlangsamt sich massiv.
Die Forscher lösten dies mit Visual Context Segmentation. Stellen Sie sich vor, Sie lesen eine lange Geschichte, aber anstatt das ganze Buch offen auf dem Tisch liegen zu lassen, halten Sie immer nur die letzten paar Seiten sichtbar. Sie erinnern sich an die Handlung der früheren Seiten durch eine Zusammenfassung, aber Sie schauen nur auf die aktuellen Seiten, um Ihre nächste Entscheidung zu treffen.
Diese Technik behält ein „gleitendes Fenster“ (Sliding Window) der jüngsten Screenshots (etwa 5 bis 8 Bilder) bei, während die älteren Bilder als Text zusammengefasst werden. Dies hält das Gedächtnis des Roboters frisch und schnell. Die Arbeit fand heraus, dass dies den Trainingsprozess 2,83-mal schneller macht als die alte Methode, bei der man versuchte, sich an jeden einzelnen Schritt gleichzeitig zu erinnern, ohne dass der Roboter vergisst, wie man das Problem löst.
Die Ergebnisse: Hat es funktioniert?
Das Team testete dieses neue System mit einem Modell namens Qwen3.5-9B (einem Vision-Language-Modell mit 9 Milliarden Parametern).
- Auf OSWorld (ein Benchmark für allgemeine Desktop-Aufgaben) erreichte der Roboter eine Erfolgsquote von 68,7 %.
- Auf ScienceBoard (ein Benchmark für komplexe wissenschaftliche Software) erreichte er 54,0 %.
Diese Zahlen sind signifikant. In der Arbeit wird angemerkt, dass dieser 9-Milliarden-Parameter-Modell andere Open-Source-Modelle schlug, die viermal größer waren (wie das 32-Milliarden-Parameter-Modell EvoCUA). Es übertraf auch einige proprietäre Modelle, was darauf hindeutet, dass die Methode des Trainings genauso wichtig ist wie die Größe des Roboter-Gehirns.
Was dies NICHT tut
Es ist wichtig zu wissen, was dieses Paper nicht behauptet.
- Es ist noch kein Zauberstab für alle Computer. Die Tests wurden auf Ubuntu-basierten Desktops durchgeführt (einem spezifischen Typ von Linux-Computern). Die Autoren geben zu, dass sie dies noch nicht auf Windows oder macOS getestet haben, daher wissen wir nicht, ob es dort funktioniert.
- Es hat ein Zeitlimit. Die Trainings-Episoden waren auf 50 Interaktionsrunden begrenzt. Obwohl dies die meisten Aufgaben abdeckt, deuten die Autoren an, dass dies für extrem lange, komplexe Arbeitsabläufe, die hunderte von Schritten erfordern, möglicherweise nicht ausreicht.
- Es ist kein gelöstes Problem. Das Paper präsentiert dies als ein neues Framework, das einen „State-of-the-Art“-Stand unter den Open-Source-Agenten etabliert, räumt aber ein, dass die Generalisierung auf andere Systeme und Skalen noch zukünftige Arbeit ist.
Kurz gesagt: SCALECUA ist ein kluges Rezept, um Robotern den Umgang mit Computern beizubringen, indem es seine eigenen Übungstests generiert, sich auf die „genau richtige“ Schwierigkeitsstufe konzentriert und sich gerade genug aus der Vergangenheit erinnert, um schnell zu bleiben. Es zeigt, dass mit den richtigen Trainingswerkzeugen selbst ein kleineres Robotergehirn größere Gehirne übertreffen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.