Covering Human Action Space for Computer Use: Data Synthesis and Benchmark
Dieser Beitrag behandelt die geringe Zuverlässigkeit von Computer-Nutzungs-Agenten bei komplexen, seltenen Interaktionen durch die Einführung des CUActSpot-Benchmarks und einer auf einem Renderer basierenden Daten-Synthese-Pipeline, die gemeinsam einem 4B-Parameter-Modell ermöglichen, über verschiedene GUI-Modalitäten hinweg leistungsfähigere Open-Source-Modelle zu übertreffen.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie unterrichten einen Roboterbutler darin, wie er Ihren Computer benutzt. Sie möchten, dass er auf Knöpfe klickt, E-Mails tippt und Dateien genau wie Sie organisiert. Lange Zeit haben Forscher diese Roboter hauptsächlich auf einfache Klick-Aufgaben trainiert, wie das Drücken einer „Absenden"-Schaltfläche oder das Klicken auf einen Link. Das ist, als würde man dem Roboter nur beibringen, wie man einen Türklopfer drückt.
Aber die tatsächliche Computernutzung ist viel komplexer. Manchmal müssen Sie eine Datei aus einem Ordner in einen anderen ziehen, einen Kreis um ein Foto zeichnen, um es auszuschneiden, oder einen bestimmten Textabsatz auswählen, um ihn zu löschen. Die Arbeit argumentiert, dass aktuelle Roboterbutler bei diesen „Long-Tail"-Aufgaben versagen, weil sie nicht ausreichend geübt wurden. Sie sind wie ein Schüler, der nur für einen Multiple-Choice-Test gelernt hat, aber plötzlich aufgefordert wird, einen Aufsatz zu schreiben.
Hier ist eine Aufschlüsselung dessen, was die Autoren getan haben, um dies zu beheben, unter Verwendung einfacher Analogien:
1. Das Problem: Die „Nur-Klicken"-Falle
Die Autoren untersuchten, warum fortschrittliche KI-Modelle (wie GPT-5.4) versagen, wenn sie versuchen, Computer zu bedienen. Sie stellten fest, dass die Roboter zwar bei einfachen Klicks okay sind, aber verwirrt werden, wenn sie komplexe Dinge wie das Ziehen einer Tabellenzelle oder das Zeichnen einer Form erledigen sollen.
- Die Analogie: Stellen Sie sich einen Fahrtest vor, bei dem Sie nur das Zündschlüssel drehen geübt haben. Wenn Sie plötzlich parallel parken oder auf eine Autobahn auffahren müssen, werden Sie einen Unfall bauen. Die aktuellen KI-Modelle sind großartig darin, den Schlüssel zu drehen (Klicken), aber schrecklich beim Parken (Ziehen und Zeichnen).
2. Die Lösung Teil 1: Ein neuer „Fahrtest" (CUActSpot)
Um dies zu beheben, entwickelte das Team einen neuen Benchmark namens CUActSpot. Denken Sie daran als einen neuen, härteren Fahrtest für Roboter.
- Was ist anders? Anstatt den Roboter nur zu bitten, „auf den roten Knopf zu klicken", fordert dieser Test ihn auf:
- Eine Datei in einen Papierkorb zu ziehen.
- Eine Linie zu zeichnen, um zwei Formen zu verbinden.
- Ein bestimmtes Wort in einem Dokument auszuwählen.
- Eine Person aus einem Foto auszuschneiden.
- Die fünf Welten: Der Test deckt fünf verschiedene „Welten" auf Ihrem Bildschirm ab: Standard-Apps (GUI), Textdokumente, Tabellen (Tables), Zeichenflächen und natürliche Fotos.
- Die Regeln: Sie erstellten strenge Regeln, um die Roboter zu bewerten. Wenn der Roboter versucht, eine Datei zu ziehen, aber versehentlich auf einen „verbotenen" Bereich klickt (wie eine Pop-up-Werbung), schlägt er sofort fehl. Dies stellt sicher, dass der Roboter präzise ist und nicht nur Glück hat.
3. Die Lösung Teil 2: Die „Magische Fabrik" (Datensynthese)
Das größte Problem war, dass es nicht genügend Beispiele für diese komplexen Aktionen gab, um die Roboter zu unterrichten. Man kann nicht einfach darauf warten, dass Menschen Millionen von Stunden mit Ziehen und Zeichnen aufnehmen; das dauert zu lange.
- Die Analogie: Anstatt darauf zu warten, dass echte Fahrer üben, baute das Team einen Videospiel-Simulator.
- Wie es funktioniert: Sie schrieben Code, um automatisch Millionen gefälschter Computerbildschirme zu generieren.
- Sie erstellten gefälschte Tabellen mit zufälligen Zahlen.
- Sie zeichneten gefälschte Formen auf eine Zeichenfläche.
- Sie nahmen echte Fotos und markierten bestimmte Teile davon.
- Der „Lehrer" (LLM): Sie nutzten eine intelligente KI (ein LLM), um diese gefälschten Bildschirme zu betrachten und Anweisungen wie „Ziehen Sie den grünen Pfeil zur Oberseite des gelben Kreises" zu schreiben. Die KI berechnete auch die genauen Koordinaten, zu denen sich der Roboter bewegen sollte.
- Das Ergebnis: Sie generierten 50 Millionen Übungsbeispiele. Das ist, als würde man dem Roboter eine Million Stunden Fahrpraxis in einem Simulator geben, bevor er jemals ein echtes Auto berührt.
4. Die Entdeckung: Vielfalt ist besser als Volumen
Das Team führte Experimente durch, um herauszufinden, was einen Roboter schlauer macht. Sie stellten etwas Überraschendes fest:
- Der alte Weg: Dem Roboter einfach nur mehr vom Gleichen zu geben (z. B. 10 Millionen Beispiele zum Klicken von Knöpfen) half nicht viel.
- Der neue Weg (Vielfalt-Skalierung): Dem Roboter unterschiedliche Arten von Aufgaben zu geben (Klicken, Ziehen, Zeichnen, Tabellen, Text) machte ihn viel schlauer.
- Die Analogie: Es ist wie ein Koch. Wenn Sie nur das Schneiden von Zwiebeln üben, werden Sie gut im Schneiden von Zwiebeln. Aber wenn Sie das Schneiden von Zwiebeln, das Schneiden von Tomaten, das Grillen von Steak und das Backen von Brot üben, werden Sie zu einem Meisterkoch, der jedes Rezept bewältigen kann. Der Roboter lernte, dass die Fähigkeit, die Maus zu bewegen, wichtiger ist als das spezifische Objekt, das er bewegt.
5. Das Ergebnis: Der neue Roboter (Phi-Ground-Any-4B)
Unter Verwendung dieses neuen „Fahrtests" und der „magischen Fabrik" für Daten trainierten sie ein neues Modell namens Phi-Ground-Any-4B.
- Die Leistung: Dieses Modell ist relativ klein (nur 4 Milliarden Parameter), übertrifft jedoch bei diesen komplexen Aufgaben viel größere, quelloffene Modelle (einige über 32 Milliarden Parameter).
- Der Haken: Das Modell ist immer noch etwas schwach bei den alten Teststilen (die sich nur auf das Klicken auf Standardknöpfe konzentrieren), aber es ist ein Champion bei den neuen, komplexen Aufgaben, die für die tatsächliche Computernutzung wirklich wichtig sind.
Zusammenfassung
Die Arbeit sagt: „Hören Sie auf, Robotern nur das Klicken beizubringen. Die tatsächliche Computernutzung umfasst Ziehen, Zeichnen und Bearbeiten. Wir haben einen neuen Test entwickelt, um diese Fähigkeiten zu messen, eine Fabrik geschaffen, um Millionen von Übungsbeispielen zu generieren, und bewiesen, dass Robotern das Erlernen einer breiten Vielfalt von Aktionen viel besser im Umgang mit Computern macht als nur das Beibringen des Klickens."
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.