OSExpert: Computer-Use Agents Learning Professional Skills via Exploration

Das Paper stellt OSExpert vor, einen Computer-Nutzungs-Agenten, der durch einen GUI-basierten Tiefensuch-Algorithmus (GUI-DFS) und das Erlernen von Aktionsprimitiven professionelle Fähigkeiten erwirbt, wodurch er auf dem Benchmark OSExpert-Eval eine Leistungssteigerung von rund 20 % und eine um 80 % verbesserte Effizienz im Vergleich zu menschlichen Experten erreicht.

Das Wesentliche

Stell dir vor, du möchtest jemandem beibringen, wie man eine komplexe Maschine bedient – sagen wir, eine riesige, moderne Küche mit unzähligen Knöpfen, Schaltern und versteckten Fächern.

Bisherige Computer-Programme (die sogenannten "KI-Agenten"), die versuchen, solche Aufgaben zu erledigen, verhalten sich oft wie ein panischer Tourist, der zum ersten Mal in dieser Küche ist. Er weiß nicht, wo das Salz ist, drückt auf den falschen Knopf, versucht es immer wieder neu, rennt im Kreis und braucht am Ende 50-mal so lange wie ein echter Koch, um nur eine einfache Suppe zu kochen. Oft scheitert er sogar komplett, weil er nicht versteht, wie die einzelnen Teile zusammenhängen.

Die Forscher in diesem Papier haben eine Lösung namens OSExpert entwickelt. Sie ist wie ein neuer, schlauer Ausbilder, der dem Agenten nicht einfach nur eine Anleitung gibt, sondern ihn selbst die Küche erkunden lässt, damit er zum Profi wird.

Hier ist die Erklärung, wie das funktioniert, in drei einfachen Schritten:

1. Die "Tiefen-Erkundung" (Der neugierige Entdecker)

Statt dem Agenten zu sagen: "Mach das!", lassen sie ihn die Software (wie Photoshop, Word oder Excel) selbst durchsuchen.

• Die Analogie: Stell dir vor, der Agent ist ein Detektiv in einem Labyrinth. Er geht nicht ziellos herum. Er nutzt einen cleveren Plan (einen "Tiefensuch-Algorithmus"), bei dem er jeden einzelnen Gang, jede Tür und jeden Schalter systematisch öffnet und testet.
• Was passiert dabei? Er klickt auf jeden Menüpunkt, drückt jede Taste und schaut genau hin: "Was passiert, wenn ich hier klicke? Öffnet sich ein neues Fenster? Ändert sich die Farbe?"
• Das Ergebnis: Am Ende hat er eine persönliche Checkliste (ein "Skill-Set") erstellt. Er weiß genau: "Ah, wenn ich auf 'Bild' klicke und dann 'Zuschneiden' wähle, passiert X." Er hat die Geheimnisse der Maschine selbst entschlüsselt, ohne dass ihm jemand die Hand führen musste.

2. Die "Feinmotorik-Training" (Der Chirurg)

Manche Aufgaben sind sehr schwierig, wie das Ausschneiden eines Haars aus einem Foto oder das Ziehen einer Linie mit millimetergenauer Präzision. Normale KI-Programme sind hier oft ungeschickt, wie ein Kind, das versucht, mit einer Schere Papier zu schneiden.

• Die Lösung: OSExpert hat eine Werkzeugkiste mit vorgefertigten Tricks (sogenannte "Primitiven"). Wenn der Agent merkt: "Ups, ich brauche hier eine sehr präzise Bewegung", greift er nicht auf sein eigenes, ungeschicktes Gedächtnis zurück, sondern ruft einen spezialisierten Helfer auf.
• Die Analogie: Es ist, als würde der Agent statt mit den bloßen Händen plötzlich einen roboterarm benutzen, der genau weiß, wie man eine Schere hält und schneidet. Sobald er diesen Trick erfolgreich ausgeführt hat, merkt er sich: "Das war gut! Das nehme ich in meine Werkzeugkiste auf."

3. Der "Erfahrene Koch" (Schneller und klüger)

Sobald der Agent diese Erkundung abgeschlossen hat, ist er nicht mehr der panische Tourist. Er ist jetzt ein Profi.

• Der Unterschied: Wenn er jetzt eine Aufgabe bekommt (z. B. "Erstelle ein Diagramm"), muss er nicht mehr Schritt für Schritt raten. Er greift auf seine gesammelte Checkliste zurück.
• Die Geschwindigkeit: Früher hat er 50 Schritte gebraucht, um herauszufinden, wie man etwas tut. Jetzt kennt er den Weg und führt ihn in einem einzigen, schnellen Gedanken aus.
• Die Intelligenz: Das Wichtigste ist: Der Agent weiß jetzt auch, wenn er etwas nicht kann. Früher hat er stundenlang versucht, unmögliche Dinge zu tun, bis die Zeit abgelaufen war. Jetzt sagt er sofort: "Das geht mit meinen aktuellen Werkzeugen nicht," und gibt auf, bevor er Zeit verschwendet.

Das Ergebnis im echten Leben

Die Forscher haben getestet, wie gut diese Methode funktioniert:

• Erfolgsquote: Die alten Agenten schafften bei schwierigen Aufgaben nur etwa 10 % Erfolg. Der neue OSExpert-Agent schafft es auf 30 %. Das ist ein riesiger Sprung!
• Geschwindigkeit: Der neue Agent ist 80 % schneller als die alten Systeme. Er arbeitet fast so effizient wie ein echter menschlicher Experte.

Zusammenfassung

Kurz gesagt: OSExpert lehrt Computer nicht durch stures Auswendiglernen von menschlichen Befehlen, sondern indem es sie selbst forschen lässt. Sie erkunden die Software, bauen sich ihre eigene Bibliothek an Tricks auf und lernen, wann sie aufhören müssen. So verwandeln sie sich von ungeschickten Anfängern in effiziente Profis, die komplexe Aufgaben am Computer meistern können.

Technische Zusammenfassung

1. Problemstellung

Allgemeine Computer-Nutzungs-Agenten (Computer-Use Agents, CUAs) haben in den letzten Jahren beeindruckende Fortschritte gemacht, sind jedoch in realen professionellen Szenarien noch weit von menschlichen Experten entfernt. Das Paper identifiziert vier kritische Defizite aktueller Systeme, die durch den neuen Benchmark OSExpert-Eval quantifiziert werden:

• Komplexe Langzeit-Aufgaben: Die Erfolgsrate sinkt drastisch bei Aufgaben, die mehrere Schritte und die Verkettung von Funktionen erfordern (von nahezu menschlichem Niveau auf unter 10 %).
• Generalisierung: Agenten scheitern oft an neuen, kreativen UI-Designs, die nicht im Trainingsdatensatz enthalten waren.
• Feingranulare Aktionen: Präzise Steuerung (z. B. Textauswahl, Drag-and-Drop, Rotation von Objekten) führt häufig zu Fehlern.
• Ineffizienz: Agenten verlassen sich stark auf „Trial-and-Error" und Test-Time-Scaling (wiederholte Versuche während der Inferenz), was zu einer Latenz führt, die 5- bis 50-mal höher ist als bei menschlichen Experten.

Die Ursache liegt oft darin, dass Agenten durch Behavior Cloning auf menschlichen Demonstrationen trainiert werden, aber kein umgebungsspezifisches prozedurales Wissen erwerben. Sie planen Schritt für Schritt neu, anstatt auf verifizierte Abläufe zurückzugreifen, was zu kaskadierenden Fehlern führt.

2. Methodik: OSExpert Framework

OSExpert führt ein Paradigma ein, bei dem Agenten durch autonome Exploration direkt in der Zielumgebung lernen, anstatt auf annotierte menschliche Daten angewiesen zu sein. Das Framework besteht aus drei Hauptkomponenten:

A. Bottom-Up Exploration mit GUI-DFS (Depth-First Search)

Statt auf menschliche Tutorials zu warten, durchläuft der Agent die digitale Umgebung systematisch:

• GUI-DFS-Algorithmus: Der Agent nutzt einen Tiefensuch-Algorithmus, um die UI-Hierarchie zu erkunden. Er startet bei den obersten UI-Elementen und verfolgt Pfade, bis er Endzustände (Terminal States) erreicht.
• Koordinierte Module:
  1. Planning Module: Generiert Explorationspläne und erstellt Testeingaben.
  2. Action Module: Führt UI-Aktionen aus und analysiert die visuelle Struktur.
  3. Feedback Module: Bewertet den neuen Zustand. Unterscheidet zwischen intermediären Zuständen (weiter explorieren), Terminalzuständen (erfolgreiche Funktion gefunden) und Fehlerzuständen.
• Skill-Erstellung: Erfolgreiche Pfade werden als Einzel-Funktions-Skills (Unit Skills) gespeichert. Diese enthalten die Planungssequenz und die Aktionssequenz, die zur Ausführung der Funktion notwendig sind.

B. Selbstkonstruiertes Curriculum und Skill-Komposition

Nach der Erkundung der Basisfunktionen (Unit Skills) generiert der Agent selbstständig ein Lern-Curriculum für komplexere Aufgaben:

• Er kombiniert die gefundenen Unit Skills zu höheren, zusammengesetzten Prozeduren (Composite Skills).
• Dies ermöglicht es dem Agenten, Aufgaben zu lösen, die über die einfache Abfrageverteilung hinausgehen, und baut ein umfassendes Skill-Set auf.

C. Feingranulare Kontrolle durch Action Primitives

Für Aufgaben, die hohe Präzision erfordern (z. B. genaues Auswählen von Textbereichen), reicht reines visuelles Grounding oft nicht aus:

• Der Agent greift auf eine Datenbank vordefinierter Action Primitives zurück (z. B. Skripte für präzises Drag-and-Drop oder Segmentierung mit Tools wie SAM2).
• Wenn die Exploration einen Fehler aufgrund mangelnder Präzision meldet, wird das passende Primitive ausgewählt, getestet und bei Erfolg in das Skill-Set integriert.

D. Effizienzsteigerung: Fast Planner & Skill-Boundary Check

Um die Inferenzzeit zu optimieren, werden zwei Techniken eingesetzt:

1. Fast Planner (LoRA): Ein leichtgewichtiges, feinabgestimmtes Sprachmodell (LoRA) generiert den gesamten Plan für eine Aufgabe in einem einzigen Vorwärtspass. Dies vermeidet die Latenz und Fehlerakkumulation von schrittweiser Planung.
2. Skill-Boundary Check: Der Agent nutzt das gelernte Skill-Set, um zu erkennen, wann eine Aufgabe außerhalb seiner Fähigkeiten liegt (basierend auf gescheiterten Explorationsversuchen). Er bricht die Inferenz frühzeitig ab, anstatt sinnlose Versuche zu wiederholen, was die Latenz drastisch senkt.

3. Benchmark: OSExpert-Eval

Das Paper stellt einen neuen Benchmark vor, der sich von bestehenden (wie OSWorld) durch vier Dimensionen unterscheidet:

1. Langzeit-kompositionelle Workflows: Komplexe Aufgaben in LibreOffice und GIMP.
2. Generalisierung auf unbekannte UIs: Tests in Tableau und einem selbstentwickelten Editor „MiniWord" mit einzigartigen Layouts.
3. Feingranulare Aktionen: Präzise Manipulationen (z. B. Bildschneiden, Textmarkieren).
4. Effizienz-Messung: Vergleich der Zeit bis zum Abschluss (Erfolg oder Misserfolg) mit menschlichen Experten.

Der Benchmark umfasst 113 Aufgaben über sechs verschiedene Umgebungen.

4. Ergebnisse

Die Experimente zeigen signifikante Verbesserungen gegenüber dem Stand der Technik (SOTA):

• Leistungssteigerung: Die Erfolgsrate bei Langzeit-Aufgaben steigt von ca. 10 % (bei SOTA-Agenten) auf ca. 30 % mit OSExpert.
• Generalisierung: Der Agent zeigt eine robuste Leistung auf unbekannten UIs (Tableau, MiniWord), wo andere Agenten oft bei 0–10 % liegen.
• Effizienz: Die Latenz (Durchführungszeit) wird um ca. 80 % im Vergleich zu den effizientesten bestehenden Agenten reduziert. Die Zeitdifferenz zu menschlichen Experten wird erheblich verringert.
• Ressourceneffizienz: Durch den Fast Planner und das frühe Stoppen bei unmöglichen Aufgaben wird die Rechenlast während der Inferenz minimiert.

5. Bedeutung und Fazit

OSExpert markiert einen wichtigen Schritt hin zu Experten-Level-Computer-Nutzung.

• Paradigmenwechsel: Statt auf massive Mengen an menschlichen Demonstrationen zu setzen, ermöglicht das Framework Agenten, sich durch autonome, umgebungsgetriebene Exploration selbst professionelle Fähigkeiten anzueignen.
• Skalierbarkeit: Das System ist auf neue Umgebungen anwendbar, ohne dass für jede neue Software manuell Daten gesammelt werden müssen.
• Zukunftsausblick: Die Prinzipien von verifizierbarem prozeduralem Wissen und Skill-Komposition können auf andere Bereiche wie Robotik, Software-Engineering-Agenten und allgemeine KI-Systeme übertragen werden.

Zusammenfassend beweist OSExpert, dass Computer-Agenten durch strukturierte Exploration und das Lernen von Skills (anstatt nur durch Nachahmung) effizienter, robuster und näher an menschlichen Experten werden können.