CoAct-1: Computer-using Multi-Agent System with Coding Actions
Die Arbeit stellt CoAct-1 vor, ein neuartiges Multi-Agenten-System, das durch die Synergie von GUI-Steuerung und direkter Programmierung (Python/Bash) die Effizienz und Zuverlässigkeit autonomer Computer-Agenten auf dem OSWorld-Benchmark signifikant verbessert und mit einer Erfolgsrate von 60,76 % sowie reduzierten Schrittzahlen einen neuen State-of-the-Art erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
CoAct-1: Der clevere Büro-Assistent, der nicht nur klickt, sondern auch programmiert
Stellen Sie sich vor, Sie haben einen sehr fleißigen, aber manchmal etwas ungeschickten Assistenten, der Ihren Computer bedienen soll. Bisherige KI-Assistenten waren wie Menschen, die nur mit der Maus arbeiten. Wenn sie eine Aufgabe bekommen – sagen wir, "Suche alle Bilder in diesem Ordner, verkleinere sie und packe sie in eine Schachtel" –, dann klickt dieser Assistent mühsam durch unzählige Menüs, öffnet Ordner, klickt auf "Rechtsklick", wählt "Eigenschaften", klickt auf "Speichern" und so weiter.
Das Problem? Das ist wie der Versuch, ein Hochhaus mit einem Eimer und einer Leiter zu bauen. Es dauert ewig, und wenn der Assistent einmal auf das falsche Icon klickt oder ein Menü übersehen wird, bricht die ganze Aufgabe zusammen. Das nennt man "brittle" (brüchig) und ineffizient.
Die neue Idee: CoAct-1
Die Forscher von CoAct-1 haben sich gedacht: "Warum soll unser Assistent nur klicken können? Warum kann er nicht auch Code schreiben?"
Stellen Sie sich CoAct-1 nicht als eine einzelne Person vor, sondern als ein kleines, hochspezialisiertes Team aus drei Mitarbeitern, die perfekt zusammenarbeiten:
Der Chef (Der Orchestrator):
Er ist der Manager. Er hört sich Ihre Aufgabe an (z. B. "Bereite die Finanzdaten für den Bericht vor") und zerlegt sie in kleine Teilaufgaben. Seine Superkraft ist die Entscheidung: "Muss ich dafür durch die grafische Oberfläche klicken, oder kann ich das schneller per Befehl erledigen?"Der Handwerker (Der GUI-Bedieners):
Das ist der klassische Assistent. Er sieht den Bildschirm genau so, wie Sie ihn sehen. Er klickt auf Buttons, tippt in Textfelder und navigiert durch Menüs. Er ist gut für Dinge, die visuell sind, wie das Öffnen einer spezifischen App oder das Verschieben eines Fensters.Der Programmierer (Der Programmer):
Das ist der neue Star im Team. Wenn der Chef merkt, dass eine Aufgabe (wie das Umbenennen von 1.000 Dateien oder das Berechnen komplexer Tabellen) zu viel Klickerei erfordert, ruft er den Programmierer. Dieser schreibt in Sekunden ein kleines Skript (einen Code), das die Aufgabe im Hintergrund erledigt.- Analogie: Statt 1.000 Mal einen Stein von A nach B zu tragen (Klicken), baut der Programmierer einfach eine Rutschbahn (Code), und die Steine rutschen automatisch hinunter.
Wie funktioniert das in der Praxis?
Nehmen wir das Beispiel "Dateien sortieren":
- Der alte Weg: Der Assistent öffnet den Ordner, klickt auf jede Datei, wählt "Umbenennen", tippt den Namen ein, drückt Enter. Wiederholt das 500 Mal. Ein einziger Fehler, und alles ist kaputt.
- Der CoAct-1 Weg: Der Chef sagt: "Das ist zu viel Klickerei." Er gibt dem Programmierer den Auftrag. Der Programmierer schreibt einen Befehl: "Nimm alle Dateien im Ordner X und benenne sie um." Zack! In einer Sekunde ist alles erledigt. Wenn der Chef dann aber eine Datei in einer speziellen Grafik-Software öffnen muss, wo der Code nicht hilft, schaltet er auf den "Handwerker" um, der die Maus bewegt.
Warum ist das so erfolgreich?
Die Forscher haben CoAct-1 an zwei großen Prüfungen getestet (OSWorld und WindowsAgentArena), bei denen die KI komplexe Aufgaben am Computer lösen musste.
- Bessere Ergebnisse: CoAct-1 hat mit 60,8 % Erfolgsrate einen neuen Weltrekord aufgestellt. Bessere Methoden lagen meist nur bei ca. 50–55 %.
- Schneller: Während andere Agenten im Durchschnitt 15 Schritte (Klicks) brauchten, schaffte CoAct-1 die gleiche Aufgabe in nur 10,15 Schritten.
- Robuster: Weil der Programmierer die langweiligen, fehleranfälligen Klicks übernimmt, passiert weniger, was schiefgeht.
Fazit
CoAct-1 ist wie ein Schweizer Taschenmesser für Computer-Aufgaben. Früher hatten wir nur einen Löffel (die Maus). Jetzt haben wir ein Team, das weiß, wann es den Löffel benutzt und wann es den Schraubenzieher (den Code) nimmt.
Das Ergebnis ist ein System, das nicht nur dümmer klickt, sondern intelligenter arbeitet. Es kombiniert das Beste aus zwei Welten: Die visuelle Intelligenz, um zu sehen, was auf dem Bildschirm passiert, und die Präzision des Codes, um Dinge schnell und fehlerfrei zu erledigen. Das ist ein großer Schritt hin zu Computern, die wir wirklich wie menschliche Mitarbeiter einsetzen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.