cotomi Act: Learning to Automate Work by Watching You
Die Arbeit stellt cotomi Act vor, einen browserbasierten Agenten, der durch adaptive Beobachtung und Best-of-N-Auswahl einen state-of-the-art autonomen Aufgabenvollzug erreicht und gleichzeitig beständige organisatorische Kenntnisse erlernt, indem er das Nutzerverhalten passiv beobachtet und in bearbeitbare Artefakte abstrahiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen neuen, unglaublich klugen Praktikanten namens cotomi Act. Im Gegensatz zu anderen Praktikanten, die nur darauf warten, dass Sie ihnen eine Liste von Anweisungen geben und dann alles vergessen, sobald die Arbeit erledigt ist, verfügt cotomi Act über eine Superkraft: es lernt, indem es Ihnen zuschaut.
Hier wird erklärt, wie dieses Papier diese Superkraft in einfachen Konzepten aufschlüsselt:
1. Das Problem: Der „amnesische" Praktikant
Die meisten Computerprogramme, die versuchen, Webaufgaben für Sie zu erledigen, sind wie dieser vergessliche Praktikant. Sie sind sehr gut darin, eine einzelne, klare Anweisung zu befolgen (wie „Finden Sie den Preis dieses Schuhs"), aber sie kennen die Geheimnisse Ihres Unternehmens nicht. Sie wissen nicht:
- Wer genehmigt diese Anfragen normalerweise?
- Welche spezifische Fachsprache verwendet Ihr Team?
- Welche Aufgaben sind bereits zur Hälfte erledigt?
Weil ihnen dieses „Insider-Wissen" fehlt, stellen sie entweder zu viele Fragen (was Sie verlangsamt) oder raten falsch (was zu Fehlern führt).
2. Die Lösung: Zwei Superkräfte
Die Autoren haben cotomi Act mit zwei unterschiedlichen „Muskeln" gebaut, um dieses Problem zu lösen:
Muskel A: Der „Super-Läufer" (Ausführung)
Dieser Teil des Systems ist darauf ausgelegt, die Arbeit im Web tatsächlich zu erledigen, ohne verwirrt zu werden.
- Die Analogie: Stellen Sie sich vor, Sie laufen einen Marathon. Wenn Sie versuchen, jeden einzelnen Schritt zu erinnern, den Sie seit dem Startpunkt gemacht haben, wird Ihr Gehirn explodieren. Sie müssen nur die Veränderung der Szenerie im Gedächtnis behalten (z. B. „Ich habe gerade die Wasserstation passiert").
- Wie es funktioniert: Anstatt der KI eine riesige, langweilige Historie jedes jemals getätigten Klicks zu geben, verwendet cotomi Act eine „faule" Strategie. Es betrachtet nur genau das, was sich gerade auf dem Bildschirm befindet, und fasst die Veränderungen vom letzten Schritt zusammen. Dies hält das Gehirn der KI leicht und schnell.
- Das Ergebnis: In einem harten Test namens „WebArena" (der wie ein Videospiel mit realen Webaufgaben ist) erledigte dieser „Super-Läufer" 80,4 % der Aufgaben richtig. Das ist tatsächlich besser als der Durchschnittsmensch (der im selben Test 78,2 % richtig lag).
Muskel B: Der „Schatten-Schreiber" (Lernen)
Dies ist der Teil, der Ihnen im Hintergrund zuschaut, wie Sie arbeiten.
- Die Analogie: Stellen Sie sich einen Schreiber vor, der leise hinter Ihnen sitzt und zuschaut, wie Sie im Web browsen. Anstatt nur ein rohes Video Ihres Bildschirms aufzuzeichnen (was unübersichtlich und riesig ist), macht der Schreiber Notizen und verwandelt sie in nützliche Werkzeuge:
- Aufgabenboards: Eine Liste dessen, woran Sie arbeiten.
- Wikis: Ein Regelbuch darüber, wie Ihr Team Dinge erledigt (z. B. „Wir verwenden immer Anbieter X für den Druck").
- Zeitpläne: Ein Kalender Ihrer letzten Aktivitäten.
- Der Twist: Dies ist kein geheimes Tagebuch. Es ist ein gemeinsamer Arbeitsbereich. Sie können sehen, was der Schreiber geschrieben hat, es korrigieren, wenn es falsch ist, oder Notizen hinzufügen. Die KI liest diese Notizen, um Ihre Welt zu verstehen.
3. Wie sie zusammenarbeiten
Das Papier beschreibt einen Zyklus namens „Beobachten → Extrahieren → Handeln".
- Beobachten: Sie browsen ganz normal im Web. Der „Schatten-Schreiber" schaut zu.
- Extrahieren: Das System verwandelt Ihr unordentliches Browsen in saubere, organisierte Notizen (wie einen Leitfaden „Wie man Hardware bestellt").
- Handeln: Später, wenn Sie die KI bitten, „einige Hardware zu bestellen", rät sie nicht. Sie schaut sich die Notiz „Wie man Hardware bestellt" an, die sie von Ihnen gelernt hat, folgt diesen Schritten und erledigt die Aufgabe.
4. Der Beweis
Die Forscher testeten dies mit einem „Proxy"-Experiment (einer Simulation echter Arbeit).
- Die Erkenntnis: Wenn die KI keine Notizen über Ihr Verhalten hatte, scheiterte sie häufig.
- Die Verbesserung: Als die KI mehr Notizen (Verhaltenswissen) darüber sammelte, wie Sie arbeiten, stieg ihre Erfolgsrate erheblich.
- Die Grenze: Interessanterweise wurde es, wenn die KI einfach versuchte, rohe, unordentliche Videologs Ihres Bildschirms auswendig zu lernen, anfangs sogar schlechter. Sie brauchte den „Schatten-Schreiber", um die Informationen zuerst zusammenzufassen und zu bereinigen.
5. Die Live-Demo
Das Papier erwähnt eine Live-Demo, bei der Menschen dies ausprobieren können. Sie können:
- Die KI bitten, eine Aufgabe zu erledigen (wie das Finden von Konferenzfristen).
- Den „gemeinsamen Arbeitsbereich" ansehen, um zu sehen, was die KI über ihre Gewohnheiten gelernt hat.
- Eine Aufgabe auf dem Board bearbeiten und beobachten, wie die KI diese neuen Informationen sofort nutzt, um mit dem richtigen Ding zu beginnen.
Zusammenfassung
cotomi Act ist ein Browser-Assistent, der nicht nur Befehle befolgt; er schaut Ihnen zu, wie Sie arbeiten, verwandelt Ihre Gewohnheiten in ein gemeinsames Regelbuch und nutzt dieses Regelbuch, um zu einem besseren, zuverlässigeren Kollegen zu werden. Es bewies, dass durch die Kombination von schneller, intelligenter Ausführung mit Lernen aus Ihrem täglichen Verhalten eine KI komplexe Webaufgaben tatsächlich besser bewältigen kann als Menschen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.