VISUALSKILL: Multimodal Skills for Computer-Use Agents
Das Paper stellt VISUALSKILL vor, ein multimodales Skill-Framework, das die Leistung von Computer-Use-Agenten bei langfristigen Aufgaben verbessert, indem es visuelle Figuren in Skill-Artefakten beibehält, anstatt sie in Text umzuwandeln, was zu signifikanten Genauigkeitssteigerungen gegenüber sowohl dem Baseline- als auch dem Text-only-Skill-Ansatz führt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man eine komplexe Software verwendet, wie zum Beispiel ein Fotobearbeitungsprogramm oder ein Tabellenkalkulationsprogramm. Der Roboter kann den Bildschirm sehen und die Maus bewegen, aber er „kennt“ die Software nicht. Es ist so, als würde man einem Touristen eine Karte einer Stadt übergeben, aber die Karte ist vollständig in einer Fremdsprache geschrieben und enthält keine Bilder. Er könnte raten, wohin er gehen soll, aber er wird sich wahrscheinlich verlaufen, besonders wenn sich die Straßen ändern oder wenn er eine bestimmte, versteckte Gasse finden muss.
Dies ist das Problem, das die Arbeit VISUALSKILL zu lösen versucht.
Das Problem: Textbasierte Karten vs. visuelle Realität
Derzeitige „Computer-Use-Agenten“ (Roboter, die Software verwenden) werden ziemlich gut, aber sie haben immer noch Schwierigkeiten mit langen, komplizierten Aufgaben oder Software, die sie noch nicht gesehen haben.
Um ihnen zu helfen, haben Forscher „Skill-Bibliotheken“ erstellt – im Grunde genommen Bedienungsanleitungen für den Roboter. Aber hier ist der Haken: Diese Anleitungen sind ausschließlich in Textform verfasst.
Die Autoren argumentieren, dass dies aus zwei Gründen eine schlechte Idee ist:
- Bilder mit Worten zu beschreiben, ist schwer: Stellen Sie sich vor, Sie versuchen, einem Roboter zu sagen, welches Icon er anklicken soll, indem Sie nur sagen: „das blaue Pinselwerkzeug“. Wenn sich in der Nähe fünf blaue Werkzeuge befinden, klickt der Roboter vielleicht das falsche an. Ein Bild zeigt die exakte Form und Position sofort an.
- Die eigene Arbeit zu überprüfen, ist schwer: Bei einer mehrstufigen Aufgabe muss der Roboter prüfen: „Habe ich wirklich das richtige Menü geöffnet?“ Wenn die Anleitung sagt: „Sie sollten ein kleines Fenster sehen, das aufpoppt“, muss der Robbot raten, wie das aussieht. Wenn die Anleitung jedoch einen Screenshot genau dieses Fensters zeigt, kann der Roboter einfach den Bildschirm mit dem Bild vergleichen und sicher wissen, ob er richtig liegt.
Die Lösung: VISUALSKILL
Die Autoren haben VISUALSKILL entwickelt, eine neue Art, diese Bedienungsanleitungen zu erstellen. Anstatt nur Text zu verwenden, bewahrt VISUALSKILL die Originalbilder und Screenshots direkt neben den Anweisungen auf.
Denken Sie an Folgendes:
- Der alte Weg (Nur Text): Ein Rezept, das sagt: „Fügen Sie die rote Sauce hinzu.“ (Der Robbot muss raten, welche Flasche rot ist).
- VISUALSKILL: Ein Rezept, das sagt: „Fügen Sie die rote Sauce hinzu“, und direkt darunter ein Foto der exakten roten Saucenflasche im Regal zeigt.
Der Aufbau (Die zweistufige Pipeline)
Das Team hat diese Anleitungen nicht von Hand geschrieben; sie haben ein System gebaut, um sie automatisch in zwei Schritten zu erstellen:
Stufe 1: Der offizielle Manual Miner.
Sie nehmen die offizielle Benutzeranleitung der Software (das PDF oder die Website, die das Unternehmen erstellt hat) und wandeln sie in einen strukturierten „Skill“ um. Dabei behalten sie alle ursprünglichen Diagramme und Screenshots aus der Anleitung bei. Dies gibt dem Roboter ein solides Fundament.Stufe 2: Der Live-Explorer.
Offizielle Anleitungen sind oft veraltet oder lassen die seltsamen, kleinen Pop-up-Fenster aus, die nur erscheinen, wenn man die Software tatsächlich benutzt. Daher schickt das System einen „Roboter-Explorer“ los, der die Software tatsächlich benutzt.- Freie Exploration: Der Explorer wandert ziellos über den Bildschirm, klickt auf Schaltflächen, um zu sehen, was passiert, und macht Fotos von jedem neuen Fenster, das erscheint.
- Gezielte Exploration: Das System schaut sich Aufgaben an, bei denen der Roboter zuvor gescheitert ist. Es stellt fest: „Ah, der Roboter blieb an diesem spezifischen Menü hängen“, und schickt den Explorer gezielt an diesen Ort, um ein Foto zu machen und eine Notiz darüber zu schreiben.
Diese neuen Fotos und Notizen werden dann wieder in die Anleitung eingefügt, wodurch eine „lebendige“ Anleitung entsteht, die perfekt zur realen Software passt.
Wie der Roboter es verwendet
Der Roboter liest nicht die ganze 100-seitige Anleitung auf einmal (das wäre zu viel Information). Stattdessen hat er ein spezielles Werkzeug namens load_topic.
- Der Roboter betrachtet seine aktuelle Aufgabe.
- Er prüft ein kurzes Inhaltsverzeichnis, um zu sehen, welches Thema relevant ist.
- Er fragt das Werkzeug: „Zeig mir die Anweisungen für dieses Thema.“
- Das Werkzeug ruft sofort den Text und die spezifischen Screenshots auf, die für diesen exakten Moment benötigt werden.
Die Ergebnisse
Die Forscher haben dies an zwei großen Benchmarks (Sätzen schwieriger Computeraufgaben) unter Verwendung eines leistungsstarken KI-Agenten getestet.
- Kein Skill: Der Roboter hatte keine Hilfe. Er war etwa 30 % der Zeit erfolgreich.
- Text-Only Skill: Sie gaben dem Roboter eine rein textbasierte Anleitung, die aus derselben Quelle erstellt wurde. Der Erfolg stieg auf 37 %.
- VISUALSKILL (Multimodal): Sie gaben dem Roboter die Anleitung mit Bildern. Der Erfolg sprang auf 45 %.
Die wichtigste Erkenntnis: Die Bilder machten einen riesigen Unterschied. Der Roboter war deutlich besser darin:
- Den richtigen Button zu finden: Er konnte das Icon sehen, anstatt basierend auf einer Beschreibung zu raten.
- Seinen Fortschritt zu überprüfen: Er konnte den Bildschirm mit dem Referenzfoto vergleichen, um zu sehen, ob er auf dem richtigen Weg war.
Warum das wichtig ist
Die Autoren kommen zu dem Schluss, dass für Roboter, die Computer benutzen, visuelle Informationen nicht nur „nice to have“ sind – sie sind essenziell. Zu versuchen, eine grafische Benutzeroberfläche allein mit Worten zu beschreiben, ist so, als würde man versuchen, jemandem, der noch nie ein Gemälde gesehen hat, ein Gemälde zu beschreiben. Indem die Bilder in der Bedienungsanleitung bleiben, kann der Roboter tatsächlich „sehen“, was er tun soll, genau wie ein Mensch.
Die Autoren fanden auch heraus, wie der Roboter die Informationen erhält, ist entscheidend. Wenn sie den Roboter einfach Dateien lesen ließen, wie ein Mensch ein Buch liest, übersprang er oft die Bilder. Durch die Verwendung eines speziellen Werkzeugs (load_topic), das den Text und die Bilder gleichzeitig liefert, nutzt der Roboter die visuellen Hinweise tatsächlich effektiv.
Kurz gesagt: Sagen Sie dem Roboter nicht nur, was er tun soll; zeigen Sie es ihm.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.