🤖 AI

MMSkills: Towards Multimodal Skills for General Visual Agents

Das Papier stellt MMSkills vor, ein Framework, das die Einschränkungen textbasierter Fähigkeitsrepräsentationen adressiert, indem es wiederverwendbares multimodales prozedurales Wissen formalisiert und implementiert – indem es textbasierte Abläufe mit zustandsabhängigen visuellen Nachweisen kombiniert –, um die Fähigkeiten allgemeiner visueller Agenten zur Entscheidungsfindung zur Laufzeit zu verbessern.

Ursprüngliche Autoren: Kangning Zhang, Shuai Shao, Qingyao Li, Jianghao Lin, Lingyue Fu, Shijian Wang, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kangning Zhang, Shuai Shao, Qingyao Li, Jianghao Lin, Lingyue Fu, Shijian Wang, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Roboter beibringen, wie Menschen zu "sehen"

Stellen Sie sich vor, Sie bringen einem Roboter bei, einen Computer zu benutzen.

Der alte Weg (Nur-textfähige Fähigkeiten): Sie geben dem Roboter ein schriftliches Rezept: "Klicken Sie auf das Menü 'Datei', dann auf 'Neu', dann auf 'Tabelle'."
- Das Problem: Wenn sich der Roboter auf dem falschen Bildschirm befindet oder ein Popup-Fenster das Menü blockiert, folgt der Roboter blind dem Text. Er klickt auf "Datei", obwohl das Menü nicht da ist, bleibt stecken und scheitert. Er weiß, was zu tun ist, aber nicht, wann er es tun soll oder wie es aussieht, wenn es erledigt ist.
Der neue Weg (MMSkills): Sie geben dem Roboter einen "intelligenten Leitfaden". Dieser Leitfaden enthält nicht nur Text; er hat Fotos davon, wie der Bildschirm in jedem Schritt aussehen sollte, sowie Checklisten, um zu überprüfen, ob der Roboter auf dem richtigen Weg ist.

Dieses Papier stellt MMSkills vor, ein System, das diese "intelligenten Leitfäden" in wiederverwendbare Werkzeuge für KI-Agenten (Roboter, die Computer benutzen oder Spiele spielen) verwandelt.

Die drei Hauptprobleme, die sie gelöst haben

Die Autoren identifizierten drei große Hürden bei der Umsetzung dieser intelligenten Leitfäden:

Was kommt in das Paket?
- Analogie: Wenn Sie jemandem beibringen, einen Kuchen zu backen, reicht ein Textrezept nicht aus. Sie benötigen ein Foto vom Teig (um zu wissen, wann er fertig ist), ein Foto vom Ofen (um zu wissen, dass er heiß ist) und eine Checkliste (um sicherzustellen, dass Sie die Eier nicht vergessen haben).
- Die Lösung: Ein MMSkill-Paket enthält drei Dinge:
  - Der Text: Die Schritt-für-Schritt-Anweisungen.
  - Zustandskarten: Ein "Ampel-System". Es sagt dem Agenten: "Fahren Sie nur fort, wenn Sie einen blauen Button sehen", oder "Stoppen Sie! Klicken Sie nicht, wenn Sie eine rote Fehlermeldung sehen."
  - Visuelle Beweise: Fotos (Schlüsselbilder), die genau zeigen, wie der Bildschirm in kritischen Momenten aussehen sollte (z. B. "Vorher"- und "Nachher"-Aufnahmen).
Woher bekommen wir diese Leitfäden?
- Analogie: Sie möchten nicht einen Menschen einstellen, der für jeden einzelnen Kuchen ein neues Rezept schreibt. Sie möchten beobachten, wie Menschen Kuchen backen, die gemeinsamen Schritte herausfinden und selbst ein generisches Rezept schreiben.
- Die Lösung: Sie bauten einen automatisierten "Generator". Er beobachtet Tausende öffentlicher Videos von Menschen, die Computer benutzen (Verläufe), gruppiert ähnliche Aufgaben zusammen und schreibt automatisch diese intelligenten Leitfäden. Er kopiert nicht einfach das Video; er extrahiert die Logik und die visuellen Hinweise.
Wie nutzt der Roboter sie, ohne verwirrt zu werden?
- Analogie: Stellen Sie sich vor, Sie versuchen, ein riesiges, 50-seitiges Fotoalbum zu lesen, während Sie Auto fahren. Es ist ablenkend und gefährlich. Der Roboter könnte so sehr auf die alten Fotos fokussiert werden, dass er in die reale Welt kracht.
- Die Lösung: Sie erfanden das "Branch Loading" (Verzweigtes Laden).
  - Anstatt das gesamte Fotoalbum in das Hauptgedächtnis des Roboters zu stopfen, öffnet der Roboter ein temporäres Seitenfenster (einen Branch).
  - In diesem Seitenfenster schaut er schnell nur auf das spezifische Foto, das er gerade für eine Entscheidung benötigt.
  - Dann schließt er das Seitenfenster und sagt dem Hauptroboter: "Okay, ich habe das Foto geprüft. Sie sind auf dem richtigen Weg. Klicken Sie jetzt auf den Button."
  - Dies hält den Hauptroboter auf den Live-Bildschirm fokussiert, nicht auf die alten Referenzfotos.

Wie es im echten Leben funktioniert (das "Diagramm"-Beispiel)

Das Papier verwendet ein spezifisches Beispiel, um zu zeigen, warum dies besser ist: Erstellen eines Diagramms in einer Tabelle.

Szenario: Die Aufgabe lautet "Erstellen Sie ein Diagramm auf Tabelle 2".
Nur-textfähiger Agent: Liest "Diagramm erstellen". Er sieht, dass ein Diagramm erstellt wird. Er klickt auf "Fertig".
- Ergebnis: Er hat das Diagramm auf Tabelle 1 erstellt (die falsche Tabelle), weil der Text ihm nicht sagte, zu prüfen, welche Tabelle aktiv ist. Punktzahl: 0.
MMSkills-Agent:
1. Er lädt die Fähigkeit "Diagramm erstellen".
2. Die Zustandskarte sagt: "Prüfen: Ist die aktive Tabelle namens 'Tabelle 2'?"
3. Der visuelle Beweis zeigt ein Foto des richtigen Tabellenreiter.
4. Der Roboter sieht, dass er sich derzeit auf Tabelle 1 befindet. Der "Branch" sagt: "Warten Sie! Sie sind auf der falschen Tabelle. Wechseln Sie zuerst zu Tabelle 2."
5. Der Roboter wechselt, erstellt das Diagramm und überprüft, ob der Titel mit dem Foto übereinstimmt.
- Ergebnis: Perfektes Diagramm auf der richtigen Tabelle. Punktzahl: 1.

Was die Ergebnisse zeigten

Die Forscher testeten dies bei zwei Arten von Aufgaben:

Desktop-Aufgaben: Wie die Verwendung von Excel, Chrome oder Word (OSWorld, macOSWorld).
Spieletasks: Wie das Spielen von Minecraft oder Super Mario Bros.

Die Erkenntnisse:

Bessere Erfolgsquoten: Roboter mit MMSkills lösten deutlich mehr Aufgaben als Roboter ohne Fähigkeiten oder nur mit textbasierten Fähigkeiten.
Hilfe für kleinere Roboter: Selbst kleinere, weniger leistungsfähige KI-Modelle wurden bei Aufgaben viel besser, wenn sie diese visuellen Leitfäden erhielten.
Weniger Fehler: Die Roboter machten weniger wiederholende Fehler (wie das Klicken auf denselben Button 10 Mal) und schlossen Aufgaben schneller ab.
Nicht nur für Computer: Das System funktionierte genauso gut in Videospielen, was beweist, dass das "Sehen des Zustands" wichtig ist, egal ob Sie Dateien verwalten oder über Hindernisse springen.

Zusammenfassung

MMSkills ist eine Methode, um KI-Agenten nicht nur beizubringen, was zu tun ist, sondern wie sie erkennen, ob sie es richtig machen. Durch die Kombination von Textanweisungen mit "Ampel"-Checklisten und spezifischen Fotos sowie durch die Verwendung einer "Seitenfenster"-Methode zum Ansehen hilft das System Robotern, sich nicht zu verirren, zu verwirren oder auf dem falschen Bildschirm stecken zu bleiben. Es verwandelt einen Roboter, der Befehlen blind folgt, in einen Roboter, der die visuelle Welt, in der er arbeitet, tatsächlich versteht.

Technische Zusammenfassung: MMSkills: Auf dem Weg zu multimodalen Fähigkeiten für allgemeine visuelle Agenten

1. Problemstellung

Bestehende Agenten-Fähigkeitsframeworks kodieren wiederverwendbare Verhaltensweisen primär als textuelle Prompts, ausführbaren Code oder gelernte Routinen. Obwohl dieser Ansatz für Agenten in sprachabstrahierenden Umgebungen effektiv ist, reicht er für visuelle Agenten (z. B. GUI- oder Spielagenten) nicht aus, deren Entscheidungen stark auf visuellen Beweisen beruhen. Für diese Agenten ist prozedurales Wissen inhärent multimodal: Der erfolgreiche Wiedereinsatz hängt nicht nur davon ab, welche Operation auszuführen ist, sondern auch davon, den relevanten visuellen Zustand zu erkennen, Beweise für Fortschritt oder Misserfolg zu interpretieren und den nächsten Schritt basierend auf visuellen Hinweisen zu entscheiden.

Aktuelle rein textbasierte Fähigkeiten werden für visuelle Aufgaben oft umständlich, bleiben aber unzureichend spezifiziert, während rohe Demonstrationen langwierig, instanzspezifisch und schwer anzupassen sind. Diese Lücke erzeugt drei spezifische Herausforderungen:

Repräsentation: Wie strukturiert man ein multimodales Fähigkeitspaket, das Prozeduren, visuelle Zustände und Verifizierungshinweise zu einer kohärenten, wiederverwendbaren Einheit verbindet?
Generierung: Wie leitet man solche Pakete aus öffentlichen, nicht-evaluierenden Interaktionstrajektorien ab, ohne auf handgeschriebene Beispiele oder rohe Wiedergabe zurückzugreifen?
Nutzung: Wie konsultiert man multimodale Fähigkeitsbeweise zur Inferenzzeit, ohne den Agenten mit übermäßigen Bildkontexten zu überfordern oder den Agenten dazu zu bringen, sich zu stark auf Referenzscreenshots statt auf die Live-Umgebung zu fixieren?

2. Methodik

Die Autoren schlagen MMSkills vor, ein Framework, das aus drei Kernkomponenten besteht: einem Multimodalen Fähigkeitspaket, einem Fähigkeitsgenerator und einem Branch-Loaded Skill Agent.

2.1 Multimodales Fähigkeitspaket

Ein MMSkill wird als zustandskonditioniertes Prozedurpaket definiert $M = (D, P, S, K)$ :

$D$ (Deskriptor): Eine kompakte Beschreibung der Fähigkeit.
$P$ (Prozedur): Eine wiederverwendbare textliche Beschreibung des Aktionsmusters.
$S$ (Zustandskarten): Eine Menge von Laufzeit-Zustandskarten $S_j$ $S_{j}$ , die als Entscheidungsknoten fungieren. Jede Karte spezifiziert:
- Wann-zu-verwenden und Wann-nicht-zu-verwenden Bedingungen.
- Sichtbare Hinweise zur Inspektion.
- Verifizierungshinweise zur Bestätigung von Fortschritt oder Abschluss.
- Verfügbare Ansichten (z. B. Vollbild, Fokus-Ausschnitt, Vorher/Nachher).
$K$ (Schlüsselbilder): Mehransichtige Bildbündel, die mit Zustandskarten ausgerichtet sind, einschließlich Vollbildern für den Kontext, Fokus-Ausschnitten für spezifische Hinweise und optionalen Vorher/Nachher-Ansichten für Übergänge.

Diese Struktur verwandelt eine Fähigkeit von einer statischen Anweisung in einen dynamischen, zustandsbewussten Leitfaden, bei dem visuelle Beweise dem Agenten helfen zu entscheiden, ob er einer Prozedur folgen, sie überspringen oder verifizieren soll.

2.2 Fähigkeits-Generierungs-Pipeline

Das Framework führt einen automatisierten Trajectory-to-Skill Generator ein, der öffentliche, nicht-evaluierende Trajektorien in MMSkills umwandelt. Der Prozess umfasst fünf Stufen:

Embedding & Clustering: Gruppierung breiter Domänen in semantisch fokussierte Cluster.
Cluster-Level Planning: Ein LLM-basierter Agent schlägt atomare Fähigkeiten mit Workflow-Grenzen und Abschlussbedingungen vor.
Merging: Deduplizierung und Generalisierung von Plänen zu fusionierten Fähigkeits specifications.
Text-First Drafting: Generierung von Deskriptoren, Prozeduren und Zustandskarten ohne Bildlesevorgang.
Image Grounding & Audit: Lesen ausgewählter Schlüsselbilder zur Verankerung von Fokusregionen, Konstruktion mehransichtiger Bündel und Auditierung der finalen Pakete mittels Meta-Skills (wiederverwendbare Skripte und Qualitätsgates).

2.3 Branch-Loaded Agent

Um das Problem der Kontextüberlastung und visuellen Verankerung zu adressieren, schlagen die Autoren Branch Loading vor. Anstatt das gesamte Fähigkeitspaket (Text + mehrere Bilder) in den Kontext des Hauptagenten einzuspeisen, arbeitet das System in zwei Stufen innerhalb eines temporären Branch:

Stufe 1 (Gated View Selection): Der Branch analysiert die Live-Beobachtung und die Text-/Zustandskarten der Fähigkeit, um festzustellen, ob visuelle Beweise benötigt werden. Falls ja, wählt er nur die relevanten Zustandskarten und spezifischen Ansichtstypen aus (z. B. Fokus-Ausschnitt vs. Vollbild).
Stufe 2 (Planner Guidance): Der Branch richtet die ausgewählten Beweise am Live-Zustand aus und gibt ein kompaktes, strukturiertes Guidance-Tuple $G_t$ (enthaltend Anwendbarkeit, Teilziele, Pläne, Einschränkungen und Verifizierungschecks) an den Hauptagenten zurück.
Der Hauptagent nutzt diese destillierte Guidance, um fundierte Entscheidungen basierend auf dem Live-Screenshot zu treffen, wodurch er von Referenzbildern abgelenkt wird.

3. Hauptbeiträge

Multimodales Fähigkeitspaket: Die erste Formulierung wiederverwendbarer Fähigkeiten für allgemeine visuelle Agenten als multimodales prozedurales Wissen, das textliche Prozeduren, Laufzeit-Zustandskarten und mehransichtige Schlüsselbilder integriert.
Agentic Generator: Eine automatisierte Pipeline, die öffentliche Interaktionstrajektorien durch Workflow-Gruppierung, Prozedurinduktion, visuelle Verankerung und meta-skill-gesteuerte Auditierung in multimodale Fähigkeitspakete umwandelt.
Branch Loading: Ein Laufzeitmechanismus, der die Verankerung von Fähigkeiten in der Umgebung in einem temporären Branch isoliert, Beweise auswählt und ausrichtet, bevor er strukturierte Entscheidungsunterstützung an den Hauptagenten zurückgibt.
Empirische Validierung: Demonstration signifikanter Leistungssteigerungen über diverse GUI- und spielbasierte Benchmarks (OSWorld, macOSWorld, VAB-Minecraft, Super Mario Bros) und mehrere Modellfamilien hinweg.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MMSkills auf OSWorld, macOSWorld, VAB-Minecraft und Super Mario Bros unter Verwendung von Frontier-Modellen (z. B. Gemini 3.1 Pro, Qwen3-VL-235B) und kleineren Modellen (z. B. Qwen3-VL-8B).

Leistungssteigerungen: MMSkills verbesserten die Erfolgsraten konsistent gegenüber sowohl „no-skill"- als auch „text-only skill"-Benchmarks. Beispielsweise verbesserte MMSkills Qwen3-VL-235B auf OSWorld von 21,34 % auf 39,17 % und Qwen3-VL-8B von 10,78 % auf 25,40 %.
Ablationsstudien:
- Komponenten: Sowohl Zustandskarten als auch mehransichtige visuelle Beweise erwiesen sich als kritisch; das Entfernen eines von beiden verschlechterte die Leistung.
- Lade-Mechanismus: Branch Loading schnitt besser ab als direktes Laden (Einfügen vollständiger Fähigkeiten in den Kontext). Direktes Laden beeinträchtigte die Leistung oft aufgrund von Kontaminierung des Kontexts und visueller Verankerung, während Branch Loading klare Gewinne auch für rein textbasierte Fähigkeiten brachte.
Interaktionsdynamik:
- Aufruf: MMSkills wurden häufiger aufgerufen als rein textbasierte Fähigkeiten, was darauf hindeutet, dass Zustandskarten die Erkennung der Relevanz erleichtern.
- Effizienz: MMSkills reduzierten die durchschnittliche Anzahl der Interaktionsschritte (z. B. -5,35 Schritte für Qwen3-VL-235B auf OSWorld), was auf kürzere Pfadlösungen für Aufgaben hindeutet.
- Verhaltensänderung: Agenten, die MMSkills nutzten, zeigten weniger repetitive Aktionen und einen Wandel von explorativem Trial-and-Error hin zu fundierter, zustandsbewusster Ausführung. Beispielsweise nahm der Anteil der „Click"-Aktionen ab, während die „Tastatur"- und „DONE"-Aktionen zunahmen, was auf ein besseres Abschlussbewusstsein hindeutet.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass externe multimodale prozedurale Kenntnisse interne Modellpriors ergänzen. Durch die explizite Bindung von Aktionsprozeduren an die visuellen Beweise und zustandsabhängigen Entscheidungen, die für ihre Anwendung erforderlich sind, ermöglichen MMSkills visuellen Agenten:

Zu erkennen, wann eine Prozedur basierend auf dem visuellen Zustand anwendbar ist.
Zwischen Fortschritt, Misserfolg und Abschluss unter Verwendung visueller Hinweise zu unterscheiden.
Die Fallstricke rein textbasierter Fähigkeiten (unzureichende Spezifikation) und roher Demonstrationen (mangelnde Anpassungsfähigkeit) zu vermeiden.

Die Autoren betonen, dass dieser Ansatz besonders für schwächere visuelle Agenten wertvoll ist, bei denen explizites visuelles prozedurales Wissen begrenzte interne Priors kompensieren kann. Die Arbeit legt nahe, dass für allgemeine visuelle visuelle Agenten die Einheit „Fähigkeit" sich von Text/Code zu einem zustandskonditionierten multimodalen Paket entwickeln muss, das die Entscheidungsfindung durch visuelle Verankerung steuert.

Limitationen: Die Autoren erkennen die Abhängigkeit von der Abdeckung der Quell-Trajektorien, potenzielle Fehler bei der Fähigkeitsgenerierung oder visuellen Verankerung sowie die zusätzlichen Inferenzkosten durch den Branch-Loading-Mechanismus an. Sie stellen fest, dass eine Erweiterung auf sicherheitskritische Umgebungen stärkere Verifizierungs- und Online-Reparaturmechanismen erfordern würde.