Technisches Resümee: MMG2Skill

Problemstellung

Vision-Language-Modell (VLM)-Agenten werden zunehmend mit langfristigen, prozeduralen Aufgaben in interaktiven Umgebungen betraut, wie etwa der Steuerung von Desktop-GUIs, Open-World-Gaming oder strategischen Kartenspielen. Ein primäres Hindernis für den Erfolg in diesen Domänen ist die schwache prozedurale Erdung (weak procedural grounding): die Unfähigkeit von Agenten, wiederverwendbare Abläufe in ihrem Laufzeitzustand zu verankern. Während das Web reich an multimodalen prozeduralen Wissen (Anleitungen, Tutorials, Dokumentationen) ist, ist dieses Material für menschliche Ausführende konzipiert. Es ist oft multimodal, heterogen, verrauscht und setzt implizit einen menschlichen Kontext voraus (z. B. Geschwister-Prozeduren, Voraussetzungsannahmen, Navigations-Texte).

Das direkte Prompting von Agenten mit rohen Anleitungen scheitert oft, da der Agent nicht einfach zwischen anwendbaren Schritten und irrelevanten Inhalten unterscheiden kann oder die Anleitung nicht anpassen kann, wenn der Agent vom nominalen Pfad abweicht. Umgekehrt ist das manuelle Schreiben von Fähigkeiten für jede Aufgabe arbeitsintensiv, und Fähigkeiten, die allein durch die Exploration des Agenten entdeckt werden, sind durch die eigenen Fehler des Agenten begrenzt. Die zentrale Frage, die diese Arbeit adressiert, lautet: Können VLM-Agenten in der Praxis vorkommende multimodale Anleitungen in ausführungsgeerdete Fähigkeiten destillieren, die sich durch ihre eigenen Rollouts verbessern?

Methodik: MMG2Skill-Framework

Die Autoren schlagen MMG2Skill vor, ein geschlossenes Framework, das darauf ausgelegt ist, multimodale Anleitungen in editierbare, ausführbare Fähigkeiten umzuwandeln und diese kontinuierlich zu verbessern, ohne während des Revisionsprozesses auf Benchmark-Scores angewiesen zu sein. Das Framework operiert in drei Stufen:

1. Multimodale Skill-Konstruktion (Tutorial-zu-Skill):
   Das System normalisiert rohe multimodale Anleitungen (HTML, Bilder, Screenshots) in eine editierbare SKILL.md-Repräsentation. Ein VLM-Skill-Extraktor konvertiert die Anleitung in eine Menge strukturierter Skills $S = \{z_i\}$, wobei jeder Skill $z_i$ Folgendes enthält:

   • $u_i$: Ein wiederverwendbarer Ablauf.
   • $c_i$: Anwendbarkeitsbedingungen.
   • $v_i$: Erwartete Zustands-Cues.
   • $q_i$: Recovery-Wissen (Wiederherstellungswissen).
     Dieser Schritt transformiert unstrukturierte menschliche Artefakte in einen sichereren prozeduralen Prior.

2. Skill-konditionierte Ausführung:
   Während eines Agenten-Rollouts (Versuch $k$) wird der aktuelle Skill-Satz $S_k$ zusammen mit der Aufgabeninstruktion und der jüngsten Historie in den Kontext des Agenten injiziert. Die Policy des Agenten $\pi_\theta$ bleibt fixiert; sie konditioniert ihre Aktionen auf die Aufgabe, die Historie und die aktuellen Skills: $a_t \sim \pi_\theta(a_t | h_t, I, S_k)$. Der Skill-Satz fungiert als prozeduraler Kontext, ohne das domänenspezifische Aktions-Interface zu verändern.

3. Trajektorien-gesteuerte Skill-Revision:
   Nach einem Versuch liest ein Analyzer nur die Aufgabeninstruktion und die für den Agenten sichtbare Trajektorie (keine Benchmark-Scores oder verborgene Zustände). Er erstellt eine Diagnose $\rho_k = (e_k, r_k)$, wobei $e_k$ der Beleg dafür ist, was funktionierte oder fehlschlug, und $r_k$ eine Ergebniseinschätzung darstellt (z. B. likely_success).
   Ein Refiner verwendet daraufhin die ursprüngliche Anleitung, die aktuellen Skills und die akkumulierten Diagnosen, um den Skill-Satz zu aktualisieren: $S_{k+1} = \text{REFINE}(G, I, S_k, \rho_{1:k})$. Der Refiner editiert die SKILL.md-Dateien, indem er fehlende Prüfungen hinzufügt, Zustands-Cues verschärft oder irreführende Ratschläge entfernt, wodurch validierte Verhaltensweisen aus vorherigen Versuchen bewahrt werden.

Das Framework beinhaltet einen Early-Stopping-Mechanismus basierend auf dem likely_success-Signal des Analyzers, der die Schleife stoppt, wenn die Trajektorie die Aufgabe zu erfüllen scheint, um spätes Leistungsdegradierung zu verhindern.

Benchmark: MMG2Skill-Bench

Zur Evaluierung dieser Fähigkeit führen die Autoren MMG2Skill-Bench ein, den ersten Benchmark, der speziell für das Lernen von Anleitung-zu-Skill konzipiert wurde.

• Umfang: Er deckt drei Interaktionsregime ab: GUI (OSWorld), Game (OpenHA Minecraft) und Strategy (Doudizhu und Mahjong via RLCard).
• Zusammensetzung: Er enthält 130 erfolgs-inferierbare Aufgaben, die mit aufgabenspezifischen öffentlichen multimodalen Anleitungen gepaart sind.
• Beschränkungen: Die Aufgaben sind so gewählt, dass Ergebnisse aus der für den Agenten sichtbaren Trajektorie oder dem öffentlichen Endzustand abgeleitet werden können. Der Benchmark schließt Aufgaben aus, bei denen Antworten direkt aus den Anleitungen kopiert werden können, um sicherzustellen, dass die Evaluierung die prozedurale Erdung und nicht die Retrieval-Fähigkeit misst.

Kernergebnisse

Das Framework wurde über sechs VLM-Backbones (einschließlich Claude-Opus, GPT-5.5, Kimi, Gemini und Qwen) auf MMG2Skill-Bench evaluiert.

• Gesamtleistung: MMG2Skill übertraf konsistent die Vanilla-Baseline-Agenten (keine Skills) und „Raw Guide“-Baselines (direkte Anleitungsinjektion) in jeder Modell–Domänen-Konfiguration. Die makro-gemittelten Gewinne lagen zwischen +12,8 und +25,3 Prozentpunkten über alle Backbones hinweg.
• Mechanismus-Ablation:
  • Raw Guide Injection: Das direkte Prompting mit rohen Anleitungen war unzuverlässig und verschlechterte oft die Leistung (z. B. -1,67 pp bei Game) aufgrund von Mismatch zwischen Anleitung und Umgebung.
  • Strukturierte Extraktion: Die Konvertierung von Anleitungen in strukturierte Skills (oh sich auf die Revision verlassen) bot einen sichereren prozeduralen Prior und verbesserte die Leistung gegenüber Vanilla-Agenten.
  • Trajektorien-gesteuerte Revision: Die Revisionskomponente trug den Großteil der Gewinne in den Domänen Game und Strategy bei (über 90 % des Gesamtzuwachses), indem sie Lücken zwischen der Anleitung und der Laufzeit-Ausführung schloss.
• Effizienz: MMG2Skill verbesserte die Scores bei gleichzeitiger Reduzierung der durchschnittlichen Anzahl der angezeigten Versuchsschritte, was auf weniger explorative Umwege hindeutet.
• Early Stopping: Der Analyzer-basierte Early Stopping verhinderte spätere Leistungsregressionen (Nicht-Monotonie) und sparte 25 % bis 53 % der Versuche bei erfolgs-inferierbaren Aufgaben, während eine hohe Präzision (>74 %) und ein hoher Recall (>95 % bei GUI/Game) beibehalten wurden.

Bedeutung und Ansprüche

Das Paper beansprucht zwei primäre Beiträge:

1. MMG2Skill-Bench: Ein neuartiger Benchmark, der erfolgs-inferierbare interaktive Aufgaben mit in der Praxis vorkommenden multimodalen Anleitungen kombiniert und somit einen Standard für die Evaluierung von Guide-to-Skill-Lernen etabliert.
2. MMG2Skill-Framework: Ein geschlossenes System, das demonstriert, dass öffentliche Anleitungen in editierbare, ausführungsgeerdete Skills umgewandelt werden können, die sich durch Agenten-Rollouts verbessern können, ohne für die Revision auf Benchmark-Scores angewiesen zu sein.

Die Autoren betonen, dass der Zugriff auf Anleitungen allein nicht ausreicht. Das Prompting mit rohen Anleitungen kann die Leistung beeinträchtigen, während die strukturierte Skill-Konstruktion einen sichereren Prior bietet und die trajektorien-gesteuerte Revision notwendig ist, um Erdungslücken zu schließen. Darüber hinaus heben sie hervor, dass die Revisionsgewinne nicht-monoton sind, was ein kalibriertes Early Stopping essenziell macht. Die Arbeit isoliert das Problem der Umwandlung von prozedalem Material in ausführbare Skills, was von dem vorgelagerten Problem der Anleitung-Entdeckung verschieden ist.