XSkill: Continual Learning from Experience and Skills in Multimodal Agents

XSkill ist ein dualer Rahmen für multimodale Agenten, der durch visuell fundiertes Lernen aus vergangenen Erfahrungen und strukturierten Fähigkeiten eine kontinuierliche Verbesserung der Werkzeugnutzung und Planung ohne Parameter-Updates ermöglicht und dabei in verschiedenen Benchmarks überlegene Ergebnisse erzielt.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas verstreuten Assistenten, der Ihnen hilft, komplexe Aufgaben zu lösen – zum Beispiel, ein Bild zu analysieren, Code zu schreiben oder im Internet nach Informationen zu suchen. Dieser Assistent ist ein multimodaler KI-Agent.

Das Problem ist: Wenn dieser Assistent auf eine neue, schwierige Aufgabe trifft, macht er oft Fehler. Er sucht vielleicht an der falschen Stelle, benutzt das falsche Werkzeug oder übersieht einen wichtigen Hinweis im Bild. Und das Schlimmste: Er lernt aus seinen Fehlern nicht wirklich, weil sein „Gehirn" (die zugrunde liegende KI) festgefahren ist und nicht neu trainiert werden kann.

Die Forscher hinter XSKILL haben eine geniale Lösung gefunden, die wir uns wie ein zweiköpfiges Gedächtnis-System vorstellen können. Anstatt den Assistenten neu zu programmieren, geben wir ihm zwei Arten von Notizen, die er sich aus früheren Versuchen gemacht hat:

1. Die zwei Arten von Wissen: „Skills" und „Erfahrungen"

Stellen Sie sich vor, Sie lernen, ein Auto zu fahren.

• Skills (Fertigkeiten) sind wie das Fahrlehrer-Handbuch.
  Das sind strukturierte Anleitungen für ganze Aufgaben. Zum Beispiel: „Wenn du parken musst, folge immer diesen 5 Schritten." Oder: „Um ein Bild zu drehen, benutze immer diesen bestimmten Code."

  • Die Metapher: Es ist wie ein Kochrezept. Es sagt dir genau, welche Zutaten du brauchst und in welcher Reihenfolge du sie mischen musst, damit das Gericht gelingt. Es verhindert, dass du vergisst, den Ofen vorzuheizen.

• Erfahrungen (Experiences) sind wie die kleinen Tipps von einem Freund.
  Das sind kurze, kontextbezogene Warnungen oder Kniffe, die man sich erst nach einem Missgeschick merkt. Zum Beispiel: „Achtung, wenn das Bild dunkel ist, dreh es erst um, bevor du suchst!" oder „Wenn du das kleine Tier nicht finden kannst, zoom mal näher heran, statt blind zu raten."

  • Die Metapher: Es ist wie ein kleiner Zettel im Handschuhfach: „Vorsicht: Bei Regen rutscht die Straße!" oder „Tipp: Wenn der Motor quietscht, ist es oft nur der Keilriemen." Diese Tipps helfen dir, im Moment die richtige Entscheidung zu treffen.

2. Wie XSKILL funktioniert: Der Kreislauf des Lernens

Das Besondere an XSKILL ist, dass es nicht nur auf Text achtet, sondern die Bilder selbst versteht.

• Phase 1: Das Sammeln (Die Werkstatt)
  Wenn der Assistent eine Aufgabe löst (z. B. ein Bild analysiert), schaut sich ein zweiter, sehr intelligenter KI-Experte (der „Gedächtnis-Wächter") an, was passiert ist.

  • Er schaut sich das Bild an und sagt: „Aha, hier war das Bild verkehrt herum, deshalb hat der Assistent nichts erkannt." -> Das wird zu einer Erfahrung.
  • Er sieht, dass der Assistent erfolgreich ein Werkzeug benutzt hat, um ein Bild zuzuschneiden. -> Das wird zu einer Fertigkeit (Skill) und als Rezept gespeichert.
  • Wichtig: Der Wächter vergleicht viele Versuche miteinander, um die besten Tipps zu finden und doppelte Notizen zu löschen.

• Phase 2: Das Anwenden (Die Fahrt)
  Wenn der Assistent eine neue Aufgabe bekommt, holt er sich nicht einfach alte Texte aus dem Regal.

  • Er schaut sich das neue Bild an.
  • Er fragt sich: „Sieht dieses Bild ähnlich aus wie das, bei dem ich mal das Bild drehen musste?" -> Ja? Dann holt er sich die passende Erfahrung.
  • Er fragt sich: „Ist das eine Parkaufgabe?" -> Ja? Dann holt er sich das Kochrezept (Skill).
  • Er passt diese Notizen sofort an das neue Bild an (z. B. „Hier ist das Bild nicht verkehrt herum, aber es ist sehr dunkel" -> also: „Helligkeit erhöhen" statt „Drehen").

Warum ist das so toll?

Stellen Sie sich vor, Sie müssten jeden Tag einen neuen Weg durch eine unbekannte Stadt finden.

• Ohne XSKILL: Sie laufen jedes Mal blind los, rennen gegen Wände und fragen sich, warum Sie nicht weiterkommen.
• Mit XSKILL: Sie haben eine Karte (Skills), die Ihnen den besten Weg zeigt, und ein Tagebuch (Erfahrungen), in dem steht: „Vorsicht, bei Regen ist die Straße bei der Ecke X rutschig."

Das Ergebnis? Der Assistent wird mit der Zeit besser, schneller und robuster, ohne dass man ihn neu programmieren muss. Er lernt einfach aus seiner eigenen Geschichte.

Zusammenfassung in einem Satz

XSKILL gibt dem KI-Assistenten ein zweites Gehirn, das aus früheren Versuchen gelernt hat: Ein Gehirn mit Rezepten für große Aufgaben und kleinen Warnzetteln für die kleinen Fallstricke, damit er beim nächsten Mal nicht denselben Fehler macht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „XSKILL: Continual Learning from Experience and Skills in Multimodal Agents" auf Deutsch:

1. Problemstellung

Multimodale Agenten (MLLMs) haben zwar Fortschritte bei der Lösung komplexer Reasoning-Aufgaben mit diversen Tools gemacht, leiden jedoch in offenen Umgebungen unter zwei fundamentalen Engpässen:

• Ineffiziente Tool-Nutzung: Agenten verwenden oft zu viele Schritte für einfache Probleme oder führen bei komplexen Abfragen keine tiefgehende Exploration durch.
• Starre Orchestrierung: Bestehende Systeme sind häufig auf Single-Path-Ausführungen beschränkt und können Tools nicht flexibel über verschiedene Aufgaben hinweg kombinieren.

Ein zentrales Hindernis ist die Fähigkeit, aus vergangenen Trajektorien zu lernen, ohne die Parameter des zugrunde liegenden Modells (den „Frozen Backbone") zu aktualisieren. Bisherige Ansätze stützen sich meist auf reine Text-Logs, was in multimodalen Szenarien unzureichend ist, da kritische Entscheidungssignale oft in visuellen Beobachtungen verankert sind. Ohne visuelle Verankerung können Agenten relevantes Vorwissen nicht zuverlässig abrufen oder an den aktuellen Kontext anpassen.

2. Methodik: Das XSKILL-Framework

XSKILL ist ein Dual-Stream-Framework, das zwei komplementäre Formen wiederverwendbaren Wissens definiert und in einem kontinuierlichen Lernzyklus (ohne Parameter-Updates) nutzt:

A. Wissensdefinitionen:

1. Skills (Fertigkeiten): Strukturierte, aufgabenorientierte Leitfäden (Task-Level). Sie bieten Workflow-Sequenzen und wiederverwendbare Tool-Templates (z. B. Markdown-Dokumente mit Code-Snippets).
2. Experiences (Erfahrungen): Konkrete, kontextsensitive taktische Hinweise (Action-Level). Sie fassen konditional-abhängige Einsichten zusammen (z. B. „Wenn das Bild dunkel ist, erhöhe den Kontrast"), die oft in hochrangigen Anleitungen fehlen.

B. Der Zwei-Phasen-Ansatz:

• Phase I: Akkumulation (Lernen aus Rollouts)

  • Der Agent führt multiple Rollouts (Durchläufe) für Trainingsaufgaben aus.
  • Visuell verankerte Zusammenfassung: Ein separates MLLM-Modell (MLLMkb) analysiert die Trajektorien zusammen mit den dazugehörigen Bildern. Es extrahiert nicht nur Text, sondern verknüpft Entscheidungen mit visuellen Beweisen (z. B. „Das Bild war invertiert, daher wurde gedreht").
  • Cross-Rollout Critique: Durch den Vergleich von erfolgreichen und gescheiterten Durchläufen werden kausale Faktoren identifiziert. Neue Erfahrungen werden hinzugefügt oder bestehende verfeinert.
  • Hierarchische Konsolidierung: Um Redundanz zu vermeiden, werden ähnliche Einträge zusammengeführt (Merging) und spezifische Details durch Platzhalter ersetzt, um die Generalisierbarkeit zu sichern.

• Phase II: Inferenz (Anwendung auf neue Aufgaben)

  • Task-Decomposition & Retrieval: Die neue Aufgabe wird in Subtasks zerlegt. Für jeden Subtask werden relevante Erfahrungen und Skills über semantische Ähnlichkeit abgerufen.
  • Kontextbewusste Anpassung: Die abgerufenen Informationen werden nicht statisch injiziert. Stattdessen passt ein MLLMkb-Modell die generischen Ratschläge an die aktuellen visuellen Eingaben an (z. B. Umformulierung von „Drehen des Bildes" zu „Drehen des spezifischen invertierten Bildes").
  • Injektion: Die angepassten Skills und Erfahrungen werden als nicht-direktive Referenz in den System-Prompt des Agenten eingefügt, der dann die Aufgabe löst.
  • Feedback-Schleife: Die Nutzungshistorie wird zurück in die Akkumulationsphase gespeist, um die Wissensbasis kontinuierlich zu verbessern.

3. Schlüsselbeiträge

• Erstes Unified Framework: XSKILL ist das erste Framework, das visuell verankerte Task-Level-Skills und Action-Level-Erfahrungen in einem Dual-Stream-Design für multimodale Agenten vereint.
• Training-freies Lernen: Es ermöglicht eine kontinuierliche Verbesserung der Tool-Nutzungseffizienz und der Orchestrierungsfähigkeit ohne Fine-Tuning der Backbone-Modelle.
• Visuelle Verankerung: Im Gegensatz zu textbasierten Ansätzen werden Wissensgewinnung und -abruf explizit auf visuelle Beobachtungen gestützt, was die Lücke zwischen visueller Semantik und Reasoning schließt.
• Komplementäre Rollen: Die Arbeit zeigt, dass Skills die Robustheit der Tool-Ausführung gewährleisten, während Experiences die strategische Auswahl basierend auf dem Kontext leiten.

4. Ergebnisse

Das Framework wurde auf fünf Benchmarks in drei Domänen (visuelles Tooling, multimodale Suche, umfassende Reasoning) mit vier verschiedenen Backbone-Modellen (u. a. Gemini-2.5-Pro, Gemini-3-Flash, GPT-5-mini, o4-mini) evaluiert.

• Leistungssteigerung: XSKILL übertrifft konsistent sowohl reine Tool-Baselines als auch andere lernbasierte Ansätze (wie Agent Workflow Memory, Dynamic CheatSheet, Agent-KB).
• Metriken: Es wurden Verbesserungen von 2,58 bis 6,71 Punkten im Average@4 (durchschnittliche Erfolgsrate über 4 Rollouts) gegenüber der Tool-only-Baseline erzielt. In schwierigen Szenarien (TIR-Bench) wurden sogar Steigerungen von bis zu 11,13 Punkten gegenüber dem stärksten Baseline-Modell erreicht.
• Zero-Shot Generalisierung: Das System zeigt starke Fähigkeiten beim Transfer von Wissen auf unbekannte Aufgaben und Domänen, was auf das Erlernen generalisierbarer Reasoning-Prinzipien hindeutet.
• Ablationsstudien: Die Studie bestätigt, dass sowohl Skills als auch Experiences essenziell sind. Das Entfernen einer Komponente führt zu signifikanten Leistungseinbußen. Zudem zeigt sich, dass die Qualität der akkumulierten Kenntnisse (Phase I) kritischer ist als der reine Abrufmechanismus (Phase II).

5. Bedeutung und Ausblick

XSKILL adressiert eine fundamentale Lücke in der Entwicklung autonomer Agenten: die Fähigkeit, aus Interaktionen zu lernen, ohne rechenintensives Re-Training.

• Interpretierbarkeit: Durch die Externalisierung von Wissen in strukturierte, menschenlesbare Formate (Markdown/JSON) wird die Entscheidungsfindung transparenter und überprüfbar.
• Skalierbarkeit: Der Ansatz bietet einen skalierbaren Weg, Agenten in realen Umgebungen zu verbessern, da das Wissen zwischen verschiedenen Modellarchitekturen übertragen werden kann (Cross-Model Transfer).
• Zukunft: Die Architektur ist so konzipiert, dass sie iterative Verfeinerungen über die Zeit hinweg unterstützt, was den Weg für langlebige, sich selbst verbessernde multimodale Systeme ebnet.

Zusammenfassend demonstriert XSKILL, dass die Kombination aus strukturierten Fertigkeiten und kontextsensitiven Erfahrungen, verankert in visuellen Beobachtungen, ein leistungsfähiger Mechanismus ist, um die Effizienz und Flexibilität multimodaler Agenten signifikant zu steigern.