XSkill: Continual Learning from Experience and Skills in Multimodal Agents

XSkill is een tweestromenframework dat multimodale agenten in staat stelt om zonder parameterupdates continu te leren uit ervaringen en vaardigheden die visueel zijn verankerd, waardoor ze in open-ended omgevingen efficiënter hulpmiddelen kunnen gebruiken en beter kunnen plannen.

De kern

Stel je voor dat je een slimme robot hebt die een camera in zijn hoofd heeft en een toolbox vol met digitale gereedschappen (zoals een zoekmachine, een rekenmachine of een programmeertaal). Deze robot moet complexe puzzels oplossen, zoals "Zoek het prototype van dit mascotte op de foto" of "Bereken de route op deze kaart".

Het probleem is: deze robot is vaak slordig en star. Hij probeert dingen op de verkeerde manier, maakt dezelfde fouten keer op keer, en weet niet hoe hij zijn gereedschappen slim moet combineren. Hij heeft geen "ervaring" en geen "vaardigheden" om van zijn eerdere pogingen te leren, tenzij je hem opnieuw traint (wat heel duur en moeilijk is).

XSKILL is de oplossing voor dit probleem. Het is een slim systeem dat de robot leert zonder hem opnieuw te trainen. Het doet dit door twee soorten "geheugen" aan te maken, net zoals mensen dat doen:

1. De Twee Soorten Geheugen: Ervaring en Vaardigheid

Het paper introduceert twee soorten kennis die de robot verzamelt:

• Ervaringen (Experiences) = De "Levenslessen"

  • Analogie: Denk aan een dagboek of een post-it-notitie op je bureau.
  • Wat is het? Korte, specifieke tips over wat er misging of goed ging in een specifieke situatie. Bijvoorbeeld: "Als de foto donker is, maak hem eerst lichter voordat je zoekt" of "Als je een klein object zoekt, zoom dan eerst in."
  • Doel: Dit helpt de robot bij snelle beslissingen en het vermijden van valkuilen. Het is tactisch.

• Vaardigheden (Skills) = De "Handleidingen"

  • Analogie: Denk aan een recept of een bouwplan voor een huis.
  • Wat is het? Een gestructureerd stappenplan voor een heel type taak. Bijvoorbeeld: "Hoe je een document analyseert" of "Hoe je een routeplanning maakt". Dit bevat vaste stappen en code-sjablonen.
  • Doel: Dit helpt de robot bij grote plannen en het slim combineren van gereedschappen. Het is strategisch.

2. Hoe werkt XSKILL? (Het Leerproces)

Het systeem werkt in twee fasen, alsof je een student voorbereidt op een examen:

Fase 1: Oefenen en Samenvatten (Accumulation)
Stel, de robot probeert een puzzel op te lossen. Hij maakt misschien 4 verschillende pogingen (rollouts).

• Sommige pogingen lukken, sommige mislukken.
• XSKILL kijkt naar al deze pogingen en vraagt een "slimmere" AI (een soort supervisor): "Wat hebben we geleerd?"
• De supervisor schrijft de lezens op in het dagboek (Ervaringen) en maakt nieuwe recepten (Vaardigheden) op basis van wat werkte.
• Creatieve metafoor: Het is alsof je na een mislukte bakpoging niet alleen de taart weggooit, maar een notitie maakt: "Te veel suiker" (ervaring) en een nieuw recept schrijft: "Hoe je een perfecte taart bakt" (vaardigheid).

Fase 2: De Proefopgave (Inference)
Nu krijgt de robot een nieuwe, nog nooit geziene puzzel.

• In plaats van blindelings te beginnen, kijkt XSKILL in zijn dagboek en handleidingen.
• Het zoekt naar ervaringen die lijken op het huidige probleem (bijv. "Oh, deze foto is ook donker, laat me die tip gebruiken!").
• Het past een vaardigheid aan op de huidige situatie (bijv. "Ik heb een recept voor routeplanning, maar deze kaart is anders, dus ik pas de stappen aan").
• De robot gebruikt deze aangepaste kennis om de puzzel veel slimmer op te lossen.

3. Waarom is dit zo speciaal? (Het Visuele Aspect)

De meeste eerdere systemen keken alleen naar de tekst van wat de robot deed. XSKILL kijkt echter ook naar de afbeeldingen.

• Voorbeeld: Als de robot zegt "Ik kan het niet zien", kijkt XSKILL naar de foto en ziet: "Ah, de foto staat ondersteboven!"
• Zonder XSKILL zou de robot blijven proberen en falen. Met XSKILL ziet hij de visuele aanwijzing, haalt hij de juiste "ervaring" op ("Draai de foto") en lost hij het probleem op.

4. De Resultaten

In tests met verschillende robothersenen (modellen) en verschillende soorten puzzels (zoals zoeken op internet, code schrijven en foto's analyseren) bleek XSKILL:

• Veel beter te presteren dan robots die alleen hun gereedschappen gebruiken.
• Beter te zijn dan andere systemen die proberen te leren.
• Slimmer te kunnen omgaan met nieuwe, onbekende taken (generalisatie).

Samenvattend in één zin:

XSKILL is als een slimme stagebegeleider voor een robot: hij laat de robot niet alleen zijn fouten maken, maar schrijft de lessen op in een dagboek (ervaringen) en maakt nieuwe handleidingen (vaardigheden), zodat de robot bij de volgende opdracht direct weet wat hij moet doen, zelfs als hij de taak nog nooit eerder heeft gezien.

Technische samenvatting

1. Probleemstelling

Multimodale Agents (gebaseerd op Multimodal Large Language Models of MLLMs) hebben de capaciteit ontwikkeld om complexe redeneertaken uit te voeren met diverse hulpmiddelen (zoals code-uitvoering, webzoekopdrachten en beeldverwerking). Desondanks worstelen deze agents in open-ended omgevingen met twee fundamentele beperkingen:

1. Inefficiënt gebruik van hulpmiddelen: Agents besteden vaak te veel stappen aan simpele problemen of falen in diepgaande verkenning bij complexe queries. Ze missen gestructureerde workflows om fouten te voorkomen.
2. Rigiditeit in orchestration: Bestaande systemen zijn vaak beperkt tot één uitvoeringspad en kunnen hulpmiddelen niet flexibel combineren om te generaliseren over verschillende taken. Ze missen contextgevoelige kennis voor adaptieve keuzes.

De centrale uitdaging is het mogelijk maken van continue verbetering zonder parameter-updates (d.w.z. zonder hertraining van het model). Bestaande methoden vertrouwen vaak op tekstuele logs, wat ontoereikend is voor multimodale taken waar cruciale beslissingen gebaseerd zijn op visuele observaties (bijv. een omgekeerde afbeelding of een klein object dat vergroot moet worden).

2. Methodologie: Het XSKILL Framework

XSKILL is een dual-stream framework dat twee complementaire vormen van herbruikbare kennis integreert: Ervaringen (Experiences) en Vaardigheden (Skills). Het framework werkt in twee fasen: accumulatie (Phase I) en inferentie (Phase II).

A. Twee vormen van kennis

1. Vaardigheden (Skills):
   • Niveau: Taak-niveau (Task-level).
   • Doel: Bieden gestructureerde workflows en herbruikbare hulpmiddel-sjablonen voor planning en orchestration.
   • Formaat: Gestructureerde Markdown-documenten met metadata, workflows en tool-templates (bijv. Python-code snippets).
2. Ervaringen (Experiences):
   • Niveau: Actie-niveau (Action-level).
   • Doel: Bieden beknopte, contextgevoelige richtlijnen voor specifieke uitvoeringssituaties, foutherstel en tool-selectie.
   • Formaat: JSON-entries met een trigger-conditie, een aanbevolen actie en een semantische embedding voor retrieval.

B. Fase I: Accumulatie (Leerproces)

In deze fase distilleert het systeem kennis uit meerdere uitvoeringsrollouts (rollouts) van een agent.

• Visueel Gebaseerde Samenvatting (Rollout Summary): In plaats van alleen tekst te analyseren, gebruikt het systeem een MLLM (MLLMkb) om trajecten te samenvatten die visuele observaties koppelen aan redeneerbeslissingen. Dit overbrugt de visueel-semantische kloof (bijv. "de afbeelding was omgekeerd, dus ik heb deze geroteerd").
• Cross-Rollout Critique: Het systeem vergelijkt succesvolle en mislukte trajecten om causale factoren te identificeren. Hieruit worden nieuwe ervaringen afgeleid of bestaande ervaringen aangepast.
• Hiërarchische Consolidatie: Om redundantie te verminderen, worden nieuwe kennisitems gefilterd op semantische gelijkenis. Overeenkomstige items worden samengevoegd tot één robuustere versie, en specifieke details worden vervangen door variabelen om generalisatie te bevorderen.

C. Fase II: Inferentie (Toepassing)

Wanneer een nieuwe taak wordt aangeboden, doorloopt het systeem een dynamisch retrieval- en adaptatiemechanisme:

1. Taak-Decompositie & Retrieval: De query wordt opgesplitst in sub-taken. Voor elke sub-taak worden relevante ervaringen opgehaald uit de kennisbank op basis van semantische gelijkenis.
2. Contextbewuste Adaptatie:
   • Experience Rewrite: De opgehaalde ervaringen worden herschreven om specifiek te passen bij de huidige visuele context en de specifieke query.
   • Skill Adaptation: Globale workflows worden aangepast door irrelevante secties te verwijderen en de herschreven ervaringen te integreren in de workflow.
3. Injectie: De aangepaste kennis wordt als een niet-prescriptieve referentie in de systeemprompt van de agent ingebracht, waardoor de agent kan improviseren binnen een gestructureerd raamwerk.
4. Feedback Loop: Het gebruiksgeschiedenis wordt teruggekoppeld naar de accumulatiefase om de kennisbank verder te verfijnen.

3. Belangrijkste Bijdragen

• XSKILL Framework: Het eerste framework dat visueel gebaseerde taak-niveau vaardigheden en actie-niveau ervaringen verenigt in een dual-stream ontwerp voor multimodale agents.
• Training-vrije Leer: Het stelt agents in staat om continu kennis op te bouwen en te gebruiken zonder de onderliggende modelparameters te finetunen, wat schaalbaarheid en transparantie vergroot.
• Visuele Grounding: In tegenstelling tot eerdere werken die puur op tekst vertrouwen, grondt XSKILL kennisextractie en -retrieval direct in visuele observaties, wat essentieel is voor multimodale redenering.
• Complementaire Rollen: Het paper demonstreert dat vaardigheden de robuustheid van hulpmiddel-gebruik vergroten (minder syntaxfouten), terwijl ervaringen de flexibiliteit van de orchestration verbeteren (beter kiezen van tools op basis van context).

4. Resultaten

XSKILL is geëvalueerd op vijf benchmarks in drie domeinen (visuele agent-toolgebruik, multimodale zoekopdrachten en uitgebreide redenering) met vier verschillende backbone-modellen (waaronder Gemini-2.5-Pro, Gemini-3-Flash, GPT-5-mini en o4-mini).

• Prestatieverbetering: XSKILL presteert consistent en aanzienlijk beter dan zowel "tool-only" baselines als bestaande leer-baselines (zoals Agent Workflow Memory en Dynamic CheatSheet).
  • Er werden verbeteringen van 2,58 tot 6,71 punten behaald in de Average@4 (gemiddelde succes率 over 4 pogingen) ten opzichte van tool-only baselines.
  • Op uitdagende taken (TIR-Bench) werd een verbetering van 11,13 punten behaald ten opzichte van de sterkste baseline.
• Generalisatie: Het framework toont superieure zero-shot generalisatie naar onbekende taken en domeinen.
• Cross-Model Transfer: Kennis opgebouwd door één model (bijv. Gemini) kan effectief worden gebruikt door andere modellen (bijv. GPT-5-mini), wat aantoont dat de gestructureerde kennis onafhankelijk is van het specifieke modelarchitectuur.
• Ablatie Studies: Verwijdering van zowel de "Experience" als "Skill" componenten leidt tot significante prestatiedalingen, wat bevestigt dat beide stromen noodzakelijk en complementair zijn.

5. Betekenis en Impact

XSKILL biedt een praktische en schaalbare route naar het ontwikkelen van evoluerende autonome systemen in real-world omgevingen. Door kennis te externaliseren naar menselijk leesbare formaten (Markdown en JSON) wordt de transparantie en interpreteerbaarheid van agent-beslissingen verbeterd. Menselijke operators kunnen de kennisbank auditen, bewerken of verwijderen, wat de risico's van "hallucinaties" of bias in de loop beperkt.

Het onderzoek benadrukt dat voor multimodale agents de volgende stap niet ligt in het groter maken van modellen, maar in het creëren van mechanismen die visueel gebaseerde ervaringen en gestructureerde vaardigheden effectief kunnen accumuleren en toepassen. Dit stelt agents in staat om flexibeler, efficiënter en robuuster te opereren in complexe, open-ended scenario's zonder de kosten en beperkingen van continue parametrische training.