Technische Samenvatting: RESOURCE2SKILL

Probleemstelling

Large Language Model (LLM) agenten krijgen steeds vaker de taak om complexe software te bedienen om hoogwaardige artefacten (bijv. diavoorstellen, 3D-scènes, audio-projecten) te produceren. Succes in deze domeinen hangt minder af van geïsoleerde feitelijke kennis en meer van herbruikbare procedurele kennis—vaardigheden die definiëren hoe doelen te deconstrueren, toolpatronen te selecteren, intermediaire staten te inspecteren en te herstellen van fouten.

Bestaande skill-bibliotheken lijden aan drie primaire beperkingen:

1. Creatie-bias: Ze worden voornamelijk handmatig geschreven door experts of gewonnen uit interactietrajecten van agenten, waardoor enorme hoeveelheden menselijke expertise onderbenut blijven.
2. Modaliteitskloof: Menselijk leren voor creatieve softwaretaken vindt vaak plaats via multimodale bronnen (tutorialvideo's, schermopnames, repositories), die temporele sequenties, visuele effecten en impliciete ontwerpkeuzes bevatten die statische tekst niet volledig kan vatten.
3. Inefficiënte Inferentie: Het direct injecteren van ruwe multimodale data (bijv. volledige video's) in de context van een agent is duur en redundant, terwijl het comprimeren ervan tot eenvoudige tekstuele samenvattingen de dynamische en visuele signalen die essentieel zijn voor uitvoering wegwerpt.

De kernuitdaging is het automatisch distilleren van deze door mensen gemaakte multimodale bronnen naar een gestructureerd, uitvoerbaar en doorzoekbaar formaat dat agenten effectief kunnen gebruiken tijdens inferentie.

Methodologie

RESOURCE2SKILL is een framework ontworpen om multimodale bronnen te distilleren tot een hiërarchische Skill Wiki en dit te gebruiken voor agent-executie. Het systeem werkt via een verenigde pijplijn bestaande uit constructie, organisatie, selectie en executie.

1. Hiërarchische Multimodale Skill Wiki

Het systeem organiseert vaardigheden als een gestructureerde tuple $s = (p, x_{text}, x_{visual}, x_{code}, m)$:

• $p$ (Pad): Een positie in een domeinspecifieke taxonomie (bijv. Blender-skills georganiseerd per geometrie, belichting, materialen).
• $x_{text}$: Gestructureerde tekst die het mechanisme, de toepasbaarheid, de inputs en de verwachte effecten uitlegt.
• $x_{visual}$: Visuele voorbeelden inclusief thumbnails, screenshots, gerenderde previews of diagrammen.
• $x_{code}$: Uitvoerbare of aanpasbare codefragmenten (of referentie-alleen patronen).
• $m$ (Metadata): Filter-tags, herkomst en validatiestatus.

Dit ontwerp zorgt ervoor dat tekst zorgt voor conceptuele gronding, code executiepatronen biedt, en visuals de lay-out, stijl en bewegingsinformatie behouden die tekst alleen onder-specificeert.

2. Resource-to-Skill Constructie

Een constructie-operator $(f_\theta, A_D)$ transformeert ruwe bronnen naar wiki-items:

• Input: Multimodale bronnen inclusief tutorialvideo's, bronrepositories, artikelen en referentie-artefacten.
• Distillatie: Een visueel bekwaam taalmodel ($f_\theta$) extraheert modaliteit-specifiek bewijs (key frames, code-regio's, tekstpassages) en genereert een gestructureerde skill-payload.
• Validatie: Een domeinspecifiek predicaat ($A_D$) handhaaft vijf deterministische controles: volledigheid, traceerbare herkomst, deduplicatie, modaliteitsconsistentie en structurele uitvoerbaarheid (voor codevelden).
• Online/Offline Eenheid: Dezelfde operator wordt gebruikt om grote offline bibliotheken op te bouwen en om nieuwe vaardigheden online te verwerven wanneer de offline pool onvoldoende dekking biedt, wat ervoor zorgt dat de bibliotheek incrementeel uitbreidbaar is.

3. Selectie en Compositie (METABROWSE)

Om vaardigheden efficiënt op te halen, gebruikt het systeem een tweestaps selectieproces:

1. Lexicale Scoring: Een BM25-scorer verkleint de kandidaatenset door te zoeken in de naam van het item, de tags, de toepasbaarheid en cruciaal, de taxonomie-pad ($p$). Dit maakt gebruik van de hiërarchische structuur om vaardigheden te bevoordelen die in topologisch relevante subbomen liggen, in plaats van de bibliotheek als een platte lijst te behandelen.
2. LLM Selectie: Een taalmodel leest het gestructureerde bewijs (tekst, visueel, code) van de top-kandidaten en selecteert een subset om samen te stellen. Het model kan nul vaardigheden kiezen als geen enkele kandidaat past, om geforceerde compositie te voorkomen.

4. Executie

Geselecteerde vaardigheden worden toegepast via een Model Context Protocol (MCP) interface. Als er code aanwezig is, wordt deze direct uitgevoerd tegen de domein-backend. Alleen-referentie vaardigheden sturen de agent aan om eigen code te schrijven op basis van het visuele en tekstuele bewijs.

Belangrijkste Bijdragen

1. Resource-to-Skill Learning: Het paper formuleert het probleem van het distilleren van herbruikbare uitvoerbare vaardigheden uit multimodale menselijke bronnen, waarbij tutorialvideo's worden geïdentificeerd als een cruciale, onderbenutte bron van procedurele en perceptuele kennis.
2. Hiërarchische Multimodale Skill Library: Het stelt een Wiki-gebaseerde organisatie voor waarbij elke skill tekst, code en visuals integreert, wat agenten in staat stelt om vaardigheden over diverse domeinen effectiever op te halen en samen te stellen dan bij platte tekstretrieval.
3. Verenigde Offline-Online Pijplijn: Het framework gebruikt een enkele constructie-operator voor zowel het bouwen van grootschalige offline bibliotheken als het uitvoeren van gecontroleerde online gap-filling, waardoor de skill-bibliotheek onderhoudbaar en uitbreidbaar is.
4. Brede Empirische Evaluatie: Het systeem wordt geëvalueerd over zeven praktische auteur-domeinen: PPT, Web, Excel, Blender, Reaper, CAD en UE5.

Experimentele Resultaten

De evaluatie dekt zeven domeinen en vier agent-backends (GPT-5.5, GPT-5.4, GPT-5.4 Mini, GPT-5.4 Nano), waarbij W SKILLS (RESOURCE2SKILL) wordt vergeleken met W/O SKILLS (baseline zonder vaardigheden) en twee standaard agentic harnesses (CLAUDECODE-H, CODEX-H).

• Prestatiewinst: RESOURCE2SKILL verbetert de gemiddelde algemene score met +11,9 procentpunt ten opzichte van agenten zonder vaardigheden. Het presteert beter dan sterke agentic harness baselines in 26 van de 28 belangrijkste geaggregeerde model–domein cellen.
• Domein Variantie: De winst is het meest uitgesproken in domeinen met dichte conventies en complexe visuele/temporele vereisten (bijv. UE5 zag +30 tot +40 pp winst; Blender en Excel lieten ook significante verbeteringen zien). De winst was het kleinst in Reaper, waar de no-skill prior al relatief competent was.
• Ablatie Studies:
  • Multimodaal Formaat: Het verwijderen van visuele of code velden verslechtert de prestaties aanzienlijk, wat bevestigt dat tekst alleen de uitvoering onder-specificeert.
  • Bron Diversiteit: Video wordt geïdentificeerd als een niet-vervangbare bron; het verwijderen van video verlaagt de gemiddelde score van 68,9% naar 59,4%.
  • Organisatie: De hiërarchische Wiki-interface presteert 2,5–8,2 procentpunt beter dan platte tekstretrieval, vooral in domeinen die structurele context vereisen.
  • Selectiestrategie: De hiërarchie-dan-LM selectiestrategie (METABROWSE) presteert beter dan pure lexicale (BM25) of dichte (Embedding) retrieval baselines.
  • Online Verwerving: Online acquisitie fungeert als een effectieve gap-filler, wat de scores met +21,6 pp verbetert op nieuwe taken die ontbreken in de offline pool, terwijl het verwaarloosbare ruis toevoegt aan standaard taken.

Betekenis en Claims

Het paper claimt dat RESOURCE2SKILL aantoont dat het distilleren van vaardigheden uit menselijke gemaakte multimodale bronnen software-agenten voorziet van herbruikbare procedurele kennis die aanzienlijk beter presteert dan zowel no-skill agenten als sterke agentic harnesses.

Kernpunten benadrukt door de auteurs zijn:

• Video is Cruciaal: Tutorialvideo's bieden temporele en visuele signalen die tekst niet kan vervangen, wat ze essentieel maakt voor hoogwaardige skill-distillatie in creatieve domeinen.
• Structuur Doet Er Toe: Een hiërarchische organisatie van vaardigheden is superieur aan platte retrieval, omdat het de domeinstructuur codeert en de zoekruimte verkleint.
• Schaalbaarheid: Het systeem is geen vaste prompt-collectie, maar een groeiend, onderhoudbaar procedureel geheugen dat online uitgebreid kan worden wanneer capaciteitsverschillen worden geïdentificeerd.
• Generaliseerbaarheid: De aanpak wordt gevalideerd over diverse software-auteurstaken, wat wijst op een generaliseerbaar pad voor het verbeteren van agent-capaciteiten in complexe, tool-rijke omgevingen.

De auteurs blijven bescheiden over generalisatie en merken op dat het systeem afhankelijk is van het bestaan van programmeerbare tool-interfaces en publieke stromen van procedurele content, en dat de overeenstemming tussen menselijke beoordelaars en de judge, hoewel acceptabel, niet perfect is. Het werk richt zich op de effectiviteit van het distillatie- en retrieval-framework in plaats van te claimen universeel toepasbaar te zijn op alle agent-taken.