🤖 AI

Evidence Over Plans: Online Trajectory Verification for Skill Distillation

Dit artikel introduceert SPARK, een raamwerk dat de Posterior Distillation Index (PDI) gebruikt om agentvaardigheden rechtstreeks te verifiëren en te distilleren uit door de omgeving verankerde trajectbewijzen in plaats van vooraf bepaalde plannen, wat resulteert in efficiënte, overdraagbare vaardigheden die menselijk geschreven baselines op diverse taken overtreffen.

Oorspronkelijke auteurs: Yang Zhou, Zihan Dong, Zhenting Wang, Can Jin, Shiyu Zhao, Bangwei Guo, Difei Gu, Linjun Zhang, Mu Zhou, Dimitris N. Metaxas

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yang Zhou, Zihan Dong, Zhenting Wang, Can Jin, Shiyu Zhao, Bangwei Guo, Difei Gu, Linjun Zhang, Mu Zhou, Dimitris N. Metaxas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe leerling (de "Student"-AI) probeert aan te leren hoe je een complexe machine repareert. Je hebt twee manieren om het instructieboekje te schrijven:

De "Plan"-benadering: Je gaat zitten en schrijft een handleiding op basis van wat je denkt dat er moet gebeuren. Je raadt de stappen, de benodigde gereedschappen en de volgorde van handelingen. Dit is alsof je een recept schrijft voor een taart die je eigenlijk nooit hebt gebakken.
De "Bewijs"-benadering: Je kijkt toe hoe een expert (de "Leraar"-AI) de machine daadwerkelijk probeert te repareren. Ze kunnen drie keer falen, een onderdeel breken, hun fout realiseren en uiteindelijk op de vierde poging slagen. Je schrijft de handleiding dan uitsluitend op basis van de specifieke acties die werkten en de specifieke fouten die ze hebben vermeden.

Dit artikel stelt dat Benadering #2 veruit superieur is, maar alleen als je het verschil kunt maken tussen een "goede" handleiding en een "slechte" één.

Het Probleem: Gissen versus Weten

De auteurs merkten op dat de meeste AI-systemen tegenwoordig proberen "vaardigheden" (instructieboekjes) te creëren door te gissen naar wat de oplossing zou moeten zijn, nog voordat ze de machine aanraken. Ze vertrouwen op "voorafgaande plannen".

Het probleem? Deze plannen falen vaak omdat ze geen rekening houden met de rommelige realiteit van de omgeving. De handleiding zegt "draai de rode knop", maar in de echte machine zit de rode knop vast, en je moet eigenlijk eerst de blauwe hendel wiebelen. Als de handleiding slechts een gok is, zal de leerling falen.

De Oplossing: SPARK en de "Posterior Distillation Index" (PDI)

De onderzoekers bouwden een systeem genaamd SPARK (Structured Pipelines for Autonomous Runnable tasKs and sKill generation). Denk aan SPARK als een high-tech filmcrew die de hele reis van de expert opneemt, inclusief alle mislukkingen.

Maar opnemen is niet genoeg. Je hebt een manier nodig om te beoordelen of het resulterende boekje echt goed is. Daar komt PDI om de hoek kijken.

PDI is als een "Waarheidsdetector" voor instructieboekjes. Het stelt drie simpele vragen:

Hebben ze het echt gedaan? (Execution Grounding): Beschrijft de handleiding acties die in de echte wereld geverifieerd bleken te werken?
Hebben ze gewoon hun eigen slechte gissen gekopieerd? (Plan Copying): Herhaalt de handleiding gewoon de oorspronkelijke, onbewezen ideeën van de expert? (PDI wil dat dit laag is).
Zijn ze in een kringloop vastgelopen? (Memo Ossification): Bleef de expert steeds dezelfde gefaalde strategie proberen, of leerden en adapteerden ze zich? (PDI wil dat dit laag is).

Als een handleiding hoog scoort op PDI, betekent dit dat deze is gebaseerd op hard bewijs (wat echt werkte) in plaats van zachte gissingen (wat ze hoopten dat zou werken).

Het "Aha!"-moment: Online Interventie

Hier komt het slimme deel. Meestal controleer je pas of een handleiding goed is nadat deze is geschreven. Maar SPARK gebruikt PDI als een live monitor.

Stel je voor dat de expert probeert de machine te repareren. SPARK observeert hun "denkproces" (hun notities). Als het systeem ziet dat de expert begint dezelfde fout te herhalen of vasthoudt aan een plan dat niet werkt (een lage PDI-score), greep het direct in. Het fluistert de expert toe: "Hé, die strategie werkt niet. Probeer een heel andere hoek."

Dit zorgt ervoor dat het uiteindelijke boekje is gedistilleerd uit een succesvolle, adaptieve reis, en niet uit een koppige mislukking.

De Resultaten: Kleine Studenten, Grote Overwinningen

De onderzoekers testten dit door een "Leraar"-AI (een zeer slim, duur model) taken te laten verkennen en deze PDI-verifieerde boekjes te laten genereren. Vervolgens gaven ze deze boekjes aan "Student"-AI's (kleinere, goedkopere, minder krachtige modellen).

De resultaten waren verrassend:

De Studenten versloegen de Leraren: In veel gevallen presteerde de kleine Student-AI, gewapend met het PDI-verifieerde boekje, beter dan de krachtige Leraar-AI zonder enig boekje.
Goedkoper is beter: De Leraar-AI is duur om te draaien (alsof je een senior engineer een week huurt). De Student-AI is goedkoop (alsof je een junior stagiair een uur huurt). SPARK stelt je in staat om de senior engineer één keer te betalen om het bewijs te vinden, en laat vervolgens de goedkope stagiair het werk duizend keer doen.
Beter dan menselijke handleidingen: De door SPARK gegenereerde handleidingen presteerden eigenlijk beter dan handleidingen die door menselijke experts waren geschreven. Waarom? Omdat mensen vaak schrijven op basis van algemene kennis (voorafgaande plannen), terwijl SPARK schrijft op basis van specifieke, geverifieerde trial-and-error (posterior bewijs).

De Conclusie

Dit artikel bewijst dat AI, om echt bruikbare vaardigheden te leren, niet alleen moet "nadenken" over hoe het een probleem moet oplossen. Het moet het probleem doen, falen, leren en slagen. Het resulterende "vaardigheidsprofiel" moet een distillatie zijn van dat wereldbewijs, en niet een theoretisch plan.

Door de PDI-score te gebruiken om slechte plannen te filteren en het leerproces in real-time te sturen, creëert SPARK een bibliotheek van vaardigheden die zelfs kleine, goedkope AI-modellen in staat stelt complexe taken uit te voeren met de betrouwbaarheid van een veel groter, slimmer systeem.

Technische Samenvatting: Bewijs boven Plannen: Online Trajectverificatie voor Vaardigheidsdistillatie

Probleemstelling

Hoewel agents op basis van Large Language Models (LLM) het slagingspercentage van taken kunnen verbeteren met behulp van door mensen geschreven procedurele vaardigheden, is de kwaliteit van deze vaardigheden moeilijk te beoordelen zonder verifiatie die is verankerd in de omgeving. Bestaande methoden voor het genereren van vaardigheden vertrouwen vaak op voorkeurslogs of eerdere plannen in plaats van directe interactie met de omgeving. Dit leidt tot een fundamentele knelpunt: vaardigheden zijn vaak "plan-gebaseerd", wat betekent dat ze generieke heuristieken of de initiële intentie van het model coderen in plaats van empirisch bewijs dat tijdens de uitvoering is ontdekt. Bijgevolg leveren deze methoden vaak verwaarloosbare of zelfs verslechterde winsten op bij het overdragen van vaardigheden tussen modellen met verschillende capaciteiten, omdat ze de specifieke beperkingen, afhankelijkheden en faalmodi missen die alleen tijdens daadwerkelijke taakuitvoering naar voren komen.

Methodologie: SPARK en PDI

De auteurs stellen SPARK (Structured Pipelines for Autonomous Runnable tasKs and sKill generation) voor, een raamwerk dat is ontworpen om vaardigheden te genereren die zijn verankerd in door de omgeving geverifieerd bewijs en om de kwaliteit van de trajecten waaruit ze worden gedistilleerd te analyseren.

1. De SPARK-pijplijn

SPARK werkt via twee onderling verbonden pijplijnen:

Vaardigheidsgeneratiepijplijn: Een "leraar"-agent interacteert met een gedockerde omgeving voor maximaal $N_{max}$ $N_{ma x}$ pogingen.
- Exploratiememo: In plaats van ruwe logs bij te houden, onderhoudt de agent een gestructureerde "exploratiememo" die pogingen, commando's, geverifieerde feiten, huidige foutpatronen en volgende strategieën samenvat. Deze memo wordt na elke mislukking herschreven (niet aangevuld) om contextverdunning te voorkomen.
- Bewijsassemblage: Bij succes assembleert het systeem zes gestructureerde bewijsblokken: Taakpatroon, Uitvoeringsketen, Verificatieregisters, Lessen (faalpatronen), Omgevingscontext en Raw Support Tail.
- Distillatie: Deze blokken worden gedistilleerd tot een herbruikbaar SKILL.md-document.
Taakconstructiepijplijn: Om een rigoureuze evaluatie te waarborgen, converteert SPARK natuurlijke taalprompts naar gestructureerde taakblauwdrukken. Deze ondergaan iteratieve kritiek, reparatie en deterministische orakelverificatie (met behulp van pytest) om zelfstandige, uitvoerbare benchmarkinstanties te creëren.

2. De Posterior Distillation Index (PDI)

Om te kwantificeren of een vaardigheid is verankerd in posterior bewijs (omgevingsinteractie) in plaats van eerdere plannen, introduceren de auteurs de Posterior Distillation Index (PDI). PDI is een trajectniveau-metriek die wordt berekend als een lineaire combinatie met gelijke gewichten van drie z-gescoord signalen:

Uitvoeringsverankering ( $\phi_{exec}$ ): Meet de distributieve gelijkenis tussen de succesvolle uitvoeringscommando's van de agent en de uiteindelijke vaardigheid. Hoge waarden geven aan dat de vaardigheid zich richt op bewerkingen die door de omgeving zijn geverifieerd.
Plankopieer ( $\phi_{plan}$ ): Meet de gelijkenis tussen de secties "Volgende Strategie" van de exploratiememo en de uiteindelijke vaardigheid. Lage waarden zijn wenselijk, wat aangeeft dat de vaardigheid afwijkt van de initiële plannen van de agent en nieuw bewijs integreert.
Memo-ossificatie ( $\phi_{oss}$ ): Meet de stabiliteit van "Geverifieerde Feiten" en mislukte testsets over pogingen heen. Lage waarden zijn wenselijk, wat aangeeft dat het begrip van de agent evolueerde in plaats van dezelfde faalpatronen te herhalen (cognitieve stagnatie).

$PDI = z(\phi_{exec}) - z(\phi_{plan}) - z(\phi_{oss})$

3. Online Interventie

Een belangrijke innovatie is het gebruik van een proxy van PDI als online diagnostisch signaal. Tijdens de verkenning van vaardigheden, als de proxy-PDI onder een drempelwaarde daalt, triggert SPARK interventies:

Zachte Interventie: Moedigt bredere hypotheseherziening aan.
Sterke Interventie: Houdt de vorige strategie achter en dwingt de agent om te ankeren op geverifieerde feiten en foutpatronen, waardoor wordt voorkomen dat de agent vasthoudt aan een verouderd plan.

Belangrijkste Bijdragen

Trajectgeverifieerde Metriek (PDI): Een principiële, interpreteerbare metriek die vaardigheden die zijn verankerd in omgevingsbewijs onderscheidt van die welke zijn gebaseerd op ongeverifieerde eerdere plannen. Het biedt een mechanistische beoordeling van welke trajecten overdraagbare vaardigheden opleveren.
Transparante Vaardigheidsgeneratie (SPARK): Een raamwerk dat uitvoeringslogs, verifiersignalen en memohistorieken behoudt, waardoor volledige analyse op trajectniveau mogelijk is en het distillatieproces analyseerbaar wordt.
Online Interventiemechanisme: Een methode om PDI-proxies te gebruiken om het proces van vaardigheidsverkenning te monitoren en te interveniëren, waardoor de kwaliteit van gegenereerde vaardigheden actief wordt verbeterd voordat de distillatie voltooid is.
Trajectbenchmark: Een dataset van 86 uitvoerbare taken (uitgebreid tot 300 varianten) met volledige uitvoeringssporen, verifiersignalen en gedistilleerde vaardigheden, waarmee de overdracht van vaardigheden over omgevingsinteracties kan worden geëvalueerd.

Experimentele Resultaten

De auteurs evalueerden SPARK op 86 taken uit de SkillsBench-benchmark en 300 gegenereerde taakvarianten, evenals de ALFWorld-omgeving.

Prestatiewinsten: SPARK-gegenereerde vaardigheden presteerden consistent beter dan zowel "geen-vaardigheid"-baselines als door mensen geschreven vaardigheden over zeven studentmodellen (variërend van GPT-5.4-nano tot DeepSeek-Chat). Opvallend is dat kleine studentmodellen uitgerust met SPARK-vaardigheden vaak de ongeassisteerde prestaties van de sterke leraarmodellen die werden gebruikt om de vaardigheden te genereren, overtroffen.
Kostenefficiëntie: Hoewel leraarverkenning duur is, stellen de gedistilleerde vaardingen zwakkere studentmodellen in staat om taken op te lossen met een inferentiekost tot 1.000× goedkoper dan de verkenningkosten van de leraar.
Voorspellende Kracht van PDI:
- Er is een significante positieve correlatie ( $\rho \approx 0,36$ ) tussen PDI en vaardigheidswinst.
- Vaardigheden uit hoge-PDI-trajecten behaalden de hoogste slagingswinstpercentages.
- "Plankopieer" (hoge $\phi_{plan}$ ) gecombineerd met lage uitvoeringsverankering resulteerde in bijna nul of negatieve winsten, wat bevestigt dat het samenvatten van plannen zonder bewijs inefficiënt is.
- "Memo-ossificatie" (hoge $\phi_{oss}$ ) correleerde negatief met de kwaliteit van vaardigheden, wat aangeeft dat cognitieve stagnatie de overdracht schaadt.
Online Interventie: Ablatiestudies toonden aan dat het inschakelen van PDI-gestuurde online interventie de downstream slagingspercentages aanzienlijk verbeterde (bijvoorbeeld het verhogen van het slagingspercentage van DeepSeek-Chat van 9,1% naar 42,4% op specifieke subsets).
Generalisatie: SPARK-vaardigheden generaliseerden over taakvarianten en zelfs naar de out-of-distribution ALFWorld-omgeving, waardoor het slagingspercentage steeg van 16,7% naar 40,0%.

Betekenis en Claims

Het artikel stelt dat effectieve procedurele kennis voor agents posterior-gebaseerd moet zijn, wat betekent dat het beperkingen en faalmodi moet coderen die alleen door interactie met de omgeving kunnen worden ontdekt. De auteurs beweren dat:

Timing is Kritiek: Robuuste vaardigheden moeten worden gedistilleerd uit empirische interactie in plaats van eerdere plannen.
Bewijs boven Plannen: De kwaliteit van een vaardigheid wordt bepaald door de verankering in geverifieerd bewijs, niet door de complexiteit van het initiële plan van de agent.
Overdraagbaarheid: Door PDI te gebruiken om distillatie te filteren en te sturen, produceert SPARK vaardigheden die efficiënt, overdraagbaar en in staat zijn om zwakkere modellen in staat te stellen sterkere modellen te overtreffen die deze specifieke, door de omgeving verankerde inzichten missen.
Mechanistisch Begrip: Het raamwerk gaat voorbij aan black-box vaardigheidsgeneratie en biedt een mechanistisch begrip van waarom sommige trajecten bruikbare vaardigheden opleveren (divergente exploratie, lage ossificatie) terwijl andere dat niet doen.

De auteurs concluderen dat autonome vaardigheidsgeneratie het meest effectief werkt wanneer de agent leert van de omgeving als een voorwaarde, en niet als een nagedachte, voor het produceren van vitale kennis die toekomstige agents kunnen erven en verifieerbaar kunnen uitvoeren.