Steve-Evolving: Open-World Embodied Self-Evolution via Fine-Grained Diagnosis and Dual-Track Knowledge Distillation

Steve-Evolving is een niet-parametrisch zelf-evoluerend raamwerk voor embodied agents dat lange-termijn taken in open werelden verbetert door een gesloten lus van fijnkorrelige uitvoeringsdiagnose en dual-track kennisdistillatie te combineren, waardoor herbruikbare vaardigheden en uitvoerbare veiligheidsrichtlijnen worden gegenereerd zonder modelparameters bij te werken.

De kern

Stel je voor dat je een robot hebt die in een enorm, oneindig digitaal wereldje (zoals Minecraft) moet overleven en bouwen. De uitdaging is niet dat de robot niet slim is, maar dat hij vaak vastloopt in complexe taken die veel stappen vereisen.

Deze paper introduceert Steve-Evolving, een slimme manier om zo'n robot te laten leren van zijn eigen fouten en successen, zonder dat we hem opnieuw hoeven te programmeren.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vergeetachtige" Robot

Stel je een novice mijnwerker voor. Elke keer als hij een steen probeert te breken en het mislukt, zegt hij: "Oeps, het lukte niet." En dan probeert hij het opnieuw, precies op dezelfde manier, totdat hij het toevallig lukt of opgeeft.

Bestaande robots doen vaak hetzelfde: ze onthouden alleen dat iets misging, maar niet waarom. Ze hebben een enorme stapel met "ervaringen", maar het zijn allemaal losse, ongeorganized notities. Het is alsof je een bibliotheek hebt met miljoenen boeken, maar geen index en geen samenvattingen. Je kunt wel zoeken, maar je leert er niet echt van.

2. De Oplossing: Steve-Evolving (De Slimme Leerling)

Steve-Evolving verandert de robot van een "vergeten notitieboek" in een "ervaren meester". Het doet dit in drie stappen, alsof je een leerling traint:

Stap 1: De Gedetailleerde Dagboeken (Diagnose)

Wanneer de robot iets probeert (bijvoorbeeld: "Hak een boom om"), kijkt hij niet alleen of het gelukt is of niet. Hij houdt een super-detaillerd dagboek bij.

• Niet alleen: "Mislukt."
• Maar wel: "Ik bleef hangen omdat ik vastliep tegen een rots, mijn inventaris zat vol, en ik had geen bijl."

Het systeem gebruikt een soort "medische scanner" die elke kleine fout detecteert: loop je in kringen? Zit je vast in een menu? Heb je het verkeerde gereedschap? Dit is de diagnose. Zonder deze details is leren onmogelijk.

Stap 2: De Twee Sporen van Leren (Distillatie)

Nu komt het magische deel. De robot neemt al die dagboeken en verwerkt ze tot twee soorten "wijsheid":

• Spoor 1: De Succesformules (Vaardigheden)
  Als de robot iets sluit (bijvoorbeeld: "Hout hakken en planken maken"), schrijft hij dit niet op als een lang verhaal. Hij maakt er een recept van.

  • Voorbeeld: "Als je in het bos bent, ga dan eerst naar de bomen, hak ze om, en maak planken. Controleer of je genoeg hout hebt."
    Dit wordt een vaardigheid die hij later direct kan gebruiken, zonder het opnieuw uit te vinden.

• Spoor 2: De Waarschuwingsborden (Veiligheidsregels)
  Als de robot faalt (bijvoorbeeld: "Ik viel in lava"), maakt hij geen lang verhaal over zijn pijn. Hij maakt een verbodsbord.

  • Voorbeeld: "WAARSCHUWING: Loop nooit dicht bij lava zonder een emmer water. Als je vastloopt, ga dan niet in kringen lopen."
    Dit zijn guardrails (veiligheidsrails) die voorkomen dat hij dezelfde domme fout twee keer maakt.

Stap 3: De Slimme Planner (De Hoofdrol)

Wanneer de robot een nieuwe taak krijgt, kijkt hij niet alleen naar de opdracht. Hij pakt zijn receptenboek (vaardigheden) en zijn waarschuwingslijst (veiligheidsregels) erbij.

• Hij zegt: "Oké, ik moet een diamanten pickaxe maken. Volgens mijn receptenboek heb ik eerst ijzer nodig. Volgens mijn waarschuwingen mag ik niet in de grotten zonder een fakkel."
• Als hij toch vastloopt, kijkt hij direct naar zijn lijst met waarschuwingen, past zijn plan aan en probeert het opnieuw.

Waarom is dit zo cool?

Het grootste voordeel is dat de robot blijft groeien.

• Bij oude methodes: Hoe meer je probeert, hoe groter je stapel met fouten wordt, maar je wordt niet per se slimmer. Het is alsof je een berg met puin groter maakt.
• Bij Steve-Evolving: Elke fout en elk succes wordt omgezet in een bruikbare regel. Na 100 pogingen heeft de robot niet 100 fouten, maar een paar honderd slimme regels die hem sneller en veiliger maken.

De Metafoor: De Mijnwerker

Stel je een mijnwerker voor:

• De beginner (oude methode) probeert elke dag een nieuwe tunnel te graven. Als hij vastloopt, probeert hij de volgende dag weer precies hetzelfde, hoopt dat het anders uitpakt, en raakt geïrriteerd.
• De meester (Steve-Evolving) heeft na jaren werken een handboek en een veiligheidsinstructie.
  • Het handboek zegt: "Dit is de snelste route naar goud."
  • De instructie zegt: "Doe dit nooit, want dan stort de tunnel in."
  • De meester hoeft niet elke dag opnieuw te ontdekken hoe het werkt; hij bouwt voort op wat hij al weet.

Conclusie

Steve-Evolving is een systeem dat robots leert om hun eigen ervaringen te organiseren in plaats van ze alleen maar op te slaan. Het maakt van een robot die "probeer maar wat" een robot die "weet wat hij doet" door fouten om te zetten in regels en successen in recepten. Hierdoor wordt hij steeds beter in lange, moeilijke taken, precies zoals een mens dat doet door ervaring op te doen.

Technische samenvatting

Probleemstelling

Open-wereld embodied agents (zoals in Minecraft) worstelen met het voltooien van lange-horizon taken. De huidige beperking ligt niet in de kwaliteit van de planning voor een enkele stap (waarbij grote taalmodellen/LLMs al redelijk goed presteren), maar in hoe interactie-ervaring wordt georganiseerd en geëvolueerd.

• Bestaande beperkingen: Bestaande methoden slaan vaak ruwe trajecten op of gebruiken ze slechts als voorbeelden voor "in-context learning". Ze missen een systematische manier om fouten toe te schrijven aan specifieke oorzaken en om deze om te zetten in actieerbare regels.
• De kernuitdaging: Zonder gestructureerde evolutie van ervaring accumuleert een agent slechts een steeds grotere bibliotheek van gevallen, in plaats van een verfijnd kennisstelsel. Menselijke competentie groeit niet door het onthouden van details, maar door het generaliseren van ervaringen naar gedragspatronen en risicocriteria (bijv. "controleer ventilatie voorafgaand aan mijnwerk").
• Specifiek probleem: In fysieke omgevingen zijn fouten complex (ruimtelijke navigatie, GUI-blokkades, resource-status). Een binaire "succes/mislukt"-feedback is onvoldoende om gerichte verbeteringen te distilleren.

Methodologie: Steve-Evolving

Steve-Evolving is een niet-parametrisch framework voor zelf-evolutie dat ervaringen transformeert van ruwe logs naar gestructureerde kennis die direct de planning beïnvloedt. Het framework werkt in een gesloten lus en bestaat uit drie fasen:

1. Experience Anchoring (Ervaringsverankering)

Elke subdoel-poging wordt omgezet in een gestructureerd tuple met een vast schema:

• Input: Pre-state, actie, diagnose-resultaat, post-state.
• Fine-Grained Diagnose: In plaats van alleen succes/falen, levert het uitvoeringslaag 13 soorten state-observaties en 11 geënumereerde foutoorzaken (bijv. NAV_STUCK, GUI_BLOCKED, TOOL_MISSING). Er wordt ook een indicator voor stagnatie/loops gebruikt.
• Opslag: Ervaringen worden opgeslagen in een driedimensionale ruimte met multi-dimensionale indices (conditie-kenmerken, ruimtelijke hashing, semantische tags) en rollende samenvattingen voor efficiënt terugvinden.

2. Experience Distillation (Ervaringsdistillatie)

De ruwe ervaringen worden getransformeerd in twee soorten herbruikbare kennis (Dual-Track):

• Positieve Track (Vaardigheden): Succesvolle trajecten worden gegeneraliseerd tot herbruikbare vaardigheden met expliciete precondities, stappen en verificatiecriteria.
• Negatieve Track (Guardrails): Mislukte trajecten worden omgezet in uitvoerbare "guardrails" (beveiligingsregels). Deze bevatten de oorzaak van de fout en verbieden specifieke risicovolle operaties op subdoel- of taakniveau (bijv. "navigeer niet in de buurt van lava zonder vooruitgang").

3. Knowledge-Driven Closed-Loop Control (Kennis-gedreven gesloten lus)

• Retrieval & Injectie: Tijdens het plannen van een nieuwe taak, haalt het systeem relevante vaardigheden en guardrails op uit de kennisbank en injecteert deze in de context van de LLM-planner.
• Lokale Herplanning: Als tijdens de uitvoering een fout optreedt (bijv. een loop of blokkade), wordt de diagnose gebruikt om direct lokale herplanning te triggeren. De agent past de actieve constraints online aan zonder de modelparameters te updaten.

Belangrijkste Bijdragen

1. Hiërarchisch Evolutieparadigma: Een nieuw model voor embodied agents dat ervaring ziet als gestructureerde activa met een levenscyclus (van ruwe signalen -> documenten -> abstracte kennis -> planningsconstraints).
2. Gestructureerde Ervaringsruimte: Ontwerp van een driedimensionale opslag- en terugvindstructuur die hoge-fideliteit, auditabele en hiërarchische toegang tot ervaringen mogelijk maakt.
3. Dual-Track Distillatie: Een automatisch mechanisme dat fijnkorrelige diagnose-gegevens omzet in zowel herbruikbare vaardigheden als defensieve planningsbeperkingen.
4. Empirisch Bewijs: Validatie op de Minecraft MCU-benchmark, waarbij wordt aangetoond dat hiërarchische evolutie superieur is aan statische retrieval-strategieën, vooral bij complexe, langdurige taken.

Resultaten

Experimenten zijn uitgevoerd in de Minecraft-omgeving met een reeks LLM-backbones (Qwen, GLM, Gemini).

• Algemene Prestatie: Steve-Evolving behaalde de hoogste succespercentages (SR) op alle geteste LLM-backbones vergeleken met baselines zoals Jarvis-1 en Optimus-1.
• Complexiteit: Het voordeel is het grootst bij de moeilijkste taakgroepen (Iron, Redstone, Diamond, Armor), waar lange-horizon afhankelijkheden en foutherstel cruciaal zijn. Bij eenvoudige taken (Wooden, Stone) zijn de verschillen kleiner omdat deze al bijna verzadigd zijn.
• Continuïteit: De succesrate neemt toe naarmate meer ervaring wordt opgebouwd, wat aantoont dat het systeem daadwerkelijk leert en evolueert, in tegenstelling tot statische methoden.
• Ablatie-studies:
  • Het verwijderen van de kennisinjectie (w/o KnowledgeVisibility) leidt tot de grootste daling in prestaties, wat aantoont dat het expliciet gebruik van gedistilleerde kennis essentieel is.
  • Het verwijderen van guardrail-distillatie (w/o GuardDistill) vermindert de prestaties aanzienlijk, wat het belang van het voorkomen van herhaalde fouten benadrukt.
  • Zonder de gesloten lus (alleen plannen) faalt de agent volledig op de moeilijkste taken.

Betekenis en Impact

Dit paper biedt een fundamentele verschuiving in hoe embodied agents leren. In plaats van te vertrouwen op het opschalen van modelparameters of het simpelweg verzamelen van meer data, toont Steve-Evolving aan dat kwalitatieve evolutie van ervaring (van ruwe data naar gestructureerde regels) de sleutel is tot robuustheid in complexe omgevingen.

• Non-parametrisch: Het systeem verbetert zonder het LLM opnieuw te trainen, wat rekenkosten bespaart.
• Veiligheid en Robuustheid: Door fouten om te zetten in expliciete "guardrails" voorkomt het agenten dat ze dezelfde fouten herhalen, wat essentieel is voor autonome systemen in onvoorspelbare omgevingen.
• Toekomstperspectief: Het biedt een blauwdruk voor het bouwen van agenten die kunnen "groeien" in competentie door interactie, vergelijkbaar met hoe mensen leren door ervaring en reflectie.