💬 NLP

$How^{2}$ : How to learn from procedural How-to questions

Het artikel introduceert $How^{2}$ , een geheugenagentkader dat LLM-gebaseerde agenten in staat stelt om levenslang plannen in interactieve omgevingen te verbeteren door procedurele hoe-vragen te stellen en op te slaan, en toont aan dat abstracte, staatsonafhankelijke antwoorden het meest effectief zijn voor leren.

Oorspronkelijke auteurs: Gautier Dagan, Frank Keller, Alex Lascarides

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gautier Dagan, Frank Keller, Alex Lascarides

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een complex meubelstuk te bouwen, zoals een boekenkast, maar je hebt dit nog nooit eerder gedaan. Je hebt een stapel hout en gereedschap, maar geen instructies.

In de wereld van Kunstmatige Intelligentie is dit wat een "agent" (een slim computerprogramma) tegenkomt wanneer het probeert een planningsprobleem op te lossen. Het weet wat het wil bouwen, maar het weet niet hoe het de stukken aan elkaar moet zetten.

Dit artikel, getiteld How2, introduceert een nieuwe manier voor deze AI-agenten om te leren. In plaats van alleen maar te gissen en fouten te maken (proberen en dwalen), wordt de AI geleerd om een "Leraar" (een andere AI of een menselijk expert) om hulp te vragen, het antwoord op te schrijven en die notitie te gebruiken om soortgelijke problemen later op te lossen.

Hier is de uiteenzetting van hun ontdekking, met behulp van eenvoudige analogieën:

1. Het Probleem: Het Dilemma "Te Specifiek" versus "Te Vaag"

Wanneer je een leraar vraagt "Hoe bouw ik deze boekenkast?", kan deze op verschillende manieren antwoorden. De onderzoekers testten vier soorten antwoorden om te zien welke het beste helpt voor de leerling op de lange termijn:

Het "GPS"-Antwoord (Uitvoerbaar): De leraar zegt: "Beweeg je hand precies 7,5 centimeter naar links, pak vervolgens de schroef uit sleuf #12."
- Voordeel: Het werkt perfect op dit moment.
- Nadeel: Als je de schroef naar sleuf #15 verplaatst, zijn de instructies nutteloos. Het is als een GPS die alleen werkt als je in exact hetzelfde file staat als voorheen.
Het "Sub-doel"-Antwoord (Deels Uitvoerbaar): De leraar zegt: "Vind eerst een schroef. Plaats deze vervolgens in het gat."
- Voordeel: Het is flexibeler. Je kunt de schroef vinden waar deze ook is.
Het "Abstracte" Antwoord (Niet Uitvoerbaar): De leraar zegt: "Je moet het hout in een 'T'-vorm rangschikken en het aan elkaar schroeven."
- Voordeel: Dit is het meest flexibel. Het maakt niet uit welke specifieke sleuven of nummers; het beschrijft het patroon.
- Nadeel: De AI moet zelf uitzoeken welke stukken precies in de "T"-vorm passen.

2. De Grote Ontdekking: Korte Termijn versus Lange Termijn

De onderzoekers vonden een fascinerende afweging, vergelijkbaar met de keuze tussen een afhaalmaaltijd en leren koken:

Voor direct succes: Het "GPS"-antwoord (specifiek, stap-voor-stap instructies) is het beste. Als je de boekenkast nu moet bouwen, volg dan de exacte stappen.
Voor levenslang leren: De "Abstracte" of "Sub-doel"-antwoorden zijn veel beter. Als je gedurende je leven veel boekenkasten wilt bouwen, moet je het concept van het patroon begrijpen, niet alleen de specifieke coördinaten van één schroef.

De Analogie:
Als een leraar je een specifieke lijst met ingrediënten voor een cake geeft (bijvoorbeeld: "Gebruik het meel in de blauwe zak op het bovenste plankje"), kun je die ene cake maken. Maar als de blauwe zak morgen leeg is, zit je vast.
Als de leraar zegt: "Gebruik twee koppen meel", kun je de cake maken, ongeacht waar het meel is of welke kleur de zak heeft. Het artikel toont aan dat AI-agenten veel beter leren wanneer ze de regel "twee koppen meel" wordt geleerd in plaats van de regel "blauwe zak".

3. De Oplossing: Het "How2"-Kader

De auteurs hebben een systeem gebouwd dat How2 heet om dit leerproces te beheren. Denk hierbij aan een slim notitieboek voor de AI.

Zo werkt het in vier stappen:

Controleer het Notitieboek: Voordat de AI iets probeert te bouwen, controleert het zijn geheugen. "Heb ik al eens zo'n boekenkast gebouwd?"
Vraag de Leraar: Als het notitieboek leeg is of de oude notities niet passen bij de huidige situatie (bijvoorbeeld: het hout staat op een andere plek), vraagt de AI de Leraar: "Hoe doe ik dit?"
Vertaal het Antwoord: Dit is de magische stap. Wanneer de Leraar een antwoord geeft, kopieert en plakt de AI dit niet zomaar. Het vertaalt het antwoord.
- Voorbeeld: Als de leraar zegt "Verplaats het hout van Sleuf 12", herschrijft het notitieboek van de AI dit als "Verplaats het hout van waar het ook is". Dit maakt de notitie bruikbaar voor elke toekomstige situatie, niet alleen voor de huidige.
Opslaan en Hergebruiken: De AI slaat deze "vertaalde" notitie op. De volgende keer dat het een boekenkast moet bouwen, leest het de notitie, zoekt het uit waar het hout nu is, en volgt het de algemene regel.

4. De Resultaten: De "Minecraft"-Test

De onderzoekers testten dit in een digitale wereld genaamd Plancraft (gebaseerd op het spel Minecraft), waar de AI voorwerpen moet maken zoals glazen flessen of rode verf met behulp van een craft-grid.

De Bevinding: Agenten die alleen specifieke, starre instructies volgden (de "GPS"-stijl), faalden jammerlijk wanneer de spelopstelling iets veranderde. Ze konden zich niet aanpassen.
De Winnaar: Agenten die het How2-systeem gebruikten met "vertaalde" notities (waarbij de specifieke sleufnummers werden geabstraheerd) werden na verloop van tijd veel slimmer. Ze vroegen minder vaak om hulp en losten meer taken zelf op, omdat ze de patronen van het craften hadden geleerd, niet alleen de specifieke bewegingen.

Samenvatting

Het artikel betoogt dat AI, om echt te leren en beter te worden in plannen gedurende een leven, niet alleen specifieke instructies moet memoriseren. In plaats daarvan moet het vragen stellen, antwoorden krijgen en die antwoorden vervolgens samenvatten tot algemene regels.

Het is het verschil tussen het memoriseren van één telefoonnummer (nutteloos als de persoon verhuist) en het begrijpen hoe een telefoonboek werkt (eeuwig nuttig). Het How2-kader leert AI precies dat te doen: specifieke "hoe-doe-ik"-antwoorden omzetten in algemene, herbruikbare kennis.

Technische Samenvatting: How2 – Leren van Procedurele "Hoe"-Vragen

Probleemstelling

Agenten die opereren in interactieve omgevingen staan vaak voor planproblemen waarbij ze de nodige procedurele kennis missen om specifieke taken te voltooien. Hoewel AI-assistenten verhelderende vragen kunnen stellen om ambiguïteit op te lossen, vragen ze zelden om procedurele kennis (bijv. "Hoe doe ik X?") om kennislacunes voor toekomstige planning op te vullen. De uitdaging ligt in het open karakter van "hoe"-vragen: geldige antwoorden variëren van beschrijvingen van hoogwaardige subdoelen tot volledig uitvoerbare actiesequenties. Deze variabiliteit maakt het moeilijk voor agenten om de juiste vragen te stellen en voor "docenten" (mens of orakel) om antwoorden te geven die zowel direct bruikbaar als herbruikbaar zijn voor levenslang leren. Specifiek zijn antwoorden die nauw gekoppeld zijn aan de huidige staat (bijv. specifieke inventarisvakken) vaak niet generaliseerbaar naar nieuwe staten, wat de langetermijnautonomie belemmert.

Methodologie

De auteurs stellen How2 voor, een door geheugen gedreven agentframework ontworpen voor levenslang leren in interactieve omgevingen. Het systeem werkt binnen Plancraft, een op Minecraft gebaseerde craftomgeving waarin agenten inventarisitems moeten manipuleren om doelobjecten samen te stellen.

Kernframework

How2 integreert een agent met een docent en een geheugenmodule via de volgende workflow:

Geheugentoegang: De agent vraagt eerst een geheugenopslag op met behulp van een read-memory-tool met een query $\theta$ (bijv. een receptnaam). Het geheugen is een sleutel-waardeopslag waarbij waarden verzamelingen van geheugenvermeldingen zijn.
Relevantiecontrole: Als er vermeldingen bestaan, bepaalt een op LLM gebaseerde relevantiecontrole of de opgeslagen geheugenvermelding van toepassing is op de huidige spelstaat ( $o_t$ ).
Vraaggeneratie: Als geen relevante geheugenvermelding wordt gevonden (een cache-miss), genereert de agent een procedurele "hoe"-vraag ( $q_\theta$ ) die is voorwaardelijk gesteld op de huidige observatie.
Docentrespons: Een docentmodel ( $T$ $T$ ) beantwoordt de vraag. Het artikel evalueert vier verschillende docenttypes gebaseerd op het abstractieniveau van hun antwoorden:
- Uitvoerbaar: Biedt volledig verankerde, stap-voor-stap actiesequenties (bijv. "Verplaats van I12 naar A1").
- Deels uitvoerbaar: Verwijdert statesspecifieke details (bijv. "Verplaats glas naar A1") maar blijft een platte lijst van acties.
- Subdoel-deels uitvoerbaar: Structureert het plan in hiërarchische subdoelen (bijv. "Smeed glas" gevolgd door "Maak fles"), waarbij acties worden gegroepeerd in identificeerbare recepten.
- Niet-uitvoerbaar: Biedt hoogwaardige, niet-verankerde natuurlijke taalbeschrijvingen met behulp van patronen en vormen (bijv. "Leg items in een V-vorm"), waarbij specifieke vaknamen volledig worden geabstraheerd.
Parseren en Opslaan: De ParseAnswer-module van de agent verwerkt de respons van de docent. Deze module abstraheert statesspecifieke details (vervanging van specifieke vak-ID's door itemnamen) en genereert tags. De gegeneraliseerde vermelding wordt opgeslagen in het geheugen onder de oorspronkelijke query en de bijbehorende tags.

Experimentele Opstelling

De auteurs evalueerden het framework met de Llama 3.3 70B en Qwen 3 32B modellen. Ze introduceerden twee datasetverdelingen om levenslang leervermogen te testen:

Lage Herhaling: De originele Plancraft-validatieset met 347 unieke taken.
Hoge Herhaling: Een nieuwe verdeling met 107 unieke taken die over 570 voorbeelden worden herhaald, ontworpen om kennishergebruik te testen.

De evaluatie vergeleek het volledige How2-framework met ablaties:

Gewoon Vragen: Een orakelopstelling waarbij de docent elke query beantwoordt zonder geheugenslag (bovengrens).
Alleen Geheugen: Gebruik van geheugen zonder parseren of relevantiecontroles.
Parse/Relevantie: Individuele componenten van het volledige framework.

Belangrijkste Bijdragen

Het How2-framework: Een nieuwe architectuur die agenten in staat stelt procedurele kennis te leren door vragen te stellen, antwoorden op te slaan en deze opnieuw te gebruiken via een geheugenmodule.
Analyse van Abstractieniveaus: Een systematisch onderzoek naar hoe de granulariteit van docentantwoorden (van uitvoerbaar tot niet-uitvoerbaar) zowel het directe taaksucces als de langetermijnherbruikbaarheid beïnvloedt.
Identificatie van Trade-offs: De identificatie van een kritieke trade-off tussen het directe nut van een antwoord en zijn langetermijnherbruikbaarheid.

Resultaten

De experimenten leverden enkele belangrijke bevindingen op:

Directe versus Langetermijnbruikbaarheid:
- Uitvoerbare docenten behaalden de hoogste successpercentages in de "Gewoon Vragen"-opstelling (0,59), wat bevestigt dat ze het meest effectief zijn voor directe uitvoering.
- Echter, wanneer ze opnieuw werden gebruikt in de Alleen Geheugen-opstelling, leden uitvoerbare plannen aan een dramatische prestatiedaling (van 0,58 naar 0,32 in de verdeling met hoge herhaling) vanwege hun nauwe koppeling aan specifieke staten.
- Geabstraheerde antwoorden (Subdoel-deels uitvoerbaar en Niet-uitvoerbaar) vertoonden aanzienlijk hogere herbruikbaarheid. Hun prestaties daalden met slechts ongeveer 9% bij de overstap van "Gewoon Vragen" naar "Geheugen"-opstellingen.
Effectiviteit van Abstractie:
- De Subdoel-deels uitvoerbare docent presteerde consequent beter dan de platte Deels uitvoerbare docent, wat de hypothese ondersteunt dat het structureren van antwoorden in subdoelen de geheugeneffectiviteit verbetert.
- De Parse-module was cruciaal voor het uitvoerbaar plannen herbruikbaar te maken, waardoor het succespercentage in de verdeling met hoge herhaling steeg van 0,32 naar 0,44.
Prestaties van het Volledige Framework:
- Het volledige How2-framework (integratie van geheugen, parseren en relevantiecontroles) behaalde een succespercentage van 0,52 in de opstelling met hoge herhaling.
- Cruciaal werd dit bereikt met een 42% lagere interventieratio (0,53) vergeleken met de "Gewoon Vragen"-orakel (0,92), wat aantoont dat de agent succesvol opgeslagen kennis hergebruikte in plaats van voortdurend de docent te raadplegen.
- Het framework stelde agenten die Niet-uitvoerbare docenten gebruikten (die het moeilijkst te verankeren zijn) in staat succespercentages (0,53) te bereiken die dicht bij die van agenten met volledig uitvoerbare docenten liggen, door abstracte instructies effectief te verankeren via de parse- en relevantiemodules.
Modelvariaties:
- Experimenten met het Qwen 3 32B redenerend model toonden vergelijkbare trends, hoewel het model minder vaak de geheugenactie gebruikte. Interessant is dat de Niet-uitvoerbare docent het beste presteerde met Qwen 3, wat suggereert dat redeneercapaciteiten beter kunnen omgaan met abstracte, niet-verankerde instructies.

Betekenis en Claims

Het artikel stelt dat How2 een levensvatbaar mechanisme biedt voor op LLM gebaseerde agenten om hun planningscapaciteiten in de loop van de tijd te verbeteren in interactieve omgevingen zonder fine-tuning. De primaire betekenis ligt in het aantonen dat het abstracteren van kennis uit "hoe"-vragen essentieel is voor effectief levenslang leren.

Terwijl directe, uitvoerbare instructies optimaal zijn voor het oplossen van een enkel geval van een taak, falen ze in generalisatie. Omgekeerd maken geabstraheerde antwoorden (subdoelen of hoogwaardige patronen), wanneer gecombineerd met een parserings- en relevantiecontrolemechanisme, het mogelijk voor agenten om een robuuste, herbruikbare kennisbasis op te bouwen. Dit vermindert de afhankelijkheid van externe supervisie (docentinterventies) terwijl hoge taaksuccespercentages worden behouden, waardoor de kloof tussen directe probleemoplossing en langetermijnvaardigheidsverwerving effectief wordt overbrugd. De auteurs concluderen dat leren van procedurele vragen een krachtige strategie is voor agenten die opereren in beperkte, interactieve domeinen.