🤖 AI

Differentiable Learning of Lifted Action Schemas for Classical Planning

Dit artikel introduceert een nieuwe neurale netwerkarchitectuur die robuust geliftte actieschema's leert en niet-geobserveerde actieargumenten infereert uit volledig geobserveerde staatstraces, en fungeert als een differentieerbaar onderdeel voor neuro-symbolische planningsmodellen.

Oorspronkelijke auteurs: Jonas Reiter, Jakob Elias Gebler, Hector Geffner

Gepubliceerd 2026-05-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonas Reiter, Jakob Elias Gebler, Hector Geffner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren een spel zoals Sokoban (dozen duwen) of Toren van Hanoi (schijven verplaatsen) te spelen, maar je hebt een zeer specifieke beperking: je kunt het bord voor en na elke zet zien, en je weet wat voor zet er is gedaan (bijvoorbeeld "verplaats het blok"), maar je kunt niet de interne instructies van de robot zien op welke specifieke blokken het heeft gekozen om te verplaatsen.

Dit is de puzzel die het artikel "Differentiable Learning of Lifted Action Schemas for Classical Planning" probeert op te lossen. De auteurs, Jonas Reiter, Jakob Elias Gebler en Hector Geffner, hebben een nieuw type AI gebouwd genaamd DIAS (Differentiable Induction of Action Schemas) om de verborgen regels van het spel te achterhalen door enkel te kijken naar hoe het bord verandert.

Hier is een eenvoudige uitleg van hoe ze dit deden, met behulp van alledaagse analogieën.

1. Het Probleem: De "Black Box" Chef

Stel je een meesterchef voor die een complexe maaltijd bereidt. Je kunt de ingrediënten op het aanrecht zien voordat ze beginnen (Toestand A) en het afgewerkte gerecht op het bord daarna (Toestand B). Je weet ook dat de chef de actie "Hakken" heeft gebruikt.

Je weet echter niet welke specifieke wortel de chef heeft gehakt. Heeft hij de grote gehakt? De kleine? Diegene die al gepeld was?

Oude methoden vereisten meestal dat je de AI precies vertelde welke wortel werd gehakt.
DIAS moet erachter komen: "Op basis van hoe de hoop wortels veranderde, moet de chef de grote wortel hebben gehakt."

Het doel is om de algemene regel (het "Schema") te leren die van toepassing is op elke wortel, niet alleen op de specifieke wortel in de video. Dit is als het recept "Hak elke groente" leren in plaats van alleen "Hak deze specifieke wortel".

2. De Oplossing: Het "Detective" Neuronale Netwerk

De auteurs hebben een neuronale netwerken gecreëerd dat werkt als een detective. Het werkt in twee hoofdstadia:

Stadium 1: De "Wie heeft het gedaan?" Detective (Selectie)

De AI kijkt naar de "voor" en "na" beelden van het spelbord. Het maakt gebruik van een Graph Neural Network (GNN)—stel je dit voor als een super-slim oog dat de relaties tussen objecten ziet (bijvoorbeeld "Blok A ligt bovenop Blok B").

De AI creëert een "vingerafdruk" (embedding) voor elk object op het bord.
Vervolgens vraagt het: "Welke van deze vingerafdrukken past bij de 'slot' voor de actie 'Verplaats'?"
Het gebruikt een wiskundige truc genaamd Sinkhorn (stel je een zeer efficiënte manier voor om kaarten in stapels te sorteren) om de juiste objecten aan de juiste rollen in de actie toe te wijzen. Het is alsof de AI zegt: "Ik ben 90% zeker dat de robot het rode blok verplaatste, niet het blauwe."

Stadium 2: De "Wat is er gebeurd?" Detective (Effecten)

Zodra de AI raadt welke objecten betrokken waren, probeert het de regels van het spel te leren:

Precondities: Wat moest waar zijn voor de zet? (bijvoorbeeld "Het blok moet bovenop vrij zijn").
Effecten: Wat veranderde door de zet? (bijvoorbeeld "Het blok staat nu op de tafel").

De AI schrijft deze regels op in een symbolisch formaat (zoals een computercode genaamd PDDL). Het simuleert vervolgens de zet met deze geraden regels om te zien of het de "na"-afbeelding correct voorspelt. Als de simulatie overeenkomt met de echte "na"-afbeelding, krijgt de AI een "goed gedaan"-signaal. Zo niet, dan past het zijn gissingen aan en probeert het opnieuw.

3. Het "Magische" Ingrediënt: Differentiabele Lering

Meestal is het achterhalen van "welk object werd verplaatst" een binaire keuze (het is óf het rode blok óf het blauwe blok). Dit is moeilijk voor AI om te leren omdat je het antwoord niet gemakkelijk "halfweg" kunt duwen.

De doorbraak van het artikel is het maken van dit proces differentieerbaar.

Analogie: Stel je voor dat je probeert een radio op een duidelijk station te stemmen. In plaats van te springen van station 1 naar station 2, kun je de draaiknop langzaam verschuiven.
DIAS raadt niet alleen "Rood Blok". Het raadt "80% Rood Blok, 20% Blauw Blok". Dit stelt de AI in staat om gradient descent (een standaard machine learning techniek) te gebruiken om zijn gissingen langzaam naar het perfecte antwoord te verschuiven, in plaats van vast te komen zitten in een lus van verkeerde gissingen.

4. Wat Ze Vonden (De Resultaten)

Het team testte DIAS op 13 verschillende klassieke planningsdomeinen (zoals Blocksworld, Logistics en Hanoi).

Perfecte Scores: Toen ze de AI de volledige lijst van argumenten gaven (waarmee ze precies vertelden welke blokken bewogen), leerde het de regels elke keer perfect.
De Moeilijke Modus: Toen ze de argumenten verstopten (alleen de actienaam geven, zoals "verplaats"), leerde het de regels nog steeds perfect in 8 van de 13 domeinen. In de anderen zat het zeer dichtbij.
Ruisbestendigheid: Ze testten het met "ruisachtige" data (waarbij sommige feiten over het bord willekeurig werden omgekeerd, zoals zeggen dat een blok vrij is terwijl het eigenlijk bedekt is). DIAS ging hier verrassend goed mee om, hoewel te veel ruis het uiteindelijk verwarde.
Vergelijking: Ze vergeleken hun methode met een traditionele symbolische methode (L1). DIAS was veel beter in het vinden van de juiste regels, vooral in complexe domeinen waar de oude methode faalde om alle noodzakelijke voorwaarden te vinden.

5. Waarom Dit Belanghebbend Is (Zonder Te Beloven)

Het artikel beweert dat dit een vereenvoudiging is van een veel moeilijker probleem: het leren van planningsregels direct vanuit afbeeldingen (zoals het kijken naar een video van een robotarm die blokken verplaatst).

De Huidige Prestatie: Ze hebben de "middenstap" perfect opgelost. Ze bewezen dat als je de symbolische staat kunt zien (de lijst met feiten) maar niet de argumenten, je nog steeds de regels kunt leren met behulp van een neuronale netwerken.
De Toekomstige Doelstelling: De auteurs hopen dat ze deze "DIAS"-module uiteindelijk kunnen inpluggen in een groter systeem dat ruwe afbeeldingen bekijkt en de regels direct leert, zonder dat een mens eerst de afbeelding moet vertalen naar een lijst met feiten.

Kortom: Het artikel presenteert een nieuwe AI-detective die een spel kan bekijken, raden welke stukken bewogen, en de universele regels van het spel kan afleiden, allemaal door gebruik te maken van een soepel, op wiskunde gebaseerd leerproces dat vastlopen in doodlopende straten voorkomt.

Technische Samenvatting: Differentieerbare Leer van Opgeheven Actieschema's voor Klassieke Planning

Probleemformulering

Het artikel adresseert de uitdaging om opgeheven actieschema's voor klassieke planningsdomeinen te leren uit observationele traces. Specifiek behandelen de auteurs een setting waarbij toestanden volledig worden geobserveerd (gerepresenteerd als gegronde STRIPS-atomen) maar actie-argumenten niet worden geobserveerd. De invoer bestaat uit tripletten $\langle s, a, s' \rangle$ , waarbij $s$ en $s'$ gegronde toestanden zijn en $a$ óf een volledige actienaam is, óf een STRIPS+-actie (met enkele geobserveerde argumenten), óf uitsluitend een actienaam.

De kernmoeilijkheid ligt in het isomorfisme-moeilijke probleem van het gelijktijdig afleiden van:

Actie-argumenten: Het identificeren welke objecten in de staat binden aan de parameters van een actie.
Opgeheven schema's: Het leren van precondities en effecten (toevoeg-/verwijderlijsten) voor elk actieschema in een opgeheven, symbolische vorm.

Dit probleem wordt geformuleerd als een vereenvoudiging van de realistischere taak van leren uit beeldsequenties en actielabels, met als doel het oplossen van de stap van symbolische abstractie met bijna perfecte nauwkeurigheid om integratie in grotere neuro-symbolische systemen mogelijk te maken.

Methodologie: DIAS-architectuur

De auteurs stellen DIAS (Differentiable Induction of Action Schemas) voor, een neurale architectuur die actieschema's leert via gradiëntafdaling. De aanpak werkt in twee hoofdfasen, waarbij gebruik wordt gemaakt van zachte, differentieerbare operaties om end-to-end training mogelijk te maken.

1. Objectselectie via Graph Neural Networks (GNN)

Grafconstructie: De staat $s$ en de overgang naar $s'$ worden gecodeerd als een gerichte graaf $G$ . Knopen representeren objecten, en randen representeren predikaten (atomen) die waar zijn in de staat of die worden toegevoegd/verwijderd tijdens de overgang.
Embedding: Een Relational Graph Convolutional Network (R-GCN) verwerkt de graaf om $d$ -dimensionale embeddingvectoren (sleutels $K$ ) voor elk object te genereren.
Slottoewijzing: Voor elke actienaam $a$ onderhoudt het model leerbare queryvectoren $Q_a$ die corresponderen met een vast aantal "slots" (een bovengrens voor de ariteit van de actie).
Zachte matching: Een correspondentiematrix wordt berekend via geschaalde dot-product-attention tussen objectsleutels en actiequeries. Vervolgens wordt een rechthoekig Sinkhorn-algoritme toegepast om een zachte toewijzingsmatrix $\tilde{S}_a$ te produceren, die objecten probabilistisch koppelt aan actie-argumentslots. Leerbare slotgewichten $w_a$ bepalen de activatiekans van elke slot, waardoor het model de ariteit van de actie kan afleiden.

2. Leren van precondities en effecten

Opgeheven parameters: Het model onderhoudt leerbare waarschijnlijkheidstensoren voor elk opgeheven atoom $p(x_i, x_j)$ om te bepalen of het een positieve/negatieve preconditie, een toevoeg-effect of een verwijder-effect is.
Gronding: De zachte toewijzing $\tilde{S}_a$ projecteert deze opgeheven waarschijnlijkheden in de ruimte van de gegronde burenmatrix, wat waarschijnlijkheden oplevert voor specifieke atomen die precondities of effecten zijn in de huidige staat.
Staatvoorspelling:
- Preconditiecontrole: Het model berekent de waarschijnlijkheid $p_{pre}$ dat aan alle precondities is voldaan door de conjunctie van individuele atoomwahrscheinlijkheden te evalueren. Om het verdwijnen van gradiënten door willekeurige initialisatie te voorkomen, wordt een strategie voor geometrisch gemiddelde-scheduling gebruikt, die geleidelijk overgaat naar het ware product.
- Effecttoepassing: De voorspelde opvolgerstaat $\hat{A}'$ wordt berekend door de gegronde toevoeg-/verwijderwahrscheinlijkheden toe te passen op de huidige staat-burenmatrix $A$ , geschaald met $p_{pre}$ .

3. Verliesfunctie en optimalisatie

Het trainingsdoel minimaliseert een samengesteld verlies:

Hoofdverlies ( $L_{adj}$ ): Binaire kruisentropie tussen de voorspelde opvolgerstaat $\hat{A}'$ en de ware opvolgerstaat $A'$ . Dit drijft het model om correcte argumenten te selecteren en staatsveranderingen te voorspellen.
Hulpverlies ( $L_{aux}$ ): Moedigt minimale effecten en maximale precondities aan. Dit voorkomt dat het model triviale oplossingen leert (bijvoorbeeld ervan uitgaande dat alle atomen effecten zijn of dat er geen precondities bestaan) door inactieve effecten en inactieve precondities te bestraffen.
Gradiëntprojectie: Om ervoor te zorgen dat het primaire doel van staatvoorspelling niet wordt ondermijnd door de hulpdoelstellingen, maken de auteurs gebruik van PCGrad (Gradiëntchirurgie). De hulpgradiënt wordt geprojecteerd op het hypervlak loodrecht op de hoofdgradiënt als deze conflicteren, zodat optimalisatie van $L_{main}$ voorrang krijgt.

Belangrijkste resultaten

De auteurs hebben DIAS geëvalueerd op 13 standaard IPC-planningsdomeinen (bijvoorbeeld Blocks, Logistics, Hanoi, Sokoban) met behulp van drie observationele varianten: volledige STRIPS-acties, STRIPS+-acties en uitsluitend actienamen.

Perfecte herwinning: In 8 van de 13 domeinen leerde DIAS de grond-waarheid opgeheven actieschema's perfect in alle 10 trainingsruns voor alle drie de observationele varianten.
Robuustheid:
- Ruis: Het model toonde robuustheid tegen observationele ruis (willekeurig omgekeerde atomen) tot 2 flips per overgang voor de meeste domeinen. De prestaties verslechterden aanzienlijk bij 8 flips.
- Vergelijking met symbolische methoden: In vergelijking met het L1-algoritme (een SAT-gebaseerde aanpak) behaalde DIAS superieure of vergelijkbare prestaties, met name in domeinen waar L1 faalde bij het herstellen van precondities die variabelen bevatten die niet in effecten voorkwamen.
- Foutanalyse: Falen werd voornamelijk toegeschreven aan:
  - Dode hoeken: Domeinen zoals Sokoban waar willekeurige wandelingen falen om kritieke staatregio's te exploreren.
  - Structuur van de toestandsruimte: De Sierpiński-driehoekstructuur van het Hanoi-domein beperkt de dekking door willekeurige wandelingen.
  - Redundante acties: Het Satellite-domein, waar acties zoals take_image vaak resulteren in geen staatsverandering, wat het leren van effecten verwarrend maakt.
MLP-ablatie: Een ablatie waarbij STRIPS-effecten werden vervangen door een Multi-Layer Perceptron (MLP) toonde aan dat hoewel de architectuur staat-afhankelijke dynamiek kan leren, deze geen symbolische schema's produceert die geschikt zijn voor klassieke planning. Dit benadrukt de noodzaak van de opgeheven STRIPS-formulering voor generalisatie.

Betekenis en claims

Het artikel claimt dat DIAS een significante stap voorwaarts is naar het leren van planningsdomeinen uit ruwe observaties (zoals beelden) door het oplossen van het tussenliggende probleem van symbolische abstractie met hoge fideliteit.

Differentieerbaarheid: De primaire bijdrage is een robust differentieerbaar component dat opgeheven actieschema's kan leren zonder expliciete actie-argumenten te vereisen, waardoor de kloof tussen neurale observatieverwerking en symbolische planning wordt overbrugd.
Generalisatie: In tegenstelling tot op slots gebaseerde dynamische modellen (zoals RIMs) die worstelen met variërende aantallen objecten, leert DIAS opgeheven representaties die generaliseren naar willekeurige aantallen objecten; een eigenschap die inherent is aan STRIPS maar moeilijk te leren is uit data.
Bescheiden omvang: De auteurs formuleren dit werk expliciet als een vereenvoudiging van de bredere uitdaging van leren uit beelden. Zij claimen niet het probleem van beeld-naar-planning direct op te lossen, maar betogen dat het bereiken van "bijna perfecte" prestaties op de stap van symbolische abstractie een noodzakelijke en uitdagende voorwaarde is voor dergelijke systemen.
Beperkingen: De aanpak veronderstelt pure STRIPS-domeinen (geen conditionele effecten of numerieke kenmerken) en vertrouwt op de veronderstelling dat actie-argumenten injectief gebonden zijn aan objecten. De methode worstelt ook met domeinen waar steekproeven via willekeurige wandelingen onvoldoende dekking van de toestandsruimte bieden.