🤖 machine learning

Neurosymbolic Imitation Learning with Human Guidance: A Privileged Information Approach

Dit artikel stelt een neurosymbolisch imitatieleerkader voor dat het vermogen van neurale netwerken om hoogdimensionale gegevens te verwerken combineert met de generalisatievermogens van symbolische methoden, waarbij bevoorrechte trainingsinformatie zoals blikgegevens wordt benut om de efficiëntie te verbeteren en overfitting te verminderen.

Oorspronkelijke auteurs: Nikhilesh Prabhakar, Varun Balaji, Athresh Karanam, Kristian Kersting, Sriraam Natarajan

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikhilesh Prabhakar, Varun Balaji, Athresh Karanam, Kristian Kersting, Sriraam Natarajan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren een videospelletje spelen. Je hebt twee hoofdmanieren om dit te doen, maar beide hebben een grote tekortkoming.

Het Probleem: Twee Gebrekkige Leraren

De "Deep Learning"-leraar: Deze leraar is als een genie dat miljoenen uren aan gameplay heeft bekeken. Ze is uitstekend in het zien van het scherm en direct reageren. Ze is echter een "black box". Je kunt haar niet vragen waarom ze een zet heeft gedaan, en ze is slecht in generaliseren. Als je een nieuwe vijand op het scherm plaatst die ze nog nooit heeft gezien, bevriest ze vaak of raakt ze in paniek. Ze heeft ook een enorme hoeveelheid data nodig om te leren, zoals een student die elk boek in de bibliotheek moet lezen voordat ze een enkel concept begrijpt.
De "Symbolische" leraar: Deze leraar is als een logica-professor. Ze leert duidelijke, uitlegbaire regels (bijvoorbeeld: "Als een vijand links is, beweeg dan naar rechts"). Ze is uitstekend in het uitleggen van haar zetten en kan nieuwe situaties gemakkelijk aan. Maar ze is slecht in het kijken naar een ruw videoscherm. Ze kan pixels niet begrijpen; ze wil dat de wereld wordt beschreven in perfecte, vooraf geschreven code.

De Oplossing: Een Hybride Tutor met een "Magische Blik"
De auteurs van dit artikel, GRAIL, stellen een nieuwe manier voor om de robot te leren die het beste van beide leraren combineert. Ze noemen het Neurosymbolisch Imitatieleren.

Denk er als een team van twee aan:

De Ogen (Neuraal deel): Een neurale netwerken die naar het ruwe videoscherm kijkt en de pixels vertaalt naar een lijst met logische feiten (bijvoorbeeld: "Er is een speler", "Er is een vijand", "De vijand is links").
Het Brein (Symbolisch deel): Een logische engine die die feiten neemt en regels toepast om te beslissen wat te doen.

De Geheime Ingrediënt: Bevoorrechte Informatie (De "Blik")
Hier zit de slimme draai. De auteurs beseften dat wanneer mensen deze spellen spelen, hun ogen niet overal kijken. Ze focussen op de belangrijke dingen (zoals een vijand die op het punt staat te schieten) en negeren de achtergrondruis.

In de echte wereld kunnen we niet altijd zien waar een mens naar kijkt terwijl hij speelt. Maar voor dit experiment hadden de onderzoekers toegang tot eye-tracking data (een heatmap die exact aangeeft waar de mens naar keek) alleen tijdens de trainingsfase.

Ze behandelden deze eye-tracking data als "Bevoorrechte Informatie".

Tijdens Training: De robot mag het gamescherm zien en de oogbewegingen van de mens. Het leert: "Ah, de mens kijkt naar de vijand, dus die vijand is belangrijk. De mens negeert de wolken in de lucht, dus ik moet ze ook negeren."
Tijdens Testen (Het Echte Spel): De robot ziet de eye-tracking data niet meer. Het ziet alleen het scherm. Maar omdat het tijdens de training heeft geleerd waar het op moet letten, negeert het nu zelf de achtergrondruis.

Hoe Dit in de Praktijk Werkt
Stel je voor dat de robot een spelletje speelt zoals Seaquest (waar je zwemt en schiet).

De Ogen: De robot kijkt naar het scherm en ziet 50 objecten. Het maakt een lijst van 50 feiten.
De Blik-filter: De robot herinnert zich: "Tijdens training keek de mens alleen naar vijanden en duikers, niet naar de bubbels." Dus gebruikt het die herinnering om het volume van de bubbels "omlaag te draaien" en het volume van de vijanden "omhoog te draaien".
Het Logische Brein: Nu, met een schone, gefocuste lijst van belangrijke feiten, past het logische brein zijn regels toe: "Als een vijand dichtbij is, vuur dan."
Het Resultaat: De robot maakt een zet.

Waarom Dit Een Grote Zaken Is
Het artikel testte dit op Atari-spellen (zoals Asterix en Seaquest) en vond drie grote voordelen:

Betere Prestaties: De robot speelde beter dan alleen de "Deep Learning"-leraar en de "Symbolische" leraar.
Staal-efficiëntie: Het leerde veel sneller. Terwijl andere robots duizenden keren moesten spelen om goed te worden, werd deze robot goed met zeer weinig pogingen omdat de "blik" hielp om direct te focussen op wat er toe deed.
Generalisatie: Toen het spel veranderde (bijvoorbeeld: plotseling waren er 3 vijanden in plaats van 1), raakte de robot niet in paniek. Omdat het relaties had geleerd (bijvoorbeeld: "vijand is links") in plaats van alleen pixelpatronen te memoriseren, kon het nieuwe, onbekende situaties gemakkelijk aan.

In Het Kort
Het artikel presenteert een systeem dat een robot leert spellen spelen door een "visuele vertaler" te combineren met een "logische regelaar". Het geheime wapen is het gebruik van menselijke eye-tracking data als tijdelijke trainingsgids om de robot te leren waar het op moet letten. Eenmaal getraind, kan de robot zelfstandig op expertniveau spelen, zelfs in nieuwe situaties, zonder dat het de ogen van de mens nog nodig heeft. Het is als een student leren studeren door precies te laten zien welke pagina's van het leerboek het belangrijkst zijn, zodat ze leren effectief te studeren, zelfs als jij er niet bent om naar de pagina's te wijzen.

Technische Samenvatting: Neurosymbolische Imitatielerening met Menselijke Gidsing: Een Benadering met Bevoorrechte Informatie

Probleemstelling

Imitatielerening (IL) heeft tot doel een beleid (een mapping van toestanden naar acties) te leren uit expertdemonstraties. Hoewel pure neurale methoden (bijvoorbeeld Behavioral Cloning) effectief omgaan met hoogdimensionale ruwe data zoals afbeeldingen, lijden ze onder inefficiëntie in het aantal benodigde voorbeelden, overfitting en een gebrek aan generalisatie naar omgevingen met een variërend aantal objecten. Omgekeerd bieden pure symbolische methoden interpreteerbaarheid en sterke generalisatie, maar worstelen ze met het direct verwerken van hoogdimensionale inputs en vereisen ze vaak vooraf gespecificeerde symbolische representaties.

Bovendien slagen bestaande IL-methoden er vaak niet in om Bevoorrechte Informatie (PI) te benutten—auxiliaire data die beschikbaar is tijdens training maar niet tijdens inzet. Hoewel oogdata (menselijke eye-tracking) een natuurlijke kandidaat is voor PI in visuele taken, passen eerdere benaderingen ooggidsing doorgaans toe op neurale beleidsregels, waardoor hun "black-box"-karakter behouden blijft, of gebruiken ze het uitsluitend voor regularisatie zonder het onderliggende symbolische redeneerproces te wijzigen.

De kernuitdaging die door dit artikel wordt aangepakt is: Hoe kunnen we een imitatieleringskader ontwikkelen dat de hoogdimensionale verwerking van neurale netwerken combineert met de generalisatie en interpreteerbaarheid van symbolisch redeneren, terwijl het effectief gebruikmaakt van bevoorrechte informatie (specifiek menselijke blik) om het leren van robuuste, generaliseerbare beleidsregels te sturen?

Methodologie: Het GRAIL-kader

De auteurs stellen GRAIL (Gaze-guided Relational Imitation Learning) voor, een neurosymbolisch kader dat drie nauw met elkaar verbonden modules integreert om interpreteerbare probabilistische logische regels te leren uit ruwe afbeeldingen en blikdata.

1. Neurosymbolische Verankering (Perceptiemodule)

In plaats van symbolische inputs aan te nemen, accepteert GRAIL ruwe pixelobservaties ( $o_t$ ). Een neurale perceptienetwerk ( $f_\theta$ ) mapt deze ruwe afbeeldingen naar een set probabilistische verankerde atomen ( $v^{(0)}_t$ ).

Mechanisme: Het netwerk output een vector van waarheidswaarschijnlijkheden voor een vooraf gedefinieerde set eerste-orde predicaten (bijvoorbeeld visibleEnemy, closeToPlayer).
Training: Deze module wordt onafhankelijk getraind met ground-truth binaire labels afgeleid van een objectextractie-orakel (OCAtari) via Negative Log-Likelihood (NLL)-verlies. Eenmaal getraind, fungeert het als een vast feature-extractor.

2. Bevoorrechte Blikmodulatie

Dit is de kerninnovatie die het Learning Using Privileged Information (LUPI)-paradigma benut.

Blikvoorspelling: Een apart netwerk ( $g_\phi$ ) wordt getraind om een blik-heatmap te voorspellen vanuit het ruwe frame, waarbij de Kullback-Leibler-divergentie met ground-truth eye-tracking-data wordt geminimaliseerd.
Atom-herschatting: Tijdens beleidstraining wordt de blik-heatmap gebruikt om een "blikmassa" ( $s_i$ ) te berekenen voor elke entiteit die in de verankerde atomen wordt genoemd.
Modulatie: De initiële atoomwahrscheinlijkheden worden herschat met de blik-scores: $v^{(g)}_{t,i} = v^{(0)}_{t,i} \cdot s_i$ .
Effect: Dit mechanisme onderdrukt de waarschijnlijkheid van atomen die corresponderen met achtergrond- of taak-irrelevante entiteiten waar de menselijke expert niet naar keek, waardoor schijnbare correlaties effectief worden gefilterd voordat het logische redeneerproces begint.

3. Differentieerbare Forward-Chaining Redeneerder (Beleidsleren)

De blik-gemoduleerde symbolische staat ( $v^{(g)}_t$ ) wordt ingevoerd in een Neurosymbolische Forward Redeneerder (NSFR).

Logica: De redeneerder voert differentieerbare forward-chaining inferentie uit over een vooraf gedefinieerde bibliotheek van First-Order Logic (FOL) definite clausules (regels).
Differentieerbaarheid: Logische operaties (conunctie/disjunctie) worden benaderd met behulp van fuzzy-logische semantics (product T-norm en T-conorm), waardoor gradiënten door het inferentiegraf kunnen stromen.
Beleidsoptimalisatie: Het systeem leert een gewichtsmatrix ( $W$ ) voor de regels. Het doel is Behavioral Cloning: het minimaliseren van de negatieve log-waarschijnlijkheid van de actie van de expert, gegeven de afgeleide actie-distributie die voortkomt uit de regelactivaties.

Belangrijkste Bijdragen

Nieuw Neurosymbolisch Kader: De ontwikkeling van GRAIL, dat interpreteerbare probabilistische logische regels voor imitatielerening leert direct vanuit ruwe visuele data.
Integratie van Bevoorrechte Informatie: De specifieke formulering van menselijke blik als bevoorrechte informatie om symbolische atoomwaarderingen te moduleren. Dit verschilt van eerdere werken die blik toepassen op neurale lagen; hier leidt de blik de symbolische verankering.
Interdisciplinaire Synthese: Het artikel combineert concepten uit neurale learning, symbolische learning (Inductive Logic Programming), imitatielerening en adviesgebaseerde learning (LUPI) in één end-to-end trainbaar systeem.
Empirische Validatie: Aantonen dat het kader sample-efficiënt is, robuuste beleidsregels leert en generaliseert naar test-tijdscenario's met een onbekend aantal objecten, en beter presteert dan zowel puur neurale als puur symbolische baselines.

Experimentele Resultaten

Het kader werd geëvalueerd op twee Atari 2600-omgevingen (Asterix en Seaquest) met behulp van de Atari-HEAD dataset (die menselijke eye-tracking data bevat).

Effectiviteit (Q1): GRAIL behaalde de hoogste gemiddelde scores in beide domeinen, en presteerde significant beter dan puur neurale baselines (Behavioral Cloning, AGIL, BC+Mask) en de neurosymbolische baseline zonder blikmodulatie (NSFR-IL).
Sample-efficiëntie (Q2): GRAIL convergeerde naar hogere prestatieniveaus met aanzienlijk minder trainingsvoorbeelden. Opmerkelijk is dat GRAIL getraind op slechts 10% van de data beter presteerde dan de NSFR-IL baseline getraind op het volledige dataset. De auteurs schrijven dit toe aan blikmodulatie die fungeert als regularisator, waardoor het model wordt voorkomen dat het zich aanpast aan schijnbare correlaties in de data.
Generalisatie (Q3): Bij testen op omgevingen met een hoger aantal objecten dan tijdens training gezien, behield GRAIL hoge prestaties. Neuronale baselines faalden om te generaliseren buiten hun trainingsaantallen objecten, terwijl de relationele aard van GRAIL's symbolische representatie het in staat stelde om onbekende aantallen objecten op natuurlijke wijze te hanteren.

Betekenis en Claims

Het artikel claimt dat GRAIL het eerste end-to-end neurosymbolische kader vertegenwoordigt dat naadloos ooginformatie kan integreren als bevoorrechte informatie om effectieve, efficiënte en generaliseerbare beleidsregels te leren.

Robuustheid: Door blik te gebruiken om symbolische atomen te filteren, vermijdt het systeem het leren van beleidsregels op basis van irrelevante achtergrondkenmerken, waarmee het "covariate shift"-probleem dat gebruikelijk is in imitatielerening wordt aangepakt.
Interpreteerbaarheid: In tegenstelling tot neurale beleidsregels, is het resulterende beleid een set gewogen logische regels. De gewichten zelf bieden een verklaring van het besluitvormingsproces (bijvoorbeeld welke regels het meest kritiek zijn voor specifieke acties).
Modulariteit: Het kader wordt beschreven als "plug-and-play", capable van het integreren van differentieerbare leermethoden, diverse perceptiemodules en verschillende vormen van bevoorrechte informatie (niet beperkt tot blik).

De auteurs concluderen dat het combineren van klassieke AI-concepten (neurale, symbolische, adviesgebaseerde) een model oplevert dat niet alleen performant is, maar ook transparant en in staat om te generaliseren naar complexe, dynamische omgevingen waar traditionele symbolische methoden worstelen en pure neurale methoden gebrek hebben aan robuustheid.