🤖 machine learning

Do Neurons Dream of Primitive Operators? Wake-Sleep Compression Rediscovers Schank's Event Semantics

Dit onderzoek toont aan dat een compressiegedreven wake-sleep algoritme automatisch Schanks handgemaakte conceptuele primitieven kan herontdekken en bovendien een veel rijkere inventaris van mentale en emotionele operatoren blootlegt die essentieel zijn voor het verklaren van natuurlijke gebeurtenissen.

Oorspronkelijke auteurs: Peter Balogh

Gepubliceerd 2026-03-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Peter Balogh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je hersenen een enorme bibliotheek hebben. In deze bibliotheek staan niet gewoon boeken, maar bouwstenen voor alles wat je ooit hebt meegemaakt of bedacht.

Deze vraag: "Dromen neuronen van primitieve operatoren?" klinkt als een raadsel, maar het antwoord uit dit onderzoek is verrassend simpel: Ja, en ze dromen zelfs van de juiste bouwstenen.

Hier is het verhaal van het onderzoek, vertaald in alledaags Nederlands, met wat creatieve vergelijkingen.

1. Het oude idee: De handgeschreven receptenboek

In de jaren '70 bedacht een slimme man, Roger Schank, een theorie over hoe mensen gebeurtenissen begrijpen. Hij dacht dat we alle complexe dingen die gebeuren (zoals "John gaf Mary een boek") kunnen opbreken in een paar simpele, universele acties.

Hij noemde ze "primitieve operatoren":

ATRANS: Iets overdragen (geven, kopen).
PTRANS: Iets verplaatsen (lopen, vliegen).
MTRANS: Informatie overdragen (vertellen, lezen).

Het probleem? Schank had deze lijst handmatig gemaakt. Hij dacht: "Dit voelt logisch." Maar critici zeiden: "Hoe weet je dat dit de enige juiste bouwstenen zijn? Misschien heb jij ze gewoon bedacht op basis van je eigen intuïtie?"

2. De nieuwe aanpak: De "Droom-Coder"

De onderzoekers van dit paper vroegen zich af: Kunnen we deze bouwstenen niet gewoon laten ontdekken door een computer, zonder dat we ze vertellen wat ze moeten zijn?

Ze gebruikten een slimme techniek die lijkt op dromen.
Stel je voor dat je een computer laat werken aan een puzzel (de Wakende fase). De computer probeert gebeurtenissen te beschrijven met de bouwstenen die hij nu heeft.
Daarna gaat de computer "slapen" (de Slapende fase). In zijn droom zoekt hij naar patronen. Hij zegt: "Wacht eens, ik gebruik dit specifieke stukje code heel vaak. Als ik daar een eigen naam voor maak, bespaar ik heel veel ruimte in mijn geheugen."

Dit heet compressie. Net zoals je een zip-bestand maakt om ruimte te besparen, probeert de computer de "taal" van gebeurtenissen in te korten. De regel is simpel: Als een nieuwe bouwsteen zo vaak wordt gebruikt dat hij de ruimte die hij zelf inneemt ruimschoots goedmaakt, dan is hij echt waardevol.

3. Het experiment: Twee werelden

Ze testten dit in twee situaties:

Situatie A: De Kunstmatige Wereld (Synthetisch)
Ze maakten een dataset met simpele gebeurtenissen, zoals "iemand loopt" of "iemand geeft iets".

Resultaat: De computer ontdekte precies dezelfde bouwstenen als Schank had bedacht!
De metafoor: Het is alsof je een kind leert om te tellen. Als je het genoeg voorbeelden geeft, ontdekt het vanzelf dat "1, 2, 3" de beste manier is om aantallen te beschrijven, zonder dat je het de cijfers hoeft te leren. De computer "droomde" Schanks ideeën uit de data.

Situatie B: De Echte Wereld (ATOMIC)
Vervolgens gaven ze de computer echte, alledaagse gedachten en gevoelens uit een grote database (ATOMIC). Denk aan zinnen als: "Als iemand een compliment krijgt, voelt hij zich blij" of "Iemand wil graag vrienden worden."

Resultaat: Hier werd het spannend. Schanks oude lijst was hier volledig onvoldoende. Schanks bouwstenen (lopen, geven, eten) dekten slechts 10% van de gebeurtenissen.
De ontdekking: De computer ontdekte nieuwe, krachtige bouwstenen die Schank had gemist. De belangrijkste bouwstenen in het echte leven zijn niet fysieke acties, maar gevoelens en gedachten:
- Verander wat iemand wil (CHANGE wants).
- Verander wat iemand voelt (CHANGE feels).
- Verander wie iemand is (CHANGE is).

4. De grote verrassing: Gevoel is belangrijker dan bewegen

In de echte wereld blijkt dat we veel meer bezig zijn met wat we voelen en willen dan met wat we doen.

Schank's visie: De wereld draait om fysieke actie (geven, lopen, eten).
De realiteit: De wereld draait om mentale staat. De top 3 bouwstenen die de computer vond, gaan allemaal over emoties en doelen.

Het is alsof je dacht dat de taal van de mensheid vooral bestaat uit werkwoorden als "lopen" en "slaan", maar als je echt luistert, blijkt dat we het meeste praten over "hopen", "vreezen" en "wensen".

5. Waarom is dit belangrijk?

Dit onderzoek bewijst drie dingen:

Schank had gelijk over de methode: Gebeurtenissen zijn inderdaad op te bouwen uit simpele, herbruikbare blokken.
Schank had het mis over de inhoud: Zijn lijst was te klein en te gericht op fysieke dingen. Hij miste de enorme wereld van emoties en doelen.
De hersenen zijn slimme compressors: We hoeven geen taalkundigen te zijn om de juiste bouwstenen te vinden. Als we genoeg data hebben en proberen het "kortst" mogelijk te beschrijven (compressie), vinden we vanzelf de juiste taal.

Conclusie in één zin

Neuronalen dromen inderdaad van primitieve operatoren, maar ze dromen niet alleen van het geven van een boek of het lopen naar de winkel; ze dromen vooral van het veranderen van wat we voelen en willen, en dat is de ware taal van het menselijk denken.

Titel: Do Neurons Dream of Primitive Operators? Wake-Sleep Compression Rediscovers Schank's Event Semantics

Auteur: Peter Balogh

1. Probleemstelling

Het paper onderzoekt de vraag of semantische primitieven (de fundamentele bouwstenen van betekenis) automatisch kunnen worden ontdekt uit data, zonder handmatige codering op basis van linguïstische intuïtie.

Achtergrond: In 1972 stelde Roger Schank met zijn Conceptual Dependency Theory dat alle menselijke gebeurtenissen kunnen worden ontbonden in een klein aantal primitieve acties (zoals ATRANS voor eigendoms-overdracht, PTRANS voor fysieke verplaatsing, en MTRANS voor informatietransfer).
Kritiek: Schanks primitieven werden vaak bekritiseerd als willekeurig, incompleet en te sterk gebaseerd op de intuïtie van de maker in plaats van op een diepe structuur van gebeurtenissen. Met de opkomst van statistische methoden in NLP raakte dit concept in diskrediet.
De Vraag: Kunnen dezezelfde primitieven (en mogelijk nieuwe, ontbrekende primitieven) automatisch worden afgeleid uit data door middel van compressiedruk (het Minimum Description Length of MDL-principe)?

2. Methodologie

De auteurs passen het Wake-Sleep algoritme van DreamCoder toe op het domein van gebeurtenis-state-transformaties. Het doel is om een bibliotheek van operators te leren die de totale beschrijvingslengte van de data minimaliseert.

A. Representatie van Wereldtoestanden

Wereldtoestanden worden weergegeven als verzamelingen van triples: (subject, relatie, object/waarde).
Een gebeurtenis is een paar (voor_state, na_state). Het verschil ( $\Delta$ ) bestaat uit triples die zijn toegevoegd of verwijderd.
Voorbeeld: "John geeft Mary het boek" verandert de staat van (John, has, book) naar (Mary, has, book).

B. Operator DSL (Domain Specific Language)

Het systeem start met een minimale "zaad-bibliotheek" van vier generieke operators:

SET: Voeg een triple toe.
UNSET: Verwijder een triple.
MOVE PROP: Verplaats een eigenschap van bron naar doel (bron verliest, doel wint).
CHANGE: Vervang een waarde (verwijder oude, voeg nieuwe toe).

C. Het Wake-Sleep Algoritme

Wake-fase (Zoeken): Gegeven een gebeurtenis en de huidige bibliotheek, zoekt het systeem (via beam search) naar een programma (sequentie van operators) dat de state-diff exact verklaart.
Sleep-fase (Abstraheren): Het systeem analyseert de succesvolle programma's om patronen te vinden:
- Specialisatie: Als een generieke operator (bijv. MOVE PROP) vaak wordt gebruikt met dezelfde relatie (bijv. has), wordt een gespecialiseerde operator (MOVE PROP has) voorgesteld. Dit verlaagt de ariteit (aantal parameters) en bespaart bits.
- Compositie: Als twee operators vaak achter elkaar voorkomen (bijv. eigendomsoverdracht gevolgd door verplaatsing), worden ze samengevoegd tot één compound operator (bijv. MAIL = ATRANS ◦ PTRANS).
MDL-evaluatie: Een nieuwe operator wordt alleen toegevoegd als de besparing in beschrijvingslengte (door hergebruik) groter is dan de kosten van het toevoegen van de operator aan de bibliotheek.
Pruning: Operators die niet vaak genoeg worden gebruikt om hun bibliotheekkosten te dekken, worden verwijderd.

3. Belangrijkste Bijdragen

Nieuwe DSL: Een taal voor het weergeven van gebeurtenissen als state-transformaties over triples.
Aanpassing van DreamCoder: Toepassing van wake-sleep learning op event semantics, inclusief een mechanisme voor het ontdekken van samengestelde operators.
Empirisch Bewijs: Het aantonen dat Schanks kernprimitieven (ATRANS, PTRANS, MTRANS, INGEST) automatisch ontstaan uit pure compressiedruk.
Ontdekking van Nieuwe Primitieven: Het systeem ontdekt operators voor mentale en emotionele staten die niet in Schanks oorspronkelijke taxonomie stonden.
Validatie op Real-World Data: Toepassing op het ATOMIC kennisgraph (commonsense data), wat een cruciale test is voor generalisatie buiten gecontroleerde synthetische data.

4. Resultaten

A. Synthetische Data

Het systeem convergerde in 5 iteraties.
Resultaat: Vier van Schanks kernprimitieven werden automatisch ontdekt:
- MOVE PROP has $\approx$ ATRANS
- CHANGE location $\approx$ PTRANS
- SET knows $\approx$ MTRANS (opmerkelijk: dit is een SET operatie, geen MOVE, wat correct is omdat informatie niet verdwijnt bij de zender).
- SET consumed $\approx$ INGEST
Compositie: Het systeem ontdekte automatisch dat "mailen" een compositie is van ATRANS en PTRANS.
Efficiëntie: De ontdekte bibliotheek bereikte een MDL binnen 4% van Schanks hand-gemaakte primitieven, maar verklaarde 100% van de gebeurtenissen (Schank's hand-coding verklaarde slechts 81% in deze implementatie).

B. Real-World Data (ATOMIC)

Dit is het meest significante resultaat. ATOMIC bevat commonsense redeneringen die niet zijn ontworpen rond Schanks theorie.

Schank's Tekortkoming: Schanks primitieven verklaarden slechts 9,9% van de natuurlijke gebeurtenissen. De meeste gebeurtenissen in ATOMIC gaan niet over fysieke acties, maar over mentale toestanden.
Ontdekte Dominantie: De ontdekte bibliotheek voor ATOMIC werd gedomineerd door mentale en emotionele operators:
1. CHANGE wants (20% van het gebruik) – Doelverandering.
2. CHANGE feels (18%) – Emotionele verandering.
3. CHANGE is (18%) – Attribuutverandering.
Fysieke acties (zoals PTRANS en ATRANS) maakten minder dan 10% van het gebruik uit in deze dataset.
Bayesiaanse MDL: De ontdekte bibliotheek was statistisch significant superieur aan Schanks hand-coding (log2 Bayes Factor = +1265 op synthetische data en +1380 op ATOMIC data), voornamelijk omdat deze 100% dekking bood zonder straffelijke "niet-verklaarde" kosten.

5. Betekenis en Conclusie

Validatie van Schank's Mechanisme: Het paper bevestigt dat Schanks kerninzicht correct was: gebeurtenissemantiek decomposeert in een klein aantal herbruikbare primitieven die kunnen worden afgeleid uit compressie. De "Huffman-code" van semantiek bestaat echt.
Inventaris is Rijker: Schank was incompleet. Zijn focus op fysieke en informatieve acties liet de mentale en emotionele dimensie achterwege. In natuurlijk taalgebruik (commonsense) domineren mentale staten (wensen, gevoelens, eigenschappen) fysieke acties.
Ontdekking vs. Enumeratie: In plaats van te debatteren over welke primitieven er bestaan, kan de lijst nu data-gedreven worden afgeleid. De "mentale programmeertaal" voor gebeurtenissen is psychologisch gericht en informationeel optimaal.
Verbinding met Moderne AI:
- JEPA: Het werk vult LeCun's JEPA-framework aan: terwijl JEPA leert wat de abstracte toestanden zijn (in embedding space), leert dit systeem hoe die toestanden transformeren (discrete, composabele operators).
- Cognitie: Het suggereert dat "denken" niet alleen data-manipulatie is, maar de continue evolutie van een mentale programmeertaal via slaap-achtige compressieprocessen.

Conclusie: Neuronen "dromen" inderdaad van primitieve operators. Door compressiedruk toe te passen op state-transformaties, ontdekt het systeem niet alleen Schanks klassieke fysieke acties, maar ook een veel rijkere set van mentale en emotionele operatoren die essentieel zijn voor menselijk redeneren.