💬 NLP

Operads for compositional reasoning in LLMs

Dit artikel stelt operaden voor als een rigoureus wiskundig kader voor het modelleren van vraagdecompositie in LLM's, waarbij het concept "operadische consistentie" wordt geïntroduceerd als een nieuwe invariant die sterk correleert met redeneernauwkeurigheid en de standaard self-consistency baselines overtreft.

Oorspronkelijke auteurs: Nathaniel Bottman, Kyle Richardson

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nathaniel Bottman, Kyle Richardson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, ingewikkelde puzzel probeert op te lossen, zoals uitrekenen hoe lang het precies duurde voordat de Titanic zonk nadat deze een ijsberg raakte. In plaats van direct naar het hele antwoord te proberen te gokken, breek je het af: "Wanneer raakte hij de ijsberg?" en "Wanneer zonk het schip?". Daarna neem je die twee antwoorden en combineer je ze om tot het uiteindelijke resultaat.

Dit is wat Large Language Models (LLM's) doen wanneer ze gebruikmaken van "Chain of Thought"-redenering. Ze breken grote vragen op in kleinere stappen. De auteurs van dit paper betogen echter dat we dit weliswaar intuïtief doen, maar dat we geen solide, wiskundige regelset hebben voor hoe deze stappen precies bij elkaar passen. Het is alsof je een geweldig recept hebt, maar geen manier om te meten of de ingrediënten daadwerkelijk compatibel zijn.

Om dit op te lossen, introduceren de auteurs een wiskundig hulpmiddel genaamd Operaden.

De Lego-analogie: Wat is een operade?

Beschouw een operade als een set speciale Lego-instructies.

Standaard Lego: Meestal klik je één blokje op een ander (één erin, één eruit).
Operade Lego: Dit zijn speciale blokjes die veel gaatjes aan de bovenkant hebben en één pinnetje aan de onderkant. Je kunt andere blokjes (of zelfs hele structuren) in al die gaatjes pluggen.

In de wereld van vragen:

Een "vraagtemplate" is een blokje met lege plekken. Bijvoorbeeld: "Wie was de president tijdens [LEGE PLEK]?"
Het "antwoord" op een deelvraag is een ander blokje dat je in die lege plek plugt.
De operade is het regelboek dat zegt: "Het maakt niet uit of je het antwoord eerst in de eerste lege plek plugt of in de tweede lege plek; zolang de wiskunde klopt, moet de uiteindelijke structuur hetzelfde zijn."

De "Vraag-algebra"

Het paper suggereert dat we een Question Answering (QA) model niet alleen moeten zien als een chatbot, maar als een machine die deze Lego-regels volgt.

De Vragen: Dit zijn de templates met lege plekken (de operade).
Het Model: Dit is de "Algebra". Het is de werker die de templates neemt, de lege plekken invult met antwoorden en het uiteindelijke resultaat produceert.

Als de werker perfect is, zou het niet uit moeten maken hoe hij de puzzel assembleert. Of hij nu de kleine stukjes eerst oplost en ze dan combineert, of de stukjes in een andere volgorde combineert, het uiteindelijke plaatje moet identiek zijn.

Het Probleem: "Operadische Inconsistentie"

Hier wordt het interessant. De auteurs realiseerden zich dat AI-modellen deze regels vaak breken. Ze geven je misschien één antwoord als je de vraag in een bepaalde volgorde stelt, maar een ander antwoord als je dezelfde logische stappen in een iets andere volgorde stelt.

Ze noemen dit Operadische Inconsistentie.

De "Bess vs. Eleanor" Test:
Het paper gebruikt een specifiek voorbeeld om dit aan te tonen. Stel je een keten van vragen voor om te achterhalen wie de First Lady was toen de Tweede Wereldoorlog eindigde.

Pad A: Vraag "Wanneer eindde de Tweede Wereldoorlog?" -> Krijg "1945" -> Vraag "Wie was de president in 1945?" -> Krijg "Truman" -> Vraag "Wie was de vrouw van Truman?" -> Krijg "Bess Truman."
Pad B: Vraag direct "Wie was de First Lady toen de Tweede Wereldoorlog eindigde?" (zonder de tussenstappen over te slaan). -> Het model kan "Eleanor Roosevelt" raden (die erg beroemd was, maar niet de vrouw van de president in 1945).

Als het model "Bess" geeft via het stapsgewijze pad, maar "Eleanor" via het directe pad, is het inconsistent. Het is als een rekenmachine die "4" geeft als je 2+2 doet, maar "5" als je 1+1+2 doet.

Waarom dit ertoe doet

Het paper stelt voor om een nieuwe manier te gebruiken om te controleren of een AI betrouwbaar is. In plaats van het model alleen maar te vragen om het antwoord te herhalen (wat de huidige methoden doen), kunnen we controleren of de antwoorden van het model consistent blijven over alle verschillende manieren waarop we de vraag kunnen opdelen.

De bewering: De auteurs ontdekten dat modellen die "operadisch consistent" zijn (ze geven hetzelfde antwoord, ongeacht hoe je de vraag opdeelt) veel grotere kans hebben om accuraat te zijn.
Het resultaat: In hun begeleidende studie (vermeld in het paper) hebben ze 12 verschillende AI-modellen getest. Ze kwamen tot de conclusie dat het controleren op deze specifieke vorm van consistentie een betere voorspeller van nauwkeurigheid was dan de huidige standaardmethoden.

Samenvatting

Het paper beweert niet een nieuwe AI te hebben gebouwd of alle AI-fouten te hebben opgelost. In plaats daarvan biedt het een nieuwe wiskundige lens om te kijken naar hoe AI denkt.

Het behandelt vraag-decompositie als een formele structuur (Operaden).
Het definieert een nieuwe test voor betrouwbaarheid genaamd Operadische Consistentie.
Het toont aan dat als een AI niet met zichzelf kan eensluiten over verschillende manieren om een probleem op te splitsen, de kans groot is dat het antwoord fout is.

Kortom: Als je een puzzel niet op twee verschillende manieren op dezelfde manier kunt oplossen, kun je hem waarschijnlijk helemaal niet oplossen. Dit paper geeft ons de wiskunde om dat te bewijzen.

Technische Samenvatting: Operaden voor Compositioneel Redeneren in LLM's

1. Probleemstelling

Vraagdecompositie—de strategie om complexe queries op te splitsen in eenvoudigere sub-queries om het redeneervermogen van Large Language Models (LLM's) te verbeteren—is een breed toegepaste techniek (bijv. Chain-of-Thought prompting). Echter, het artikel betoogt dat deze praktijk momenteel een rigoureuze wiskundige fundering mist. Zonder een formele account van de compositionele structuur is het moeilijk om:

Te definiëren wat een correcte of welgevormde decompositie constitueert.
Te redeneren over hoe fouten zich voortplanten door ketens van sub-queries.
Decompositionstrategieën op een principiële manier te vergelijken, onafhankelijk van specifieke modelimplementaties.

Bestaande methoden vertrouwen op intuïtieve aantrekkingskracht maar missen de formele instrumenten om de compositionele geschiedenis van redeneren te analyseren; ze behandelen het proces als een black box in plaats van een gestructureerd algebraïsch systeem.

2. Methodologie: Het Operadische Raamwerk

De auteurs stellen operaden voor als het natuurlijke wiskundige raamwerk voor vraagdecompositie. Operaden zijn structuren die "veel-erin, één-eruit" operaties en hun composities modelleren, oorspronkelijk ontwikkeld in de algebraïsche topologie en later toegepast op de formele taaltheorie.

2.1 De Vragen-operade ( $Q$ )

Het artikel definieert een specifieke operade, $Q$ , om vraagdecompositie te modelleren:

Operaties: Elementen van $Q(k)$ zijn vragen die $k$ lege plekken (slots) bevatten.
Compositie: De operatie $\circ_i$ komt overeen met het substitueren van de output van één vraag (een sub-query) in de $i$ -de lege plek van een andere vraag.
Structuur: Dit vormt een "niet-symmetrische niet-unitaire operade in Set". De compositie is associatief tot semantische equivalentie, wat betekent dat de volgorde van substitutie (bijv. het componeren van $Q_3$ met $Q_2$ eerst, en daarna met $Q_1$ , versus $Q_2$ met $Q_1$ eerst) semantisch equivalente uiteindelijke vragen oplevert.

2.2 QA-modellen als Algebra's

Het artikel interpreteert een Vraag-Antwoord (QA) model $m$ als een algebra over de operade $Q$ (aangeduid als $V_m$ ):

Waarden: De verzameling $V_m$ bestaat uit alle mogelijke waarden (antwoorden) die de lege plekken kunnen invullen.
Actie: Gegeven een vraagtemplate $q \in Q(k)$ en $k$ waarden $v_1, \dots, v_k$ , verwerkt het model de ingevulde vraag $q'$ om een outputwaarde $v'$ te produceren.
Implicatie: Deze herformulering behandelt het model niet slechts als een functie van tekst naar tekst, maar als een structuur-behoudende afbeelding die de compositionele logica van de vraagboom respecteert.

2.3 Operadische Consistentie

Een belangrijke methodologische bijdrage is de definitie van operadische consistentie.

Boom van Vragen (ToQ): Een decompositie wordt gerepresenteerd als een gewortelde boom waarbij knopen vraagtemplates zijn en randen de datastroom representeren.
Partiële Collaps: Een ToQ kan worden "gecollapseerd" door sub-vragen te componeren. Een partiële collaps houdt in dat sommige, maar niet alle, knopen in de boom worden gecomponeerd. Een ToQ met $N$ vertices heeft $2^{N-1}$ mogelijke partiële collapsen.
Definitie: Een model $m$ is operadisch consistent op een ToQ $T$ als het uiteindelijke antwoord geproduceerd door $m$ identiek is over alle mogelijke partiële collapsen van $T$ .
Betekenis: Als een model associatief is "op de neus" (wiskundig perfect), zou het antwoord invariant moeten zijn, ongeacht de volgorde of groepering van de sub-query resolutie. Discrepantie tussen partiële collapsen duidt op een falen in het compositionele redeneervermogen van het model.

3. Belangrijkste Bijdragen

Formalisering van Decompositie: Het artikel biedt het eerste rigoureuze wiskundige raamwerk (gebruikmakend van operaden) voor vraagdecompositie, waarbij de abstracte structuur van compositie wordt gescheiden van specifieke modelimplementaties.
Algebraïsche Interpretatie van LLM's: Het stelt vast dat QA-modellen kunnen worden gezien als algebra's over de vragen-operade, waardoor de toepassing van algebraïsche instrumenten op redeneertaken mogelijk wordt.
Nieuwe Metriek (Operadische Consistentie): Het introduceert een nieuwe metriek om de betrouwbaarheid van meerstaps-redeneren te meten. In tegen tegenstelling tot standaard zelf-consistentie (die controleert of meerdere onafhankelijke generaties het met elkaar eens zijn), controleert operadische consistentie of de interne compositionele logica van een model coherent is over verschillende structurele paden van hetzelfde probleem.
Ambiguïteitsalgebra (Theoretische Uitbreiding): Gebruikmakend van context-vrije grammatica-theorie, schetst de auteur hoe het operadische perspectief een "ambiguïteitsalgebra" ( $\ker \phi$ ) kan definiëren om de compositionele structuur van ambiguïteit te vatten, in plaats van het als een binaire eigenschap te behandelen.

4. Resultaten

Het artikel presenteert zelf geen primaire empirische data, maar verwijst naar een gezelschapsartikel (Bottman, Liu, en Richardson, 2026) voor de evaluatie. De samenvatting van die bevindingen die in deze tekst is opgenomen, stelt:

Correlatie: Operadische consistentie is sterk gecorreleerd met nauwkeurigheid over twaalf LLM's en vier multi-hop QA-datasets.
Prestaties: Het presteert beter dan standaard temperatuur-gebaseerde zelf-consistentie baselines in taken van selectieve predictie bij gelijke inferentiekosten.
Observatie: De metriek identificeert succesvol modellen die er niet in slagen coherentie te behouden over de "partiële collapsen" van een redeneerboom, zelfs wanneer ze in staat zijn een correct eindantwoord te produceren in een enkele pass.

5. Betekenis en Claims

De auteurs beweren dat operaden de "natuurlijke wiskundige thuisbasis" zijn voor vraagdecompositie. Hun significantie ligt in:

Fundamentele Rigor: Het bewegen voorbij heuristische beschrijvingen van Chain-of-Thought naar een formele algebraïsche structuur.
Nieuwe Analytische Instrumenten: Het bieden van een manier om de geschiedenis van compositie te analyseren, niet alleen de uiteindelijke output. Dit maakt het mogelijk om onderscheid te maken tussen "corrigeerbare" inconsistenties en fundamentele fouten in meerstaps-redeneren.
Toekomstige Richtingen: Het raamwerk opent wegen voor:
- Het extraheren van expliciete operadische structuren uit "denkende modellen" (redeneer-traces).
- Het definiëren van cohomologische invarianten om de inconsistenties van modellen te bestuderen.
- Het interpreteren van decomposities via diverse algebra's (bijv. likelihoods, confidence scores, of latente representaties) in plaats van enkel de uiteindelijke antwoorden.

Het artikel concludeert dat invarianten zoals operadische consistentie een geprincipeerd pad bieden naar het analyseren en verbeteren van de betrouwbaarheid van complex redeneren in LLM's.