💬 NLP

Operadic consistency: a label-free signal for compositional reasoning failures in LLMs

Dit artikel introduceert "operadische consistentie", een labelvrij diagnostisch signaal dat de overeenstemming meet tussen het directe antwoord van een model op een compositionele vraag en zijn antwoord dat is afgeleid van een gestelde decompositie, waarbij wordt aangetoond dat deze metriek sterk correleert met redeneernauwkeurigheid over diverse LLM's en datasets heen, terwijl het bestaande baselines zoals chain-of-thought zelfconsistentie overtreft in het detecteren van fouten en het verbeteren van selectieve voorspelling.

Oorspronkelijke auteurs: Nathaniel Bottman, Yinhong Liu, Kyle Richardson

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nathaniel Bottman, Yinhong Liu, Kyle Richardson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Zelfverzekerde maar Onjuiste" AI

Stel je voor dat je een slimme vriend een lastige vraag stelt die het verbinden van drie verschillende feiten vereist. Hij geeft direct antwoord en klinkt erg zeker van zichzelf. Maar als je hem vraagt om uit te leggen hoe hij tot dat antwoord kwam, kan hij struikelen, of zijn uitleg kan leiden tot een andere conclusie dan zijn eerste antwoord.

Large Language Models (LLMs) doen dit de hele tijd. Ze kunnen lange, vloeiende redeneringen genereren die er perfect uitzien, maar die eigenlijk niet optellen tot het juiste antwoord. De grote uitdaging voor onderzoekers is: Hoe weten we of de AI echt gelijk heeft zonder dat we het antwoordmodel voor ons hebben?

De Oude Manieren: Controleren op "Spelruimte"

Voorheen probeerden onderzoekers te raden of een AI het goed had door de AI dezelfde vraag vele malen te stellen (zoals een vriend 10 keer dezelfde raadsel te vragen).

Als de vriend elke keer hetzelfde antwoord geeft: Dan gaan we ervan uit dat hij zelfverzekerd is en waarschijnlijk gelijk heeft.
Als de vriend 10 verschillende antwoorden geeft: Dan gaan we ervan uit dat hij in de war is en waarschijnlijk ongelijk heeft.

De paper noemt dit "Self-Consistency" (Zelfconsistentie). Het werkt redelijk voor sommige vragen, maar het heeft een gebrek: een zelfverzekerde leugenaar zal 10 keer hetzelfde foute antwoord geven. Deze methode controleert alleen of de AI consistent is met zichzelf, niet of de logica er daadwerkelijk standhoudt.

Het Nieuwe Idee: "Operadische Consistentie" (De "Receptcontrole")

De auteurs stellen een nieuwe manier voor om de AI te controleren, gebaseerd op een wiskundig concept genaamd Operad Theorie. Laat de wiskunde je niet afschrikken; denk aan het als een "Receptcontrole."

Stel je voor dat je een cake bakt.

Het Directe Antwoord: Je vraagt de AI: "Wat is de uiteindelijke cake?" De AI zegt: "Chocoladecake."
Het Gedecodeerde Antwoord: Je vraagt de AI om het recept op te breken:
- Stap 1: "Wat mengen we eerst?" (Het zegt: Bloem en Cacao).
- Stap 2: "Als we Bloem en Cacao mengen, wat krijgen we dan?" (Het zegt: Een beslag).
- Stap 3: "Als we dat beslag bakken, wat is het resultaat?" (Het zegt: Een Vanille Cake).

Het Probleem: De AI zei direct "Chocolade", maar zijn eigen stapsgewijze recept leidde naar "Vanille". De logica klopt niet.

Operadische Consistentie (OC) is simpelweg controleren: Komt het directe antwoord van de AI overeen met het antwoord dat hij krijgt wanneer hij de oplossing stap voor stap opbouwt?

Als ze overeenkomen: Dan redeneert de AI waarschijnlijk correct.
Als ze niet overeenkomen: Dan is de AI waarschijnlijk aan het hallucineren of maakt hij een logische fout, zelfs als hij zelfverzekerd klinkt.

Wat de Paper Vond

De onderzoekers testten deze "Receptcontrole" op 12 verschillende AI-modellen (variërend van klein tot enorm groot) over vier moeilijke trivia- en logische datasets.

Het is een Superbetrouwbaar Signaal: De "Receptcontrole" was sterk gecorreleerd met de vraag of de AI daadwerkelijk gelijk had. Sterker nog, het was de enige methode die goed werkte op elke dataset die ze testten.
De Oude Manier Faalde: De oude methode (dezelfde vraag 10 keer stellen) werkte geweldig op sommige datasets, maar faalde jammerlijk op andere. Het kon de "zelfverzekerde leugenaars" niet zo goed vangen als de Receptcontrole.
Het Voegt Nieuwe Informatie Toe: Zelfs wanneer je de betrouwbaarheid van de AI al kent via andere methoden, vertelt de Receptcontrole je nog steeds iets nieuws. Het vangt fouten op die de andere methoden missen.
Het Werkt op "Denkende" Modellen: Ze testten dit ook op de nieuwste generatie AI die hardop "denkt" (zijn werk laat zien). Zelfs toen ze de "stappen" rechtstreeks uit het eigen denkproces van de AI haalden, werkte de controle nog steeds.

Waarom Dit Belangrijk Is (Zonder het Jargon)

Beschouw de AI als een student die een toets maakt.

Oude Methode: Vraag de student om de toets 10 keer te maken. Als hij telkens dezelfde score haalt, is hij consistent. Maar als hij het foute antwoord heeft uit het hoofd geleerd, zal hij elke keer dezelfde foute score halen.
Nieuwe Methode (Operadische Consistentie): Vraag de student om het probleem in zijn hoofd op te lossen, en vraag hem vervolgens om de stappen uit te schrijven. Als het uiteindelijke antwoord overeenkomt met de stappen, begrijpt hij de wiskunde waarschijnlijk. Als de stappen leiden tot een ander antwoord dan het eindresultaat, is hij in de war, zelfs als hij het juiste getal door geluk heeft geraden.

De paper concludeert dat deze "Receptcontrole" een krachtig, gratis hulpmiddel is. Het heeft geen antwoordmodel nodig om ons te vertellen wanneer een AI waarschijnlijk zal falen. Het helpt ons de momenten te herkennen waarop de interne logica van de AI uit elkaar valt, waardoor we de antwoorden meer kunnen vertrouwen wanneer de controle slaagt en sceptisch kunnen zijn wanneer deze faalt.

Technische Samenvatting: Operadische Consistentie als een Label-vrij Signaal voor Falende Compositionele Redenering

1. Probleemstelling

Moderne Large Language Models (LLMs), inclusief recente "thinking" modellen, genereren vaak vloeiende, zelfverzekerde redeneerketens die er niet in slagen om te componeren tot een correct eindantwoord. Dit fenomeen, bekend als de "compositionaliteitskloof" (compositionality gap), vertegenwoordigt een kritieke foutmodus waarbij subconclusies niet logisch aggregeren tot de beoogde oplossing. Het detecteren van deze fouten tijdens de inferentie zonder toegang tot ground-truth labels is een centrale uitdaging voor hallucinatie-detectie, modelkalibratie en selectieve voorspelling.

Bestaande baselines voor vertrouwen tijdens inferentie vallen over het algemeen uiteen in drie categorieën:

Sample-and-aggregate methoden: Zoals Chain-of-Thought Self-Consistency (CoT-SC), die de variantie meet over temperatuur-gesamplede outputs.
Entropie-gebaseerde methoden: Zoals Semantic Entropy, die entropie berekent over semantische clusters van samples.
Zelf-evaluatie methoden: Zoals $P(\text{True})$ , die de eigen waarschijnlijkheid van het model oproept dat zijn antwoord correct is.

De auteurs stellen dat deze methoden primair de sample-diversiteit of zelf-beoordeling onderzoeken, wat vaak orthogonaal staat tot de structurele integriteit van het redeneerproces. Een model kan met lage sample-variantie zelfverzekerd fout zijn, of met hoge variantie correct zijn. Er is een gebrek aan methoden die direct testen of de redenering van een model intern compositioneel is—dat wil zeggen of de subconclusies, wanneer ze serieus worden genomen en opnieuw worden gecomponeerd, hetzelfde eindantwoord opleveren als het directe antwoord van het model.

2. Methodologie: De Vragen-operad en Operadische Consistentie

Het artikel introduceert een formeel kader gebaseerd op de Operadentheorie, een wiskundige structuur ontworpen om systemen te bestuderen die zijn opgebouwd door iteratieve substitutie.

2.1 De Vragen-operad ( $\mathcal{Q}$ )

De auteurs definiëren de Vragen-operad ( $\mathcal{Q}$ ), waarbij:

Operaties: Overeenkomen met vraagtemplates met $k$ lege plekken (arity $k$ ).
Compositie: Gedefinieerd door een vraagtemplate (met zijn eigen lege plekken) te substitueren in een lege plek van een andere template. Dit creëert een boomvormige structuur van vragen (Tree of Questions, of ToQ).
Algebra's: Een taalmodel wordt geïnterpreteerd als een algebra over $\mathcal{Q}$ . Ideaal gezien moet het antwoord van het model op een samengestelde vraag gelijk zijn aan het resultaat van het sequentieel beantwoorden van de subvragen en het terugsubstitueren van de antwoorden in de samengestelde vraag.

2.2 Operadische Consistentie (OC)

Operadische Consistentie wordt gedefinieerd als de predicaat waarbij het directe antwoord van een model op een complexe query overeenkomt met het antwoord dat wordt geproduceerd door een gestelde decompositie van die query.

Instantiatie: Het artikel evalueert dit op diepte-2 ketens (een hoofdvraag gedecomposeerd in twee stappen: $Q_1 \to Q_2$ ).
Protocol:
1. Direct Pad: Het model beantwoordt de oorspronkelijke vraag $Q$ direct.
2. Gedecomposeerd Pad: Het model beantwoordt subvraag $Q_1$ , substitueert het antwoord $A_1$ in $Q_2$ , en beantwoordt de resulterende $Q_2[A_1]$ .
3. Scoring: De OC-score is de semantische overeenkomst (0 tot 1) tussen het directe antwoord en het gedecomponeerde eindantwoord, berekend met dataset-specifieke scorers (bijv. SQuAD-F1, waarde-gelijkheid voor getallen, ja/nee extractie).
Kosten: Dit vereist exact 3 model-aanroepen per vraag (1 direct, 2 gedecomponeerde stappen).

Het framework is toepasbaar op zowel instruction-tuned (niet-thinking) modellen (waar decomposities worden geleverd door menselijke annotatoren of dataset-metadata) als thinking modellen (waar de decompositie wordt geëxtraheerd uit hun eigen chain of thought).

3. Belangrijkste Bijdragen

Theoretisch Kader: De definitie van de Vragen-operad $\mathcal{Q}$ en de interpretatie van LLM's als algebra's over $\mathcal{Q}$ , wat een formele basis biedt voor het diagnosticeren van compositionele fouten.
Empirisch Signaal (OC): De voorstel van Operadische Consistentie als een per-vraag signaal dat sterk correleert met nauwkeurigheid.
Complementariteit: Demonstratie dat OC voorspellende informatie biedt die verschillend is van en complementair aan standaard baselines (CoT-SC, Semantic Entropy, $P(\text{True})$ ).
Implementatie Nut: Bewijs dat het combineren van OC met CoT-SC de selectieve voorspelling (nauwkeurigheid bij een vaste dekking) verbetert tegen gelijke inferentie-kosten.

4. Experimentele Resultaten

De studie evalueerde 17 modellen (12 instruction-tuned, 5 thinking modellen) over vier multi-hop QA-datasets (HotpotQA, MuSiQue, StrategyQA, DROP) en één wiskundige dataset (GSM8K voor thinking modellen).

4.1 Cross-Model Nauwkeurigheid Correlatie

Uniforme Sterkte: OC vertoont een sterke Pearson-correlatie ( $r \in [0.86, 0.94]$ ) met de nauwkeurigheid van het model over alle vier de datasets.
Vergelijking: CoT-SC (bij $K=10$ ) komt overeen met OC op HotpotQA ( $r=0.93$ ) en DROP ( $r=0.87$ ), maar stort in op MuSiQue ( $r=0.43$ ) en StrategyQA ( $r=0.46$ ). Semantic Entropy en $P(\text{True})$ falen ook om een hoge correlatie over alle datasets te behouden.
Label-vrije Schatting: Met behulp van een leave-one-model-out protocol voorspelt de OC-ratio van een uitgesloten model de nauwkeurigheid met een Mean Absolute Error (MAE) van 3.0 procentpunten, wat CoT-SC ( $K=10$ , met een MAE van 4.6 pp) aanzienlijk overtreft.

4.2 Voorspellende Kracht per Vraag

Logistische Regressie: Bij het voorspellen van juistheid op per-vraag basis, draagt OC significante marginale informatie bij, zelfs wanneer er wordt gecontroleerd voor CoT-SC, Semantic Entropy en decompositie-bewuste baselines (bijv. gedecomponeerde zelfconsistentie). De coëfficiënt voor OC is zeer significant ( $p \le 10^{-16}$ ) over alle datasets.
Decompositie-bewuste Baselines: De paper testte "gedecomponeerde zelfconsistentie" (het samplen van alleen de tweede stap van de decompositie) en een Process Reward Model (Skywork-PRM). Geen van beide bereikte de uniforme cross-model correlatie van OC, en geen van beide verdreef de significantie van OC in gezamenlijke regressies.

4.3 Selectieve Voorspelling

Niet-thinking Modellen: Bij een gelijk kostenbudget ( $K=3$ aanroepen), verbeterde het toevoegen van OC aan een CoT-SC baseline de AUARC met +0.086 tot +0.096 en de AUROC met +0.092 tot +0.164 over alle vier de datasets. Bootstrap 95% betrouwbaarheidsintervallen sloten nul uit voor elke cel.
Thinking Modellen: Op vijf frontier thinking modellen, waarbij decomposities werden geëxtraheerd uit hun eigen chain of thought, toonde de OC + Self-Consistency combiner positieve punt-schatting lifts op alle 16 geteste (dataset, budget, metriek) cellen, waarbij 12 van de 16 95% CI's hadden die nul uitsloten.

5. Betekenis en Claims

De paper claimt dat Operadische Consistentie een structurele diagnose biedt voor LLM-redenering die fundamenteel verschilt van variantie-gebaseerde signalen.

Mechanisme: Terwijl CoT-SC en Semantic Entropy meten hoeveel de output van een model varieert, meet OC of de redeneerstappen van het model samenhangen. Het vraagt: "Als ik dit probleem opbreek en weer samenvoeg, krijg ik dan hetzelfde antwoord?"
Robuustheid: Het signaal is robuust tegen de keuze van de correctness scorer (gevalideerd via LLM-judge en alternatieve scorers) en houdt stand bij modellen variërend van 4B tot 671B parameters, evenals bij zowel open-weights als gesloten systemen.
Praktische Bruikbaarheid: OC is een label-vrij, inferentie-tijd signaal dat geen ground-truth data vereist voor deployment, wat het geschikt maakt voor real-time betrouwbaarheidsschatting en selectieve voorspelling in productieomgevingen.
Beperkingen: De auteurs merken op dat OC een noodzakelijke maar geen voldoende voorwaarde is voor juistheid (false positives treden op wanneer het model consistent fout is; false negatives treden op wanneer het directe pad correct is maar het gedecomponeerde pad faalt). Daarom raden zij aan om OC in te zetten als onderdeel van een multi-signaal stack in plaats van als een standalone gate.

Het werk positioneert de Vragen-operad niet alleen als een beschrijvend vocabulaire, maar als een generatief kader voor het afleiden van nieuwe diagnostische signalen, wat wijst op toekomstige richtingen met diepere bomen, vertakkende decomposities en algebra's over andere grootheden (bijv. vertrouwen, kosten).