🤖 AI

Locally Coherent, Globally Incoherent: Bounding Compositional Incoherence in Multi-Component LLM Agents

Dit artikel formaliseert en kwantificeert de faalmodus "lokaal coherent, globaal incoherent" in multi-component LLM-agenten met behulp van een tijdens de runtime berekenbare compositionele residual, en toont aan dat lokale coherentie vaak faalt om globale waarschijnlijkheidsconsistentie te waarborgen, dat huidige mitigaties aan de LLM-kant inefficiënt zijn, terwijl deterministische projectie en sequentiële monitoring levensvatbare oplossingen bieden.

Oorspronkelijke auteurs: Anany Kotawala

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anany Kotawala

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Dilemma van "Te Veel Koks"

Stel je voor dat je een restaurant runt waar je vier verschillende expertkoks hebt ingehuurd om één enkel, massaal banket te plannen.

Kok A krijgt alleen de opdracht om de Voorgerechten te plannen.
Kok B krijgt alleen de opdracht om het Hoofdgerecht te plannen.
Kok C krijgt alleen de opdracht om het Toetje te plannen.
Kok D krijgt alleen de opdracht om de Drankjes te plannen.

Elke kok is een genie. Ze zijn perfect zelfverzekerd in hun eigen onderdeel. Kok A zegt: "Ik ben 80% zeker dat we 50 voorgerechten nodig hebben." Kok B zegt: "Ik ben 80% zeker dat we 50 hoofdgerechten nodig hebben." Enzovoort.

Het Probleem: De restaurantbaas (de "Agent") telt gewoon alle getallen bij elkaar op. Maar omdat de koks niet met elkaar hebben gesproken, kunnen ze per ongeluk plannen voor 200 mensen terwijl het restaurant slechts plaats biedt aan 100. Of, ze plannen misschien voor 100% kans op voorgerechten én 100% kans op hoofdgerechten, zelfs al staat het menu alleen toe dat één van die opties per tafel gebeurt.

In de wereld van AI noemen we dit "Lokaal Coherent, Globaal Incoherent."

Lokaal Coherent: Elk AI-model (kok) doet een goed werk op zijn eigen kleine taak.
Globaal Incoherent: Wanneer je hun antwoorden bij elkaar voegt, klopt de totale wiskunde niet. De kansen tellen op tot meer dan 100% (of minder), wat een logische puinhoop creëert.

De Belangrijkste Ontdekking van het Artikel

De auteurs ontdekten dat zelfs als elk enkel AI-model op zichzelf perfect gekalibreerd en logisch is, het combineren ervan de wiskunde vaak verpest.

Ze noemen deze verpestte wiskunde een "Compositional Residual" ( $\epsilon^\star$ ). Denk hierbij aan een "Vuilnis-meter".

Als de meter 0 aangeeft, is het gecombineerde antwoord perfect.
Als de meter hoog aangeeft, is het gecombineerde antwoord logisch gebroken (bijvoorbeeld: beweren dat er 150% kans is op regen).

Ze testten dit op bijna 2.000 verschillende scenario's (zoals het voorspellen van verkiezingsoverwinnaars, sportuitslagen of tech-beursgang) met vier verschillende AI-modellen. Ze ontdekten dat 33% tot 94% van de tijd het gecombineerde antwoord gebroken was, zelfs al werkten de individuele AI-onderdelen prima.

Waarom gebeurt dit?

Het artikel legt uit dat de AI-modellen "blind" zijn voor het grote geheel.

De Blinde Specialist: Wanneer je een AI vraagt: "Wat is de kans dat de VS het WK wint?", beantwoordt het dit op basis van zijn training.
De Ontbrekende Context: Het weet niet dat je ook een andere AI hebt gevraagd: "Wat is de kans dat Brazilië wint?" en "Wat is de kans dat Duitsland wint?".
Het Resultaat: De VS-AI zegt 60%, Brazilië zegt 60%, en Duitsland zegt 60%. Het totaal is 180%. Dit is onmogelijk. De AI wist niet dat het deel uitmaakte van een team waar het totaal 100% moet bedragen.

De Oplossingen die ze Probeerden (en Faalden)

De onderzoekers probeerden dit op te lossen met "zachte" methoden, die lijken op het geven van betere instructies aan de koks:

Retrieval: De koks laten opzoeken op Google. (Gefaald: Ze konden het totaal nog steeds niet overeenstemmen).
Betere Prompts: De koks vertellen: "Vergeet niet, je maakt deel uit van een team, en je antwoorden moeten optellen tot 1." (Gefaald: Ze maakten nog steeds fouten).
De "Baas"-AI: Een slimme AI-manager die luistert naar alle koks en de antwoorden herschrijft. (Gefaald: De manager maakte het vaak erger of loste de wiskunde niet op).

De Conclusie: Je kunt dit niet oplossen door gewoon beter met de AI te praten. De AI-modellen zijn per ontwerp te geïsoleerd.

De Echte Oplossing: De "Wiskundige Corrector"

Omdat je de koks niet kunt repareren, heb je een Wiskundige Corrector nodig die ingrijpt nadat de koks klaar zijn.

De auteurs stellen een methode voor genaamd Hierarchical Boyle–Dykstra Projection.

De Analogie: Stel je voor dat de koks je een lijst met ingrediënten geven die 200 kg weegt, maar je vrachtwagen kan maar 100 kg dragen. In plaats van de koks te vragen hun lijsten te herschrijven (wat ze slecht doen), gebruik je gewoon een machine om het overbodige gewicht van de bovenkant van de stapel te trimmen tot het precies in de vrachtwagen past, terwijl je de relatieve verhoudingen van de ingrediënten zo dicht mogelijk bij het origineel houdt.
Hoe het werkt: Het systeem neemt het gebroken, boven-de-100% antwoord en gebruikt een strikte wiskundige formule om het te "projecteren" op een geldige, logische vorm (een "polytoop"). Het dwingt de getallen om de wetten van de waarschijnlijkheid te gehoorzamen, zonder dat de AI erover hoeft na te "denken".

Deze methode is deterministisch (het werkt altijd op dezelfde manier) en snel. Het verandert een gebroken, 150% waarschijnlijkheidsantwoord direct in een perfect 100% antwoord.

Waarom moet je hier om geven? (De "Regret"-Factor)

Het artikel toont aan dat dit niet zomaar een theoretisch wiskundig probleem is; het kost echt geld bij besluitvorming.

Als je een gokker of besluitnemer bent die deze AI-agenten gebruikt, leidt een gebroken antwoord tot regret. Je zou misschien wedden op een paard waarvan de AI zegt dat het 60% kans heeft, maar omdat de wiskunde van de AI gebroken was, was die 60% eigenlijk een leugen.
Door hun "Wiskundige Corrector" te gebruiken, toonden ze aan dat je geld kunt besparen (gemeten in "nats", een eenheid voor informatiewinst) omdat je stopt met wedden op basis van onmogelijke wiskunde.

Samenvatting in Één Zin

Wanneer je meerdere AI-modellen vraagt om delen van een groot raadsel op te lossen, geven ze vaak antwoorden die niet optellen; de beste manier om dit op te lossen is niet om ze te vragen harder te proberen, maar om een wiskundig "trimhulpmiddel" te gebruiken om hun antwoorden logisch te maken voordat je ze gebruikt.

Technische Samenvatting: Lokaal Coherent, Globaal Incoherent

1. Probleemstelling

Multi-componenten Large Language Model (LLM)-agenten ontleden vaak complexe gezamenlijke problemen in sub-taken die worden behandeld door specialistische sub-agenten of hulpmiddelen. Hoewel individuele componenten lokaal coherent kunnen zijn (intern consistent en gekalibreerd op hun specifieke sub-vragen), kan de aggregatie van hun outputs fundamentele waarschijnlijkheidsaxioma's schenden. Dit fenomeen, aangeduid als "lokaal coherent, globaal incoherent", resulteert in een samengestelde overtuigingsstaat die een totale waarschijnlijkheidsmassa groter dan 1 toekent (of logische beperkingen schendt zoals $P(A) + P(\neg A) = 1$ ).

Bestaande evaluatiemetrics (per-vraag nauwkeurigheid, kalibratie, conformale voorspelling) werken op individuele modeloutputs en falen in het detecteren van logische schendingen tussen componenten. Bijgevolg kunnen multi-componenten agenten "Dutch-book"-blootstellingen produceren—combinaties van weddenschappen die een zeker verlies voor het systeem garanderen—uitsluitend door de incoherentie die tijdens de samenstelling wordt geïntroduceerd, zelfs wanneer elke component afzonderlijk correct is.

2. Methodologie

Theoretisch Kader

Het artikel formaliseert de faalmodus met behulp van convexe geometrie en waarschijnlijkheidstheorie:

Compositie-Residu ( $\varepsilon^\star$ ): Gedefinieerd als de $L_2$ -afstand tussen de samengestelde quote (na lokale reparaties) en de gezamenlijke coherente polytoop ( $M_\star$ ). Deze polytoep vertegenwoordigt de verzameling van alle waarschijnlijkheidsvectoren die voldoen aan de gezamenlijke logische beperkingen (bijv. partities, ontkenningen, conjuncties).
Product-Structuur Dichotomie (Stelling 3.3): Het artikel stelt een noodzakelijke en voldoende voorwaarde vast opdat lokale coherentie globale coherentie impliceert. Onder "eigenaar-geselecteerde aggregatie" (waarbij elke component een distincte subset van coördinaten bezit), is globale coherentie gegarandeerd dan en slechts dan als de gezamenlijke polytoep factoriseert als een Cartesisch product van lokale polytoepen ( $M_\star = M_\boxtimes$ ). Als er koppelingbeperkingen tussen componenten bestaan (bijv. een partitie die optelt tot 1), is lokale coherentie onvoldoende, en is $\varepsilon^\star > 0$ mogelijk.
Magnitudevoorspelling (Corollarium 3.9): De verwachte kwadratische residu wordt voorspeld door een Rayleigh-kwotiënt-vorm gebaseerd op de covariantie van het specialistenpanel en de normaalvector van de bindende beperking. Dit maakt een gesloten-vorm voorspelling van de magnitude van incoherentie mogelijk voordat routing plaatsvindt.
Blootstellingsgrens (Corollarium 3.5): Volgens het Fundamentele Stelling van de Prijsstelling van Activa (FTAP) is de systeemniveau Dutch-book-blootstelling begrensd door $\sqrt{m^\star} \varepsilon^\star$ , waarbij $m^\star$ het aantal gezamenlijke coördinaten is.

Algorithmische Reparatie

Hiërarchische Boyle–Dykstra-projectie: Om incoherente composities deterministisch te repareren, stellen de auteurs een cyclisch projectie-algoritme voor. Dit projecteert de samengestelde quote iteratief op lokale polytoepen en de koppelingsset (beperkingen) tot convergentie naar de gezamenlijke coherente polytoep.
Sequentiële Monitoring: Een tijdsgeldig e-proces wordt geïntroduceerd om stromen van compositie-residu's in de tijd te monitoren, waardoor operators aanhoudende incoherentie kunnen detecteren zonder van tevoren een stophorizon vast te stellen.

Experimentele Opstelling

De auteurs evalueerden 1.876 ensemble-cliques over vier klassen van logische relaties: Ontkenning, Conjunctie, Disjunctie en Partitie.

Modellen: Een midden-tier panel (Claude-Haiku-4.5, GPT-5.4-mini/nano, Llama-3.3-70b) en een frontier-panel (inclusief GPT-5.5, Claude-Opus-4.7, DeepSeek-V3.2).
Benchmarks: Paleka (consistentie over vragen) en Polymarket (partitie-evenementen).
Protocollen: Willekeurige toewijzing van vragen aan specialisten, gestructureerde routing, en planner-discretie-harnassen.

3. Belangrijkste Resultaten

Empirische Bevindingen

Prevalentie van Incoherentie: $\varepsilon^\star > 0$ werd waargenomen bij 33–94% van de cliques, afhankelijk van de relatieklasse. Partitietaken vertoonden het hoogste faalpercentage (94%), gevolgd door ontkenning (66%), disjunctie (43%) en conjunctie (33%).
Magnitudevoorspelling: De Rayleigh-kwotiënt-voorspelling stemde binnen 7% overeen met waargenomen residu's voor drie van de vier relatieklassen. De conjunctieklasse voorspelde licht onder (0,83×) vanwege het panelgemiddelde dat in het interieur van de Fréchet-halfruimte lag, een regime dat door de theorie wordt voorspeld.
Impact op Besluitvorming: Bij 1.770 opgeloste weddenschappen leidde naïeve samenstelling tot een regret van +0,115 nats per weddenschap onder een proportionele toewijzingsregel. Hiërarchische JCD-reparatie reduceerde dit tot bijna nul, wat overeenkomt met de prestaties van een single-LLM-orakel.
Falen van LLM-zijde Mitigaties:
- Retrieval: Het aanvullen van specialisten met zoekhulpmiddelen slaagde er niet in $\varepsilon^\star$ te verminderen; in 20/30 gevallen nam de incoherentie toe.
- Prompt Engineering: Partitie-bewuste prompting verminderde residu's maar liet 53% van de partities achter met $\varepsilon^\star > 0,05$ .
- Aggregator-LLM's: Het delegeren van coherentie aan een aggregator-LLM verminderde het gemiddelde residu, maar resulteerde nog steeds in 15% van de partities die de drempel van 0,05 overschreden en 7% die achteruitgingen ten opzichte van naïeve samenstelling.
- Frontier-modellen: Zelfs met een uitsluitend frontier-panel bleef $\varepsilon^\star > 0$ bestaan bij 97,8% van de partitieweddenschappen, hoewel de magnitude met 39% afnam.

Mechanismevalidatie

Koppelingszichtbaarheid: Een experiment waarbij specialisten expliciet de partitiebeperkingen en peer-quotes te zien kregen ("INFORMED") verminderde $\varepsilon^\star$ significant in vergelijking met geïsoleerde prompts ("BLIND"), wat bevestigt dat het falen voortkomt uit het ontbreken van zichtbaarheid van specialisten op beperkingen tussen componenten.
Routingtopologie: Gestructureerde routing (toewijzen van specifieke modellen aan specifieke relatietypes) elimineerde incoherentie niet, hoewel het de verdeling van residu's veranderde.

4. Bijdragen

Formalisatie van een Faalmodus: Het artikel definieert en karakteriseert het regime "lokaal coherent, globaal incoherent", en bewijst dat per-component kalibratie onvoldoende is voor systeemniveau coherentie onder koppeling.
Runtime Certificaat ( $\varepsilon^\star$ ): Introduceert een distributie-vrije, berekenbare metric voor systeemniveau incoherentie die alleen de samengestelde output en gedeclareerde beperkingen vereist.
Theoretische Dichotomie: Biedt een precieze voorwaarde (Stelling 3.3) voor wanneer lokale coherentie volstaat, met onderscheid tussen product-structuur factorisatie en gekoppelde beperkingen.
Constructieve Reparatie: Demonstreert dat hiërarchische Boyle–Dykstra-projectie $\varepsilon^\star$ deterministisch kan elimineren ten koste van één kwadratisch programmeringsoplossing (QP), en presteert beter dan alle op prompts gebaseerde of LLM-aggregator alternatieven.
Empirische Benchmark: Vestigt een decomposeerbare benchmark waarbij de hardheidsordening (Partitie > Ontkenning > Disjunctie > Conjunctie) overeenkomt met theoretische voorspellingen betreffende de restrictiviteit van polytoepen.

5. Betekenis en Claims

Het artikel stelt dat systeemniveau coherentie een onderscheidend eigenschap is van per-component kalibratie die expliciet moet worden beheerd in multi-agent systemen. De primaire bijdrage is de operationele herformulering van $\varepsilon^\star$ als een runtime-certificaat dat Dutch-book-blootstellingen kan detecteren en repareren die geen enkele individuele component kan identificeren.

De auteurs benadrukken dat:

Prompt engineering en retrieval onvoldoende zijn om dit probleem op te lossen; het falen is structureel aan de samenstelling van geïsoleerde probabilistische voorspellingen.
Geometrische reparatie noodzakelijk en voldoende is om coherentie te herstellen wanneer de koppelingsset expliciet is.
Het falen persisteert over modelgroottes, wat aangeeft dat het verhogen van modelcapaciteit compositiesincoherentie niet inherent oplost.

Het werk positioneert $\varepsilon^\star$ als een kritieke veiligheidsmarge voor hoog-risico toepassingen (voorspelling, besluitvormingsondersteuning) waar logische consistentie van het grootste belang is, en biedt een deterministische oplossing die bestaande methoden voor onzekerheidskwantificatie zoals conformale voorspelling aanvult.