🤖 AI

Runtime Uncertainty Monitoring for LLM-Based Multi-Agent Systems Using Bayesian Networks

Dit artikel stelt een multi-agent framework voor voor actuariële risicomodellering dat gebruikmaakt van token-niveau log-waarschijnlijkheden en Bayesiaanse netwerken om runtime-onzekerheid te kwantificeren en te propageren, wat betrouwbare besluitvormingsondersteuning garandeert in hoogwaardige op LLM gebaseerde workflows.

Oorspronkelijke auteurs: Bart Custers, Koorosh Aslansefat

Gepubliceerd 2026-07-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bart Custers, Koorosh Aslansefat

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen strikte instructies volgen, maar ook echt kunnen "chatten" en "nadenken" over complexe taken. Dit is het domein van Artificiële Intelligentie, specifiek een tak genaamd Large Language Models (LLM's). Denk aan deze modellen als ongelooflijk goed geïnformeerde studenten die bijna alles op het internet hebben gelezen. Ze zijn geweldig in het schrijven van verhalen, het beantwoorden van vragen en zelfs het oplossen van wiskundige problemen. Er is echter een addertje onder het gras: ze zijn een beetje zoals een creatieve schrijver die soms dingen verzint (wat "hallucinaties" wordt genoemd) of van gedachten verandert als je dezelfde vraag twee keer stelt.

Stel je nu voor dat je een beslissing van leven of dood moet nemen, zoals het bepalen van hoeveel je voor een autoverzekering moet rekenen. Je kunt niet zomaft een van deze AI-studenten een gokje laten wagen; je hebt een heel team nodig dat samenwerkt. Dit is waar Multi-Agent Systemen om de hoek komen kijken. In plaats van één robot die alles doet, heb je een team van specialisten: de een verzamelt de gegevens, een ander bouwt het wiskundige model, een derde controleert op fouten, en een vierde legt de resultaten uit. De grote vraag die wetenschappers stellen is: "Als één van deze AI-teamleden in de war raakt of een fout maakt, hoe weten we dat dan voordat het hele project mislukt?" Dit artikel duikt in dat exacte probleem en probeert een vangnet te bouwen voor AI-teams die werken aan financiële taken met hoge belangen.

Het AI-team en de "Vertrouwensmeter"

In dit onderzoek heeft de onderzoekers een digitale verzekeringsmaatschappij opgezet die wordt gerund door een team van AI-agenten. Ze lieten de AI niet zoma van zichzelf willekeurig chatten; ze bouwden een strikte workflow met een "Centraal Knooppunt" dat fungeert als een projectmanager. Deze manager wijst taken toe aan vier specifieke AI-specialisten:

De Data Prep Agent: Ruimt de rommelige cijfers op.
De Modelling Agent: Bouwt de wiskunde voor de risicovoorspelling.
De Reviewing Agent: Controleert het werk op fouten.
De Explanation Agent: Zorgt ervoor dat de resultaten logisch en eerlijk zijn.

Het lastige deel is dat deze AI-agenten probabilistisch zijn, wat betekent dat ze niet elke keer één "juist" antwoord geven. Ze genereren tekst woord voor woord, en voor elk woord heeft de computer een kleine "log-waarschijnlijkheid"—een getal dat aangeeft hoe waarschijnlijk het model dacht dat dat specifieke woord de volgende zou zijn. Meestal kijken mensen alleen naar het uiteindelijke antwoord. Maar dit artikel suggereert een slimme truc: luister naar het gefluister van de zelfverzekerdheid van de AI.

De auteurs realiseerden zich dat je de interne zelfverzekerdheidscijfers van de AI niet zomaar kunt nemen en kunt zeggen: "Dit is 90% correct." Dat is also wordt aangenomen dat een vloeiend sprekende student per definitie de waarheid spreeft. In plaats daarvan creëerde het team een systeem om die ruwe zelfverzekerdheid-fluisteringen te vertalen naar een Bayesiaans Netwerk.

Het Bayesiaanse Netwerk: Een Digitale Rimpeling

Denk aan het Bayesiaanse Netwerk als een gigantisch, interactief stroomdiagram van dominosteentjes. Elk steentje vertegenwoordigt een stap in de verzekeringsworkflow. Als het eerste steentje (Data Prep) wankelt, kan het het tweede (Modelling) omverwerpen, wat vervolgens het derde (Reviewing) kan doen omvallen.

De onderzoekers gebruikten de interne zelfverzekerdheidsscores van de AI om de "wankelfactor" voor elk steentje in te stellen. Ze behandelden de zelfverzekerdheid van de AI niet als een garantie voor de waarheid. In plaats daarvan kalibreerden ze het met testruns om te zien hoe vaak de AI daadwerkelijk gelijk had wanneer hij zich zelfverzekerd voelde. Vervolgens voerden ze deze gekalibreerde cijfers in het netwerk in.

Het resultaat? Het netwerk kon hen laten zien hoe onzekerheid door het hele systeem rimpelt. Zelfs als elke individuele AI-agent voor 80% zeker was van zijn eigen werk, kon het netwerk berekenen dat de gehele workflow slechts een kans van 55% had om succesvol te zijn, omdat de kleine twijfels bij elkaar optelden. Het is als een keten van vier mensen die een emmer water doorgeven; als elke persoon voor 80% zeker is dat hij hem niet zal morsen, kan de uiteindelijke emmer bij de aankomst aan het einde nog steeds halfleeg zijn.

Wat ze vonden: De Temperatuurtest

Om te zien of hun vangnet werkte, lieten de onderzoekers het AI-team door verschillende "temperaturen" lopen. In AI-taal regelt "temperatuur" hoe willekeurig of creatief de AI is.

Lage Temperatuur (0.2): De AI is zeer conservatief en repetitief.
Hoge Temperatuur (1.2): De AI is wild, creatief en vatbaar voor fouten.

Ze testten vier scenario's:

Veilig Scenario: Iedereen was op lage temperatuur. Het systeem was zeer betrouwbaar, met een succespercentage van 87,1%.
Gemengd Scenario: De data- en model-agents waren rustig, maar de reviewers en explainers waren een beetje wild. Het succes daalde naar 69,0%.
Gemiddeld Scenario: Iedereen stond op een standaard "medium" instelling. Het succes was 59,2%.
Risicovol Scenario: Slechts één agent (de Explanation Agent) werd erg wild. Hoewel de rest kalm was, kelderde het succespercentage van het hele systeem naar 42,8%.

Dit toonde aan dat het systeem zeer gevoelig is. Eén zwakke schakel in de keten kan de betrouwbaarheid van het hele project omlaag halen.

Het Oordeel: Wie betrapte de fouten?

Het team testte de AI-agenten ook door de gegevens stiekem te verstoren (zoals het verbergen van cijfers of het toevoegen van valse ruis) om te zien of de agenten het zouden merken.

Llama 2 en Llama 3.1: Deze modellen waren oké in de taak, maar misten veel van de verborgen fouten. Llama 2 ontdekte slechts 45% van de fouten, en Llama 3.1 ontdekte 65%.
Qwen2.5: Dit model was de ster van de show. Het ontdekte 90% van de fouten en was veel beter in staat om zijn strategie aan te passen wanneer er dingen misgingen.

De studie vond ook dat hoewel de individuele agenten vaak erg zelfverzekerd waren (met scores rond de 0,80 tot 0,90 op zichzelf), de gecombineerde onzekerheid van de hele workflow veel lager was. Bijvoorbeeld, met het Qwen-model waren de individuele agenten zelfverzekerd, maar de uiteindelijke zekerheid van de workflow was slechts 0,6012.

Waarom dit ertoe doet

Dit artikel beweert niet dat het alle problemen van AI in de verzekeringswereld heeft opgelost. In plaats daarvan suggereert het een nieuwe manier om het AI-team in de gaten te houden terwijl ze werken. Door een Bayesiaans Netwerk te gebruiken om bij te houden hoe kleine twijfels zich opstapelen, kunnen we zien wanneer een workflow "onveilig" wordt voordat het een slecht resultaat produceert.

De onderzoekers lieten zien dat deze methode standaard actuariële resultaten (de wiskunde die wordt gebruikt om verzekeringen te prijzen) kan reproduceren, terwijl het ons een duidelijk beeld geeft van de stabiliteit van het systeem. Het suggereert dat we in banen met hoge belangen niet alleen de uiteindelijke AI-antwoord moeten vertrouwen; we moeten luisteren naar de "fluisteringen" van de zelfverzekerdheid en kijken hoe die fluisteringen door het team reizen. Als één agent onzeker begint te klinken, moet het hele systeem weten om te pauzeren en te controleren, om te voorkomen dat een kleine fout een financiële ramp wordt.

Technische Samenvatting: Monitoring van Runtime-onzekerheid voor LLM-gebaseerde Multi-Agent Systemen middels Bayesiaanse Netwerken

Probleemstelling

De integratie van Large Language Model (LLM)-gebaseerde Multi-Agent Systemen (MAS) in hoogwaardige domeinen zoals actuariële risicomodellering brengt aanzienlijke uitdagingen met zich mee wat betreft betrouwbaarheid en transparantie. Hoewel LLM's het potentieel bieden om complexe workflows te automatiseren die data-preparatie, modelontwikkeling en validatie omvatten, introduceert hun probabilistische aard risico's zoals hallucinaties, variabiliteit tussen runs en een gebrek aan verklaarbaarheid. In gereguleerde verzekeringsomgevingen kunnen onbetrouwbare outputs leiden tot foutieve risicobeoordelingen, onrechtvaardige prijsstelling en het niet voldoen aan regelgeving. Er bestaat een kritieke kloof in huidige benaderingen: bestaande evaluatiemetrieken richten zich vaak op taakspecifieke nauwkeurigheid, maar slagen er niet in te vatten hoe onzekerheid ontstaat en voortplant door onderling afhankelijke agent-workflows. Bovendien vertalen standaard onzekerheidsschattingen (zoals token-niveau log-waarschijnlijkheden) zich niet direct naar de waarschijnlijkheid van taaksucces, noch houden zij rekening met het cumulatieve effect van fouten over een proces met meerdere stappen.

Methodologie

De auteurs stellen een framework voor runtime-veiligheidsmonitoring voor, ontworpen om onzekerheid binnen een LLM-gebaseerd MAS te kwantificeren en voort te planten. De methodologie bestaat uit drie kerncomponenten:

1. Multi-Agent Systeem Architectuur

Het systeem maakt gebruik van een gecentraliseerde star-topologie waarbij een Central Hub vier gespecialiseerde agenten coördineert via berichtoverdracht, waarbij directe communicatie tussen agenten wordt voorkomen om gecontroleerd toezicht te waarborgen:

Data Preparation Agent: Verwerkt data-inname, opschoning en codering.
Modelling Agent: Ontwikkelt voorspellende modellen.
Reviewing Agent: Evalueert de outputs van de data- en modelleringsfasen op consistentie en prestaties.
Explanation Agent: Beoordeelt interpreteerbaarheid, conceptuele alignment (met behulp van Testing with Concept Activation Vectors) en eerlijkheid (via groepsgewijze vergelijkingen).

Het framework maakt gebruik van drie open-source, decoder-only transformer-modellen (Llama 2 7B, Llama 3.1 8B en Qwen2.5 7B) die op lokale machines kunnen draaien.

2. Onzekerheidskwantificatie via Log-waarschijnlijkheden

Het framework extraheert token-niveau log-waarschijnlijkheden ( $log p_\theta$ ) uit LLM-outputs. In het besef dat ruwe log-waarschijnlijkheden worden beïnvloed door sequentielengte en niet direct gelijkstaan aan taaksucces, passen de auteurs een transformatieproces toe:

Lengte-normalisatie: Log-waarschijnlijkheden worden gemiddeld over de sequentielengte $L$ om een samenvattende score $s_i$ te genereren.
Kalibratie: De genormaliseerde score wordt getransformeerd naar een begrensde confidence-feature $q_i = \exp(s_i)$ .
Kalibratiefunctie: Een functie $f_{cal}$ , geschat via validatieruns, brengt $q_i$ in kaart naar een waarschijnlijkheid van succesvolle taakvoltooiing $P(X_i = success | q_i)$ .

3. Bayesiaans Netwerk (BN) voor Voortplanting

Om de afhankelijkheden tussen workflow-stadia te modelleren, worden de gekalibreerde confidence-scores geïntegreerd in een Bayesiaans Netwerk.

Structuur: Elk workflow-stadium (bijv. data-preparatie, review, modellering) is een node. Gerichte randen (directed edges) vertegenwoordigen conditionele afhankelijkheden.
Logica: Het netwerk gebruikt Conditional Probability Tables (CPTs) om te definiëren hoe het succes van een downstream-taak afhangt van het succes van de bovenliggende nodes. Bijvoorbeeld, de uiteindelijke workflow-succesnode wordt gemodelleerd als een "AND"-poort, waarbij alle bovenliggende nodes moeten slagen.
Inferentie: Terwijl de workflow wordt uitgevoerd, werkt de Central Hub het BN bij met nieuwe bewijslast (onzekerheidsscores), waardoor de berekening van posterior waarschijnlijkheden mogelijk wordt. Dit visualiseert hoe onzekerheid accumuleert van individuele agent-outputs naar de uiteindelijke systeemstatus.

Belangrijkste Bijdragen

Het paper presenteert een innovatieve benadering van runtime-monitoring die verder gaat dan statische evaluatie:

Onzekerheidsvoortplantingsframework: Het introduceert een methode om token-niveau log-waarschijnlijkheden te transformeren naar gekalibreerde taak-niveau confidence-schattingen en deze voort te planten via een Bayesiaans Netwerk. Dit modelleert expliciet het onderscheid tussen intrinsieke onzekerheid (bij een enkele stap) en extrinsieke onzekerheid (voortgeplant uit eerdere beslissingen).
Gestructureerd Veiligheidsmechanisme: Het framework biedt een gestructureerde representatie van de stabiliteit van de workflow, in staat om "onveilige" staten te identificeren waarbij onzekerheid in specifieke componenten de algehele betrouwbaarheid van het systeem significant degradeert.
Empirische Validatie in Actuariële Context: De benadering wordt gevalideerd binnen een realistische actuariële workflow, waarbij wordt aangetoond dat het systeem de baseline actuariële prestaties kan reproduceren terwijl het granulaire inzichten biedt in de stabiliteit van de workflow.

Resultaten

De evaluatie werd uitgevoerd over drie LLM-backends met originele en 20 systematisch geperturbeerde datasets (waarbij fouten werden geïntroduceerd zoals ontbrekende waarden, distributieverschuivingen en labelruis).

Prestaties: De MAS behaalde hoge taaksuccespercentages (80–90%) en voorspellende prestaties (RMSE) die vergelijkbaar zijn met baseline actuariële modellen over alle backends.
Onzekerheidsvariantie: Significante verschillen werden waargenomen in de workflow-zekerheid afgeleid van het Bayesiaanse Netwerk. Bijvoorbeeld, terwijl individuele agenten vaak een hoge mate van vertrouwen toonden, verminderde de voortplanting van onzekerheid de algehele workflow-succeswaarschijnlijkheid (bijv. van ~80% individuele zekerheid naar ~55% algehele zekerheid in een standaardscenario).
Temperatuurgevoeligheid: Experimenten waarbij de LLM-temperatuur varieerde, bevestigden dat verhoogde willekeur in agent-responses de waarschijnlijkheid van algemeen workflow-succes direct vermindert. Een "risicovol" scenario met een hoge temperatuur in een enkele agent verlaagde de betrouwbaarheid van het gehele systeem aanzienlijk.
Foutdetectie: De Qwen2.5 7B-backend demonstreerde een superieure foutdetectie (90%) en adaptiviteit vergeleken met de Llama-modellen (45–65%), met name bij het omgaan met distributieve verschuivingen.
Beperkingen: Het systeem toonde gevoeligheid voor distributieve veranderingen (populatieverschuivingen), maar was minder betrouwbaar in het detecteren van ontbrekende waarden of schaarste, wat specifieke verbeterpunten voor de validatieprocedure aanwijst.

Betekenis en Claims

Het paper claimt dat de primaire betekenis ligt in het bieden van een gestructureerde, interpreteerbare methode voor het monitoren van runtime-onzekerheid in LLM-gebaseerde MAS. Door token-niveau signalen te combineren met Bayesiaanse inferentie, biedt het framework een veiligheidsmechanisme dat in staat is om zwakke elementen in een workflow te identificeren voordat deze leiden tot kritieke fouten.

De auteurs hanteren een bescheiden standpunt door te merken dat de huidige implementatie een proof-of-concept vertegenwoordigt. Het Bayesiaanse Netwerk modelleert een geabstraheerde executie-trace in plaats van de volledige dynamische controlelogica (het modelleert bijvoorbeeld momenteel geen iteratieve revisie-loops of temporele ordening buiten directe ouder-kind afhankelijkheden). De auteurs suggereren dat het uitbreiden van het model naar dynamische Bayesiaanse netwerken of invloedsdiagrammen een richting is voor toekomstig werk. Uiteindelijk demonstreert het werk dat het mogelijk is om besluitvorming in kritieke domeinen te ondersteunen met LLM-agents door expliciet de onzekerheid te kwantificeren en te visualiseren die voortplant door complexe, meerstaps workflows.