Technische Samenvatting: BayesAgent – Bayesiaanse Agentische Redenering onder Onzekerheid via Verbaliseerde Probabilistische Grafische Modellering

Probleemstelling

Hoewel Large Language Model (LLM) agenten indrukwekkende emergente redeneer- en besluitvormingscapaciteiten hebben getoond via paradigma's zoals Chain-of-Thought (CoT) en tool-verrijkte interactie (bijv. ReAct, Toolformer), ontbreekt het hen aan een principieel kader voor het vastleggen van latente structuren en het modelleren van onzekerheid. Menselijke cognitie blinkt uit in het overstijgen van zintuiglijke input om latente representaties te vormen die begrip structureren, een diepgang van inzicht die door AI-systemen nog niet volledig is bereikt. Huidige LLM-agenten worstelen vaak in onzekere of gedeeltelijk observeerbare omgevingen omdat ze vertrouwen op oppervlakkige linguïstische correlaties in plaats van expliciete Bayesiaanse geloofsuppletie (belief updating). Bovendien vereisen traditionele probabilistische methoden (bijv. standaard Bayesiaanse inferentie of Probabilistische Grafische Modellen) doorgaans aanzienlijke domeinexpertise voor handmatige modelontwerp en validatie, wat hen minder geschikt maakt voor scenario's met beperkte aannames of schaarse data.

Methodologie: Verbalized Probabilistic Graphical Modeling (vPGM)

De auteurs introduceren Verbalized Probabilistic Graphical Modeling (vPGM), een Bayesiaans agentisch kader dat de brug slaat tussen LLM-agenten en Probabilistische Grafische Modellen (PGM's) om te redeneren onder onzekerheid. In tegen tegenstelling tot traditionele benaderingen omzeilt vPGM expertgestuurd modelontwerp door gebruik te maken van de eigen kennis en redeneercapaciteiten van de LLM om Bayesiaanse principes in natuurlijke taal te simuleren.

Het kader werkt via drie kernfasen:

1. Grafische Structuurontdekking: De LLM wordt geprompt om latente variabelen ($Z$) en hun probabilistische afhankelijkheden te identificeren op basis van de taakbeschrijving en de inputdata. In plaats van expliciete wiskundige distributies te definiëren, genereert de LLM natuurlijke taalbeschrijvingen van Conditionele Kansverdelingen (CPD's), zoals $P(Z_i | Pa(Z_i))$, waarbij $Pa(Z_i)$ de ouder-variabelen vertegenwoordigt.
2. Prompting-gebaseerde Inferentie: Gegeven nieuwe inputdata ($X$), wordt de LLM begeleid bij het afleiden van verbaliseerde posterieure verdelingen voor elke latente variabele. Deze stap simuleert het Bayesiaanse inferentieproces, waardoor de agent in staat is de waarschijnlijkheid van latente toestanden te beoordelen (bijv. de relevantie van opgehaalde kennis of de nauwkeurigheid van een beeldonderschrift) op basis van geobserveerd bewijs.
3. Voorspellingen onder Onzekerheid: Eindvoorspellingen ($Y$) worden gegenereerd door de verwachte waarde van de conditionele predictieve verdeling over de afgeleide latente variabelen te berekenen:
   $$E_{P(Z|X)}[P(Y|Z)] \approx \sum_Z P(Y|Z)P(Z|X)$$
   Dit stelt het systeem in staat om de onzekerheid van meerdere latente factoren (bijv. ruis in tool-outputs) te aggregeren in een uiteindelijke betrouwbaarheidsscore.

Uitbreiding: BayesVPGM

Om de onzekerheidskwantificatie verder te verbeteren, stellen de auteurs BayesVPGM voor, dat numerieke Bayesiaanse inferentie incorporeert. Deze uitbreiding behandelt de meervoudige respons-samples gegenereerd door de LLM als categorische voorspellingen afkomstig uit een onderliggende verdeling.

• Posterieure Inferentie: Er wordt een Dirichlet-prior geplaatst op de categorie-waarschijnlijkheden, geïnformeerd door de initiële numerieke waarschijnlijkheden van de vPGM. De posterieure verdeling wordt bijgewerkt met behulp van de frequentie van geobserveerde labels uit meerdere LLM-queries.
• Differentieerbare Kalibratie: Om de afstemming van de priorsterkte (hyperparameter $\lambda$) te automatiseren, is een differentieerbare kalibratiefout geïntroduceerd. Deze fout combineert standaard classificatiefout met een klasse-specifieke uitlijningsterm (gebaseerd op Expected Calibration Error) om $\lambda$ te optimaliseren via gradiëntgebaseerde methoden (bijv. L-BFGS), waardoor wordt gewaarborgd dat de uiteindelijke predictieve verdeling een evenwicht vindt tussen empirische labelfrequenties en de initiële probabilistische overtuigingen van het model.

Belangrijkste Bijdragen

• Nieuw Kader: Het eerste werk dat de brug slaat tussen LLM-agenten en PGM's voor agentische redenering onder onzekerheid, waarbij een methode wordt geïntroduceerd die geen handmatig expert-modelontwerp vereist.
• Verbaliseerde PGM's: Een mechanisme om grafische structuren en CPD's in natuurlijke taal te coderen, wat de afhankelijkheid van domeinexpertise en parameteroptimalisatie vermindert.
• Verbeterde Kalibratie: Een verenigd kader dat LLM-redenering combineert met numerieke Bayesiaanse inferentie om de betrouwbaarheidskalibratie aanzienlijk te verbeteren.
• Differentieerbare Optimalisatie: Een theoretisch gefundeerde aanpak voor het leren van kalibratie-hyperparameters via een differentieerbare verliesfunctie, wat de beperkingen van handmatige afstemming aanpakt.

Experimentele Resultaten

De auteurs evalueerden vPGM en BayesVPGM op twee primaire benchmarks:

1. ScienceQA (Gesloten vragen): Een multimodale wetenschappelijke vraagbeantakingstaak die integratie van informatie uit meerdere bronnen vereist (bijv. Bing search, beeldonderschriften).
   • Prestaties: vPGM en BayesVPGM presteerden significant beter dan de baselines (CoT, Chameleon, en Chameleon+ met self-consistency) in zowel nauwkeurigheid als Expected Calibration Error (ECE).
   • Kalibratie: Terwijl Chameleon een hoge overmoed vertoonde (ECE $\approx$ 9.62), bereikte BayesVPGM een bijna perfecte kalibratie (ECE $\approx$ 1.05 met $N=3$ latente variabelen), wat nauw aansluit bij de ideale diagonale kalibratiecurve.
   • Kwalitatieve Analyse: Casestudies toonden aan dat BayesVPGM effectief discrepanties in opgehaalde informatie identificeert (bijv. irrelevante Bing search resultaten of onnauwkeurige beeldonderschriften) en de betrouwbaarheid op de juiste wijze verlaagt, terwijl baseline-modellen een hoge betrouwbaarheid behielden ondanks de fouten.
2. ChatCoach (Open vragen): Een multi-agent medisch coaching-scenario gericht op de detectie en correctie van onnauwkeurigheden in medische terminologie.
   • Het kader werd toegepast op deze open-ended taak om generaliseerbaarheid te demonstreren, hoewel BayesVPGM (dat categorische outputs veronderstelt) hier niet werd toegepast.

Betekenis en Claims

Het artikel beweert dat vPGM een kritiek gat in agentische AI adresseert: het gebrek aan een principieel kader voor het modelleren van latente structuren en onzekerheid. Door LLM's te begeleiden bij het simuleren van Bayesiaanse redeneerprincipes, verbetert de methode de betrouwbaarheid van compositionele redeneersystemen. De auteurs stellen dat hun aanpak bijzonder geschikt is voor scenario's met beperkte aannames of schaarse data, omdat het de noodzaak voor uitgebreide domeinexpertise die gebruikelijk is bij traditionele probabilistische modellering omzeilt. De resultaten wijzen erop dat het integreren van verbaliseerde PGM's met numerieke Bayesiaanse inferentie zowel de kwaliteit van tekstgeneratie als de kalibratie van het vertrouwen van LLM-agenten effectief verbetert.