Technische Samenvatting: ANCHOR

Probleemstelling

In missiekritieke besluitvormingsscenario's met onvolledige informatie is het schatten van betrouwbare conditionele kansen $P(O_i | C)$ voor concurrerende hypothesen een centrale uitdaging. Hoewel Large Language Models (LLM's) voor dergelijke taken steeds vaker worden ingezet, lijden ze onder twee primaire beperkingen: (1) ze produceren vaak numerieke zekerheidsscores die onnauwkeurig en overmoedig zijn, en (2) ze missen een interpreteerbaar, controleerbaar mechanisme voor het afleiden van deze schattingen.

Bestaande benaderingen die LLM-gedreven abductie combineren met Bayesiaanse inferentie (bijvoorbeeld BIRD) proberen dit te mitigeren door verklarende factoren te genereren en een Naïve Bayes-model toe te passen. Deze methoden staan echter voor een dubbele afweging:

1. Schaarste: Voorwaartse abductie levert vaak een schaarse factorenruimte op, wat leidt tot "onbekende" voorspellingen wanneer specifieke voorwaarden niet kunnen worden gekoppeld aan gegenereerde factoren.
2. Ruis en Afhankelijkheid: Het ongedifferentieerd uitbreiden van de factorenruimte om dekking te verbeteren, introduceert statistische ruis en schijnbare correlaties. Dit schendt de conditionele onafhankelijkheidsaanname van Naïve Bayes, waardoor kansschattingen worden vervormd.

Methodologie

De auteurs stellen ANCHOR (Abductive Network Construction with Hierarchical Orchestration for Reliable probability inference) voor, een meerstapskader dat is ontworpen om dichte, hiërarchische factorenruimten te construeren en probabilistische inferentie te orchestreren. Het kader bestaat uit drie kerntappen:

1. Iteratieve Abductie voor Uitbreiding van de Factorenruimte

ANCHOR hanteert een bottom-up abductiestrategie om factorgeneratie te ontkoppelen van structureren:

• Iteratieve Generatie: Beginnen met een lege set, genereert de LLM iteratief diverse ondersteunende of weerleggende zinnen voor een gegeven scenario. Factoren worden uit deze zinnen gehaald, gevalideerd op semantische niet-redundantie, en samengevoegd in een groeiende kandidaatset. Dit proces gaat door tot een doelgrootte is bereikt, wat zorgt voor geometrische convergentie in recall-compleetheid.
• Hiërarchische Organisatie: Zodra een voldoende set factoren is verzameld, organiseert het kader ze in een tweelaagse hiërarchie:
  • Clustering: Factoren worden ingebed (met MiniLM), geprojecteerd naar een lager-dimensionale ruimte (UMAP) en geclusterd met HDBSCAN om samenhangende groepen te ontdekken zonder vooraf clusteraantallen te specificeren.
  • Thematisering: Een LLM wijst beknopte thematische labels (bijvoorbeeld "Economische Haalbaarheid") toe aan elke cluster en snoeit redundante factoren, wat resulteert in een gestructureerde, dichte factorenruimte $\tilde{F}$.

2. Contextbewuste Factorkoppeling

Om een specifieke downstream-voorwaarde $u$ te koppelen aan de hiërarchische factorenruimte, gebruikt ANCHOR een meerstapskader om brute-force zoeken te vermijden:

• Hiërarchisch Ophalen: Er wordt een grof-naar-fijn zoekopdracht uitgevoerd. Eerst worden clusterprototypen (gewogen gemiddelden van thematische labels en lid-factoren-inbeddingen) vergeleken met de voorwaarde om de top-$K_1$ relevante clusters te identificeren. Ten tweede voert een fijnmazige zoekopdracht de top-$K_2$ individuele factoren binnen die clusters op.
• Robuuste Selectie: De opgehaalde kandidaatset ondergaat zelfconsistentiefiltratie (meerdere keren de LLM bevragen om te stemmen over factorerelevantie) en reflectieve verfijning (een zelfkritiekstap om factoren zonder directe relevantie te verwijderen), wat resulteert in een hoogzekerheidsfactorenset $F^*(u)$.

3. Probabilistische Inferentie met Geëliciteerde Parameters

De gekoppelde factoren worden gebruikt om twee probabilistische modellen te construeren, waarvan de output wordt geaggregeerd:

• Naïve Bayes (NB) Model: Gaat uit van conditionele onafhankelijkheid van factoren gegeven het resultaat. Parameters (kansen) worden benaderd met LLM-geëliciteerde posterieure kansen $\phi_f = P(O_1 | f)$.
• Latent-Verrijkt Causaal Bayesiaans Netwerk (CBN): Om de schending van onafhankelijkheid aan te pakken, fungeert de LLM als een causale ontdekkingsmotor om latente variabelen $L$ te identificeren die afhankelijkheden tussen factoren bemiddelen. De structuur is $Outcome \rightarrow L_i \rightarrow f_j$. Factoren zijn alleen conditioneel onafhankelijk wanneer geconditioneerd op hun latente ouder. Parameters voor latente knopen worden eveneens uit de LLM geëliciteerd.
• Aggregatie: De posterieuren van de NB- en CBN-modellen worden gecombineerd met een Linear Opinion Pool (LOP), een gewogen gemiddelde-strategie, om een finale gekalibreerde kansschatting te produceren.

Belangrijkste Bijdragen

1. Meerstaps Abductiekader: Een nieuwe bottom-up aanpak die de factorenruimte iteratief uitbreidt met hoogwaardige factoren en ze organiseert in een hiërarchische structuur, wat "onbekende" voorspellingen in downstream-inferentie aanzienlijk reduceert.
2. Causaal Bayesiaanse Integratie: De integratie van een latent-verrijkt Causaal Bayesiaans Netwerk om afhankelijkheden tussen factoren te modelleren, wat de kanskalibratie verbetert boven de strikte Naïve Bayes-aanname.
3. Efficiënte Orchestratie: Een kader dat state-of-the-art prestaties bereikt in voorkeur-gebaseerde paarwijze evaluaties, terwijl het tegelijkertijd de inferentietijd en token-overhead ten opzichte van baselines aanzienlijk verlaagt.

Experimentele Resultaten

De auteurs hebben ANCHOR geëvalueerd op drie redenerings/plannings-benchmarks (Today, Plasma, Common2Sense) en vier fact-checking datasets (XSum, CNN, ExpertQA, COVID).

• Voorkeur-gebaseerde Evaluatie: Op de Common2Sense-dataset behaalde ANCHOR een micro-gemiddelde F1-score van 60,6% (met Qwen2.5-72B), waarmee het sterke baselines zoals BIRD, CoT en directe LLM-verbalisatie overtrof. Opmerkelijk is dat ANCHOR bijna volledige dekking (99,95%) bereikte zonder handmatige ingreep, terwijl BIRD versoepelde matchingsvoorwaarden nodig had om vergelijkbare dekking te bereiken.
• Besluitvorming: ANCHOR presteerde consistent beter dan baselines op alle datasets. Op moeilijkere taken (bijvoorbeeld ExpertQA, Today) overtrof het zelfs de prestaties van het aanzienlijk grotere DeepSeek-V3-671B-model wanneer de Qwen2.5-72B-backbone werd gebruikt.
• Efficiëntie: ANCHOR toonde aanzienlijke efficiëntiewinsten, met een looptijd van ongeveer 0,74x de tijd en 0,24x de tokens van de BIRD-baseline per scenario, voornamelijk dankzij de hiërarchische ophaalstrategie die downstream-zoekkosten verlaagt.
• Ablatiestudies: Het verwijderen van het Causale Bayesiaanse Netwerk (zonder CBN) of de hiërarchische structuur (zonder hiërarchie) resulteerde in aanzienlijke prestatiedalingen, wat de noodzaak bevestigt van het modelleren van afhankelijkheden en de tweelaagse ophaalstrategie.

Betekenis en Claims

Het artikel stelt dat ANCHOR een robuuste oplossing biedt voor het genereren van betrouwbare en gekalibreerde kansschattingen uit LLM's in scenario's met hoge risico's. Door hiërarchische factorenruimte-construktie te integreren met de orchestratie van Naïve Bayes en Causale Bayesiaanse Netwerken, verbetert het kader de besluitvormingsnauwkeurigheid en de afstemming op menselijke oordelen.

De auteurs positioneren ANCHOR als een beslissingssteunhulpmiddel in plaats van een volledig geautomatiseerde beslisser. Ze erkennen dat biases of gehallucineerde structuren in de door de LLM gegenereerde factorenhiërarchie en geëliciteerde parameters zich kunnen voortplanten in de Bayesiaanse modellen. Derhalve adviseren ze menselijk toezicht, conservatieve abstentie-drempels en routinematige audits van gekoppelde factoren voor implementatie in kritieke toepassingen. Het werk beoogt het praktische nut van LLM's in betrouwbare autonome systemen te vergroten door abstenties ("onbekende" voorspellingen) te verminderen en inferentiekosten te verlagen.