Technische Samenvatting: Abductief Redeneren met Probabilistische Gezonde Verstand

1. Probleemstelling

Het artikel behandelt de beperkingen van huidige neurosymbolische benaderingen voor redeneren in Large Language Models (LLMs). Hoewel bestaande methoden natuurlijke taal succesvol vertalen naar formele logica en gebruikmaken van oplosprogramma's, falen ze vaak omdat formele oplosprogramma's geen toegang hebben tot de benodigde gezonde verstandswaarden (bijvoorbeeld: "wit is een kleur").

Eerdere pogingen om deze kloof te overbruggen (bijvoorbeeld LLM-Tres, ARGOS) vertrouwen op een raamwerk voor abductief redeneren waarbij de LLM ontbrekende premissen ($L$) genereert om een query ($c$) logisch afleidbaar te maken vanuit de context ($S$). Deze methoden gaan echter impliciet uit van een monolithisch gezond verstand: dat er een enkele, universeel overeengekomen set feiten $L$ bestaat die iedereen als waar accepteert.

De auteurs betogen dat deze aanname onjuist is. In werkelijkheid variëren gezond verstandsovertuigingen tussen individuen. Twee personen kunnen het oneens zijn over een query niet vanwege redeneerfouten, maar omdat ze verschillende, maar verdedigbare sets gezond verstandsovertuigingen ($L_1$ versus $L_2$) aanhouden die tot tegenstrijdige conclusies leiden. Bovendien maakt het aannemen van een monolithisch gezond verstand de waarschijnlijkheid van de waarheid van een propositie moeilijk interpreteerbaar, waarbij deze vaak wordt gereduceerd tot een niet-interpretabele zekerheidsscore in plaats van een echte waarschijnlijkheid.

Het Kernprobleem: Hoe bepaal je de waarheidswaarde van een query $c$ gegeven premissen $S$ wanneer de benodigde gezond verstandsaannames niet universeel worden overeengekomen, maar variëren binnen een populatie van redenaars?

2. Methodologie: Probabilistisch Abductief Gezond Verstand (PACS)

De auteurs stellen PACS voor, een raamwerk dat gezond verstand modelleert als een probabilistische verdeling over een populatie van redenaars in plaats van als een enkele statische set feiten.

2.1 Theoretisch Kader

De auteurs definiëren de Abductieve Waarschijnlijkheid van een query $c$ als waar als de verwachte waarde over de set van alle mensen ($R$):
$$AP(S, c) \equiv \mathbb{E}_{R} [ \mathbb{1}[S \land L(R) \vdash c] ]$$
waarbij $L(R)$ de set gezond verstandsovertuigingen vertegenwoordigt die door redenaar $R$ wordt aangehouden. Een query wordt als "abductief waar" beschouwd als de meerderheid van de redenaars zou concluderen dat deze waar is.

Omdat de volledige overtuigingsvector $L$ voor elk individu ontoegankelijk is, benadert de methode deze verwachting door individuele "gedachten" (epistemische uitspraken) sequentieel te bemonsteren.

2.2 Het Bemonsteringsalgoritme

Het algoritme behandelt het zoeken naar een bewijs als een proces van het bemonsteren van individuele elementen van een overtuigingsvector $L = (L_1, L_2, \dots, L_{|D|})$.

1. Kettingregel-bemonstering: Het proces bemonstert overtuigingen één voor één met gebruik van de kettingregel: $p(L) = p(L_1)p(L_2|L_1)\dots$.
2. Vroegtijdige Stop: Het bemonsteren vereist niet het genereren van de volledige overtuigingsvector. Het stopt zodra de opgebouwde overtuigingen $\hat{l}$ gecombineerd met premissen $S$ de query logisch impliceren ($S \land \hat{l} \vdash c$) of zijn ontkenning ($S \land \hat{l} \vdash \neg c$).
3. Optimalisatie als MDP: Het vinden van de optimale volgorde om overtuigingen te bemonsteren om de rekenkosten (stoptijd) te minimaliseren, wordt geformuleerd als een Markov Beslissingsproces (MDP).
   • Toestand: De huidige set bemonsterde overtuigingen.
   • Actie: Het selecteren van de volgende overtuigingspropositie om te bemonsteren.
   • Beloning: Het minimaliseren van het verwachte aantal toekomstige stappen om tot een conclusie te komen.

2.3 Surrogaat Scorefunctie

Het berekenen van de exacte verwachte beloning vereist kennis van de volledige verdeling $p(L)$, wat onuitvoerbaar is. De auteurs leiden een uitvoerbare surrogaatscore af op basis van modeltelling (het aantal mogelijke werelden dat voldoet aan de logica).
De voorgestelde score om gretig te minimaliseren is:
$$\text{Score}(\phi(t)|S) = \#\sigma_{S \land l_{\phi(1:t)}} \times (v_{S \land \hat{l}_t} - b_{S \land \hat{l}_t}) + 1$$
Waarbij:

• $\#\sigma$ het aantal volledig beperkte bereikbare staten is.
• $v$ het totale aantal variabelen in het probleem is.
• $b$ het aantal variabelen is dat al beperkt is.
  Deze score benadert de reductie in onzekerheid en leidt het zoeken naar de meest informatieve gezond verstandsaannames.

2.4 Implementatie

• LLM als Bemonsteraar: De LLM fungeert als een conditionele bemonsteraar voor de volgende overtuigingspropositie $l_i$.
• Beam-achtige Zoeking: Het algoritme bemonstert $n$ kandidaat-gedachten bij elke stap, maar behoudt de bovenste $m$ scoresporen (een variant van beam search).
• Aggregatie: In tegenstelling tot standaard beam search, dat het enkelvoudig hoogst scorende spoor selecteert, aggregeert PACS de resultaten van alle voltooide zoeksporen. Het definitieve antwoord wordt bepaald door een meerderheidsstem over de conclusies van deze diverse sporen.

3. Belangrijkste Bijdragen

1. Probabilistisch Gezond Verstand Raamwerk: Het artikel introduceert een formele definitie van abductief redeneren die expliciet de heterogeniteit van menselijke gezond verstandsovertuigingen modelleert, weg van de aanname van een monolithische waarheid.
2. PACS Algoritme: Een nieuw algoritme dat LLM's en formele logische oplosprogramma's combineert om diverse redeneersporen te bemonsteren, gebruikmakend van modeltelling om het zoeken naar minimale verklaringen te sturen.
3. Empirische Validatie: Aantonen dat het modelleren van variatie in overtuigingen en het aggregeren van diverse sporen leidt tot hogere nauwkeurigheid dan methoden die uitgaan van een enkel "correct" redeneerspoor of uitsluitend vertrouwen op LLM zekerheidsscores.

4. Experimentele Resultaten

De auteurs evalueerden PACS op drie datasets: FOLIO (logisch redeneren), CosmosQA, en QUAIL (leesbegrip omgezet naar waar/onwaar).

• Prestaties: PACS presteerde beter dan Chain-of-Thought (COT), Self-Consistency (SC) en eerdere neurosymbolische methoden (LoT, LLM-Tres, ARGOS) op FOLIO en QUAIL.
  • Op FOLIO behaalde PACS 88% nauwkeurigheid (met Llama 3.3 70B), vergeleken met 78% voor de volgende beste neurosymbolische methode (ARGOS) en 73% voor COT.
  • Op QUAIL behaalde PACS 91%, wat de heuristische beam-search baseline (If-Beam) met 6% overtrof.
• Diversiteit en Robuustheid: PACS verminderde significant het percentage problemen waarbij geen correct redeneerspoor werd gevonden (bijvoorbeeld 3% op FOLIO versus 16% voor If-Beam). Dit geeft aan dat PACS de oplossingsruimte effectiever verkent.
• Vergelijking met "Denkende" Modellen: Zelfs bij gebruik van een kleiner, niet-denkend model (Llama 3 8B) presteerde PACS beter dan een modern 120B "denkend" model (GPT-OSS-120B) op FOLIO (82% versus 82% op QUAIL, maar 88% versus 82% op FOLIO), wat suggereert dat principiële zoekalgoritmen effectiever kunnen zijn dan het schalen van modelgrootte alleen.
• Spoorlengte: PACS vond kortere redeneersporen (gemiddelde lengte 4,6 op FOLIO) vergeleken met If-Beam (6,7), wat wijst op betere planning en minder "overdenken".

5. Betekenis en Beweringen

Het artikel beweert dat het succes van PACS twee kerninzichten valideert:

1. Heterogeniteit is Sleutel: Redeneersystemen zouden niet moeten vragen "Wat is het juiste antwoord?" maar "Wat zouden de meeste mensen zeggen dat correct is?". Dit vereist het optellen over diverse bemonsterde rationales in plaats van het zoeken naar een enkel monolithisch bewijs.
2. Doelgerichte Zoeking: Systemen zouden niet moeten vragen "Wat zijn enkele ware uitspraken?" maar "Welke ware uitspraken zullen mij helpen dit probleem op te lossen?". Dit vereist een minimalisatiestrategie (het vinden van het kortste, meest directe pad) in plaats van exhaustieve generatie.

De auteurs concluderen dat hun raamwerk, ondanks het gebruik van relatief naïeve aannames (bijvoorbeeld een uniforme verdeling van oplossingen), aantoont dat het ontwerpen van concrete, principiële zoekalgoritmen een efficiëntere weg is om redeneercapaciteiten te verbeteren dan het simpelweg fijnafstemmen van LLM's of vertrouwen op hun impliciete zekerheid.

6. Beperkingen

De auteurs erkennen verschillende beperkingen:

• Uniformiteitsaanname: De afleiding van de surrogaatscore gaat uit van een uniform model voor de verdeling van bereikbare staten ($p(\sigma_i|l)$), wat waarschijnlijk onrealistisch is.
• Vertaalfouten: De methode vertrouwt op een voorgetrainde LLM om natuurlijke taal naar logica te vertalen. Fouten in deze vertaalfase introduceren ruis, wat vooral opvalt in de CosmosQA-dataset waar vertaalfouten frequenter waren.
• Reikwijdte: Het artikel onderzoekt niet het fijnafstemmen van een dedicated logisch vertaalmodel, noch stelt het een complexer model voor de overtuigingsverdeling voor, aangezien deze buiten het huidige bereik worden geacht.