Riepilogo Tecnico: Ragionamento Abduittivo con Senso Comune Probabilistico

1. Enunciato del Problema

Il documento affronta i limiti degli attuali approcci neurosimbolici al ragionamento nei Modelli Linguistici di Grande Dimensione (LLM). Sebbene i metodi esistenti traducano con successo il linguaggio naturale in logica formale e utilizzino risolutori, spesso falliscono perché i risolutori formali non hanno accesso alle necessarie conoscenze di senso comune del mondo (ad esempio, "il bianco è un colore").

I tentativi precedenti di colmare questo divario (ad esempio, LLM-Tres, ARGOS) si basano su un framework di ragionamento abduittivo in cui l'LLM genera premesse mancanti ($L$) per rendere una query ($c$) logicamente implicata dal contesto ($S$). Tuttavia, questi metodi assumono implicitamente un senso comune monolitico: che esista un unico insieme di fatti $L$, universalmente concordato, che tutti accettano come vero.

Gli autori sostengono che questa assunzione è errata. In realtà, le credenze di senso comune variano tra gli individui. Due persone possono essere in disaccordo su una query non a causa di errori di ragionamento, ma perché possiedono insiemi diversi, sebbene difendibili, di credenze di senso comune ($L_1$ vs $L_2$) che portano a conclusioni contraddittorie. Inoltre, assumere un senso comune monolitico rende difficile interpretare la probabilità della verità di una proposizione, riducendola spesso a un punteggio di confidenza non interpretabile piuttosto che a una vera probabilità.

Il Problema Centrale: Come determinare il valore di verità di una query $c$ date le premesse $S$ quando le assunzioni di senso comune necessarie non sono universalmente concordate, ma variano all'interno di una popolazione di ragionatori?

2. Metodologia: Senso Comune Abduittivo Probabilistico (PACS)

Gli autori propongono PACS, un framework che modella il senso comune come una distribuzione probabilistica su una popolazione di ragionatori, piuttosto che come un singolo insieme statico di fatti.

2.1 Quadro Teorico

Gli autori definiscono la Probabilità Abduittiva di una query $c$ come vera come il valore atteso sull'insieme di tutti gli esseri umani ($R$):
$$AP(S, c) \equiv \mathbb{E}_{R} [ \mathbb{1}[S \land L(R) \vdash c] ]$$
dove $L(R)$ rappresenta l'insieme delle credenze di senso comune detenute dal ragionatore $R$. Una query è considerata "abduittivamente vera" se la maggior parte dei ragionatori conclude che è vera.

Poiché il vettore di credenze completo $L$ per qualsiasi individuo è inaccessibile, il metodo approssima questa aspettativa campionando sequenzialmente singoli "pensieri" (enunciati epistemici).

2.2 L'Algoritmo di Campionamento

L'algoritmo tratta la ricerca di una prova come un processo di campionamento di elementi individuali di un vettore di credenze $L = (L_1, L_2, \dots, L_{|D|})$.

1. Campionamento con Regola della Catena: Il processo campiona le credenze una alla volta utilizzando la regola della catena: $p(L) = p(L_1)p(L_2|L_1)\dots$.
2. Arresto Anticipato: Il campionamento non richiede la generazione dell'intero vettore di credenze. Si interrompe non appena le credenze accumulate $\hat{l}$ combinate con le premesse $S$ implicano logicamente la query ($S \land \hat{l} \vdash c$) o la sua negazione ($S \land \hat{l} \vdash \neg c$).
3. Ottimizzazione come MDP: La ricerca dell'ordine ottimale per campionare le credenze al fine di minimizzare il costo computazionale (tempo di arresto) è formulata come un Processo Decisionale di Markov (MDP).
   • Stato: L'insieme corrente di credenze campionate.
   • Azione: Selezionare la prossima proposizione di credenza da campionare.
   • Ricompensa: Minimizzare il numero atteso di passi futuri per raggiungere una conclusione.

2.3 Funzione di Punteggio Surrogata

Calcolare la ricompensa attesa esatta richiede la conoscenza della distribuzione completa $p(L)$, che è intrattabile. Gli autori derivano un punteggio surrogato trattabile basato sul conteggio dei modelli (il numero di mondi possibili che soddisfano la logica).
Il punteggio proposto da minimizzare in modo greedy è:
$$\text{Score}(\phi(t)|S) = \#\sigma_{S \land l_{\phi(1:t)}} \times (v_{S \land \hat{l}_t} - b_{S \land \hat{l}_t}) + 1$$
Dove:

• $\#\sigma$ è il numero di stati completamente vincolati raggiungibili.
• $v$ è il numero totale di variabili nel problema.
• $b$ è il numero di variabili già vincolate.
  Questo punteggio approssima la riduzione dell'incertezza, guidando la ricerca verso le assunzioni di senso comune più informative.

2.4 Implementazione

• LLM come Campionatore: L'LLM funge da campionatore condizionale per la prossima proposizione di credenza $l_i$.
• Ricerca di Tipo Beam: L'algoritmo campiona $n$ pensieri candidati a ogni passo, ma mantiene i percorsi con i punteggi più alti ($m$) (una variante della ricerca beam).
• Aggregazione: A differenza della ricerca beam standard che seleziona il singolo percorso con il punteggio più alto, PACS aggrega i risultati di tutti i percorsi di ricerca completati. La risposta finale è determinata da un voto di maggioranza tra le conclusioni di questi percorsi diversi.

3. Contributi Chiave

1. Framework di Senso Comune Probabilistico: Il documento introduce una definizione formale del ragionamento abduittivo che modella esplicitamente l'eterogeneità delle credenze di senso comune umane, allontanandosi dall'assunzione di una verità monolitica.
2. Algoritmo PACS: Un algoritmo innovativo che combina LLM e risolutori di logica formale per campionare percorsi di ragionamento diversi, utilizzando il conteggio dei modelli per guidare la ricerca verso spiegazioni minime.
3. Validazione Empirica: Dimostrazione che modellare la variazione delle credenze e aggregare percorsi diversi porta a una maggiore accuratezza rispetto ai metodi che assumono un singolo percorso di ragionamento "corretto" o si affidano esclusivamente ai punteggi di confidenza degli LLM.

4. Risultati Sperimentali

Gli autori hanno valutato PACS su tre dataset: FOLIO (ragionamento logico), CosmosQA e QUAIL (comprensione del testo convertita in vero/falso).

• Prestazioni: PACS ha superato Chain-of-Thought (COT), Self-Consistency (SC) e i precedenti metodi neurosimbolici (LoT, LLM-Tres, ARGOS) su FOLIO e QUAIL.
  • Su FOLIO, PACS ha raggiunto un'accuratezza dell'88% (utilizzando Llama 3.3 70B), rispetto al 78% del metodo neurosimbolico successivo migliore (ARGOS) e al 73% per COT.
  • Su QUAIL, PACS ha raggiunto il 91%, superando la baseline euristica di ricerca beam (If-Beam) del 6%.
• Diversità e Robustezza: PACS ha ridotto significativamente la percentuale di problemi per cui nessun percorso di ragionamento corretto è stato trovato (ad esempio, il 3% su FOLIO contro il 16% per If-Beam). Ciò indica che PACS esplora lo spazio delle soluzioni in modo più efficace.
• Confronto con Modelli "Pensanti": Anche utilizzando un modello più piccolo e non "pensante" (Llama 3 8B), PACS ha superato un moderno modello "pensante" da 120B (GPT-OSS-120B) su FOLIO (82% contro 82% su QUAIL, ma 88% contro 82% su FOLIO), suggerendo che algoritmi di ricerca principiali possono essere più efficaci del semplice aumento della scala del modello.
• Lunghezza del Percorso: PACS ha trovato percorsi di ragionamento più brevi (lunghezza media 4.6 su FOLIO) rispetto a If-Beam (6.7), indicando una migliore pianificazione e meno "sovra-pensiero".

5. Significato e Affermazioni

Il documento afferma che il successo di PACS convalida due intuizioni fondamentali:

1. L'Eterogeneità è Fondamentale: I sistemi di ragionamento non dovrebbero chiedere "Qual è la risposta corretta?" ma "Cosa direbbe la maggior parte delle persone che è corretto?". Ciò richiede di sommare su razionali di campionamento diversi piuttosto che cercare una singola prova monolitica.
2. Ricerca Orientata agli Obiettivi: I sistemi non dovrebbero chiedere "Quali sono alcune affermazioni vere?" ma "Quali affermazioni vere mi aiuteranno a risolvere questo problema?". Ciò necessita di una strategia di minimizzazione (trovare il percorso più breve e diretto) piuttosto che di una generazione esaustiva.

Gli autori concludono che il loro framework, nonostante utilizzi assunzioni relativamente naive (ad esempio, distribuzione uniforme delle soluzioni), dimostra che progettare algoritmi di ricerca concreti e principiali è un percorso più efficiente per migliorare le capacità di ragionamento rispetto al semplice fine-tuning degli LLM o all'affidamento alla loro confidenza implicita.

6. Limitazioni

Gli autori riconoscono diverse limitazioni:

• Assunzione di Uniformità: La derivazione del punteggio surrogato assume un modello uniforme per la distribuzione degli stati raggiungibili ($p(\sigma_i|l)$), il che è probabilmente irrealistico.
• Errori di Traduzione: Il metodo si basa su un LLM pre-addestrato per tradurre il linguaggio naturale in logica. Errori in questo passaggio di traduzione introducono rumore, notato in particolare nel dataset CosmosQA dove gli errori di traduzione erano più frequenti.
• Ambito: Il documento non esplora il fine-tuning di un modello dedicato alla traduzione logica, né propone un modello più complesso per la distribuzione delle credenze, considerandoli al di fuori dell'attuale ambito di applicazione.