$π$-CoT: Prolog-Initialized Chain-of-Thought Prompting for Multi-Hop Question-Answering

1. Il Problema

Le grandi modelli linguistici (LLM) hanno dimostrato capacità notevoli nel ragionamento tramite il Chain-of-Thought (CoT), che incoraggia il modello a esplicitare i passaggi intermedi. Tuttavia, il CoT standard mostra limiti significativi quando affronta domande multi-hop complesse (domande che richiedono l'integrazione di informazioni da più fonti o passaggi logici concatenati), specialmente in contesti di Retrieval-Augmented Generation (RAG).

I principali fallimenti osservati includono:

• Ragionamento circolare: Il modello si blocca in loop logici.
• Deviazione dal percorso logico: Il modello perde il filo del ragionamento o esplora percorsi irrilevanti.
• Mancanza di coerenza strutturale: La flessibilità naturale del linguaggio porta a un'esplorazione disordinata dello spazio delle soluzioni, fallendo nel mantenere la consistenza logica attraverso catene di ragionamento lunghe.
• Difficoltà nella composizione dei fatti: Anche quando le domande vengono scomposte, i modelli faticano a combinare affidabilmente i fatti estratti in ogni passaggio.

2. Metodologia: π-CoT

Gli autori introducono π-CoT (Prolog-Initialized Chain-of-Thought), una strategia di prompting ibrida che combina il rigore strutturale della programmazione logica (Prolog) con la flessibilità contestuale degli LLM.

Il flusso di lavoro si articola in tre fasi principali:

A. Generazione della Query Prolog

Data una domanda complessa in linguaggio naturale, un LLM viene istruito a riformularla come una query Prolog strutturata. Questa query viene deliberatamente decomposta in una sequenza di sotto-query a singolo hop ($q_1, q_2, ..., q_T$).

• Esempio: "Chi è la moglie del maestro di Difesa contro le Arti Oscure a Hogwarts che è anche un licantropo?" diventa una query con variabili da risolvere sequenzialmente (identificare i maestri, filtrare i licantropi, trovare le mogli).

B. Esecuzione Iterativa con SLICE (Single-step Logical Inference with Contextual Evidence)

Il sistema risolve la query Prolog passo dopo passo utilizzando un modulo chiamato SLICE. Per ogni sotto-query $q_t$:

1. Stato Attuale: Si parte dall'insieme di soluzioni parziali $S_{t-1}$ (inizialmente vuoto).
2. Tipi di Query: Le sotto-query sono di due tipi:
   • Verifica: Conferma se un fatto è vero (es. "X è un licantropo?").
   • Estrazione: Recupera nuovi valori per variabili non assegnate (es. "Chi è la moglie di X?").
3. Interazione LLM-RAG: La sotto-query Prolog viene tradotta in linguaggio naturale. L'LLM, supportato da un sistema di recupero documenti (RAG), cerca le prove nei testi, risponde alla domanda e genera fatti intermedi.
4. Aggiornamento KB: I fatti confermati vengono tradotti nuovamente in sintassi Prolog e aggiunti a una Knowledge Base dinamica.
5. Risoluzione Logica: Un interprete Prolog standard esegue la query parziale $(q_1, ..., q_t)$ sulla KB aggiornata per restringere l'insieme delle soluzioni possibili ($S_t$).

C. Inizializzazione del CoT Finale

Una volta completata l'esecuzione Prolog, il sistema raccoglie tre artefatti chiave:

1. I passaggi (passages) recuperati durante l'esecuzione.
2. Le "note" (fatti Prolog tradotti in linguaggio naturale).
3. La soluzione strutturata fornita da Prolog (se esiste).

Questi elementi vengono concatenati al prompt originale per inizializzare l'ultimo passaggio di ragionamento CoT dell'LLM. Poiché il lavoro pesante di recupero e strutturazione è già stato svolto, l'LLM deve solo sintetizzare le informazioni fornite per generare la risposta finale, riducendo drasticamente il rischio di allucinazioni o errori logici.

3. Contributi Chiave

• Integrazione Simbolica-Neurale: Propone un metodo training-free che utilizza la struttura rigida di Prolog per guidare il ragionamento flessibile degli LLM, senza bisogno di riaddestramento.
• Decomposizione Strutturata: Trasforma il problema del ragionamento multi-hop in una serie di sottoproblemi risolvibili logicamente, garantendo che ogni passo sia verificabile.
• SLICE Module: Introduce un meccanismo robusto per la verifica e l'estrazione di fatti che mantiene traccia dello stato intermedio, prevenendo la perdita di informazioni nelle catene lunghe.
• Efficienza nei Contesti Open-Domain: Dimostra che è possibile ottenere alte prestazioni nel RAG senza necessitare di estrazione offline di grafi della conoscenza (come richiesto da metodi simili tipo HippoRAG), operando direttamente su documenti non strutturati.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark multi-hop standard: HotpotQA, 2WikiMultiHopQA, MuSiQue e PhantomWiki (dataset sintetico).

• Open-Domain QA (RAG):
  • π-CoT supera significativamente i metodi basati su decomposizione naturale (come Self-Ask e IRCoT) su 2WikiMultiHopQA e MuSiQue.
  • Su 2WikiMultiHopQA, ottiene un Exact Match (EM) del 49.4% contro il 32.4% di IRCoT.
  • Confrontato con HippoRAG 2 (lo stato dell'arte basato su estrazione OpenIE), π-CoT ottiene risultati superiori o comparabili, dimostrando che l'estrazione offline non è strettamente necessaria se il processo di ragionamento è ben strutturato.
• In-Context QA:
  • Su dataset con contesto limitato (distractor setting), le prestazioni sono simili al CoT standard.
  • Tuttavia, su PhantomWiki (dataset sintetico con universi fittizi e contesti lunghi), π-CoT mostra un miglioramento drastico: su PW-M (corpus 10x più grande), il F1 score sale dal 41.7% (CoT) al 56.9% (π-CoT), un guadagno relativo del 36%.
• Efficienza:
  • Sebbene richieda più chiamate all'LLM per la generazione della query Prolog e il passo finale, π-CoT utilizza meno token totali rispetto a metodi iterativi come IRCoT, grazie all'uso di contesti brevi e separati per ogni passo Prolog invece di un unico contesto che cresce esponenzialmente.

5. Significato e Implicazioni

Il lavoro di π-CoT è significativo perché:

1. Affidabilità: Introduce un livello di verificabilità e tracciabilità nel ragionamento degli LLM, riducendo le allucinazioni tipiche dei modelli puramente neurali su compiti complessi.
2. Scalabilità: Dimostra che l'uso di strutture simboliche (Prolog) può guidare efficacemente modelli di grandi dimensioni (come Llama-3.3-70B e Deepseek-R1) senza richiedere architetture di retrieval complesse o pre-elaborazione massiva dei dati.
3. Futuro dell'Agentica: Suggerisce una direzione per lo sviluppo di agenti AI capaci di pianificare e tracciare stati in modo rigoroso, combinando la capacità di recupero dei dati non strutturati con la logica formale.
4. Interpretabilità: Il processo di ragionamento è più trasparente, poiché ogni passo è registrato come un fatto logico o una nota, facilitando il debugging e la comprensione di come è stata derivata una risposta.

In sintesi, π-CoT rappresenta un avanzamento cruciale nel colmare il divario tra la flessibilità del linguaggio naturale e la precisione della logica formale, offrendo una soluzione robusta per le domande complesse che richiedono ragionamento multi-hop.