💬 NLP

NeSy-RAG: Neuro-Symbolic RAG for Explainable Question Answering

NoSy-RAG è un framework modulare di generazione aumentata da recupero neuro-simbolico che sintetizza moduli Prolog attribuibili dal testo recuperato per fornire risposte trasparenti e deterministiche e rilevare automaticamente la mancanza di contesto dell'utente, ottenendo un'accuratezza superiore rispetto ai baseline RAG standard sul benchmark ShARC.

Autori originali: Jonas Gann, Michael Gertz

Pubblicato 2026-08-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jonas Gann, Michael Gertz

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un mistero, ma invece di un detective, hai un assistente robotico incredibilmente intelligente e chiacchierone. Questo robot ha letto quasi tutti i libri della biblioteca e può dare la risposta a quasi ogni domanda. Questo è ciò che chiamiamo un "Large Language Model" (LLM). Tuttavia, c'è un intoppo: a volte questo robot inventa le cose, o "allucina", e quando spiega il suo ragionamento, sembra più un sogno nebbioso che una mappa chiara. Non puoi sempre sapere perché ti ha dato una certa risposta o se abbia effettivamente letto la pagina giusta nella biblioteca. Questo è un grande problema in settori seri come il diritto o la medicina, dove devi sapere esattamente da dove proviene l'informazione e essere certo che sia vera. Per risolvere questo problema, gli scienziati hanno cercato di combinare questi robot chiacchieroni con il "ragionamento simbolico" — un tipo di logica informatica che funziona come una rigorosa dimostrazione matematica passo dopo passo. Pensa al dare al robot una lista di controllo rigida da seguire affinch'è non possa semplicemente tirare a indovinare. La grande domanda è: possiamo rendere un robot abbastanza chiacchierone da capirci, ma anche abbastanza rigoroso da essere affidabile?

Entra in scena NeSy-RAG, un nuovo framework proposto da Jonas Gann e Michael Gertz che cerca di risolvere questo enigma. Immagina che la biblioteca del robot sia un enorme magazzino pieno di fogli sciolti (frammenti di testo). Di solito, quando fai una domanda, il robot afferra alcuni fogli, li legge e indovina la risposta. NeSy-RAG fa qualcosa di diverso. Quando afferra un foglio, non si limita a leggerlo; lo traduce istantaneamente in un piccolo "puzzle logico" autosufficiente scritto in un linguaggio chiamato Prolog. È come trasformare un paragrafo di testo in un insieme di regole rigide "Se-Allora". Per esempio, se il testo dice: "Puoi richiedere i benefici se hai più di 18 anni", il sistema lo trasforma in una regola: se età > 18, allora idoneo.

È qui che la cosa diventa intelligente. Il sistema costruisce un'intera collezione di questi puzzle logici dai fogli che trova. Ma invece di cercare di risolvere tutta la caotica biblioteca in una volta sola, usa un trucco speciale chiamato "predicati a 0-arità". Pensa a questo come al trasformare ogni regola complessa in una semplice domanda "Sì/No", come "La persona ha più di 18 anni?" o "La persona è un cittadino?". Il robot utilizza poi una ricerca intelligente per trovare solo le domande specifiche "Sì/No" che corrispondono alla tua query. Li cuce insieme in una query logica finale ed esegue il calcolo. Poiché sta eseguendo un programma logico, la risposta è deterministica — è o vera o falsa, senza tentativi a caso. Ancora meglio, il sistema conserva una "ricevuta" perfetta per ogni passaggio, mostrando esattamente quale pezzo di testo ha portato a quale regola, così puoi risalire alla fonte dell'informazione.

Ma cosa succede se il robot non ha abbastanza informazioni? Magari chiedi: "Sono idoneo?", ma il robot non conosce la tua età. Un robot normale potrebbe semplicemente indovinare "Sì" o "No" e sperare nel meglio. NeSy-RAG, invece, possiede un "rilevatore di lacune nella conoscenza". Guarda il suo puzzle logico e si rende conto: "Ehi, mi manca un valore per la variabile 'età'!". Invece di tirare a indovinare, si ferma e ti chiede: "Quanti anni hai?". Continua a porre queste domande di follow-up mirate finché non ha tutti i pezzi per risolvere il puzzle. Questo evita che il robot inventi fatti.

I ricercatori hanno testato questo sistema su un dataset chiamato ShARC, che contiene quesiti legali sui benefici governativi del Regno Uncreto. Non hanno addestrato il sistema su questi dati specifici; lo hanno lasciato capire tutto al volo. I risultati sono stati promettenti. NeSy-RAG ha dato la risposta corretta il 61,1% delle volte. Questo è significativamente migliore rispetto a un sistema "solo chatbot" standard che ha cercato di fare la stessa cosa senza le regole logiche, il quale ha ottenuto correttamente solo il 42,8%. Il nuovo sistema era anche più veloce, impiegando in media 7,4 secondi per domanda rispetto agli 11,4 secondi dell'approccio standard del chatbot.

Tuttavia, l'articolo è attento a non definire questa una soluzione perfetta. Il sistema è ancora un prototipo. A volte, diventa un po' troppo cauto. Se non è sicuro al 100% di un fatto mancante, chiederà ulteriori informazioni anche quando non sarebbe strettamente necessario, portandolo a dire "ho bisogno di più informazioni" (che i ricercatori chiamano "more") invece di dare una risposta definitiva "Sì" o "No". Infatti, ha classificato erroneamente circa il 31% delle risposte "Sì" come "more", suggerendo che genera troppi segnali di "informazioni mancanti". Sebbene questo sia un po' fastidioso per la velocità, gli autori sottolineano che in situazioni ad alto rischio come quelle legali, è più sicuro essere cauti che essere erroneamente sicuri di sé. Il sistema ha anche avuto qualche difficoltà con le domande "irrilevanti", a volte confondendosi sul fatto che un frammento di testo fosse o meno correlato alla domanda.

In breve, NeSy-RAG dimostra che trasformando il testo in rigorosi puzzle logici e chiedendo le parti mancanti di informazione, possiamo costruire un'IA più trasparente, più accurata e meno incline a mentire. Non è una bacchetta magica che risolve tutto perfettamente, ma è un forte passo avanti verso la creazione di assistenti IA a cui si può davvero affidare la verità.

Riepilogo Tecnico: NeSy-RAG per il Question Answering Spiegabile

1. Definizione del Problema

I sistemi di Retrieval-Augmented Generation (RAG) potenziano i Large Language Models (LLM) ancorandoli a corpora testuali esterni, tuttavia soffrono di tre criticità fondamentali in domini ad alto rischio:

Ragionamento Opaco: I passaggi intermedi di ragionamento sono difficili da verificare e le risposte generate non possono essere affidabilmente attribuite a specifiche prove sorgente. Le spiegazioni standard basate su Chain-of-Thought (CoT) sono spesso inattendibili.
Scalabilità e Costruzione delle Query: La costruzione di query simboliche su basi di conoscenza monolitiche e di grandi dimensioni è fragile. Gli approcci neuro-simbolici esistenti spesso si affidano a regole curate manualmente o richiedono che il modello ispezioni l'intera base di conoscenza, portando a problemi di scalabilità.
Mancanza di Contesto Utente: Le attuali pipeline RAG raramente rilevano sistematicamente le informazioni mancanti relative all'utente. Ciò porta spesso a output incompleti o errati, poiché gli LLM faticano a cercare proattivamente informazioni chiarificatrici quando il contesto dell'utente è incompleto.

2. Metodologia: Il Framework NeSy-RAG

NeSy-RAG è un framework neuro-simbolico modulare progettato come estensione plug-in per i sistemi RAG esistenti. Sintetizza ed esegue moduli Prolog attribuibili derivati da frammenti di testo recuperati per eseguire un question answering spiegabile. La pipeline opera come segue:

2.1. Sintesi di Prolog Attribuibile

Per ogni frammento di testo recuperato, il sistema sintetizza un modulo Prolog dedicato contenente regole e fatti derivati esclusivamente da quel frammento.

Modularità: Elaborando i frammenti in isolamento, il sistema garantisce che ogni fatto e regola possa essere mappato univocamente al proprio testo sorgente, consentendo una spiegabilità e una verificabilità granulari.
Fatti Dinamici vs. Universali: Il sistema distingue tra fatti universali (completamente specificati dalla conoscenza del dominio) e fatti dinamici (che contengono argomenti i cui valori sono sconosciuti al momento della sintesi, ad esempio gli attributi dell'utente). I fatti dinamici vengono contrassegnati per l'instanziazione a runtime.

2.2. Astrazione di Predicati a 0-Arità e Recupero Gerarchico

Per affrontare il collo di bottiglia della scalabilità nella generazione delle query, NeSy-RAG introduce una strategia di recupero a due stadi:

Sintesi del Modulo: Durante la sintesi di un modulo Prolog, l'LLM genera regole a 0-arità (affermazioni booleane) che incapsulano la funzionalità del modulo senza richiedere legami di variabili (ad esempio, can_not_get_winter_fuel_payment :- lives_in_cyprus(true)...).
Recupero dei Predicati: Inveve di caricare l'intera base di conoscenza, il sistema utilizza un modello di embedding congiunto Natural Language–Prolog (NL-PL) per recuperare le top- $k$ regole a 0-arità più rilevanti in base alla domanda dell'utente.
Composizione della Query: Un LLM compone la query Prolog finale utilizzando solo questo piccolo e rilevante sottoinsieme di regole. Ciò restringe lo spazio di generazione, riduce le allucinazioni e mantiene piccoli i contesti di finestra (context windows).

2.3. Rilevamento Simbolico del Gap di Conoscenza

Il framework affronta l'incompletezza del contesto utente attraverso un meccanismo simbolico:

Interazione a Runtime: Durante l'esecuzione di Prolog, se il sistema incontra un fatto dinamico con un valore non definito, attiva un metodo di interazione specifico.
Generazione di Follow-up: Il sistema genera automaticamente domande di approfondimento mirate all'utente per risolvere il valore di verità mancante.
Gestione dell'Esito: Se l'utente non può fornire l'informazione necessaria, il sistema valuta la query sotto entrambe le assegnazioni booleane. Se l'esito varia, il sistema restituisce "more" (indicando che la risposta è indeterminata) invece di tirare a indovinare.

2.4. Generazione della Risposta

Il sistema esegue la query Prolog composta contro i moduli recuperati. L'output include:

Una risposta deterministica (Sì/No/More/Irrilevante).
Una traccia di esecuzione che collega ogni passaggio di ragionamento al suo frammento di testo e documento d'origine, fornendo una giustificazione trasparente.

3. Contributi Principali

Il paper propone quattro contributi principali:

Framework Neuro-Simbolico Modulare: Un sistema che sintetizza ed esegue moduli Prolog attribuibili dai frammenti di testo recuperati, garantendo che ogni passaggio di ragionamento sia tracciabile alla sua fonte.
Astrazione di Predicati a 0-Arità: Un metodo innovativo per presentare i moduli Prolog come affermazioni booleane, consentendo una costruzione di query scalabile e vincolata tramite il recupero da linguaggio naturale a codice (NL2C).
Rilevamento Simbolico del Gap di Conoscenza: Un meccanismo che identifica i fatti utente mancanti durante l'inferenza simbolica e attiva proattivamente interazioni di follow-up, prevenendo conclusioni premature o errate.
Validazione Empirica: Dimostrazione che NeSy-RAG supera i baseline LLM domain-agnostic sul benchmark ShARC senza richiedere un addestramento specifico per il dominio.

4. Risultati Sperimentali

Il framework è stato valutato sul benchmark ShARC, un dataset di question-answering conversazionale basato su testi legali del governo del Regno Unito. La valutazione ha simulato un contesto in cui il contesto utente viene inizialmente omesso, richiedendo al sistema di recuperare le informazioni mancanti tramite domande di follow-up.

Accuratezza: NeSy-RAG ha raggiunto il 61,1% di accuratezza (con $k=10$ predicati a 0-arità recuperati), superando significativamente il baseline RAG dell'LLM (42,8%) e il baseline RAG dell'LLM con un modello più grande (53,7%).
Efficienza: NeSy-RAG ha avuto un tempo medio di esecuzione inferiore (7,4s) rispetto al baseline RAG (11,4s). Questa efficienza è attribuita alla riutilizzabilità dei moduli, alle finestre di contesto più piccole durante la generazione della query e al triggering algoritmico dei follow-up piuttosto che alla generazione basata su LLM.
Gestione del Gap di Conoscenza: NeSy-RAG ha classificato correttamente il 61% degli casi che richiedevano ulteriori informazioni (etichettati come "more"), rispetto a solo il 19% del baseline LLM RAG. Ciò evidenzia l'efficacia del meccanismo di rilevamento simbolico del gap.
Analisi degli Errori: La principale modalità di errore per NeSy-RAG è stata la sovra-generazione di predicati dinamici, portando a classificazioni conservative "more" per domande che erano in realtà rispondibili (31% degli istanze "Yes" classificati erroneamente come "more"). Tuttavia, questo bias conservativo è considerato preferibile alla falsa certezza in domini ad alto rischio.

5. Significato e Rivendicazioni

Il paper sostiene che NeSy-RAG offra una via percorribile verso un'IA affidabile e spiegabile in domini ad alto rischio come la legge e la sanità. Combinando il recupero denso con il ragionamento simbolico, esso affronta direttamente l'opacità e la mancanza di responsabilità delle pipeline RAG standard.

Gli autori affermano che la significatività del framework risiede nella sua capacità di:

Fornire tracce di esecuzione trasparenti che collegano i passaggi di ragionamento al testo sorgente, una capacità che le pipeline pure di LLM non possiedono.
Permettere un ragionamento scalabile su ampie basi di conoscenza del dominio senza richiedere basi di conoscenza monolitiche o la cura manuale delle regole.
Rilevare e risolvere sistematicamente il contesto utente mancante, impedendo al sistema di allucinare risposte quando le informazioni sono insufficienti.

Sebbene l'approccio attualmente si basi su un singolo frammento pertinente (recupero single-hop) e si concentri sui fatti dinamici booleani, gli autori vedono l'integrazione riuscita della sintesi modulare di Prolog con il RAG come un passo fondamentale verso sistemi di question-answering più robusti, verificabili e interattivi.