A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering

Sintesi Tecnica: Un'Architettura Centrata su LLM con Human-in-the-Loop per il Question Answering su Knowledge Graph

Definizione del Problema
Sebbene i Large Language Models (LLM) eccellano nella comprensione del linguaggio naturale, essi affrontano limitazioni significative in domini ad alta intensità di conoscenza, tra cui le allucinazioni, le informazioni obsolete e la mancanza di spiegabilità. Gli approoli di Retrieval-Augmented Generation (RAG) esistenti si affidano spesso al recupero basato su testo, che fatica nel ragionamento multi-hop necessario per connettere entità indirettamente correlate. Al contrario, i Knowledge Graph (KG) offrono interrogazioni precise e spiegabili, ma richiedono competenze in linguaggi di interrogazione come Cypher o SPARQL. Le attuali pipeline KG-RAG soffrono di tre specifiche falle progettuali: (1) la linearizzazione delle triple del grafo cancella il contesto strutturale; (2) il recupero "black-box" nasconde il percorso di ragionamento; (3) la mancanza di controllo dell'utente nel ciclo (user-in-the-loop) impedisce l'affinamento iterativo di errori di corrispondenza delle entità o dell'ambito. Il lavoro precedente degli autori ha dimostrato che, sebbene gli LLM possano tradurre domande in query, l'incapacità di debuggare o spiegare tali query rendeva necessaria la rigenerazione completa in caso di fallimento, creando una disconnessione tra l'intento dell'utente e l'esecuzione.

Metodologia
Gli autori propongono un framework interattivo e modulare in cui gli LLM generano, spiegano e raffinano iterativamente query Cypher basandosi sull'input in linguaggio naturale dell'utente. L'architettura è composta da quattro componenti principali:

1. Generazione della Query: Traduce domande in linguaggio naturale in query Cypher eseguibili utilizzando un prompt consapevole dello schema che vincola il vocabolario a tipi di nodi e archi validi.
2. Esecuzione della Query: Si connette a un database Neo4j per eseguire la query generata e restituire risultati strutturati.
3. Spiegazione della Query: Genera spiegazioni leggibili dall'uomo, passo dopo passo, della logica della query, inclusi riassunti dello scopo e controlli di plausibilità (ad esempio, segnalando relazioni invertite o tipi di nodi non validi).
4. Modifica della Query: Permette agli utenti di fornire feedback in linguaggio naturale per aggiornare iterativamente una query esistente senza rigenerarla da zero, consentendo correzioni mirate a filtri, tipi di entità o logica di attraversamento.

Il framework è stato valutato attraverso tre esperimenti distinti:

• Benchmark Sintetico (Movie KG): Un benchmark di 90 query progettato per testare la capacità dell'LLM di spiegare le query Cypher e rilevare errori iniettati (ad esempio, relazioni invertite, etichette prive di senso, vincoli contraddittori). Cinque LLM sono stati testati sulla qualità della spiegazione e sul rilevamento dei difetti.
• Caso di Studio Reale 1 (MaRDI KG): Un grafo di dati di ricerca matematica contenente pacchetti software, autori e pubblicazioni. Quattordici LLM sono stati testati su nove domande in linguaggio naturale per valutare l'accuratezza della generazione delle query con fino a due tentativi di modifica.
• Caso di Studio Reale 2 (Hyena KG): Un grafo biologico derivato da dati ecologici a lungo termine su iene maculate. Gli stessi 14 LLM sono stati testati su cinque domande formulate da esperti riguardanti parentela e dispersione, permettendo nuovamente il raffinamento iterativo.

Contributi Chiave

1. Framework Interattivo: Un sistema che combina l'espressività di Cypher con l'accessibilità degli LLM, mirando esplicitamente a superare i limiti di trasparenza e controllo dei sistemi KG-RAG esistenti. Consente agli utenti di ispezionare, spiegare e raffinare le query attraverso il feedback conversazionale.
2. Valutazione Empirica: Una valutazione completa attraverso domini sintetici e reali (matematica e biologia), misurando la qualità della spiegazione, il rilevamento dei difetti e l'accuratezza della generazione delle query attraverso molteplici LLM.
3. Intuizioni sulle Modalità di Fallimento: Identificazione di comuni pattern di fallimento degli LLM, come l'omissione di vincoli temporali nei riassunti e la significativa variabilità delle prestazioni tra i modelli quando gestiscono domande complesse di livello esperto.

Risultati

• Qualità della Spiegazione: Sul benchmark sintetico dei film, i modelli con le migliori prestazioni (o1-preview, deepseek-reasoner-api, o3-mini) hanno raggiunto oltre il 70% di accuratezza nella generazione di riassunti di una singola frase corretti. Tuttavia, un pattern di fallimento ricorrente in tutti i modelli è stata l'omissione di anni specifici menzionati nelle query. Nel rilevamento dei difetti, i modelli hanno variato nel loro equilibrio tra sensibilità e specificità; o1-preview e deepseek-reasoner-api hanno ottenuto un alto rilevamento dei difetti (>85%) con bassi tassi di falsi positivi (<10%), mentre altri hanno avuto difficoltà con tipi di perturbazione specifici come le relazioni invertite.
• Generazione della Query (MaRDI): Sul KG matematico, o3-mini e GPT-5.2 hanno risolto tutti i nove compiti, mentre la maggior parte degli altri modelli ne ha risolti 7–8. Le query semplici sono state gestite in modo affidabile, ma i compiti complessi come l'identificazione di autori condivisi tra i pacchetti si sono rivelati difficili per molti modelli.
• Generazione della Query (Hyena): Il divario di prestazioni si è ampliato significativamente sul KG biologico. Solo o3 e deepseek-reasoner-api hanno raggiunto il 100% di accuratezza (5/5 domande). Altri modelli, inclusi quelli che hanno performato bene su MaRDI, hanno incontrato difficoltà, con diversi modelli ospitati su Ollama che hanno ottenuto 0/5. L'efficienza variava, con alcuni modelli che richiedevano molteplici tentativi di modifica per raggiungere una risposta corretta.

Significatività e Rivendicazioni
Il documento sostiene che il suo contributo primario sia colmare il divario tra il linguaggio naturale e l'interrogazione formale dei grafi, rendendo il percorso di ragionamento esplicito e verificabile. Gli autori sostengono che, sebbene gli LLM possano generare query funzionanti, la loro utilità in scenari reali guidati da esperti è altamente variabile e dipendente dal dominio e dalla complessità della domanda. Lo studio dimostra che i benchmark sintetici potrebbero non catturare appieno le difficoltà delle domande fornite da esperti, come evidenziato dal calo delle prestazioni nel caso di studio Hyena.

Gli autori concludono con modestia che il loro framework consente con successo ai non esperti di interagire con KG complessi senza apprendere i linguaggi di interrogazione, a condizione che il sistema supporti il raffinamento iterativo. Enfatizzano che il lavoro futuro dovrebbe concentrarsi sul perfezionamento dei prompt di spiegazione per mantenere i vincoli temporali e sullo sviluppo di strumenti interattivi (ad esempio, viste "diff") per migliorare l'efficienza del processo human-in-the-loop. Il lavoro non pretende di risolvere tutte le sfide del KG-RAG, ma fornisce un approccio strutturato alla trasparenza e al controllo che riduce il rischio di allucinazioni e migliora la fiducia nelle risposte basate sui grafi.