Sintesi Tecnica: Riduzione delle Allucinazioni nella Generazione di Query SPARQL basata su Modelli Linguistici tramite Recupero della Memoria Post-Generazione

Definizione del Problema

La generazione di query SPARQL a partire da domande in linguaggio naturale è essenziale per il recupero di dati strutturati dai Knowledge Graph (KG). Sebbene i Large Language Models (LLM) siano stati adottati per questo compito, essi affrontano problemi significativi di affidabilità. Nello specifico, gli LLM spesso allucinano Uniform Resource Identifiers (URI) durante la generazione di elementi del KG. Poiché i moderni KG (ad es. Wikidata) utilizzano identificatori opachi e non semantici (ad es. "Q937" per Albert Einstein) piuttosto che stringhe semantiche, gli LLM devono fare affidamento esclusivamente sulla loro memoria parametrica interna per mappare i concetti a questi ID. Questa dipendenza porta alla generazione di URI dall'aspetto plausibile ma inesistenti, compromettendo l'accuratezza e la sicurezza dei sistemi di recupero delle informazioni.

Le soluzioni esistenti come la Retrieval-Augmented Generation (RAG) tentano di mitigare questo problema fornendo contesto prima della generazione. Tuttavia, la RAG spesso non riesce a eliminare le allucinazioni perché l'LLM non è strettamente vincolato al contesto recuperato e può comunque generare identificatori errati basandosi sulla propria conoscenza interna. Inoltre, molti approcci esistenti alla generazione di SPARQL richiedono dati di addestramento "taggati" (dove gli URI sono pre-collegati alle domande), il che è laborioso e impraticabile per l'implementazione nel mondo reale.

Metodologia: PGMR (Post-Generation Memory Retrieval)

Gli autori propongono PGMR, un framework modulare che scinde la generazione della struttura della query SPARQL dal risolvimento degli identificatori specifici del KG. L'innovazione principale è il riposizionamento temporale della fase di recupero: invece di recuperare il contesto prima della generazione (come nella RAG), PGMR recupera gli identificatori dopo che la struttura della query è stata formata.

1. Generazione della Query Intermedia

L'LLM è addestrato o istruito per generare una query SPARQL-PGMR intermedia. In questo formato:

• La struttura sintattica della query SPARQL è preservata.
• Tutti gli URI specifici (entità e relazioni) sono sostituiti con segnaposto in linguaggio naturale.
• Un blocco di mappatura accompagna la query, definendo ogni segnaposto con un'etichetta canonica e una descrizione disambiguante (ad es. entity0 = [ENT] Hamburg [/ENT] città e stato nel nord della Germania).

Questo design consente all'LLM di concentrarsi sulla correttezza sintattica e sulla struttura logica senza dover ricordare specifici ID opachi dalla sua memoria parametrica.

2. Recupero Post-Generazione

Un modulo di memoria non parametrica, composto da dizionari per entità e relazioni, memorizza gli embedding delle etichette degli URI e delle loro descrizioni accoppiate agli URI stessi.

• Processo di Recupero: Dopo che l'LLM ha generato la query intermedia, un recuperatore (utilizzando BGE come encoder e FAISS per la ricerca di similarità) elabora i segnaposto in linguaggio naturale.
• Risoluzione: Il recuperatore confronta l'etichetta e la descrizione del segnaposto con la memoria per trovare l'URI più simile.
• Output Finale: Gli URI recuperati sostituiscono i segnaposto, producendo una query SPARQL finale eseguibile.

3. Meccanismo di Sicurezza

PGMR incorpora una soglia di confidenza del recupero. Se il punteggio di similarità dell'URI recuperato con il rango più alto per un qualsiasi segnaposto scende al di sotto di una soglia stabilita, il sistema è progettato per rifiutare la query invece di allucinare un ID errato. Questo meccanismo permette al sistema di segnalare l'incertezza quando la conoscenza è mancante.

Contributi Chiave

1. Architettura Innovativa: PGMR separa esplicitamente la generazione della sintassi della query (LLM) dal grounding degli identificatori (recuperatore non parametrico), affrontando la causa radice delle allucinazioni di URI.
2. Trasformazione dei Dati di Addestramento: Gli autori introducono un processo sistematico per convertire le coppie domanda-SPARQL standard nel formato intermedio PGMR, consentendo l'addestramento senza la necessità di dati pre-taggati con URI nelle domande di input.
3. Eliminazione Quasi Completa delle Allucinazioni: Il framework raggiunge un tasso quasi nullo di allucinazioni di URI attraverso vari modelli e dataset.
4. Robustezza e Sicurezza: Il sistema dimostra la capacità di rifiutare correttamente le query non rispondibili tramite le soglie di confidenza e mantiene le prestazioni anche quando la dimensione della memoria viene espansa con entità irrilevanti o di disturbo.

Risultati Sperimentali

Gli autori hanno valutato PGMR su LCQUAD 2.0 (sia sulla versione originale che su quella con "URI sconosciuti") e su QALD-10, utilizzando modelli che vanno da T5-Small a Llama 3.1 8B e GPT-4o.

• Correttezza della Query (SQM): PGMR ha superato costantemente sia la generazione diretta che i baseline RAG. Su LCQUAD 2.0 (split originale), ha migliorato il Semantic Query Match (SQM) di circa il 61% rispetto alla generazione diretta e del 16% rispetto alla RAG in media.
• Riduzione delle Allucinazioni: Mentre la generazione diretta ha allucinato URI in circa il 75% dei casi e la RAG ha ridotto questo valore a circa l'8,7%, PGMR ha ottenuto una quasi completa eliminazione delle allucinazioni di URI (0,0% - 0,01% in la maggior parte delle configurazioni).
• Robustezza Out-of-Distribution: Nello split "unknown URI" (dove le query di test contengono URI non visti durante l'addestramento), PGMD ha mantenuto alte prestazioni, migliorando l'SQM del 73% rispetto alla generazione diretta.
• Scalabilità della Memoria: Quando la memoria delle entità è stata scalata di 9 volte con distrattori irrilevanti, PGMR ha mostrato una degradazione minima delle prestazioni (solo un calo del ~4% in SQM), dimostrando la resilienza del recuperatore al rumore.
• Accuratezza del Rifiuto: Regolando la soglia di confidenza, il modello poteva rifiutare efficacemente le query prive di supporto nella memoria, bilanciando il compromesso tra accuratezza del rifiuto e rispondibilità.

Significato e Rivendicazioni

Il documento sostiene che PGMR offra una soluzione robusta alla crisi di affidabilità nella KGQA basata su LLM. Posticipando il grounding degli identificatori a una fase di recupero post-generazione, il framework assicura che tutti gli URI generati siano strettamente allineati con gli elementi esistenti del knowledge graph.

Gli autori sottolineano che questo approccio:

• Migliora la Sicurezza: La capacità di rifiutare le query basandosi sulla confidenza del recupero impedisce al sistema di fabbricare risposte in applicazioni critiche.
• Migliora la Generalizzazione: Funziona bene anche con dati non taggati e URI out-of-distribution, rendendolo più pratico per l'implementazione nel mondo reale rispetto ai metodi che richiedono un esteso tagging.
• Mantiene l'Efficienza: L'overhead computazionale della fase di recupero è trascurabile rispetto al tempo di generazione base, poiché il processo di recupero è altamente efficiente.

Gli autori notano con modestia che, sebbene PGMR risolva il problema delle allucinazioni di URI, le prestazioni complessive sono ancora limitate dalla capacità dell'LLM di costruire strutture di query SPARQL accurate, in particolare per query altamente complesse presenti in dataset come QALD-10. Suggeriscono che il lavoro futuro potrebbe prevedere l'integrazione di PGMR con LLM più potenti o l'integrazione di fasi di recupero sia prima che dopo la generazione.