S-Path-RAG: Semantic-Aware Shortest-Path Retrieval Augmented Generation for Multi-Hop Knowledge Graph Question Answering

Titolo: S-Path-RAG: Generazione Aumentata con Recupero di Cammini Più Brevi Consapevoli del Semantico per il Rispondere a Domande su Grafi della Conoscenza Multi-hop

1. Il Problema

I Grandi Modelli Linguistici (LLM) hanno rivoluzionato molte attività di elaborazione del linguaggio naturale, ma soffrono di due limitazioni critiche quando si tratta di compiti di ragionamento strutturato:

1. Allucinazioni e Coerenza Fattuale: Gli LLM tendono a generare informazioni plausibili ma non veritiere, specialmente quando devono ragionare su fatti complessi e strutturati.
2. Incapacità di Navigazione Multi-hop: Gli LLM faticano a traversare autonomamente grandi grafi della conoscenza (KG) per collegare entità attraverso più relazioni (multi-hop) per rispondere a domande complesse.

Le soluzioni esistenti di Retrieval-Augmented Generation (RAG) basate su grafi presentano diversi difetti:

• Recupero "One-shot": Molti sistemi recuperano le prove una sola volta, senza possibilità di affinare la ricerca se il modello esprime incertezza.
• Inefficienza Tokenica: La verbalizzazione di lunghe liste di percorsi testuali spreca il budget di token e introduce rumore.
• Mancanza di Allineamento Semantico: Gli approcci basati puramente su algoritmi di grafo (es. GNN) spesso non riescono a disambiguare percorsi strutturalmente validi ma semanticamente errati rispetto alla query in linguaggio naturale.
• Interfacce Ad-hoc: L'integrazione tra la struttura del grafo e l'LLM è spesso rigida, impedendo l'ottimizzazione end-to-end.

2. Metodologia: S-Path-RAG

S-Path-RAG è un framework che combina la ricerca su grafo, la valutazione semantica e l'iniezione di latenti morbidi (soft latent injection) in un ciclo iterativo. L'architettura si basa su quattro pilastri principali:

A. Ciclo di Dialogo Neurale-Socratico (Neural-Socratic Graph Dialogue - NSGD)

Il sistema non opera in un singolo passaggio, ma in un ciclo iterativo (fino a $T$ round):

1. Codifica: Un GNN (Graph Neural Network) codifica il sottografo corrente.
2. Enumerazione: Vengono generati percorsi candidati tramite una strategia ibrida.
3. Valutazione: Un "scorer" differenziabile e un "verifier" classificano i percorsi.
4. Iniezione: Una miscela morbida dei percorsi selezionati viene iniettata nell'LLM tramite cross-attention.
5. Diagnosi e Aggiornamento: L'LLM genera una risposta e un messaggio diagnostico. Se l'incertezza è alta, il messaggio viene mappato (tramite $\pi_{map}$) in modifiche mirate al grafo (espansioni o correzioni), aggiornando il sottografo per il round successivo.

B. Ricerca di Percorsi Ponderata Semanticamente

Invece di una semplice ricerca del cammino più breve, S-Path-RAG utilizza una strategia ibrida per enumerare percorsi di lunghezza limitata:

• Strategia Ibrida: Combina $k$-shortest path ponderati, beam search e random walk vincolati.
• Funzione di Peso: Il peso di un arco $e$ è calcolato come:
  $$w_e = \alpha \cdot c_{struct}(e) + \beta \cdot (1 - sim(\ell_u, \ell_v)) + \gamma \cdot \pi_{rel}(r)$$
  Dove si bilanciano il costo strutturale, la similarità semantica tra nodi e le prior delle relazioni.
• Punteggio: I percorsi sono classificati combinando il costo strutturale negativo con un punteggio di matching semantico appreso.

C. Scoring Differenziabile e Verifica

Per ridurre i falsi positivi (percorsi che sembrano plausibili all'LLM ma non sono supportati dal KG):

• Scorer ($s_\theta$): Assegna un punteggio differenziabile ai percorsi.
• Verifier ($v_\eta$): Un modello leggero addestrato con Binary Cross-Entropy (BCE) per prevedere l'utilità del percorso.
• Encoder Contrastivo: Addestrato con InfoNCE per migliorare il ranking semantico, utilizzando negativi "hard" (percorsi plausibili per l'LLM ma errati).

D. Iniezione di Latenti Morbidi (Soft Latent Injection)

Invece di passare lunghe descrizioni testuali all'LLM:

• Vengono selezionati i percorsi migliori e creati vettori latenti compatti ($Enc_{path}$).
• Questi vettori formano una miscela morbida ($z_{ctx}$) pesata dai punteggi dello scorer e del verifier.
• La miscela viene iniettata negli strati dell'LLM tramite cross-attention, permettendo al modello di ragionare su evidenze strutturate compatte mantenendo basso il consumo di token.

E. Aggiornamenti da Soft a Discreti

Durante l'addestramento, le modifiche al grafo sono "soft" (maschere probabilistiche). Durante l'inferenza, vengono discretizzate tramite una selezione Top-K basata su Gumbel-Softmax, permettendo aggiornamenti precisi del grafo basati sui feedback diagnostici dell'LLM.

3. Contributi Chiave

1. Enumerazione di Cammini Consapevole del Semantico: Un metodo ibrido che integra costi strutturali, prior delle relazioni e matching semantico appreso per classificare percorsi a lunghezza limitata.
2. Pipeline di Scoring e Verifica Differenziabile: Un sistema che addestra congiuntamente encoder contrastivi e verifier per sopprimere i falsi positivi "plausibili" per l'LLM.
3. Iniezione di Latenti Morbidi: Sostituzione della verbalizzazione testuale con l'iniezione di rappresentazioni latenti compatte tramite cross-attention, migliorando l'efficienza dei token.
4. Ciclo Iterativo NSGD: Un meccanismo che traduce le diagnosi di incertezza dell'LLM in aggiornamenti concreti del grafo, abilitando un recupero adattivo.
5. Validazione Completa: Sperimentazioni su benchmark standard, analisi di ablazione e studi diagnostici che isolano il contributo di ogni componente.

4. Risultati Sperimentali

Il modello è stato valutato su benchmark multi-hop standard: WebQSP, ComplexWebQuestions (CWQ) e MetaQA-3.

• Prestazioni di Accuratezza: S-Path-RAG stabilisce un nuovo stato dell'arte (SOTA).
  • Su WebQSP: Hit@1 del 88.9% (vs 88.8% di EPERM, il precedente leader).
  • Su CWQ: Hit@1 del 77.9% (vs 73.8% di KG-R1).
  • La versione iterativa (3 round) porta l'Hit@1 su CWQ al 79.3% e la copertura delle risposte al 97.3%.
• Efficienza:
  • Riduce significativamente il numero di chiamate all'LLM rispetto a metodi iterativi basati su agenti (2.3 chiamate medie vs 4.2 di ToG+ChatGPT).
  • Consumo di token inferiore grazie all'iniezione di latenti invece di lunghe descrizioni testuali.
• Robustezza:
  • Mantiene il 92.1% della sua accuratezza anche con il 20-80% di rumore nell'entity linking.
  • Recupera efficacemente quando i seed corretti mancano, superando i baselines GNN-RAG.
• Scalabilità: Testato su OGB WikiKG 2.0 (17M di archi), mostra una crescita sub-lineare della memoria e latenza quasi lineare, mantenendo l'uso della GPU sotto i 12.8 GB.

5. Significato e Impatto

S-Path-RAG rappresenta un avanzamento significativo nel campo del KGQA (Knowledge Graph Question Answering) per diverse ragioni:

• Superamento del "One-Shot": Introduce un paradigma di recupero adattivo guidato dall'LLM, risolvendo il problema della ricerca statica che fallisce su query complesse.
• Efficienza e Scalabilità: Dimostra che è possibile ottenere alte prestazioni senza il costo proibitivo di lunghe conversazioni testuali o migliaia di chiamate API, rendendo il sistema adatto a scenari con budget limitati.
• Interpretabilità: Il sistema fornisce tracce di ragionamento a livello di percorso (path-level traces) e diagnosi, permettendo di capire perché una risposta è stata generata e dove il recupero ha fallito.
• Integrazione End-to-End: La capacità di addestrare congiuntamente il recupero, la verifica e l'LLM (tramite iniezione di latenti) supera le limitazioni dei sistemi modulari disaccoppiati.

In sintesi, S-Path-RAG offre un framework robusto, efficiente e interpretabile che colma il divario tra la flessibilità semantica degli LLM e la precisione strutturale dei Grafi della Conoscenza, risolvendo efficacemente le sfide del ragionamento multi-hop.