Riepilogo Tecnico: KGCaRe

Definizione del Problema

Rispondere a domande condizionali complesse utilizzando Large Language Models (LLM) e Retrieval-Augmented Generation (RAG) rimane una sfida significativa, in particolare all'interno di contesti specifici del dominio. Gli LLM general-purpose spesso ottengono prestazioni inferiori quando l'input coinvolge logica condizionale o richiede ragionamento su contenuti specializzati. Questo calo di prestazioni è attribuito a una mancanza di fine-tuning su corpora specializzati e a una tendenza all'allucinazione quando il contesto è insufficiente. Le domande condizionali sono unicamente sensibili a vincoli mancanti o impliciti; il modello deve essere consapevole sia della query che delle specifiche condizioni sotto le quali una risposta è valida. Le soluzioni esistenti, come il RAG standard (basato sulla ricerca per parole chiave o similitudine) o gli approcci puramente simbolici basati su Knowledge Graph (KG), spesso falliscono nel recuperare dipendenze logiche critiche o faticano con la scarsa connettività dei grafi.

Metodologia: KGCaRe

Gli autori propongono KGCaRe (Knowledge Graph Context aware Reasoning for complex Question Answering), un approccio ibrido che integra il ragionamento simbolico su Knowledge Graph generati da LLM con il recupero neurale da vector store. Il sistema opera attraverso i seguenti componenti:

1. Costruzione Automatica del Knowledge Graph

KGCaRe costruisce un KG da documenti non strutturati utilizzando una strategia di estrazione tramite multi-prompt LLM memorizzata in un database Neo4j. Questo processo prevede quattro fasi progressive:

• Fase 1 (Comprensione Contestuale): Estrae entità e relazioni iniziali, enfatizzando costrutti temporali, causali, procedurali e condizionali.
• Fase 2 (Espansione Condizionale): Si concentra sulla logica condizionale, sulle eccezioni e sulle strutture "if-then" per catturare le sfumature normative e la logica di branching decisionale.
• Fase 3 (Raffinamento ed Espansione Logica): Valida la completezza e utilizza la logica transitiva o implicita per inferire nuove triple (ad esempio, derivando che un Tutore può delegare il consenso a un Tribunale se i Genitori possono delegare al Tribunale).
• Fase 4 (Normalizzazione): Formatta e ingloba le triple nel database di grafi.

2. Indicizzazione Vettoriale Semantica

In parallelo, i documenti vengono trasformati in vettori ad alta dimensionalità tramite un embedder alimentato da LLM e memorizzati in un indice FAISS. Ciò consente una ricerca rapida di vicini approssimati più prossimi per recuperare passaggi testuali rilevanti basati sulla similitudine semantica rispetto alla query dell'utente.

3. Traversamento Iterativo del Grafo (Ragionamento Simbolico)

Il meccanismo di inferenza centrale è un traversamento iterativo del grafo guidato da LLM (Algoritmo 1):

• Inizializzazione: Le entità tematiche ($E_{topic}$) vengono estratte dalla domanda per ancorare il traversamento.
• Ricerca con Limite di Profondità: Il sistema attraversa il grafo fino a una profondità massima $D$.
  • Profondità 1: Utilizza il matching parziale (inclusi i match di subword) per un'esplorazione ampia.
  • Profondità Successive: Utilizza il matching esatto per un ragionamento focalizzato.
• Meccanismo delle Entità Indizio (Clue Entity): Se il traversamento iniziale produce un contesto insufficiente, l'LLM viene istruito per generare "entità indizio" ($E_{clue}$) per guidare l'ulteriore traversamento, ispirandosi all'approccio Tree-of-Traversal.
• Potatura (Pruning): Una funzione guidata da LLM ($PruneTriples$) filtra le triple estratte, mantenendo solo quelle contestualmente utili per la specifica domanda.
• Terminazione: Il processo si arresta se viene raccolto un contesto sufficiente per rispondere alla domanda, o se non vengono trovati nuovi indizi/triple.

4. Generazione della Risposta Fusa

La risposta finale viene generata fornendo un prompt personalizzato all'LLM. Questo prompt sintetizza:

• Contesto Simbolico: Triple curate e percorsi di traversamento dal KG.
• Contesto Neurale: Passaggi testuali con il ranking più alto dal vector store.
  Il prompt istruisce esplicitamente il modello a incorporare evidenze da entrambe le fonti e a dichiarare qualsiasi condizione sotto la quale la risposta è valida, garantendo che l'output sia accurato e spiegabile.

Contributi Chiave

1. Pipeline End-to-End: Progettazione e implementazione di una pipeline automatizzata per la costruzione di KG da documenti lunghi e complessi utilizzando un approccio di estrazione di triple tramite multi-prompt LLM.
2. Architettura Ibrida: Introduzione di KGCaRe, che combina in modo unico il recupero simbolico da KG con la ricerca semantica basata su vettori per affrontare la QA condizionale complessa.
3. Validazione Empirica: Dimostrazione che KGCaRe supera vari baseline (Vanilla LLM, Code Prompt, Text Prompt, Think-on-Graph, Vanilla RAG e HybridContextQA) attraverso molteplici LLM (Mistral, Mixtral, GPT-3.5, GPT-4o).
4. Riproducibilità: Rilascio pubblico della pipeline software e dei relativi prompt.

Risultati Sperimentali

Gli autori hanno valutato KGCaRe su due dataset: ConditionalQA (documenti di policy del Regno Unito con vincoli condizionali complessi) e HotpotQA (domande multi-hop basate su Wikipedia).

• Prestazioni: KGCaRe ha ottenuto costantemente i punteggi F1 medi più elevati in tutti i tipi di risposta (Sì/No, Span, Condizionale) e in tutti gli LLM testati.
  • Su ConditionalQA con Mistral, KGCaRe ha ottenuto un F1 di 57.89, superando significativamente Vanilla RAG (40.12) e HybridContextQA (45.17).
  • Su HotpotQA con GPT-4o, KGCaRe ha ottenuto un F1 di 80.21, superando HybridContextQA (73.37) nella maggior parte delle categorie, sebbene i due metodi abbiano ottenuto punteggi F1 simili nella categoria Sì/No.
• Ragionamento Condizionale: Il metodo ha mostrato una forza particolare nella categoria "Condizionale", dove il ragionamento richiede passaggi multi-hop e la gestione di vincoli impliciti.
• Studio di Ablazione: Analizzando 106 domande Sì/No con risposte definitive singole, KGCaRe ha mantenuto il primato rispetto ai baseline in tutti i modelli, inclusi modelli ad alta capacità come GPT-4o (88.67 vs 85.85 per Text Prompt).
• Confronto con i Baseline: Gli approcci puramente basati su KG (Think-on-Graph) hanno performato scarsamente, fallendo spesso nel recuperare il contesto necessario da grafi sparsi. Gli approcci puramente RAG sono stati migliori ma mancavano delle capacità di ragionamento strutturato del modello ibrido.

Significato e Rivendicazioni

Il documento sostiene che KGCaRe valida l'ipotesi secondo cui un contesto ibrido composto sia da rappresentazioni simboliche (strutturate) che neurali (non strutturate) migliora le prestazioni sui compiti di QA condizionale complessi. Il significato del lavoro risiede nella sua capacità di:

• Migliorare la Spiegabilità: Mantenendo una traccia di ragionamento esplicita (percorsi attraversati e triple potate), il sistema fornisce spiegazioni comprensibili dall'uomo per le sue risposte, una caratteristica critica per domini ad alto rischio come il diritto e la politica pubblica.
• Superare i Limiti dei Grafi Sparsi: A differenza dei metodi che si affidano esclusivamente alla densa connettività dei grafi, KGCaRe integra i KG sparsi con il recupero semantico di testi, permettendo un ragionamento robusto anche quando il KG è incompleto.
• Generalizzare tra i Modelli: L'approccio dimostra miglioramenti costanti indipendentemente dalla capacità dell'LLM sottostante, dai modelli open-source (Mistral) ai modelli proprietari (GPT-4o).

Gli autori concludono che questo framework offre una via percorribile verso sistemi di QA più precisi e trasparenti in domini specializzati dove la fedeltà della risposta e la tracciabilità sono fondamentali.