GRAIL:Learning to Interact with Large Knowledge Graphs for Retrieval Augmented Reasoning

1. Il Problema

L'integrazione di Large Language Models (LLM) con tecniche di Retrieval-Augmented Generation (RAG) ha mostrato prestazioni eccellenti su dati non strutturati (testo). Tuttavia, esistono due limiti fondamentali quando si applicano a Knowledge Graphs (KG) strutturati:

• Limiti dei metodi RAG esistenti: La maggior parte opera su testo non strutturato e fallisce nel gestire la complessità strutturale dei grafi.
• Limiti dei metodi di recupero su grafi attuali:
  • I metodi basati sulla similitudine ignorano la struttura del grafo, portando a copertura incompleta o recupero ridondante.
  • I metodi basati su GNN richiedono addestramento specifico per task e dati etichettati di alta qualità, limitando la scalabilità.
  • I metodi basati su LLM puri soffrono della limitazione della finestra di contesto e non riescono a bilanciare la generalizzazione di dominio con la precisione del task.
• Il nodo critico: Le attuali tecniche non riescono a catturare strutture grafiche olistiche mantenendo al contempo un controllo sulla precisione, portando spesso a lacune informative critiche o a connessioni ridondanti eccessive che compromettono il ragionamento.

2. Metodologia: GRAIL

Il framework proposto, GRAIL (Graph-Retrieval Augmented Interactive Learning), introduce un agente che interagisce autonomamente con nodi e archi di un grafo per recuperare le informazioni più rilevanti. L'approccio si articola in tre fasi principali:

A. Definizione delle Azioni e Sintesi dei Dati

Per superare la carenza di dati strutturati di alta qualità, GRAIL propone una pipeline di sintesi automatica dei dati senza annotazione umana:

1. Definizione delle Azioni: Vengono definiti tre tipi di operazioni fondamentali per l'esplorazione del grafo:
   • Explore Entity: Esamina il contesto relazionale attorno a un'entità target, aggiungendo nodi e relazioni alla finestra di percezione.
   • Choose Relation: Un operatore di pruning che filtra le triple nella finestra di percezione, selezionando solo quelle rilevanti per la query (usando un classificatore binario basato su LLM).
   • Finish: Termina l'esplorazione quando le informazioni raccolte sono sufficienti per rispondere alla query.
2. Sintesi dei Dati: Un LLM avanzato (GPT-4) interagisce con il grafo simulando queste azioni per generare traiettorie di esplorazione. Vengono mantenute solo le traiettorie con risposte corrette.

B. Addestramento in Due Fasi

Per addestrare l'agente di recupero, GRAIL utilizza una strategia ibrida:

1. Supervised Fine-Tuning (SFT): Il modello viene inizialmente addestrato sui dati sintetizzati per acquisire capacità di base di comprensione del grafo e allineamento alle istruzioni.
2. Reinforcement Learning (RL): Viene utilizzato l'algoritmo GRPO (Group Relative Policy Optimization).
   • Raffinamento dei Dati (Shortest Path Refinement): Per evitare il rumore nei dati sintetizzati, le traiettorie corrette vengono filtrate per mantenere solo i percorsi più brevi ed efficienti (principio di minimalità).
   • Reward Model: A differenza dei modelli basati sul risultato finale (Outcome-based Reward Models - ORM), GRAIL utilizza Process-based Reward Models (PRM). Grazie al filtraggio dei percorsi più brevi, è possibile assegnare ricompense granulari a ogni passo del ragionamento, migliorando l'assegnazione del credito e la stabilità dell'addestramento.

C. Recupero Interattivo (Inferenza)

Durante l'uso pratico, il modello adotta un paradigma di recupero interattivo:

• Esegue un ragionamento a catena di pensiero (Chain-of-Thought) esteso prima di ogni decisione.
• Decide dinamicamente se espandere l'esplorazione (aggiungere nodi) o restringere il contesto (pruning).
• Bilancia automaticamente la profondità di recupero e la precisione, terminando solo quando l'informazione è sufficiente.

3. Contributi Chiave

1. Framework di Recupero Interattivo: Un nuovo paradigma che permette un'esplorazione adattiva e consapevole della struttura su grafi di conoscenza su larga scala.
2. Pipeline di Sintesi Dati Scalabile: Un metodo automatico per generare dati di addestramento per RL in ambienti grafici, eliminando la necessità di annotazione umana costosa.
3. Paradigma di Addestramento Ibrido: L'integrazione di SFT e RL con ricompense basate sul processo (PRM) e filtraggio dei percorsi più brevi, che potenzia significativamente le capacità di ragionamento del recuperatore.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset di benchmark per il Question Answering su Knowledge Graph: WebQSP, CWQ e MetaQA.

• Prestazioni Generali: GRAIL supera significativamente tutti i baselines (inclusi RAG tradizionali, G-Retriever, LightRAG, ToG).
  • Miglioramento medio dell'Accuracy del 21,01%.
  • Miglioramento medio dell'F1 Score del 22,43%.
• Efficienza del Recupero: GRAIL recupera solo il 11,44% delle triple necessarie rispetto a metodi come G-Retriever per ottenere risposte corrette, dimostrando una capacità superiore di ridurre la ridondanza mantenendo l'accuratezza.
• Ablation Study:
  • La rimozione della fase SFT o RL causa un crollo delle prestazioni, confermando la necessità di entrambe.
  • L'assenza del filtro "Shortest Path" degrada pesantemente le prestazioni a causa del rumore nelle ricompense.
  • L'uso di PRM (Process Reward Models) invece di ORM si è rivelato statisticamente superiore per questo dominio.

5. Significato e Impatto

Il lavoro di GRAIL rappresenta un passo avanti significativo nell'intersezione tra LLM e Knowledge Graphs.

• Superamento dei limiti del RAG classico: Dimostra che il recupero su grafi non può essere trattato come un semplice recupero di documenti, ma richiede un'interazione dinamica e strutturata.
• Efficienza e Scalabilità: La capacità di generare dati di addestramento sintetici e di addestrare agenti che imparano strategie di esplorazione apre la strada all'applicazione di RAG su grafi di conoscenza reali e complessi senza dipendere da enormi dataset etichettati manualmente.
• Bilanciamento Precisione-Ridondanza: Risolve il compromesso storico tra recuperare informazioni sufficienti e non sovraccaricare il contesto dell'LLM, rendendo il ragionamento su grafi più robusto e affidabile.

In sintesi, GRAIL trasforma il recupero su grafi da un processo statico a un processo di ragionamento interattivo e adattivo, stabilendo un nuovo stato dell'arte (SOTA) per il Question Answering basato su Knowledge Graphs.