Riepilogo Tecnico: PersonalAI 2.0 (PAI-2)

Enunciato del Problema

I Modelli Linguistici su Larga Scala (LLM) possiedono una forte fluidità generativa e comprensione contestuale, ma affrontano sfide fondamentali in domini ricchi di fatti, specificamente per quanto riguarda la coerenza delle conoscenze, la scalabilità e la fondatezza. Sebbene l'integrazione di Grafi della Conoscenza (KG) esterni offra una soluzione promettente per colmare il divario tra ragionamento e fattualità, i framework esistenti di Graph Retrieval-Augmented Generation (GraphRAG) soffrono di limitazioni significative. I metodi tradizionali spesso si basano su ontologie statiche, meccanismi di attraversamento inefficienti e recuperi a livello di nodo che faticano con compiti di ragionamento multi-hop. Questi sistemi mancano dell'adattabilità dinamica necessaria per modificare le strategie di ricerca in base alle scoperte intermedie, portando a una ridotta precisione e a un aumento dei tassi di allucinazione nella Risposta alle Domande (QA) a dominio aperto.

Metodologia

PersonalAI 2.0 (PAI-2) introduce un framework innovativo che integra il ragionamento guidato da LLM con una memoria esterna basata su grafi per affrontare queste limitazioni. Il cuore di PAI-2 è una pipeline dinamica di elaborazione delle query a più stadi, progettata per ottimizzare l'attraversamento del grafo e la risoluzione delle query. A differenza dei sistemi di recupero statici, PAI-2 impiega un meccanismo di ricerca iterativo e adattivo guidato da entità estratte e query-chiave generate.

La pipeline QA consiste in tredici stadi, molti dei quali possono essere eseguiti in parallelo:

1. Preprocessing della Domanda: La query in linguaggio naturale dell'utente viene denoizzata, potenziata (corretta grammaticalmente e riformulata con terminologia precisa) e, se necessario, scomposta in sotto-domande indipendenti.
2. Pianificazione della Ricerca: Per ogni sotto-domanda, viene generato un piano di ricerca iniziale come una sequenza di passaggi di ricerca in linguaggio naturale.
3. Estrazione e Corrispondenza delle Entità: Le entità nominate vengono estratte dal passaggio di ricerca corrente e corrisposte ai vertici oggetto rilevanti nel grafo di memoria utilizzando una combinazione di modelli di recupero densi e sparsi (ad es. BM25, modelli dual-tower).
4. Generazione delle Query-Chiave: Sulla base della combinazione lineare dei vertici oggetto corrispondenti e del passaggio di ricerca, il sistema genera specifiche "query-chiave" per guidare l'attraversamento.
5. Attraversamento e Filtraggio del Grafo: Il sistema esegue attraversamenti indipendenti del grafo (utilizzando algoritmi come BeamSearch e WaterCircles) partendo dai vertici corrispondenti. I tripletto recuperati vengono filtrati in base ai punteggi di rilevanza rispetto al passaggio di ricerca corrente.
6. Raffinamento Iterativo: Le informazioni raccolte dalle query-chiave vengono riassunte. Il sistema valuta quindi se sono state raccolte conoscenze sufficienti per rispondere alla sotto-domanda. In caso contrario, il piano di ricerca viene dinamicamente potenziato (modificato) sulla base delle informazioni appena scoperte e il processo si ripete. Questo ciclo continua fino alla generazione di una risposta o al raggiungimento di un limite massimo di esplorazione.
7. Aggregazione delle Risposte: Le sotto-risposte per tutte le domande scomposte vengono aggregate in una risposta finale.

Il grafo di memoria stesso archivia conoscenze testuali non strutturate come vertici strutturati (oggetto, tesi, episodico) e archi, utilizzando Neo4j per l'archiviazione del grafo e database vettoriali (Qdrant, OpenSearch) per la ricerca di similarità semantica.

Contributi Chiave

Gli autori presentano cinque contributi principali:

1. Framework PAI-2: Un metodo GraphRAG che integra efficacemente una memoria esterna basata su grafi con il ragionamento degli LLM per pianificare la ricerca delle informazioni e gestire dinamicamente l'attraversamento del grafo.
2. Prestazioni sui Benchmark: La valutazione su sei benchmark (Natural Questions, TriviaQA, HotpotQA, 2WikiMultihopQA, MuSiQue e DiaASQ) mostra PAI-2 che ottiene prestazioni superiori su 4 dataset su 6 rispetto alle linee di base (LightRAG, RAPTOR, HippoRAG 2), con un guadagno medio del 4% valutato tramite LLM-as-a-Judge.
3. Potenziamento del Piano di Ricerca: Il documento dimostra che l'abilitazione di un meccanismo di potenziamento del piano di ricerca aumenta l'accuratezza delle risposte di una media del 18% su sei dataset rispetto a una versione disabilitata.
4. Efficacia dell'Attraversamento del Grafo: L'uso di algoritmi avanzati di attraversamento del grafo (BeamSearch, WaterCircles) produce un miglioramento medio del 6% nelle prestazioni rispetto ai recuperatori di appiattimento standard.
5. Stabilità della Costruzione della Memoria: PAI-2 ottiene un risultato State-of-the-Art (SOTA) sul benchmark MINE-1 con un punteggio di ritenzione delle informazioni dell'89% utilizzando LLM con 7-14B parametri. L'algoritmo di costruzione della memoria si dimostra più stabile (meno errori di analisi) rispetto ai metodi concorrenti come KGGen e Wikontic in questo livello.

Risultati

Gli esperimenti sono stati condotti utilizzando Qwen2.5 7B come back-end LLM sia per la costruzione della memoria che per la generazione delle risposte QA.

• Prestazioni Comparative: PAI-2 ha superato LightRAG, RAPTOR e HippoRAG 2 su TriviaQA, 2WikiMultihopQA e MuSiQue. Su HotpotQA e DiaASQ, ha ottenuto risultati comparabili a HippoRAG 2 e PAI-1. È stato osservato un divario significativo (11% di differenza) su Natural Questions, che gli autori attribuiscono alla formattazione in minuscolo del benchmark e ai requisiti di risposta ambigui che causano il ritorno di "Nessuna Risposta" da parte del sistema a causa dell'incertezza.
• Studi di Ablazione:
  • La disabilitazione del meccanismo di potenziamento del piano di ricerca ha comportato un calo dell'accuratezza del 18%.
  • L'aumento del numero di query-chiave per passaggio di ricerca da 1 a 8 ha migliorato la qualità della risposta di una media del 4%.
  • L'esclusione delle triple episodiche dal contesto ha mitigato il problema "Lost in the Middle" e migliorato la fondatezza.
• Efficienza: PAI-2 richiede circa il doppio della latenza di PAI-1 (in media 1,51 minuti per domanda contro 1,0 minuto) a causa della sua natura iterativa, con colli di bottiglia identificati nell'inferenza LLM, nella ricerca vettoriale e nell'attraversamento del grafo.

Significato

Il documento posiziona PAI-2 come un passo fondamentale verso agenti AI personalizzati di prossima generazione che richiedono una rappresentazione e un ragionamento delle conoscenze scalabili e consapevoli del contesto. Superando il recupero statico per passare a una pianificazione dinamica e iterativa, PAI-2 affronta le limitazioni critiche di allucinazione e precisione nei domini ricchi di fatti. Gli autori affermano che questo approccio getta le basi per futuri LLM potenziati da grafi di memoria esterna più ricchi e strutturati, consentendo agli agenti di fornire risposte sfumate con una solida fondatezza fattuale. Il lavoro sottolinea il potenziale della combinazione dell'attraversamento strutturato dei grafi con il ragionamento degli LLM per creare sistemi AI più robusti e accurati.