MATRAG: Multi-Agent Transparent Retrieval-Augmented Generation for Explainable Recommendations

1. Il Problema

I sistemi di raccomandazione basati su Large Language Models (LLM) hanno dimostrato capacità eccezionali nella comprensione delle preferenze utente e nella generazione di suggerimenti personalizzati. Tuttavia, l'articolo identifica tre sfide critiche che limitano la loro adozione in ambienti reali e ad alto rischio (come sanità, finanza ed e-commerce):

1. Mancanza di Trasparenza: I modelli LLM operano spesso come "scatole nere", generando suggerimenti senza articolare il ragionamento sottostante, il che erode la fiducia dell'utente.
2. Allucinazioni e Mancanza di Grounding: Gli LLM tendono a allucinare fatti o a non incorporare informazioni specifiche del dominio e aggiornate. Le soluzioni standard di Retrieval-Augmented Generation (RAG) recuperano spesso frammenti di testo isolati, ignorando la ricca struttura relazionale dei dati.
3. Coordinamento Multi-Agente: Gli approcci a singolo agente faticano a decomporre compiti di raccomandazione complessi, a mantenere un ragionamento coerente su più turni e a sintetizzare segnali eterogenei (filtri collaborativi, contenuti, feedback testuali).

2. Metodologia: Il Framework MATRAG

MATRAG è un framework innovativo che unisce la collaborazione multi-agente, il recupero potenziato da Grafi della Conoscenza (Knowledge Graph - KG) e la generazione di raccomandazioni spiegabili. L'architettura è orchestrata da un Agente Orchestratore che coordina quattro agenti specializzati:

1. User Modeling Agent (Agente di Modellazione Utente):

   • Costruisce profili di preferenza dinamici e multifaccettati.
   • Integra segnali comportamentali (click, valutazioni), feedback testuale (recensioni) e fattori contestuali.
   • Utilizza l'apprendimento in contesto (in-context learning) per estrarre preferenze esplicite e implicite.

2. Item Analysis Agent (Agente di Analisi degli Oggetti):

   • Recupera e sintetizza conoscenza strutturata dai Grafi della Conoscenza relativi agli oggetti candidati.
   • Esegue il Entity Linking, l'estrazione di sottografi (vicinanze a k-hop) e il filtraggio delle relazioni rilevanti per le preferenze dell'utente.
   • Utilizza un approccio a due stadi: recupero denso basato su embedding e ri-classificazione (reranking) guidata dall'LLM.

3. Reasoning Agent (Agente di Ragionamento):

   • Integra i segnali dalla modellazione utente e dall'analisi degli oggetti.
   • Combina segnali di Collaborative Filtering (preferenze di utenti simili) con segnali Content-Based (corrispondenza attributi-oggetto).
   • Genera una catena di ragionamento esplicita (reasoning chain) che collega ogni passo logico alle evidenze recuperate dal KG.
   • Ottimizza il bilanciamento tra rilevanza e diversità, rispettando i vincoli utente.

4. Explanation Agent (Agente di Spiegazione):

   • Trasforma la catena di ragionamento in spiegazioni in linguaggio naturale, adattate al livello di comprensione dell'utente (modalità: concisa, dettagliata o comparativa).
   • È vincolato a citare evidenze specifiche dalla catena di ragionamento e dai sottografi recuperati per garantire la fedeltà.

Modulo di Punteggio di Trasparenza

Un contributo centrale è il Transparency Scoring Module, che quantifica la qualità della spiegazione lungo tre dimensioni:

• Fedeltà (Faithfulness): Misura se la spiegazione riflette accuratamente le evidenze recuperate (usando un approccio basato sull'implicazione logica - NLI).
• Coerenza (Coherence): Valuta la consistenza logica e il flusso del testo (valutato da un LLM come giudice).
• Personalizzazione (Personalization): Misura l'allineamento tra la spiegazione e il profilo dell'utente (tramite similarità di embedding).
  Il punteggio finale è una media ponderata di questi tre fattori.

3. Contributi Chiave

• Framework Multi-Agente: Introduzione di MATRAG, che unisce agenti specializzati per la modellazione, l'analisi, il ragionamento e la spiegazione, superando i limiti dei sistemi a singolo agente.
• Grounding su Grafi della Conoscenza: Integrazione diretta del recupero da KG all'interno di un flusso collaborativo multi-agente per ridurre le allucinazioni.
• Meccanismo di Valutazione Quantitativa: Proposta di un sistema di punteggio di trasparenza che permette sia la valutazione automatica che il raffinamento iterativo (Human-in-the-loop).
• Validazione Sperimentale: Dimostrazione empirica su tre dataset di riferimento che il framework migliora sia l'accuratezza delle raccomandazioni che la qualità delle spiegazioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset: Amazon Reviews (Elettronica), MovieLens-1M (Film) e Yelp (Business).

• Accuratezza delle Raccomandazioni:

  • MATRAG ha raggiunto prestazioni State-of-the-Art (SOTA) su tutti i dataset.
  • Su Amazon, ha migliorato il Hit Rate (HR@10) del 12,7% e l'NDCG del 15,3% rispetto alle migliori baseline.
  • Ha superato significativamente approcci basati su LLM singoli (es. InteRecAgent) e approcci RAG standard (es. K-RagRec), confermando il valore della collaborazione multi-agente e del grounding su KG.

• Qualità delle Spiegazioni:

  • Le spiegazioni generate hanno ottenuto un punteggio di Fedeltà (Faithfulness) di 0,847 (vs 0,751 di G-CRS), indicando una forte allineamento con le evidenze fattuali.
  • Valutazione Umana: In uno studio con 12 esperti di dominio, l'87,4% delle spiegazioni di MATRAG è stato valutato come "utile" e "degno di fiducia" (punteggio ≥4 su 5), contro il 62,1% del metodo migliore tra le baseline.
  • Gli esperti hanno apprezzato la capacità del sistema di citare fatti concreti (es. "diretto da Christopher Nolan") e di spiegare perché certi oggetti simili non sono stati scelti.

• Studi di Ablazione:

  • La rimozione di qualsiasi agente (in particolare l'Agente di Ragionamento) ha causato un calo significativo dell'accuratezza (fino al -15,4% di HR).
  • La rimozione del modulo di punteggio di trasparenza ha leggermente ridotto sia l'accuratezza che la qualità della spiegazione, suggerendo che il feedback loop di valutazione aiuta a raffinare il processo di ragionamento.

• Efficienza:

  • MATRAG presenta una latenza più elevata (5,3s per richiesta) rispetto ai metodi a singolo agente a causa del coordinamento multi-agente e delle query al KG. Tuttavia, l'articolo nota che questa latenza è accettabile per scenari non in tempo reale e che le chiamate agli agenti possono essere parallelizzate.

5. Significato e Implicazioni

Il lavoro di MATRAG stabilisce nuovi benchmark per i sistemi di raccomandazione trasparenti e basati su agenti. Le sue implicazioni principali sono:

1. Specializzazione senza Sacrificio: L'architettura multi-agente permette di specializzare compiti complessi senza perdere l'integrazione del sistema, migliorando sia l'accuratezza che la coerenza.
2. Necessità del Grounding Fattuale: Per evitare la sfiducia degli utenti, le spiegazioni degli LLM devono essere ancorate a fatti verificabili tramite Grafi della Conoscenza, non solo a testo non strutturato.
3. Misurabilità della Trasparenza: La proposta di un punteggio di trasparenza quantitativo offre un percorso per il miglioramento iterativo dei sistemi di raccomandazione, rendendo l'XAI (Explainable AI) misurabile e ottimizzabile.

In sintesi, MATRAG dimostra che combinare agenti specializzati, recupero strutturato da KG e meccanismi di valutazione della trasparenza porta a sistemi di raccomandazione che non solo sono più precisi, ma anche più comprensibili e affidabili per l'utente finale.