Sintesi Tecnica: XstrAI – Un Sistema Multi-Agente per Narrazioni XAI Consapevoli dell'Audience

1. Definizione del Probleamento

I metodi di attribuzione delle feature locali, come SHAP, forniscono prove essenziali a livello di istanza per le predizioni dei modelli, ma spesso non riescono a servire efficacemente audience diverse. In domini ad alto rischio come l'IA medica, la stessa spiegazione tecnica deve essere comunicata a clinici, pazienti e scienziati dei dati, ognuno con competenze, obiettivi e rischi di interpretazione errata distinti.

Gli approveri attuali per la generazione di spiegazioni in linguaggio naturale da tali attribuzioni soffrono di diverse limitazioni:

• Agnosticismo rispetto all'Audience: I metodi di attribuzione delle feature sono progettati per essere agnostici rispetto all'audience, lasciando l'adattamento dell'evidenza al consumatore.
• Debole Fondamento (Weak Grounding): La verbalizzazione diretta tramite Large Language Models (LLM) o il condizionamento del ruolo tramite singolo prompt spesso produce output che sono persuasivi ma infedeli all'evidenza del modello sottostante.
• Confluenza Causale: Gli LLM frequentemente confondono l'attribuzione delle feature con il linguaggio causale, producendo allucinazioni o affermazioni non supportate.
• Generazione Monolitica: I sistemi esistenti di Narrative-XAI spesso trattano la generazione come un passaggio singolo e non strutturato, intrecciando la selezione dell'evidenza, l'adattamento all'audience e la validazione, il che limita l'ispezionabilità e il controllo.

La sfida centrale è generare narrazioni che siano non solo fluide, ma anche strettamente fondate su un'evidenza di attribuzione fissa, pur essendo semanticamente e stilisticamente appropriate per specifici gruppi di stakeholder.

2. Metodologia: Il Framework XstrAI

Gli autori propongono XstrAI, un framework multi-agente che scinde la rappresentazione dell'evidenza dalla sua comunicazione. Il sistema tratta le spiegazioni locali come fatti immutabili e struttura la loro trasformazione in narrazioni specifiche per gli stakeholder attraverso una pipeline controllata.

2.1 Architettura Core

Il framework opera su tre profili di stakeholder: Clinico, Paziente e Scienziato dei Dati. L'architettura consiste nei seguenti componenti:

1. ExplanationCard (Rappresentazione dell'Input):

   • Un artefatto strutturato, leggibile dalle macchine, che funge da "fonte di verità" per ogni caso di predizione.
   • Contiene informazioni sul caso, l'output del modello, le attribuzioni SHAP, i metadati delle feature, i vincoli di generazione e il profilo dello stakeholder target.
   • Questa card assicura che l'evidenza sottostante rimanga fissa e identica in tutti i percorsi dell'audience; le differenze nell'output derivano esclusivamente dalle scelte comunicative, non dall'alterazione dell'evidenza.

2. Pipeline Multi-Agente:
   Per ogni percorso dello stakeholder, tre agenti LLM specializzati operano sequenzialmente:

   • Framer Agent (Pianificazione): Riceve l' ExplanationCard e genera una FramingTrace. Questo artefatto definisce la strategia narrativa, inclusa l'organizzazione, l'ordine di presentazione delle feature, il tono, le cautele richieste e le istruzioni operative. Adatta l'evidenza allo stakeholder (ad esempio, privilegiando la leggibilità e un linguaggio non allarmante per i pazienti; mantenendo direzioni di attribuzione esplicite per gli scienziati dei dati).
   • Narrator Agent (Generazione): Riceve l' ExplanationCard e la FramingTrace. Genera la narrazione candidata, vincolata dall'evidenza fattuale nella card e dalla strategia comunicativa nella trace. Deve preservare il significato dell'attribuzione ed evitare affermazioni causali o diagnostiche, a meno che non siano permesse.
   • Reviewer Agent (Validazione): Agisce come un modulo interno di controllo della qualità. Valuta la narrazione candidata rispetto a cinque dimensioni:
     1. Card Grounding: Ancorata all'evidenza; nessuna fabbricazione.
     2. Fedeltà SHAP: La direzione e la magnitudo relativa dei contributi sono preservate.
     3. Inquadramento Epistemico: Descrive il comportamento del modello, non diagnosi o causalità.
     4. Sicurezza della Comunicazione: Nessun consiglio su trattamenti, prognosi o stile di vita (a meno che non sia esplicitamente permesso).
     5. Idoneità all'Audience: Il registro corrisponde allo stakeholder target.
   • Ciclo di Revisione Vincolato: Se il Reviewer rileva incongruenze, innesca una revisione. Il ciclo instrada il compito nuovamente al Framer, al Narrator, o a entrambi. Il sistema consente un massimo di due round di revisione (generando fino a tre tentativi per caso).

2.2 Setup Sperimentale

• Dataset: Dataset di predizione del Diabete e dell'Ictus.
• Modelli: Classificatori Random Forest con SHAP (TreeExpler) per le attribuzioni locali.
• Baseline: Il sistema è stato valutato contro 11 configurazioni, tra cui:
  • Explingo: Una reimplementazione di un narratore basato su loop allo stato dell'arte.
  • Baseline Incrementali (B1–B4): Varianti di XstrAI che ablatano componenti specifiche (ad esempio, generazione single-shot, role prompting, revision loops, verifica basata su regole).
• LLM: Qwen3.6:35B e Gemma4:31B sono stati utilizzati per la generazione e la revisione, con accoppiamenti tra famiglie diverse per evitare bias.

3. Protocollo di Valutazione

La valutazione impiega un approccio a regime doppio per misurare sia la fedeltà del testo rispetto all'evidenza, sia la sua appropriatezza per l'audience.

3.1 Valutazione Intra-Narrativa

Misura le proprietà del testo generato in sé:

• Forma: Leggibilità (Flesch–Kincaid), ricchezza lessicale (MATTR), verbosità e pattern di ripetizione.
• Contenuto: Accordo con l' ExplanationCard sui valori delle feature (Value Agreement), sulla direzione del contributo (Sign Agreement) e sull'ordine delle feature (Rank Agreement).
• Semantica: Accuratezza semantica misurata proiettando le frasi della narrazione in corpora di riferimento specifici per ogni stakeholder (articoli medici per clinici/scienziati dei dati, articoli divulgativi per pazienti) utilizzando gli embedding di Sentence-BERT.

3.2 Valutazione Extra-Narrativa

Misura come il testo viene ricevuto da valutatori esterni:

• LLM-as-a-Judge: Tre giudici LLM indipendenti (Claude, GPT, Gemini) hanno eseguito:
  • Analisi di Re-identificazione: Assegnazione di narrazioni anonimizzate alla loro audience prevista.
  • Classifica Competitiva: Classificazione di tutti i 14 output del sistema per ogni audience target, aggregata tramite punteggi Bradley-Terry/Elo.
• Valutazione Umana: Sondaggi con 15 partecipanti (5 per gruppo: clinici, scienziati dei dati, pazienti) che hanno valutato le narrazioni su Comprensibilità, Chiarezza, Utilità, Fiducia e Carico Cognitivo.

4. Risultati Chiave

• Adattamento all'Audience: Le narrazioni di XstrAI sono state costantemente assegnate alla loro audience prevista dai giudici indipendenti (100% di accuratezza nella re-identificazione), superando significativamente le baseline.
• Performance vs Baseline:
  • Clinico e Paziente: XstrAI è stato preferito rispetto a tutte le baseline nelle classifiche degli LLM.
  • Scienziato dei Dati: XstrAI è stato competitivo ma si è posizionato leggermente dietro le baseline a singolo prompt (B2) che massimizzano la densità SHAP grezza.
• Fedeltà e Struttura:
  • XstrAI ha mantenuto un alto Sign Agreement (preservando la direzione SHAP) pur permettendo uno spostamento del Rank Agreement per le narrazioni dei pazienti. Nello specifico, le narrazioni per i pazienti hanno sistematicamente promosso le feature "azionabili" (es. BMI) rispetto a quelle non azionabili (es. età), dando priorità alla comunicazione orientata all'intervento rispetto al rigoroso ranking SHAP.
  • XstrAI ha ottenuto tassi di ripetizione inferiori e una maggiore diversità lessicale rispetto alle baseline, evitando la generazione basata su template osservata nei sistemi con cicli di revisione ma senza agente di pianificazione.
• Feedback Umano: I clinici hanno valutato le narrazioni di XstrAI con i punteggi più alti in Comprensibilità (4.7/5) e Fiducia (4.1/5). I pazienti le hanno trovate altamente comprensibili (4.2/5) con un basso carico cognitivo (2.2/5), sebbene i punteggi di Fiducia siano stati più moderati (3.0/5).

5. Significato e Contributi

L'articolo rivendica tre contributi primari:

1. Architettura Innovativa: Un framework multi-agente che scinde la rappresentazione dell'evidenza, la pianificazione specifica per lo stakeholder, la realizzazione linguistica e la validazione in fasi ispezionabili, trattando le spiegazioni locali come evidenza fissa.
2. Protocollo di Valutazione Duale: Una metodologia che disincera la fedeltà intra-narrativa (verità rispetto all'evidenza) dall'appropriatezza extra-narrativa (aderenza all'audience), valutata rispetto a corpora di riferimento, giudici LLM multi-famiglia e soggetti umani.
3. Validazione Empirica: La prova che la generazione condizionata dall'audience richiede più del semplice role prompting; è necessaria una pipeline strutturata di pianificazione e validazione per produrre narrazioni che siano sia fedeli al modello che semanticamente allineate a diversi stakeholder.

Gli autori sottolineano che XstrAI dimostra che l'adattamento agli stakeholder può legittimamente rimodellare la struttura della spiegazione (ad esempio, riordinando le feature per i pazienti) senza compromettere l'evidenza centrale, a patto che tale trasformazione sia controllata e validata. Il lavoro suggerisce che un dispiegamento sicuro ed efficace della XAI richieda di andare oltre la generazione monolitica verso pipeline di comunicazione strutturate e verificabili.