An End-to-End Explainable AI Framework with Automated LLM-Based Natural Language Explanation Generation for Energy Systems

Sintesi Tecnica: Un Framework di Intelligenza Artificiale Spiegabile End-to-End per i Sistemi Energetici

Problematica
Sebbene le reti neurali profonde (DNN) offrano prestazioni elevate in domini critici come i sistemi energetici, la loro natura di "scatola nera" ne ostacola l'implementazione in scenari ad alto rischio dove trasparenza, fiducia e responsabilità sono fondamentali. La ricerca esistente sulla XAI (Explainable AI) si concentra spesso su tecniche isolate (sia locali che globali) o si affida pesantemente a visualizzazioni che richiedono competenze nel dominio per essere interpretate. Inoltre, vi è una mancanza di framework unificati che valutino quantitativamente la qualità della spiegazione (tramite fedeltà e stabilità) e traducano le attribuzioni tecniche in linguaggio naturale accessibile agli stakeholder non tecnici.

Metodologia
Il documento propone un framework XAI riutilizzabile, end-to-end, progettato per essere indipendente dal dataset e applicabile sia a compiti di classificazione che di regressione. La pipeline consiste in quattro fasi integrate:

1. Pre-elaborazione dei Dati e Addestramento del Modello:

   • I dati tabulari grezzi subiscono una standardizzazione (z-score per le caratteristiche numeriche) e una codifica one-hot (per le caratteristiche categoriche) tramite una pipeline unificata per prevenire il data leakage.
   • Un Perceptron Multistrato (MLP) funge da modello black-box. L'architettura include due strati nascosti (192 neuroni) per la classificazione e tre strati nascosti (448 neuroni) per la regressione, utilizzando l'attivazione ReLU.
   • L'ottimizzazione è eseguita utilizzando l'ottimizzatore Adam con regolarizzazione L2 per prevenire l'overfitting.

2. Generazione della Spiegabilità (LIME e SHAP):

   • Spiegazioni Locali: Local Interpretable Model-agnostic Explanation (LIME) approssima il modello localmente utilizzando un modello surrogato (regressione logistica per la classificazione, regressione ridge pesata per la regressione) per generare l'importanza delle caratteristiche specifica per l'istanza.
   • Spiegazioni Globali e Locali: SHapley Additive exPlanations (SHAP) utilizza KernelSHAP (a causa della natura non basata su alberi delle reti neurali) per calcolare i valori di Shapley, quantificando i contributi delle caratteristiche sia a livello globale che locale.
   • Valutazione: La qualità della spiegazione è rigorosamente valutata tramite Fedeltà (quanto bene la spiegazione approssima il comportamento del modello) e Stabilità (coerenza delle spiegazioni sotto piccole perturbazioni dell'input).

3. Generazione di Linguaggio Naturale basata su LLM:

   • Per colmare il divario tra output tecnici e comprensione umana, i dati strutturati (tipo di modello, previsione, caratteristiche principali, direzione dell'influenza e metriche di affidabilità) vengono inseriti in un Large Language Model (LLM).
   • Utilizzando un template di prompt fisso, l'LLM genera sintesi concise in linguaggio naturale composte da cinque punti che coprono panoramiche dei grafici, scoperte chiave, importanza delle caratteristiche, comportamento del modello e potenziali problemi.

4. Dataset di Validazione:

   • Rilevamento Guasti nei Sistemi di Potenza: Un compito di classificazione binaria utilizzando 12.001 record di misurazioni di corrente e tensione trifase.
   • Previsione dell'Energia degli Edifici: Un compito di regressione utilizzando 2.503 record di attributi edilizi per prevedere l'uso di energia del sito (kBtu).

Contributi Chiave

• Framework Unificato: Una pipeline modulare, end-to-end, che integra la predizione black-box, la spiegabilità a doppia modalità (LIME/SHAP), la valutazione quantitativa e la generazione di testo basata su LLM.
• Valutazione Quantitativa: L'incorporazione di metriche di fedeltà e stabilità per misurare oggettivamente l'affidabilità della spiegazione, andando oltre l'ispezione visiva qualitativa.
• Accessibilità: L'automazione della conversione di complesse attribuzioni numeriche in spiegazioni in linguaggio naturale adatte a stakeholder non tecnici.
• Validazione Cross-Task: Dimostrazione dell'efficacia del framework in entrambi i domini di classificazione (rilevamento guasti) e regressione (previsione energetica).

Risultati Sperimentali

• Rilevamento Guasti (Classificazione):
  • L'MLP ha raggiunto un'accuratezza di test del 99% e un ROC-AUC di 1.00.
  • La qualità della spiegazione è stata eccezionale, con una Fedeltà a 1.00 e una Stabilità a 0.998, indicando spiegazioni altamente affidabili e coerenti.
  • SHAP ha identificato le correnti di fase (A e B) e le tensioni come caratteristiche critiche.
• Previsione dell'Energia degli Edifici (Regressione):
  • L'MLP ha raggiunto un punteggio R² di 0.67 sul set di test.
  • La Fedeltà è rimasta alta (0.998), ma la Stabilità è scesa a 0.719. Gli autori attribuiscono questa minore stabilità alla complessa interazione non lineare tra le caratteristiche degli edifici (es. tipo, dimensione) e la sensibilità dei valori SHAP alle piccole variazioni di input in questo dominio.
• Analisi Comparativa (Rete Neurale vs. Random Forest):
  • Nel rilevamento guasti, la Rete Neurale (NN) ha leggermente sottoperformato rispetto a Random Forest (RF) in termini di accuratezza (0.990 vs. 0.997) ma ha ottenuto una maggiore fedeltà SHAP (1.00 vs. 0.985).
  • Nella regressione energetica, RF ha superato la NN nelle metriche predittive (R² 0.70 vs. 0.67) e ha superato significativamente la NN nella stabilità della spiegazione (0.982 vs. 0.719). Gli autori osservano che, sebbene le NN generalizzino bene, le loro spiegazioni sono meno robuste per i compiti di regressione che coinvolgono caratteristiche categoriche rispetto ai modelli basati su alberi.

Significatività e Rivendicazioni
Il documento afferma che il framework proposto riesce a migliorare l'interpretabilità dei modelli black-box per applicazioni ingegneristiche ad alto rischio. Combinando una rigorosa valutazione quantitativa con la generazione di linguaggio naturale guidata da LLM, il sistema fornisce spiegazioni "stabili e fedeli" che sono accessibili a diversi stakeholder. Gli autori sostengono che, sebbene il framework funzioni eccezionalmente bene nei compiti di classificazione critici per la sicurezza (rilevamento guasti), la minore stabilità osservata nei compiti di regressione evidenzia la complessità intrinseca dello spiegare le relazioni non lineari nella previsione energetica. In definitiva, il lavoro fornisce una soluzione agnostica rispetto al modello per migliorare la trasparenza, pur riconoscendo che la stabilità della spiegazione varia a seconda della complessità dei dati sottostanti e dell'architettura del modello.