A transferable explainable and uncertainty-aware machine learning framework for water quality classification in data-scarce regions

Sintesi Tecnica: Un framework di apprendimento automatico trasferibile, spiegabile e consapevole dell'incertezza per la classificazione della qualità dell'acqua in regioni con scarsità di dati

Problematica
La valutazione della qualità dell'acqua nelle regioni con scarsità di dati affronta sfide critiche, tra cui reti di monitoraggio frammentate, dataset eterogenei, qualità variabile delle etichette e incertezza nelle soglie decisionali. Sebbene gli Indici di Qualità dell'Acqua (WQI) offrano uno strumento di comunicazione semplificato, essi spesso oscurano la complessità idrochimica locale e l'incertezza, in particolare quando le soglie vengono trasferite da contesti differenti. Gli approcci esistenti di machine learning (ML) spesso danno priorità all'accuratezza predittiva rispetto alla definizione del compito, confondendo spesso problemi di classificazione indipendenti con esercizi di recupero di regole basati su etichette derivate dagli indici. Inoltre, questi modelli mancano spesso di spiegabilità e stima dell'incertezza, portando a previsioni eccessivamente sicure in ambienti in cui i parametri fisico-chimici potrebbero non separare completamente le classi di qualità dell'acqua. Lo studio affronta la necessità di un framework di supporto decisionale cauto e riproducibile che gestisca esplicitamente la scarsità di dati, l'eterogeneità dei compiti e il rischio di fuga di informazioni (information leakage).

Metodologia
Gli autori propongono un framework trasferibile che integra dataset open-access, ragionamento WQI, costruzione di compiti consapevoli della fuga di dati, apprendimento supervisionato, IA spiegabile (XAI) e stima dell'incertezza. Il flusso di lavoro procede attraverso le seguenti fasi:

1. Curatela e Armonizzazione dei Dati: Cinque dataset open-access sono stati auditati e armonizzati. Ciò ha comportato la standardizzazione dei nomi delle colonne, la conversione delle variabili in formati numerici, la gestione dei valori mancanti tramite imputazione della mediana (utilizzando solo le statistiche del set di addestramento) e la rimozione dei record duplicati. Fondamentalmente, è stato applicato un protocollo consapevole della fuga di dati: le variabili che codificano direttamente le etichette target o i punteggi WQI sono state escluse dalla matrice dei predittori per evitare il ragionamento circolare.
2. Definizione del Compito: Lo studio separa esplicitamente tre diverse famiglie di compiti per evitare di interpretare erroneamente le prestazioni del modello:
   • Classificazione Binaria della Potabilità dell'Acqua: Il compito principale "difficile", che mira a distinguere i campioni potabili da quelli non potabili utilizzando descrittori fisico-chimici.
   • Classificazione Strutturata della Qualità delle Acque Sotterranee: Un compito di classificazione idrochimica basato su parametri come salinità e sodicità.
   • Recupero delle Regole WQI: Un compito secondario in cui i modelli tentano di riprodurre le classificazioni derivate dalla logica WQI, fungendo da test di approssimazione delle regole piuttosto che da validazione indipendente sul campo.
3. Costruzione delle Etichette: Per i compiti WQI, le etichette sono state generate utilizzando varie formulazioni (peso uguale, aritmetica pesata, pesata dall'entropia, pesata dal metodo CRITIC e ibrida entropia-CRITIC). Queste sono state utilizzate rigorosamente per i compiti di recupero delle regole, non come verità fondamentale (ground truth) per la potabilità.
4. Modellazione e Ottimizzazione: È stato valutato un ampio set di algoritmi (Random Forest, Extra Trees, HistGradientBoosting, XGBoost, LightGBM, SVM, KNN, MLP). L'ottimizzazione degli iperparametri si è concentrata su F1-macro e accuratezza bilanciata per affrontare lo sbilanciamento delle classi. Le tecniche di resampling (SMOTE, ADASYN) sono state applicate solo all'interno del fold di addestramento per prevenire la fuga di dati.
5. Spiegabilità e Incertezza:
   • Spiegabilità: SHAP (Shapley Additive Explanations) e l'importanza della permutazione sono stati utilizzati per identificare i driver fisico-chimici.
   • Incertezza: Il framework utilizza la calibrazione della probabilità, il punteggio di confidenza, i margini decisionali, l'analisi dell'entropia e la previsione split-conformal. Ciò consente al sistema di emettere una singola classe quando l'evidenza è forte, o un insieme di possibili classi (o un segnale per la revisione esperta) quando l'incertezza è elevata.

Risultati Chiave

• Prestazioni Specifiche per il Compito:
  • Potabilità Binaria: Il modello Random Forest ha ottenuto prestazioni moderate (Accuratezza: 0.6890, Accuratezza Bilanciata: 0.6627, F1-macro: 0.6655, ROC-AUC: 0.6902). Ciò conferma che i descrittori fisico-chimici disponibili separano solo parzialmente i campioni potabili da quelli non potabili.
  • Classificazione delle Acque Sotterranee: I modelli hanno ottenuto punteggi quasi perfetti (Accuratezza: 1.0000) sui dataset di Telangana, indicando che le classi idrochimiche in questi dataset curati sono altamente strutturate e separabili.
  • Recupero delle Regole WQI: I modelli hanno ottenuto prestazioni molto elevate (Accuratezza > 0.98), confermando che il ML può approssimare efficacementamente le regole decisionali basate sugli indici. Tuttavia, gli autori avvertono che questo riflette il recupero delle regole, non una validazione indipendente sul campo.
• Analisi dell'Incertezza: Per il compito difficile della potabilità, lo strato di incertezza ha rivelato che solo il ~6.25% delle previsioni era altamente affidabile. Tuttavia, questo sottoinsieme affidabile ha raggiunto un'accuratezza di circa lo ~0.8780. Al contrario, circa il ~63.11% dei campioni è stato segnalato per la revisione esperta, prevenendo decisioni eccessivamente sicure su dati ambigui.
• Spiegabilità: I modelli hanno identificato driver scientificamente significativi. Per la potabilità, le variabili chiave includevano solfati, pH, solidi, clorammine e durezza. Per le acque sotterranee, la conducibilità elettrica, il rapporto di adsorbimento del sodio (SAR) e la durezza totale sono stati dominanti.

Contributi Chiave

1. Distinzione Metodologica: Lo studio stabilisce una distinzione critica tra compiti di classificazione indipendenti e compiti di recupero delle regole WQI, evitando di sopravvalutare le capacità del modello quando le etichette sono derivate dalle stesse caratteristiche utilizzate per la predizione.
2. Supporto Decisionale Consapevole dell'Incertezza: Piuttosto che agire come un "classificatore automatico cieco", il framework funziona come uno strumento di supporto decisionale che segnala esplicitamente i campioni incerti per la revisione esperta, una caratteristica cruciale per le regioni con scarsità di dati.
3. Framework Trasferibile: Il flusso di lavoro fornisce una metodologia riproducibile per l'audit, la pulizia e la modellazione dei dati sulla qualità dell'acqua che può essere adattata ai contesti locali una volta disponibili i dati sul campo.
4. Interpretazione Cauta: Il documento evita di rivendicare una generalizzazione universale, ponendo invece il lavoro come una fase fondamentale per una futura calibrazione locale.

Significatività e Rivendicazioni
Gli autori affermano che questo framework offre un "framework di supporto decisionale cauto e riproducibile" piuttosto che un classificatore automatico definitivo. La sua principale significatività risiede nella sua applicabilità alle regioni con scarsità di dati (citando specificamente il contesto della Guinea) dove i dati di monitoraggio locali sono limitati o frammentati. Integrando la spiegabilità e la stima dell'incertezza, il framework assicura che le previsioni siano accompagnate da una valutazione della loro affidabilità, supportando così la salute pubblica e la gestione ambientale senza sostituire le necessarie conferme di laboratorio.

Il documento dichiara esplicitamente che i risultati attuali si basano su dataset open-access e non costituiscono predizioni operative dirette per i sistemi idrici guineani. Il framework è progettato per essere adattato, ricalibrato e validato in una seconda fase utilizzando dati locali sul campo (pozzi, perforazioni, acque superficiali) ed espandendo le variabili (indicatori microbiologici, metalli pesanti, effetti stagionali). Il lavoro serve come base metodologica per una futura implementazione in contesti africani dove è richiesto un modellazione robusta, trasparente e consapevole dell'incertezza prima dell'implementazione a livello di campo.