A Hybrid Data Analytics Framework Integrating Machine Learning and Graph-Based Knowledge Models for Explainable Soil Organic Carbon Assessment

Sintesi Tecnica: Un Framework di Analisi Dati Ibrido che Integra Machine Learning e Modelli di Conoscenza Basati su Grafi per la Valutazione Spiegabile del Carbonio Organico del Suolo

Definizione del Problema
Una valutazione affidabile del Carbonio Organico del Suolo (SOC) è fondamentale per le iniziiche di rimozione del carbonio, la pianificazione dell'agroforestazione e i sistemi credibili di Misurazione, Rendicontazione e Verifica (MRV). Tuttavia, gli approcci attuali affrontano ostacoli significativi, tra cui dati del suolo eterogenei, profondità di campionamento incoerenti, copertura spaziale limitata e la natura "black box" dei modelli di predizione basati sui dati. I modelli puramente basati sul machine learning spesso faticano con l'interpretabilità e non riescono a tenere conto delle dipendenze spaziali, trattando osservazioni correlate come indipendenti. Questa mancanza di trasparenza mina la fiducia nei mercati del carbonio, dove gli stakeholder richiedono non solo predizioni accurate, ma anche spiegazioni verificabili delle condizioni ambientali e delle assunzioni sottostanti a tali stime.

Metodologia
Il documento propone un framework di analisi dati ibrido progettato per integrare il machine learning supervisionato con modelli di conoscenza basati su grafi per consentire una valutazione spiegabile del SOC. Il framework opera attraverso quattro componenti modulari:

1. Pipeline di Armonizzazione dei Dati: Il sistema ingerisce dati eterogenei dal World Soil Information Service (WoSIS) e li arricchisce con dati climatici (World Bank CCKP), di copertura del suolo (MODIS), di ecoregione (CONABIO) e covariate del suolo raccomandate dagli esperti. Un passaggio critico consiste nella standardizzazione delle misurazioni del suolo a un intervallo comune di 0–30 cm utilizzando il metodo Equal Area Quadratic Spline (tramite la funzione ea_spline in R) per garantire la comparabilità tra diversi protocolli di campionamento.
2. Componente di Machine Learning Supervisionato: Questa componente funge da motore predittivo primario. Utilizza modelli di regressione Random Forest per stimare due target chiave: la concentrazione di carbonio organico (g/kg) e lo stock di carbonio (t/ha). I modelli sono addestrati su armonizzate covariate del suolo e ambientali, con protocolli rigorosi per prevenire il data leakage (ad esempio, partizionamento train-test a livello di profilo). Un modello esplorativo di deep learning è stato inoltre testato ma ha prodotto prestazioni inferiori rispetto a Random Forest.
3. Componente di Conoscenza Basata su Grafi (Rappresentazione Spaziale): Per affrontare il contesto spaziale, il framework costruisce un grafo spaziale in cui i profili del suolo sono nodi connessi da prossimità geografica (archi definiti da una soglia di distanza Haversine di 10 km). Una rete di convoluzione su grafo (Graph Convolutional Network - GCN) viene addestrata utilizzando una perdita di margine a triplette auto-supervisionata per apprendere embedding a bassa dimensionalità dei profili del suolo. Fondamentalmente, le variabili del carbonio organico e inorganico sono escluse dalle feature di input, garantendo che i cluster risultanti rappresentino "archetipi del suolo" basati sulla somiglianza ambientale e pedologica piuttosto che sui valori diretti del carbonio.
4. Componente di Spiegazione tramite Grafi: Un grafo basato su reti bayesiane viene costruito per supportare il ragionamento probabilistico. Questa componente modella le relazioni assunte tra il SOC e variabili quali pH, profondità, pendenza, frammenti di roccia, copertura del suolo ed ecoregione. Condizionando il grafo a stati di SOC alto o basso, il sistema genera profili ambientali interpretabili che spiegano le condizioni associate a diversi livelli di carbonio.

Contributi Chiave
Il documento delinea sei contributi primari:

• Framework Ibrido: Propone un workflow unificato che combina la predizione supervisionata, la rappresentazione spaziale basata su reti neurali a grafi e la spiegazione probabilistica basata su grafi.
• Armonizzazione dei Dati: Sviluppa un workflow che integra disparati dataset del suolo e ambientali, standardizzando le misurazioni a un intervallo di profondità di 0–30 cm.
• Valutazione Predittiva: Valuta i modelli supervisionati per stimare la concentrazione e lo stock di carbonio organico in uno studio di caso focalizzato sul Messico.
• Archetipi Spaziali: Costruisce un modello di embedding GCN che identifica archetipi del suolo spazialmente coerenti indipendentemente dai valori di carbonio.
• Spiegazione Probabilistica: Dimostra come il ragionamento basato su grafi possa interpretare i profili ambientali collegati alle condizioni di alto e basso carbonio organico.
• Implementazione del Prototipo: Fornisce una dashboard basata su Streamlit che visualizza le predizioni insieme ai cluster spaziali e ai profili esplicativi, fungendo da prova di concetto per il supporto alle decisioni.

Risultati
Il framework è stato valutato utilizzando uno studio di caso focalizzato sul Messico con dati WoSIS.

• Performance Predittiva: I modelli Random Forest hanno raggiunto prestazioni moderate, con valori di $R^2$ compresi tra 0,54 e 0,78. Il modello di concentrazione del Carbonio Organico Totale (TCEQ) ha ottenuto le prestazioni migliori ($R^2$ = 0,78), mentre le predizioni dello stock hanno mostrato valori di $R^2$ pari a 0,54. Gli autori osservano che, sebbene i modelli catturino ampi trend spaziali, presentano una considerevole incertezza per la stima precisa a livello puntuale. Il modello esplorativo di deep learning è stato meno performante ($R^2$ = 0,26) e non è stato esteso ai compiti di predizione dello stock.
• Clustering Spaziale: Il modello di embedding GCN ha identificato con successo otto cluster di suolo spazialmente coerenti in tutto il Messico. Questi cluster corrispondevano a differenze interpretabili nella tessitura del suolo, nel pH e nella pendenza, validando la capacità del modello di catturare somiglianze regionali del suolo senza ricorso diretto ai dati del carbonio.
• Profilazione Esplicativa: La rete bayesiana ha differenziato con successo i profili ambientali per l'alto rispetto al basso SOC. L'alto SOC era associato a pH acidi, strati superficiali e ecoregioni temperate sub-umide. Al contrario, il basso SOC era legato a condizioni alcaline, strati più profondi, regioni aride e un maggiore contenuto di frammenti di roccia.

Significatività e Rivendicazioni
Gli autori posizionano questo lavoro come un passo verso una valutazione del carbonio nel suolo più trasparente e interpretabile, piuttosto che come una piattaforma MRV pienamente operativa. La significatività risiede nell'integrazione di tre tipi complementari di evidenza: predizione numerica, somiglianza spaziale e spiegazione probabilistica.

Il documento afferma che questo approccio ibrido affronta il "gap di spiegabilità" nell'IA ambientale. Collegando una stima numerica del carbonio a un archetipo del suolo spazialmente radicato e a un profilo ambientale probabilistico, il framework consente agli utenti di capire perché una predizione è stata effettuata e se essa sia in linea con i modelli regionali noti. Ciò è presentato come essenziale per costruire fiducia nei mercati del carbonio e per supportare la revisione degli esperti nei flussi di lavoro MRV.

Tuttavia, gli autori mantengono una posizione modesta riguardo alla prontezza operativa. Essi riconoscono esplicitamente i limiti, tra cui le dimensioni relativamente modeste del dataset armonizzato, la mancanza di dati dettagliati sull'uso del suolo/gestione (che limita la valutazione degli impatti dell'agroforestazione) e la necessità di ulteriore validazione prima che il framework possa supportare la creazione di crediti di carbonio ad alto valore. L'output attuale è descritto come un prototipo di ricerca progettato per dimostrare la fattibilità analitica e il valore dell'analisi ibrida, non come una soluzione finale per la verifica dei crediti di carbonio.