Riepilogo Tecnico: Andare Oltre la Validazione Incrociata Spaziale e Casuale nella Modellazione Ambientale

1. Enunciato del Problema

L'applicazione della modellazione predittiva spaziale in ecologia e geoscienze affronta una sfida critica: come valutare adeguatamente l'accuratezza delle mappe quando non è disponibile un campione probabilistico formale dell'area di previsione. Sebbene vi sia un consenso sul fatto che il campionamento probabilistico indipendente rappresenti lo standard aureo per la stima dell'accuratezza, tali campioni sono spesso non fattibili con grandi database ecologici opportunistici (ad es. GBIF, sPlotOpen).

Di conseguenza, i ricercatori fanno affidamento su strategie di suddivisione dei dati, principalmente la validazione incrociata casuale (CV) e la validazione incrociata spaziale. Tuttavia, persiste un significativo dibattito riguardo a quale metodo produca stime non distorte:

• La CV casuale assume che i dati siano indipendenti e identicamente distribuiti (iid). I critici sostengono che ciò ignori l'autocorrelazione spaziale, portando a una perdita di dati (data leakage) e a stime di accuratezza eccessivamente ottimistiche quando i punti di addestramento sono raggruppati.
• La CV spaziale (ad es. CV a blocchi) impone l'indipendenza spaziale tra i fold di addestramento e di test. I critici sostengono che ciò crei scenari di estrapolazione artificiali per dati distribuiti casualmente, portando a stime di errore eccessivamente pessimistiche.

Il problema centrale è che la letteratura tratta spesso l'"interpolazione" (le aree di addestramento e previsione si sovrappongono) e l'"estrapolazione" (previsione in nuove aree) come opposti binari. Nella pratica, la maggior parte dei dataset ecologici ricade su un continuum tra questi estremi, caratterizzato da diversi gradi di bias di campionamento e raggruppamento. I metodi esistenti non riescono ad adattarsi flessibilmente a questo continuum, risultando in stime di accuratezza inaffidabili che non riflettono la reale difficoltà di previsione.

2. Metodologia

Per colmare questa lacuna, gli autori riproducono ed estendono uno studio di simulazione presentato originariamente da Wadoux et al. (2021), focalizzandosi sulla previsione della biomassa aerea (AGB) delle foreste nel bacino amazzonico utilizzando modelli Random Forest e 28 predittori ambientali.

Design della Simulazione

Lo studio ha generato quattro distinti disegni di campionamento per rappresentare il continuum di estrapolazione:

1. Casuale: Punti di addestramento distribuiti casualmente sull'area di previsione.
2. Debolmente Raggruppati: Raggruppamento moderato dei punti di addestramento.
3. Fortemente Raggruppati: Alta densità di punti di addestramento in aree specifiche, lasciando grandi vuoti.
4. Estrapolazione: Punti di addestramento in una regione, area di previsione in una regione geografica completamente distinta.

Strategie di Valutazione Confrontate

Lo studio ha confrontato tre strategie di validazione incrociata rispetto a una linea di base basata sull'inferenza da disegno (utilizzando campioni di test casuali indipendenti):

1. CV Casuale: Suddivisione casuale standard.
2. CV Spaziale: Suddivisione utilizzando blocchi spaziali per imporre la distanza tra i fold.
3. CV Adattiva al Dominio di Previsione: Una nuova categoria di metodi implementata utilizzando il Matching della Distanza dei k-Vicini più Vicini (kNNDM). Questo approccio mira esplicitamente a far corrispondere la distribuzione delle distanze dei vicini più prossimi tra i fold di addestramento e di test alla distribuzione delle distanze tra il dominio di previsione e i dati di addestramento.

Metriche Quantitative

• Statistica di Wasserstein ($W$): Utilizzata per quantificare il grado di estrapolazione misurando la differenza tra la densità delle distanze dei vicini più prossimi spaziali all'interno del set di addestramento e la distanza tra le località di previsione e il set di addestramento.
• Errore Quadratico Medio (RMSE): La metrica principale per valutare l'accuratezza. Lo studio ha calcolato la differenza tra l'RMSE stimato (dalla CV) e l'RMSE vero (calcolato rispetto alla verità simulata su tutta l'area).
• Area di Applicabilità (AoA): Un indice di dissimilarità utilizzato per definire l'estensione geografica in cui il modello è stato addestrato e validato, limitando le stime di accuratezza alle regioni in cui la difficoltà di previsione assomiglia ai dati di addestramento.

3. Contributi Chiave

Concettuale: Il Continuum di Estrapolazione

Il documento si oppone a una visione binaria di interpolazione vs. estrapolazione. Invece, propone che gli scenari di previsione esistano su un continuum definito dalla densità delle distanze dei vicini più prossimi spaziali. La difficoltà di previsione aumenta man mano che si allarga il divario tra le località di addestramento e di previsione, quantificato dalla statistica di Wasserstein.

Metodologico: Valutazione Adattiva al Dominio di Previsione

Gli autori introducono la valutazione adattiva al dominio di previsione come una nuova categoria di validazione incrociata. A differenza della CV casuale o spaziale, che impongono regole fisse (casualità o indipendenza), i metodi adattivi (in particolare kNNDM) adattano flessibilmente la strategia di ricampionamento per assomigliare alla situazione di previsione.

• Negli scenari di campionamento casuale, imita la CV casuale (piccole distanze).
• Negli scenari raggruppati o di estrapolazione, imita la CV spaziale (grandi distanze).
  L'obiettivo non è imporre l'indipendenza in sé, ma garantire che la "difficoltà di previsione" nei fold di validazione corrisponda alla difficoltà nel dominio di previsione effettivo.

Empirico: Risoluzione del Dilemma del Bias

Lo studio dimostra che:

• La CV casuale sovrastima sistematicamente l'accuratezza (sottostima l'errore) negli scenari raggruppati e di estrapolazione a causa della perdita di dati.
• La CV spaziale sottostima sistematicamente l'accuratezza (sovrastima l'errore) negli scenari casuali o debolmente raggruppati perché impone un'estrapolazione laddove non esiste.
• La CV Adattiva al Dominio di Previsione fornisce le stime più affidabili attraverso il continuum, corrispondendo costantemente all'RMSE vero negli scenari casuali, debolmente raggruppati e fortemente raggruppati.

Limitazione dell'Accuratezza Globale

Il documento evidenzia che anche il miglior metodo CV fallisce negli scenari di estrapolazione pura (previsione in una regione completamente nuova). In questi casi, le stime CV rimangono eccessivamente ottimistiche perché il modello incontra valori predittori al di fuori della sua distribuzione di addestramento. Gli autori sottolineano che le stime di accuratezza sono valide solo all'interno dell'Area di Applicabilità (AoA), dove il dominio di previsione assomiglia al dominio di addestramento.

4. Risultati

I risultati della simulazione (visualizzati nella Figura 2 del documento) mostrano:

• CV Casuale: Ha prodotto un bias negativo (sottostima dell'errore) per i disegni raggruppati e di estrapolazione.
• CV Spaziale: Ha prodotto un bias positivo (sovrastima dell'errore) per i disegni casuali e debolmente raggruppati.
• CV Adattiva al Dominio di Previsione: Ha fornito stime più vicine a zero differenza (stima perfetta) per i disegni casuali, debolmente raggruppati e fortemente raggruppati.
• Scenario di Estrapolazione: Anche la CV adattiva ha faticato a stimare accuratamente l'errore vero per l'intera area, confermando che le statistiche di performance non si generalizzano a regioni fondamentalmente diverse dai dati di addestramento. Tuttavia, quando si limita la valutazione all'Area di Applicabilità, le stime migliorano significativamente.

5. Significato e Affermazioni

Gli autori collocano questo lavoro come una consolidazione del dibattito in corso tra i sostenitori della validazione incrociata casuale e spaziale. Affermano:

1. Stima Non Distorta: Solo un campione probabilistico fornisce una stima veramente non distorta dell'accuratezza della mappa; tutti i metodi CV sono proxy.
2. Adeguatezza Contestuale: Non esiste un singolo metodo CV "migliore". La CV casuale è adatta per dati casuali; i metodi spaziali sono adatti per l'estrapolazione. Tuttavia, la maggior parte dei casi reali ricade nel mezzo.
3. Soluzione Adattiva: La valutazione adattiva al dominio di previsione offre un quadro unificato che si adatta al contesto di previsione specifico (il continuum di estrapolazione), producendo stime di accuratezza più realistiche rispetto agli approcci rigidi casuali o spaziali.
4. Portata di Validità: Le stime di accuratezza derivate dalla CV hanno significato solo per nuove situazioni di previsione che assomigliano ai fold di validazione in termini di difficoltà di previsione. Pertanto, le previsioni e le relative valutazioni di accuratezza dovrebbero essere limitate all'Area di Applicabilità.

Il documento conclude che, sebbene la validazione incrociata non possa sostituire l'inferenza basata sul disegno, la valutazione adattiva al dominio di previsione fornisce un approccio equilibrato e flessibile per l'ottimizzazione del modello e la stima dell'accuratezza in assenza di campioni probabilistici, risolvendo efficacemente il compromesso tra perdita di dati e estrapolazione artificiale.