Satellite-Based Detection of Looted Archaeological Sites Using Machine Learning

Questo studio presenta una pipeline scalabile basata su immagini satellitari PlanetScope e machine learning per rilevare siti archeologici saccheggiati in Afghanistan, dimostrando che i classificatori CNN preaddestrati su ImageNet superano significativamente i metodi tradizionali e i modelli fondazionali geospaziali, raggiungendo un punteggio F1 di 0,926.

L'essenziale

🏺 Cacciatori di Tesori (e Ladri) dallo Spazio: Come l'Intelligenza Artificiale protegge l'archeologia

Immagina di avere un gigantesco album fotografico che copre tutto l'Afghanistan. Ogni pagina mostra lo stesso pezzo di terra, ma scattato ogni mese per otto anni (dal 2016 al 2023). Il problema? In questo album, dei "ladri" hanno scavato buche per rubare antichi tesori, lasciando segni quasi invisibili a occhio nudo.

I ricercatori di Microsoft, Iconem e Planet Labs hanno creato un super-occhio digitale (un'intelligenza artificiale) capace di guardare queste foto e dire: "Qui c'è stato un furto" o "Qui tutto è intatto".

Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: Troppi siti, troppo poco tempo

Immagina di dover controllare migliaia di siti archeologici sparsi in zone remote e pericolose. Mandare degli archeologi a piedi sarebbe come cercare un ago in un pagliaio... in un pagliaio gigante, in mezzo a una tempesta. È troppo costoso, lento e pericoloso.
La soluzione? Guardare dall'alto, come un falco, usando i satelliti.

2. Gli Strumenti: Due tipi di "Detective"

Gli scienziati hanno messo alla prova due tipi di detective digitali per vedere chi è più bravo a trovare i ladri:

• Il Detective "Vecchia Scuola" (Machine Learning Tradizionale):
  Questo detective è come un ispettore molto attento che usa una lente d'ingrandimento. Analizza le foto pixel per pixel, cercando regole precise: "Se il colore del suolo è un po' più rosso del solito e la texture sembra sgranata come una torta rovinata, allora è un furto".

  • Risultato: È bravo, ma si stanca presto e a volte si confonde con le ombre o con i campi coltivati.

• Il Detective "Genio" (Intelligenza Artificiale / CNN):
  Questo detective è come un bambino prodigio che ha guardato milioni di foto di gatti, cani e paesaggi (grazie a un addestramento chiamato ImageNet) prima di vedere le foto dei siti archeologici. Non ha bisogno di regole scritte a mano; impara da solo a riconoscere il "segno" del furto.

  • Il trucco segreto: Gli scienziati hanno dato al detective un filtro magico (una "maschera spaziale"). Invece di guardare l'intera foto (dove ci sono strade, case moderne e campi), il filtro gli fa guardare solo il cerchio esatto dove si trova il sito archeologico. È come se gli dicessero: "Ignora il rumore di fondo, guarda solo questo punto specifico".

3. La Gara: Chi vince?

Hanno fatto una sfida su 1.943 siti archeologici in Afghanistan (metà saccheggiati, metà intatti).

• Il Detective "Vecchia Scuola" ha fatto un buon lavoro, raggiungendo un punteggio di 71 su 100.
• Il Detective "Genio" con il filtro magico ha vinto a mani basse, raggiungendo un punteggio di 92 su 100.

Perché ha vinto il Genio?
Perché i segni del furto sono spesso sottili e confusi. L'IA, avendo visto milioni di immagini diverse, riesce a capire che una piccola variazione di texture o di colore in un punto specifico è più importante di tutto il resto della foto. Inoltre, il "filtro" che ignora il contesto circostante (strade, case) è stato fondamentale: ha permesso all'IA di concentrarsi solo sul "crimine" senza distrazioni.

4. Una Scoperta Curiosa: Il Tempo è un nemico

Gli scienziati hanno notato qualcosa di interessante: è meglio guardare le foto di un solo anno (il 2023) piuttosto che mescolare tutti gli anni insieme.

• L'analogia: Immagina di cercare di capire se una persona è stata malata. Se guardi le sue foto di oggi, vedi chiaramente i segni della malattia. Se guardi le foto di 5 anni fa, la persona potrebbe sembrare sana, anche se la malattia è iniziata allora.
  Mescolare le foto di anni diversi crea confusione ("rumore") perché i segni del furto cambiano nel tempo (la terra si assesta, cresce l'erba). Guardare l'immagine più recente e coerente ha reso il detective molto più preciso.

5. Cosa significa per il futuro?

Questo studio ci dice che:

1. Non serve essere archeologi per vedere i danni: L'IA può fare il lavoro sporco di scansionare milioni di chilometri quadrati.
2. La precisione conta: Non basta guardare la foto; bisogna isolare la zona del sito (la "maschera") per non farsi ingannare dal paesaggio circostante.
3. Salvare la storia: Ora possiamo monitorare siti remoti in modo automatico, veloce ed economico, permettendo agli esperti di intervenire prima che i tesori vengano distrutti o venduti illegalmente.

In sintesi: È come se avessimo dato a un super-eroe digitale una lente d'ingrandimento magica e un filtro per il rumore, permettendogli di vedere i piccoli crimini contro la storia che l'occhio umano non riuscirebbe mai a cogliere da solo.

Sommario tecnico

Titolo

Rilevamento basato su satellite di siti archeologici saccheggiati utilizzando l'Apprendimento Automatico

1. Il Problema

Il saccheggio dei siti archeologici rappresenta una delle minacce più critiche per il patrimonio culturale globale, specialmente in regioni remote o colpite da conflitti come il Medio Oriente e il Nord Africa.

• Sfide operative: Il monitoraggio tradizionale basato su ispezioni a terra è laborioso, costoso e spesso impossibile su larga scala.
• Complessità del segnale: Il saccheggio produce alterazioni superficiali sottili e diffuse (terreno disturbato, micro-relievi irregolari, anomalie spettrali) che si sovrappongono visivamente ad altri processi naturali come l'erosione o l'attività agricola.
• Limiti attuali: I metodi manuali o basati su elaborazione immagini di base non sono scalabili per monitorare migliaia di siti su lunghe sequenze temporali.

2. Dataset e Dati

Gli autori hanno creato e utilizzato il più grande dataset di siti archeologici mai assemblato per questo scopo:

• Estensione: 1.943 siti in Afghanistan (898 saccheggiati, 1.045 preservati).
• Fonte Dati: Immagini satellitari PlanetScope (mosaici mensili RGB+NIR) con risoluzione di 4,7 metri/pixel, coprendo il periodo 2016–2023 (96 mesi).
• Annotazioni:
  • Etichette binarie (saccheggiato/preservato) verificate da esperti archeologi basate sullo stato al dicembre 2023.
  • Maschere spaziali: Poligoni manualmente annotati che delimitano l'impronta del sito, utilizzati per sopprimere il contesto non rilevante (strade, insediamenti moderni, campi agricoli).
  • Le maschere per i siti saccheggiati sono spesso più ampie per includere le aree di scavo circostanti.

3. Metodologia

Lo studio confronta due famiglie metodologiche principali per il rilevamento:

A. Reti Neurali Convolutive (CNN) End-to-End

• Input: Immagini RGB grezze (mosaici mensili) addestrate direttamente.
• Architetture: ResNet (18, 34, 50) e EfficientNet (B0, B1).
• Preprocessing: Utilizzo di pre-addestramento su ImageNet e applicazione di maschere spaziali (moltiplicazione elemento per elemento tra immagine e maschera binaria) per focalizzare il modello solo sull'area del sito.
• Strategia Temporale: Addestramento su singoli anni (es. 2023) per ridurre il rumore nelle etichette temporali, piuttosto che su serie temporali lunghe.

B. Machine Learning Tradizionale (ML) su Feature Estratte

• Input: Feature estratte mensilmente e aggregate temporalmente.
• Tipi di Feature:
  1. Feature "Handcrafted" (Manuali): 42 feature che combinano indici spettrali (vegetazione, umidità) e texture (GLCM, LBP) per catturare anomalie e disordine spaziale.
  2. Embedding da Foundation Models: Vettori di caratteristiche estratti da modelli pre-addestrati per il telerilevamento (SatMAE, SatCLIP, DINOv3, Prithvi-EO, GeoRSCLIP, Satlas-Pretrain).
• Classificatori: Regressione Logistica, Random Forest (RF), Gradient Boosting (GB), XGBoost (XGB).
• Aggregazione Temporale: Confronto tra media, mediana, concatenazione e compressione PCA delle feature mensili.

4. Risultati Chiave

Prestazioni Generali

• CNN Pre-addestrate: Il modello ResNet-50 con pre-addestramento su ImageNet e maschere spaziali ha raggiunto il miglior punteggio, con un F1-score di 0,926.
• ML Tradizionale: La configurazione migliore per il ML tradizionale è stata SatCLIP-V + Random Forest + Media, che ha raggiunto un F1-score di 0,710.
• Conclusione: Le CNN end-to-end superano nettamente i metodi tradizionali, dimostrando che l'apprendimento di rappresentazioni direttamente dall'immagine è superiore per questo compito specifico.

Impatto del Pre-addestramento e delle Maschere

• Pre-addestramento ImageNet: Ha portato a un miglioramento dell'F1-score compreso tra il 6% e il 14% per tutte le architetture CNN, nonostante lo spostamento di dominio (domain shift) tra immagini naturali e satellitari.
• Maschere Spaziali: Sono state critiche, migliorando l'F1-score di 30-45% per le CNN. Senza maschere, il modello si distrae con il contesto circostante.
• Nota interessante: Per i modelli ML tradizionali basati su embedding di foundation models, l'uso delle maschere ha talvolta peggiorato le prestazioni, suggerendo che questi modelli pre-addestrati dipendono dal contesto della scena più ampia.

Analisi Temporale e Importanza delle Feature

• Coerenza Temporale: L'addestramento su un singolo anno (2023) ha funzionato meglio rispetto all'uso di dati multi-anno, riducendo il rumore causato dall'evoluzione graduale delle tracce di saccheggio nel tempo.
• Feature Importanti: L'analisi SHAP sulle feature manuali ha rivelato che i descrittori di texture (in particolare GLCM) sono più informativi di quelli puramente spettrali. La forza del bordo di Sobel sulla banda NIR è la feature singola più discriminante.

5. Contributi Principali

1. Framework Comparativo Completo: Prima valutazione sistematica che confronta CNN end-to-end, feature manuali e embedding di foundation models per il rilevamento di saccheggi.
2. Dataset Su Larga Scala: Creazione del dataset più grande a oggi (1.943 siti) con copertura multi-anno e maschere spaziali manuali.
3. Insight su Pre-addestramento e Maschere: Dimostrazione quantitativa che il pre-addestramento su ImageNet e le maschere spaziali sono fondamentali per massimizzare le prestazioni in questo dominio.
4. Analisi Temporale: Evidenza che l'addestramento su dati temporali coerenti (un singolo anno) è preferibile per evitare rumore nelle etichette.

6. Significato e Implicazioni

• Scalabilità: Il pipeline proposto offre un metodo scalabile e automatizzato per monitorare il patrimonio culturale in aree remote, superando i limiti delle ispezioni manuali.
• Precisione Operativa: Un F1-score superiore al 0,92 permette un'identificazione affidabile dei siti a rischio, facilitando interventi tempestivi da parte di esperti e autorità.
• Limiti e Futuro: Lo studio si concentra sull'Afghanistan e su una risoluzione di 4,7m. Il lavoro futuro mira a espandere la geografia (Siria, Sudan, Egitto) e a investigare metodi semi-supervisionati per ridurre la dipendenza da annotazioni manuali costose.

In sintesi, il paper dimostra che l'approccio CNN end-to-end con pre-addestramento e maschere spaziali è lo stato dell'arte per il rilevamento di siti archeologici saccheggiati, superando significativamente sia i metodi tradizionali basati su feature manuali che l'uso diretto di embedding da foundation models per questo compito specifico.