Satellite-Based Detection of Looted Archaeological Sites Using Machine Learning

Dit artikel presenteert een schaalbaar, op satellietbeelden gebaseerd machine learning-pipeline dat ImageNet-voortrainde CNN's gebruikt om met een hoge nauwkeurigheid (F1-score 0,926) geplunderde archeologische vindplaatsen in Afghanistan te detecteren, waarbij deze methode traditionele machine learning-aanpakken significant overtreft.

De kern

🏛️ De Grote Schat: Een Digitale Schatzoeker voor Verdwenen Geschiedenis

Stel je voor dat de aarde vol zit met oude schatten: tempels, steden en graven uit duizenden jaren geleden. Maar helaas worden deze plekken vaak gestolen door schatgravers (looters). Ze graven gaten in de grond, verstoren de aarde en vernietigen de geschiedenis voor altijd.

Het probleem? Deze plekken liggen vaak op afgelegen plekken in oorlogsgebieden, zoals in Afghanistan. Mensen kunnen daar niet zomaar naartoe gaan om te kijken of er gestolen wordt. Het is te gevaarlijk en te ver weg.

De oplossing? Kijk vanuit de ruimte!

De onderzoekers van Microsoft en hun partners hebben een slimme computer ontwikkeld die satellietfoto's bekijkt om te zien of er gestolen is. Het is alsof ze een super-scherpe digitale detective hebben gebouwd die 24/7 over de hele wereld vliegt.

---

🕵️‍♂️ Hoe werkt deze digitale detective?

De computer krijgt een enorme hoeveelheid foto's te zien van PlanetScope-satellieten. Deze foto's zijn als een maandelijkse fotoalbum van de aarde (van 2016 tot 2023). Elke foto is ongeveer 4,7 meter per pixel groot (dat is ongeveer de grootte van een grote auto).

De computer moet een lastige puzzel oplossen:

• De "Goede" plekken: Hier is de grond rustig en onaangetast.
• De "Slechte" plekken: Hier zijn gravers aan het werk geweest. De grond ziet er anders uit: er zijn gaten, de aarde is losgemaakt, en de textuur is veranderd.

Maar deze veranderingen zijn heel subtiel. Het is alsof je moet zoeken naar een klein steentje in een zandbak dat eruitziet als de rest van het zand.

🧠 De Twee Teams: Oude Wijsheid vs. Nieuwe Superkracht

De onderzoekers hebben twee verschillende teams laten strijden om te zien wie het beste kan vinden:

Team 1: De "Oude Meesters" (Traditionele Machine Learning)

Dit team werkt met handgemaakte regels. Ze zeggen tegen de computer: "Kijk naar de kleur van het gras, meet hoe ruw de grond is, en let op de schaduwen."

• Het is alsof je een detective bent die een lijstje met tips heeft: "Als de grond ruw is en de kleur grijs, dan is het gestolen."
• Dit werkt redelijk goed, maar het is lastig om alle mogelijke situaties op een lijstje te zetten.

Team 2: De "Super-Leraren" (Deep Learning / CNN's)

Dit team gebruikt neural networks (kunstmatige hersenen) die zijn getraind op miljoenen gewone foto's (van honden, auto's, bloemen) voordat ze naar de archeologische plekken kijken.

• De Analogie: Stel je voor dat je iemand leert een auto te herkennen. Je laat hem eerst miljoenen foto's van auto's zien. Dan geef je hem een foto van een gestolen archeologische plek. Omdat hij al weet hoe "vormen" en "texturen" werken, kan hij veel sneller zien dat hier iets vreemds aan de hand is, zonder dat je hem elke regel hoeft uit te leggen.
• Ze noemen dit Transfer Learning: Ze gebruiken de kennis van het ene vak (auto's herkennen) om het andere vak (graven vinden) beter te doen.

---

🎯 De Grote Doorbraak: De "Bril" van de Detective

Er was één ding dat het verschil maakte. De computer kreeg een speciale bril op.

In de echte wereld kijken archeologen niet naar de hele foto (waar ook wegen, huizen en velden op staan). Ze kijken alleen naar de exacte plek waar het oude gebouw zou moeten zijn.

• De onderzoekers hebben voor elke plek een masker gemaakt. Dit is een digitale "uitknippen" van de foto. Alles wat eromheen zit (wegen, moderne huizen) wordt zwart gemaakt of genegeerd.
• Het resultaat: De computer kon zich nu volledig focussen op de grond zelf. Het was alsof je een detective een foto geeft van een moordplek, maar dan met een masker dat de rest van de stad bedekt, zodat de detective zich alleen op de bloedsporen kan concentreren.

De uitslag:

• Het team met de "Super-Leraren" + de "Speciale Bril" won met gemak! Ze hadden een 92,6% kans om te vinden of er gestolen was.
• Het team met de "Oude Meesters" (handgemaakte regels) kwam uit op ongeveer 71%.

---

💡 Wat hebben we geleerd? (De "Aha!"-momenten)

1. Oude kennis helpt: Zelfs als de computer is getraind op foto's van auto's en katten (ImageNet), helpt die kennis enorm om kleine veranderingen in de grond te zien. Het is alsof je een ervaren schilder bent die ook een goed oog heeft voor een valse schilderij, zelfs als je geen expert bent in vervalsingen.
2. Focus is alles: Door de computer te dwingen alleen naar de archeologische plek te kijken (en niet naar de omgeving), wordt hij veel slimmer.
3. Tijd is lastig: Als je probeert om foto's van 7 jaar lang tegelijk te analyseren, wordt het verwarrend. Soms ziet een plek er in 2016 nog heel uit, maar in 2023 wel gestolen. Het is beter om te kijken naar de staat van de plek op één specifiek moment (bijvoorbeeld eind 2023) dan om te proberen de hele geschiedenis van de diefstal te reconstrueren.
4. Textuur is koning: De computer merkte dat de "ruwheid" van de grond (de textuur) de belangrijkste aanwijzing was. Graven maakt de grond ongelijk, en dat is iets wat de computer heel goed kan zien.

🚀 Wat betekent dit voor de toekomst?

Dit onderzoek is een enorme stap vooruit. Het betekent dat we nu een schalbaar systeem hebben om duizenden plekken tegelijk te bewaken. In plaats van dat experts urenlang naar foto's moeten kijken, kan deze computer in een paar seconden zeggen: "Hier is iets verdachts, ga daar naartoe."

Dit helpt om de geschiedenis van de mensheid te beschermen, zelfs op plekken waar mensen niet veilig kunnen komen. Het is een digitale schildwacht die nooit slaapt, om te zorgen dat onze schatten niet voor altijd verloren gaan.

Technische samenvatting

Probleemstelling

De plundering van archeologische vindplaatsen vormt een ernstige bedreiging voor het wereldwijde culturele erfgoed, vooral in afgelegen of conflictgebieden zoals Afghanistan. Traditionele monitoringmethoden zijn arbeidsintensief, duur en niet schaalbaar voor duizenden locaties. Bovendien zijn de sporen van plundering vaak subtiel (verstoord bodemtextuur, onregelmatig micro-reliëf, lokale spectrale anomalieën) en moeilijk te onderscheiden van andere processen zoals erosie of landbouwactiviteit. Het doel van dit onderzoek is het ontwikkelen van een schaalbare, op satellietbeelden gebaseerde pijplijn om geplunderde archeologische sites automatisch te detecteren.

Methodologie

De auteurs presenteren een vergelijkend onderzoek tussen twee hoofdklassen van methoden, getest op een dataset van 1.943 archeologische sites in Afghanistan (898 geplunderd, 1.045 bewaard) met maandelijkse PlanetScope-beelden (4,7m/pixel) van 2016 tot 2023.

1. Dataset en Voorverwerking:

   • Beelden: RGB + NIR (Near-Infrared) maandelijkse mosaïeken.
   • Spatial Masks: Handmatig geannoteerde polygonen die de voetafdruk van de site markeren. Deze maskers onderdrukken achtergrondruis (wegen, moderne nederzettingen, landbouwvelden) en focussen het model op het relevante gebied.
   • Temporele consistentie: Labels zijn gebaseerd op de staat per december 2023. Het gebruik van beelden van veel eerder dan dit tijdstip introduceert "temporele labelruis" (sites die later geplunderd werden, zien er in eerdere jaren nog intact uit).

2. Benadering A: End-to-End CNN's (Deep Learning)

   • Modellen: ResNet (18, 34, 50) en EfficientNet (B0, B1).
   • Training: Direct op ruwe RGB-beeldpatches.
   • Strategieën: Vergelijking van modellen met ImageNet-pretraining versus willekeurige initialisatie, en met versus zonder ruimtelijke masking.

3. Benadering B: Traditionele Machine Learning (ML)

   • Handgemaakte features: Spectrale indices (vegetatie, vocht) en textuureigenschappen (GLCM, LBP) berekend per band.
   • Foundation Model Embeddings: Features geëxtraheerd uit state-of-the-art geospatiale foundation models (SatMAE, SatCLIP, DINOv3, Prithvi-EO, GeoRSCLIP, Satlas-Pretrain).
   • Classificatie: Logistische Regression, Random Forest (RF), Gradient Boosting (GB), XGBoost.
   • Temporele Aggregatie: Verschillende strategieën om maandelijkse data te combineren: gemiddelde (Mean), mediaan, concatenatie en PCA-compressie.

Belangrijkste Bijdragen

1. Uitgebreid Framework: De eerste systematische vergelijking tussen end-to-end CNN's en traditionele ML-methoden (inclusief foundation model embeddings) voor de detectie van archeologische plundering.
2. Inzicht in Temporele Consistentie: Het onderzoek toont aan dat training op beelden van één specifiek jaar (2023) vaak beter presteert dan training op multi-jaar data, omdat dit de labelruis door cumulatieve plunderingsactiviteiten vermindert.
3. Gekwantificeerde Voordelen:
   • Pretraining: ImageNet-pretraining levert een F1-score verbetering van 6-14% op, zelfs bij domeinverschuiving (satellietbeelden vs. natuurlijke beelden).
   • Ruimtelijke Maskering: Het gebruik van handmatige maskers resulteert in een enorme prestatieverbetering (30-45% F1-score stijging) door achtergrondruis te elimineren.
4. Grootste Dataset: De samenstelling van de grootste dataset tot nu toe voor dit probleem (1.943 sites) met multi-jaar beelden en handmatige voetafdruk-maskers.

Resultaten

De resultaten worden samengevat in de volgende kernpunten:

• Beste Prestatie: De ResNet-50 met ImageNet-pretraining en ruimtelijke masking bereikte de hoogste prestatie met een F1-score van 0,926.
• Vergelijking met Traditionele ML: De beste traditionele ML-configuratie (SatCLIP-V + Random Forest + Mean-aggregatie) haalde een F1-score van 0,710. Dit toont aan dat end-to-end geleerde representaties superieur zijn voor het detecteren van subtiele en lokaal beperkte plunderingspatronen.
• Impact van Maskering:
  • Voor CNN's is masking cruciaal (bijv. +0,455 F1 voor EfficientNet-B0 zonder masking).
  • Voor traditionele ML met foundation model embeddings kan masking soms de prestaties zelfs verlagen (bijv. DINOv3, SatMAE), wat suggereert dat deze modellen afhankelijk zijn van de bredere context van het landschap.
• Feature Importance: SHAP-analyse toont aan dat textuurgebaseerde features (zoals GLCM contrast en entropie) en randdetectie (Sobel op NIR-band) de sterkste signalen voor plundering leveren.
• Temporele Analyse: Training op beelden van 2020 leverde de beste resultaten (F1 ≈ 0,94), wat suggereert dat de meeste in de dataset geregistreerde plunderingen voor 2021 plaatsvonden.

Betekenis en Conclusie

Dit onderzoek demonstreert dat een schaalbare oplossing voor het monitoren van cultureel erfgoed haalbaar is met bestaande satelliettechnologie en machine learning. De belangrijkste conclusies zijn:

1. Transfer Learning is essentieel: Zelfs met een domeinverschuiving helpt ImageNet-pretraining aanzienlijk bij convergentie en nauwkeurigheid.
2. Ruimtelijke prioriteiten: Het expliciet maskeren van de site-voetafdruk fungeert als een "attention mechanism" dat achtergrondruis onderdrukt en de prestaties drastisch verbetert.
3. Beperkingen van Foundation Models: Hoewel geospatiale foundation modellen veelbelovend zijn, presteren ze in deze specifieke, subtiele taak niet beter dan zorgvuldig ontworpen handgemaakte textuureigenschappen of end-to-end CNN's.
4. Toekomstperspectief: De methode biedt een basis voor grootschalige monitoring in andere regio's (Syrië, Soedan, Egypte) en kan worden uitgebreid met actieve learning om de afhankelijkheid van handmatige annotaties te verminderen.

De code en dataset zijn beschikbaar gesteld via de GitHub-repository van Microsoft AI for Good, wat de reproduceerbaarheid en verdere ontwikkeling in het veld stimuleert.