Satellite-Based Detection of Looted Archaeological Sites Using Machine Learning

Die Studie stellt einen skalierbaren, satellitengestützten Ansatz vor, der mithilfe von Machine Learning und PlanetScope-Bilddaten lothende Aktivitäten an archäologischen Stätten in Afghanistan mit einer F1-Score von 0,926 effektiv erkennt und dabei vortrainierte CNNs gegenüber traditionellen ML-Methoden übertrifft.

Das Wesentliche

Stell dir vor, du hast einen riesigen, alten Schatzkeller voller antiker Schätze – das sind die archäologischen Stätten in Afghanistan. Aber leider gibt es Diebe, die nachts hereinkommen, Löcher graben und die Schätze stehlen. Das Problem: Diese Schatzkeller liegen oft mitten in der Wüste oder in gefährlichen Gebieten. Niemand kann dort hinfahren, um zu prüfen, ob etwas gestohlen wurde.

Hier kommt die KI (Künstliche Intelligenz) ins Spiel, wie ein super-scharfer Satelliten-Auge, das von oben auf die Erde schaut. Dieser Artikel beschreibt, wie Forscher von Microsoft und Partnern eine neue Methode entwickelt haben, um genau diese „Löcher" und Diebstähle automatisch zu erkennen.

Hier ist die Geschichte, einfach erklärt:

1. Das Problem: Zu viele Orte, zu wenig Zeit

Stell dir vor, du müsstest jeden Tag 2.000 verschiedene Gärten auf der ganzen Welt kontrollieren, um zu sehen, ob jemand Blumen gestohlen hat. Das ist unmöglich für Menschen, die mit bloßem Auge oder sogar mit normalen Fotos arbeiten. Die Diebe hinterlassen nur winzige Spuren: ein bisschen umgegrabene Erde, eine andere Farbe des Bodens oder ein unregelmäßiges Muster. Das ist wie nach einer Nadel in einem Heuhaufen zu suchen, nur dass der Heuhaufen riesig ist und die Nadel unsichtbar für das menschliche Auge.

2. Die Lösung: Ein digitaler Detektiv mit „Brille"

Die Forscher haben eine Art digitalen Detektiv gebaut. Sie haben Fotos von PlanetScope-Satelliten benutzt (das sind Bilder mit einer Auflösung von etwa 4,7 Metern pro Pixel – man kann also ein kleines Haus erkennen, aber keine einzelne Person).

Sie haben zwei verschiedene Arten von Detektiven getestet:

• Der „Klassische Detektiv" (Traditionelle KI): Dieser Detektiv schaut sich die Bilder an und versucht, selbst Regeln zu finden. Er misst zum Beispiel: „Wie grün ist das Gras?", „Wie rau ist der Boden?" oder „Wie chaotisch sieht die Textur aus?". Das ist wie ein Detektiv, der ein riesiges Notizbuch mit Regeln führt: „Wenn der Boden braun und uneben ist, dann ist es ein Dieb."
• Der „Lernende Detektiv" (Deep Learning / CNN): Dieser Detektiv ist wie ein Schüler, der schon Millionen von Bildern gesehen hat (z. B. Katzen, Autos, Gesichter), bevor er hierherkam. Er hat gelernt, Muster zu erkennen, ohne dass ihm jemand gesagt hat, wonach er suchen muss. Er schaut sich einfach das ganze Bild an und lernt selbst, wie ein „gestohlener" Ort aussieht.

3. Der große Test: Wer ist besser?

Die Forscher haben 1.943 Orte in Afghanistan geprüft (einige waren heilig und unberührt, andere waren geplündert).

• Das Ergebnis: Der lernende Detektiv war viel besser! Er hatte eine Trefferquote von fast 93 %. Der klassische Detektiv lag bei etwa 71 %.
• Warum? Der lernende Detektiv konnte die feinen, subtilen Muster im Boden viel besser verstehen als der, der nur mit festen Regeln arbeitete. Es ist wie der Unterschied zwischen jemandem, der eine Sprache nur aus einem Lehrbuch gelernt hat, und jemandem, der jahrelang in dem Land gelebt hat und den Akzent sofort erkennt.

4. Der geheime Trick: Die „Lupe" (Spatial Masking)

Ein entscheidender Trick war, dass sie dem lernenden Detektiv eine Lupe gegeben haben.
Stell dir vor, du schaust auf ein Foto eines Gartens. Wenn du den ganzen Garten siehst, siehst du auch den Zaun, die Straße daneben und die Nachbarn. Das verwirrt den Detektiv.
Die Forscher haben dem Computer gesagt: „Ignoriere alles um den Garten herum! Schau nur genau auf den Bereich, wo die Schätze liegen."

• Ohne Lupe: Der Detektiv wurde verwirrt durch die Straße oder Felder daneben.
• Mit Lupe: Die Trefferquote sprang enorm an. Es ist, als würdest du einem Suchhund sagen: „Suche nur in diesem kleinen Zimmer, ignoriere den Rest des Hauses."

5. Was haben wir gelernt? (Die wichtigsten Erkenntnisse)

• Vorbereitung ist alles: Der lernende Detektiv war schon vorher auf anderen Bildern trainiert worden (wie ein Student, der schon viele Prüfungen geschrieben hat). Das half ihm enorm, auch wenn die Bilder aus Afghanistan anders aussahen als seine Trainingsbilder.
• Ein Jahr reicht: Es war überraschend, dass es besser funktionierte, wenn sie nur Bilder von einem Jahr (2023) benutzten, statt Bilder über viele Jahre zu mischen. Warum? Weil die Diebstähle manchmal Jahre dauern. Wenn man zu viele Jahre mischt, wird es unklar, wann genau etwas passiert ist. Ein klarer Schnappschuss aus einem Jahr war genauer.
• Textur ist der Schlüssel: Die Analyse zeigte, dass die Textur (wie rau oder glatt der Boden aussieht) wichtiger war als die Farbe. Wenn jemand gräbt, wird der Boden chaotisch und unregelmäßig. Das ist das stärkste Signal für die KI.

Fazit: Ein Werkzeug für den Schutz der Geschichte

Diese Studie zeigt, dass wir mit moderner KI und Satellitenbildern in der Lage sind, die Geschichte der Menschheit zu schützen. Wir können jetzt tausende von Orten gleichzeitig überwachen, ohne dass Menschen in gefährliche Gebiete reisen müssen.

Es ist wie ein unsichtbarer Wächter, der 24/7 über die Wüsten wacht und sofort Alarm schlägt, wenn jemand anfängt, Löcher zu graben. Das hilft Archäologen, schneller zu reagieren und die Schätze zu retten, bevor sie für immer verloren sind.

Kurz gesagt: Ein smarter Computer, der durch eine Lupe schaut und gelernt hat, wie ein gestörter Boden aussieht, ist der beste Freund der Archäologen im Kampf gegen Diebe.

Technische Zusammenfassung

1. Problemstellung

Die Plünderung archäologischer Stätten stellt eine der größten Bedrohungen für das kulturelle Erbe weltweit dar, insbesondere in abgelegenen oder konfliktgeplagten Regionen wie dem Nahen Osten und Nordafrika. Traditionelle Überwachungsmethoden sind oft manuell, arbeitsintensiv, kostspielig und nicht skalierbar. Zudem sind die Spuren von Plünderungen (gestörte Bodenstruktur, unregelmäßiges Mikrorelief, spektrale Anomalien) oft subtil, räumlich diffus und schwer von natürlichen Prozessen wie Erosion oder landwirtschaftlicher Tätigkeit zu unterscheiden. Das Ziel der Studie ist es, eine skalierbare, satellitengestützte Pipeline zu entwickeln, die looted (geplünderte) von erhaltenen archäologischen Stätten automatisch unterscheiden kann.

2. Methodik und Datensatz

Datensatz:

• Umfang: Der größte bisher veröffentlichte Datensatz für dieses Problem mit 1.943 archäologischen Stätten in Afghanistan (898 geplündert, 1.045 erhalten).
• Datenquelle: Monatliche Mosaikbilder von PlanetScope (4,7 m/pixel, RGB + NIR) im Zeitraum von 2016 bis 2023.
• Annotation: Manuell erstellte binäre Masken (Footprints), die die Stätten von umgebenden Kontexten (Straßen, Siedlungen, Felder) abgrenzen. Die Labels basieren auf dem Zustand zum Dezember 2023.

Methodische Ansätze:
Die Studie vergleicht zwei Hauptkategorien von Modellen:

1. End-to-End CNNs (Deep Learning):

   • Modelle: ResNet (18/34/50) und EfficientNet (B0/B1).
   • Eingabe: Rohe RGB-Bildpatches (224x224).
   • Strategie: Training mit und ohne räumliche Maskierung (Spatial Masking) sowie mit ImageNet-Vorabtrainierung (Transfer Learning) vs. zufälliger Initialisierung.

2. Traditionelles Machine Learning (ML) auf Merkmalen:

   • Handgefertigte Merkmale: 42-dimensionale Vektoren aus spektralen Indizes (z. B. Vegetation, Feuchtigkeit) und Texturmerkmalen (GLCM, LBP) aus den PlanetScope-Bändern.
   • Foundation Model Embeddings: Extraktion von Vektoren aus modernen Fernerkundungs-Modellen (SatMAE, SatCLIP, DINOv3, Prithvi-EO, GeoRSCLIP, Satlas-Pretrain).
   • Aggregation: Da die Daten zeitliche Reihenfolgen (Monatsbilder) umfassen, werden verschiedene Aggregationsstrategien angewendet (Mittelwert, Median, Konkatenation, PCA-Kompression).
   • Klassifikatoren: Logistische Regression, Random Forest (RF), Gradient Boosting (GB) und XGBoost.

3. Wichtige Beiträge

1. Systematischer Vergleich: Erstmals wird ein umfassender Vergleich zwischen CNNs (direkt auf Rohdaten) und traditionellen ML-Methoden (auf Basis von Hand-Features und Foundation-Model-Embeddings) für die Detektion von archäologischer Plünderung durchgeführt.
2. Erkenntnis zur zeitlichen Konsistenz: Das Training ausschließlich auf Bildern eines einzigen Jahres (2023) führt zu besseren Ergebnissen als das Training über mehrere Jahre. Dies liegt daran, dass die Verwendung von Labeln aus dem Jahr 2023 auf früheren Bildern (wo die Plünderung noch nicht sichtbar war) zu „Label-Noise" führt.
3. Quantifizierung von Transfer Learning und Maskierung:
   • ImageNet-Vorabtraining verbessert die F1-Scores um 6–14 %.
   • Räumliche Maskierung (Fokus nur auf den Stättenbereich) ist entscheidend und steigert die Leistung um 30–45 %.
4. Beitrag eines großen Datensatzes: Bereitstellung des größten bekannten Datensatzes mit multi-temporalen Bildern und manuell annotierten räumlichen Masken.

4. Ergebnisse

• Bestes Gesamtergebnis: Ein ImageNet-vorabtrainiertes ResNet-50 mit räumlicher Maskierung erreicht einen F1-Score von 0,926. Dies ist das beste Ergebnis aller getesteten Konfigurationen.
• Vergleich mit traditionellem ML: Das beste traditionelle ML-Setup (SatCLIP-V + Random Forest + Mittelwert-Aggregation) erreicht einen F1-Score von 0,710. Dies zeigt, dass End-to-End-Learning bei subtilen, lokalisierten Mustern überlegen ist.
• Einfluss der Maskierung:
  • Bei CNNs führt Maskierung zu massiven Verbesserungen (+0,30 bis +0,45 F1).
  • Bei traditionellen ML-Modellen mit Foundation-Model-Embeddings (z. B. SatMAE, Prithvi) kann Maskierung die Leistung sogar verschlechtern, da diese Modelle oft auf den größeren Kontext der Szene angewiesen sind. Handgefertigte Merkmale profitieren jedoch leicht von der Maskierung.
• Feature-Importanz (SHAP-Analyse): Bei den handgefertigten Merkmalen sind Texturmerkmale (insbesondere GLCM aus dem Rot- und NIR-Band) am aussagekräftigsten. Die Sobel-Kantenstärke im NIR-Band ist das wichtigste einzelne Merkmal, da es Grabungsgrenzen erfasst.
• Jahresvergleich: Modelle, die auf Daten des Jahres 2020 trainiert wurden, erzielten die höchsten Werte (F1 ≈ 0,94), was darauf hindeutet, dass die meisten markierten Plünderungen vor 2021 stattfanden und sich die sichtbaren Spuren mit der Zeit abschwächen.

5. Bedeutung und Schlussfolgerung

Die Studie demonstriert, dass Deep Learning mit Transfer Learning und räumlicher Maskierung der vielversprechendste Ansatz für die automatische Erkennung von Plünderungen ist. Während geospatiale Foundation Models (wie SatCLIP) wettbewerbsfähig mit handgefertigten Merkmalen sind, können sie die Leistung von CNNs nicht erreichen, wenn die Plünderungssignaturen extrem lokalisiert sind.

Praktische Implikationen:

• Operative Systeme sollten explizit Fußabdruck-Annotationen (Footprints) nutzen, um den Fokus des Modells auf den relevanten Bereich zu lenken und Hintergrundrauschen zu unterdrücken.
• Die Verwendung von Bildern eines einzigen, konsistenten Jahres reduziert Label-Rauschen und verbessert die Modellgenauigkeit.
• Die vorgestellte Pipeline ermöglicht eine skalierbare Überwachung kulturellen Erbes in schwer zugänglichen Regionen und unterstützt Experten bei der zeitnahen Intervention.

Zukünftige Arbeiten:
Die Autoren planen, den Rahmen auf andere geografische Regionen (z. B. Syrien, Sudan, Ägypten) zu erweitern und Active-Learning-Methoden zu erforschen, um die Abhängigkeit von manuellen Experten-Annotationen zu verringern.