Technische Samenvatting: WATCH – Tracking van Archeologische Sites op Ruimtelijke Schaal voor Veranderingdetectie

Probleemstelling

Het monitoren van archeologische sites op wereldwijde schaal is cruciaal voor de bescherming van cultureel erfgoed tegen plundering, ongecontroleerde bouw en conflicten. Het nauwkeurig vaststellen van het tijdstip van verstoringen blijft echter een aanzienlijke uitdaging. Visuele aanwijzingen van plundering (bijv. verstoorde bodem, spectrale anomalieën) zijn vaak subtiel en worden gemakkelijk verward met natuurlijke processen zoals erosie of seizoensgebonden landbouwcycli. Bovendien zijn grondwaarheidsgegevens over de specifieke timing van plunderingsvoorvallen extreem schaars en vaak temporair onnauwkeurig.

Bestaande geautomatiseerde systemen worstelen om te lokaliseren wanneer verstoringen optreden, omdat:

1. Schaarste aan labels: Hoogwaardige, temporair nauwkeurige labels zijn zeldzaam.
2. Visuele subtiliteit: Veranderingen zijn heterogeen en worden gemaskeerd door seizoenseffecten en sensorgeluid.
3. Schaalbaarheid: Het monitoren van duizenden sites vereist efficiënte werking met beperkte rekenkracht en annotatiebudgetten.

Huidige methoden voor veranderingdetectie op afstand gebruiken doorgaans volledig toezicht, bi-temporele protocollen die dichte annotaties of gepaarde beelden vereisen, welke niet direct toepasbaar zijn op de taak van maandelijkse temporale lokalisatie over lange tijdreeksen met zwak toezicht.

Methodologie: Het WATCH-Frame

De auteurs introduceren WATCH (Wide-area Archaeological site Tracking for CHange detection), een frame ontworpen voor lokalisatie van veranderingen op maandniveau met behulp van PlanetScope-satellietmosaïeken (4,7 m/px, 2017–2024). Het systeem verwerkt per-site tijdreeksen van geografische feature-embeddings en maakt gebruik van drie complementaire scorebenaderingen:

1. Feature-extractie

Het frame extrahert feature-vectoren uit gemaskerde maandelijkse mosaïeken van 1 km² voor 1.943 archeologische sites in Afghanistan (en valideert op sites in Syrië, Turkije, Pakistan en Egypte). Het maakt gebruik van embeddings van zes geografische foundation-modellen naast een handgemaakte baseline:

• Foundation-modellen: CLIP, GeoRSCLIP, SatMAE, Prithvi-EO-2.0, DINOv3 en Satlas-Pretrain.
• Handgemaakte baseline: 60 statistische, spectrale-index- en textuurkenmerken (bijv. NDVI, NDWI, GLCM, LBP) die direct uit beelden worden berekend zonder geleerde modellen.
• Normalisatie: Een twee-traps normalisatieproces verwijdert seizoenseffecten (standaardiseren per kalendermaandstatistiek) en globale schaalverschillen.

2. Scorebenaderingen

WATCH ondersteunt drie verschillende strategieën voor het genereren van maandelijkse veranderingsscores:

• Temporale Embedding-afstand (TED): Een trainingsvrije, onbewaakte methode. Het berekent de afstand (L2 of cosinus) tussen de embedding van een doelmaand en een robuust referentievector (coördinaatgewijze mediaan) van de voorgaande $R=3$ maanden. Het is ontworpen om afwijkingen van de lokale temporale geschiedenis te detecteren.
• Zelftoezicht op Veranderingdetectie (SSCD): Een onbewaakte ensemble-methode die drie signalen combineert:
  1. Reconstructiefout (gemaskerde auto-encoder).
  2. Voorspellingsfout (volgende-maand predictor).
  3. Latente nieuwigheid (omgekeerde k-NN-dichtheid in de latente ruimte).
     Deze signalen worden gewogen en geaggregeerd om een veranderingsscore te produceren.
• Zwak toezicht (WS) lokalisatie: Een toezichtgebaseerde temporale classifier (op LSTM gebaseerd) getraind op schaarse, afgeknotte labels van gebeurtenismaanden. Het voorspelt de waarschijnlijkheid van een veranderingsevent in elke maand, waarbij gebruik wordt gemaakt van Gaussisch-gesmoothde doelen rond bekende gebeurtenismaanden om labelonzekerheid te hanteren.

3. Evaluatieprotocol

De auteurs introduceren een temporair tolerant evaluatiemetric gebaseerd op Recall@K (top-K maanden met de hoogste veranderingsscore). Zij definiëren:

• Symmetrische marge ($m$): Een 'hit' treedt op als de top-K voorspelling binnen $m$ maanden van de grondwaarheid ligt.
• Directionele marges:
  • Positieve marge ($h^+$): Detectie vindt na het event plaats (gericht op bevestiging).
  • Negatieve marge ($h^-$): Detectie vindt voor het event plaats (gericht op vroegtijdige waarschuwing).

Belangrijkste Bijdragen

1. Formulering: Herformulering van archeologisch site-monitoren als een probleem voor maandelijkse veranderingsevent-detectie over sites-gerichte satelliettijdreeksen.
2. Frame: Voorstellen van WATCH, dat onbewaakte (TED, SSCD) en zwak toezichtgebaseerde (WS) score-regimes integreert.
3. Benchmarking: Systematische evaluatie van zes foundation-model-embeddings tegen handgemaakte kenmerken, waarbij wordt aangetoond dat foundation-modellen over het algemeen sterkere signalen bieden voor lokalisatie op maandniveau.
4. Evaluatieprotocol: Introductie van een temporair tolerant evaluatie met directionele marge-analyse om te onderscheiden tussen capaciteiten voor vroegtijdige waarschuwing en post-event bevestiging.

Resultaten

Het frame werd gebenchmarkt op 1.943 sites in Afghanistan (898 geplunderd, 1.045 bewaard), waarbij slechts 117 geplunderde sites een betrouwbaar bekende maand van plundering hadden.

• Prestaties: Onbewaakte benaderingen (TED en SSCD) presteerden consequent beter dan het alternatief met zwak toezicht.
  • TED met SatMAE behaalde de hoogste exacte maand-recall (55,0% bij $m=0$).
  • TED met GeoRSCLIP, CLIP of Satlas-Pretrain bereikte 92,5% recall binnen een tolerantie van drie maanden ($m=3$).
  • SSCD met Satlas-Pretrain bereikte ook 92,5% bij $m=3$ en 100% bij $m=6$.
• Foundation-modellen versus handgemaakt: Foundation-modellen presteerden consequent beter dan handgemaakte kenmerken bij strikte marges (bijv. GeoRSCLIP overtrof handgemaakte kenmerken met 10 procentpunten bij $m=0$ onder TED). Handgemaakte kenmerken bleven echter concurrerend, met name voor exacte maand-detectie onder zwak toezicht (45,0% versus 35,0% voor Satlas-Pretrain bij $m=0$ in WS).
• Directionele bias:
  • SSCD gekoppeld aan GeoRSCLIP of Prithvi-EO-2.0 vertoonde het sterkste profiel voor vroegtijdige waarschuwing (negatieve directionele marge), waarbij anomalieën werden gedetecteerd voor het geregistreerde event.
  • TED gaf de voorkeur aan detectie gericht op bevestiging (positieve directionele marge), reagerend nadat een verandering had plaatsgevonden.
• Generalisatie: Bij toepassing op sites in Syrië, Turkije, Pakistan en Egypte zonder hertraining, verplaatsten onbewaakte benaderingen (TED, SSCD) zich effectief, waarbij temporair gestructureerde scoretrajecten werden geproduceerd. Het WS-model faalde in generalisatie en bleef dicht bij nul buiten het Afghaanse trainingsdomein.

Betekenis en Claims

Het artikel beweert dat het combineren van satellietbeelden met foundation-model-embeddings schaalbaar, besluitrelevant erfgoedmonitoren mogelijk maakt onder minimaal toezicht.

• Operationele richtlijnen: De directionele marge-analyse biedt bruikbare inzichten voor praktijkmensen. Diegenen die prioriteit geven aan vroegtijdige interventie moeten SSCD koppelen aan geografische foundation-modellen (GeoRSCLIP, Prithvi-EO-2.0) om gebruik te maken van pre-event anomaliedetectie. Diegenen die post-event forensische bevestiging vereisen, kunnen vertrouwen op de eenvoudigere, trainingsvrije TED-benadering.
• Robuustheid: Het onbewaakte karakter van TED en SSCD stelt hen in staat om te generaliseren naar sites buiten de verdeling (verschillende regio's) zonder hertraining, een cruciaal voordeel voor wereldwijd erfgoedmonitoren waar gelabelde data schaars is.
• Toekomstig werk: De auteurs identificeren de uitbreiding van grondwaarheidsdekking (momenteel beperkt tot 117 sites met bekende maand) als het meest dringende pad voor toekomstig onderzoek, waarbij wordt gesuggereerd dat actief leren zowel toezichtgebaseerde training als evaluatiebetrouwbaarheid kan versterken.

De codebase is publiek beschikbaar om reproduceerbaarheid en verder onderzoek op dit domein te bevorderen.