Technische Samenvatting: SkyScraper – Een Multi-Agent Feedbacksysteem voor Nieuwsgedreven Bijschriften van Satellietgebeurtenissen

Probleemstelling

Het vakgebied van het bijschrijven van veranderingen in de aardobservatie kampt met een aanzienlijke knelpunt in de beschikbaarheid van meertemporele datasets voor het bijschrijven van gebeurtenissen. Hoewel bi-temporele datasets (paren van afbeeldingen) bestaan voor veranderingen in landgebruik/landbedekking (LULC), zijn datasets met sequenties van meer dan twee afbeeldingen schaars. Deze schaarste vloeit voort uit twee hoofduitdagingen:

1. Moeilijkheid bij Ontdekking: Het identificeren van zichtbare gebeurtenissen binnen omvangrijke archieven van satellietbeelden is arbeidsintensief.
2. Annotatielast: Het handmatig labelen van meertemporele sequenties vereist aanzienlijke tijd en moeite.

Bestaande benaderingen, zelfs die welke gebruikmaken van Large Language Models (LLM's), vertrouwen doorgaans op vooraf gelabelde temporele datasets of op op regels gebaseerde methoden die worden toegepast op bi-temporele paren. Bovendien zijn traditionele geocodiertechnieken die worden gebruikt om nieuwsartikelen te koppelen aan satellietbeelden vatbaar voor ruis, waaronder onjuiste plaatsnamen en onnauwkeurigheden waarbij de frequentie van een vermelding van een locatie niet correleert met de daadwerkelijke zichtbaarheid van een gebeurtenis.

Methodologie: Het SkyScraper-kader

Om deze beperkingen aan te pakken, introduceren de auteurs SkyScraper, een iteratieve workflow met meerdere agenten die is ontworpen om nieuwsartikelen te geocoderen en bijschriften te synthetiseren voor de bijbehorende sequenties van satellietbeelden. In tegenstelling tot traditionele methoden die alle plaatsnamen in één keer extraheren, maakt SkyScraper gebruik van een agente feedbacklus om zoekopdrachten iteratief te verfijnen.

De Iteratieve Pijplijn

Het systeem werkt via een cyclus van vijf stappen waarbij verschillende agenten betrokken zijn:

1. Extraheren: Een LLM "Artikel-agent" identificeert een benoemd geografisch entiteit en een tijdlijn van de gebeurtenis uit de tekst.
2. Geocoderen: Een geocodierte API converteert de benoemde entiteit naar breedte- en lengtegraad-coördinaten.
3. Ophalen: Een data-API haalt satellietbeelden op voor de specifieke coördinaten en tijdlijn.
4. Verifiëren: Een multimodaal LLM "Verificatie-agent" kruist de tekst van het artikel af met de opgehaalde beelden om te bepalen of de gebeurtenis zichtbaar is, en levert redenering voor zijn beslissing.
5. Bijschrijven: Als de gebeurtenis is geverifieerd, genereert een multimodaal LLM "Bijschrijf-agent" een veranderingbijschrift met het artikel als context.

Iteratieve Verfijning (Algoritme 1)

De kerninnovatie ligt in het vermogen van het systeem om met fouten om te gaan. In plaats van de eerste gecoodeerde locatie te accepteren, vraagt het systeem om één kandidaatlocatie per keer. Als het geocoderen mislukt of de Verificatie-agent vaststelt dat de gebeurtenis niet zichtbaar is, doet het systeem het volgende:

• Het registreert de fout en de specifieke redenering.
• Het vraagt de Artikel-agent om een nieuwe kandidaatlocatie, waarbij het de geschiedenis van fouten meeneemt.
• Het herhaalt de cyclus totdat een geldige gebeurtenis is gevonden of het maximum aantal pogingen is bereikt.

Deze aanpak vermindert de ruis die inherent is aan traditioneel geocoderen door de zoekopdracht dynamisch aan te passen op basis van visuele verificatiefeedback.

Experimentele Opstelling en Resultaten

De auteurs hebben SkyScraper geëvalueerd tegen twee traditionele geocodierte baselines:

• Gewogen Centroid: Converteert coördinaten naar Earth-Centered, Earth-Fixed (ECEF)-formaat en berekent een gewogen gemiddelde.
• GIPSY (Geo-referenced Information Processing SYstem): Een op gewogen polygonen gebaseerde aanpak die 3D-polyeders stapelt op basis van overlapping en bevatten.

Met behulp van een testset van 1.000 diverse wereldwijde nieuwsartikelen (die natuurrampen, bouw en burgerlijke onrust behandelen) en PlanetScope-beelden (3m resolutie), werd het systeem getest met Mapbox voor geocodering en Gemini-2.5-flash voor LLM-agenten.

Belangrijkste Prestatiemetrics:

• Gewogen Centroid: Detecteerde 17 gebeurtenissen (1,7% opbrengst).
• GIPSY: Detecteerde 47 gebeurtenissen (4,7% opbrengst), wat een verbetering van 2,8× vertegenwoordigt ten opzichte van de centroid.
• SkyScraper: Detecteerde 84 gebeurtenissen (8,4% opbrengst), wat een verbetering van 4,9× aantoont ten opzichte van de centroid-baseline.

De auteurs merken op dat omdat ze alleen echte positieven tellen, de relatieve verbetering een informatiever criterium is dan de absolute opbrengst, aangezien artikelen zonder zichtbare gebeurtenissen de ruwe opbrengst voor alle methoden op natuurlijke wijze verlagen.

Dataset-Curatie

Door het SkyScraper-kader toe te passen op een grote database van wereldwijde nieuwsartikelen uit de Global Database of Events, Language, and Tone (GDELT) (2022–2024), hebben de auteurs twee nieuwe meertemporele bijschrijfdatasets samengesteld:

• PlanetScope-dataset: 5.000 sequenties met 3.288 bevestigde gebeurtenissen (gemiddeld 21 afbeeldingen per sequentie).
• Sentinel-2-dataset: 4.463 sequenties met 2.931 bevestigde gebeurtenissen (gemiddeld 8 afbeeldingen per sequentie).

Deze datasets zijn handmatig geverifieerd door annotatoren op de nauwkeurigheid van de bijschriften en de datums van de gebeurtenissen.

Betekenis en Claims

Het artikel stelt dat SkyScraper de effectiviteit van agente feedback als strategie aantoont voor het aan het licht brengen van nieuwe meertemporele gebeurtenissen in satellietbeelden. Door de identificatie van beelden gerelateerd aan nieuwsgebeurtenissen te automatiseren, doet het systeem het volgende:

1. Overwint Datatekorten: Genereert succesvol meertemporele bijschrijfdatasets waar handmatige curatie onhaalbaar is.
2. Verbeterd Geocodiernauwkeurigheid: Presteert aanzienlijk beter dan traditionele op regels gebaseerde geocodiertechnieken door valse positieven te filteren via visuele verificatie.
3. Ondersteunt Journalistiek: Biedt een hulpmiddel om nieuwsverhalen automatisch te koppelen aan visueel bewijs, wat verslagleggingsinspanningen ondersteunt.

De auteurs concluderen dat dit werk de geocodering van gebeurtenissen, het bijschrijven van meervoudige afbeeldingen en de curatie van benchmarkdatasets in het domein van de aardobservatie faciliteert, en voorbijgaat aan de beperkingen van bi-temporele, vooraf gelabelde datasets.