BigEarthNet.txt: A Large-Scale Multi-Sensor Image-Text Dataset and Benchmark for Earth Observation

Probleemstelling

Hoewel Vision-Language Models (VLMs) sterke prestaties leveren in de algemene computer vision (CV), blijft hun prestatie op data voor aardobservatie (Remote Sensing - RS) beperkt. Dit komt door drie hoofdoorzaken:

1. Gebrek aan grote datasets: Er zijn weinig grote, multi-sensor datasets die beeld en tekst combineren met diverse tekstuele annotaties.
2. Beperkte sensorvariatie: Bestaande datasets bevatten voornamelijk aerial Red-Green-Blue (RGB) beelden. Ze missen echter de rijkdom van multispectrale (bijv. Sentinel-2) en synthetische aperture radar (SAR, bijv. Sentinel-1) data, die essentieel zijn voor het onderscheiden van complexe landgebruik- en landbedekking (LULC) klassen.
3. Eenvoudige annotaties: Bestaande datasets hebben vaak korte, zwak verankerde bijschriften of beperkte soorten vragen (zoals alleen VQA), wat niet voldoende is voor complexe instructiegedreven taken.

Methodologie

De auteurs introduceren BigEarthNet.txt, een nieuw dataset- en benchmarkkader dat de bovenstaande beperkingen adresseert.

1. Dataselectie en Voorbereiding:

• De dataset is gebaseerd op BigEarthNet v2.0, bestaande uit co-geregistreerde Sentinel-1 (SAR) en Sentinel-2 (multispectraal) beelden.
• Uit de oorspronkelijke 549.488 paren werden 464.044 paren geselecteerd door beelden met wolken, sneeuw of ongedefinieerde pixels te filteren.
• Elk beeldpaar is gekoppeld aan een pixel-level LULC referentiekarte (gebaseerd op CORINE Land Cover 2018).

2. Annotatie-Generatie Pijplijn:
De tekstuele annotaties (totaal ~9,6 miljoen) worden gegenereerd via een drie-staps proces:

• Sjabloon-gebaseerde generatie: Extractie van ruimtelijke attributen (aanwezigheid, aantal, grootte, ruimtelijke nabijheid) uit de referentiekarte. Deze worden omgezet in feitelijke zinnen, verrijkt met geografische context (land, seizoen, klimaatzone).
• LLM-gebaseerde linguïstische augmentatie: Een gekwantiseerd LLM (Llama-4-Scout-17B) wordt gebruikt voor parafraseren om de lexicaal en syntactische variatie te vergroten, gevolgd door een "self-refinement" stap om hallucinaties te elimineren en de feitelijke juistheid te garanderen.
• Generatie van VQA en Referring Expressions: Er worden vragen gegenereerd voor:
  • Binary VQA: Ja/nee vragen over aanwezigheid, grootte, aantal en nabijheid.
  • Multiple-Choice VQA (MCQ): Vragen over relatieve positie, land, seizoen en klimaat.
  • Referring Expression Detection: Instructies om bounding boxes of punten te voorspellen op basis van tekstuele beschrijvingen van specifieke landbedekking.

3. Benchmark Split:
Om betrouwbare evaluatie mogelijk te maken, is een handmatig geverifieerde subset (benchmark split) samengesteld met 1.082 beeldparen en 15.029 tekstannotaties die aan vier kwaliteitscriteria voldoen.

4. Experimenteel Kader:

• Baseline Evaluatie: Er werden 10 state-of-the-art (SOTA) modellen getest (5 uit CV, 5 uit RS), waaronder GPT-5.2, InternVL, en gespecialiseerde RS-modellen zoals EarthMind en GeoChat.
• Aanpassing en Fine-tuning: De auteurs pasten het model InternVL3-1B aan voor multi-sensor input (genaamd RS-InternVL). Dit model gebruikt specifieke takken voor S1 en S2 data, terwijl de achterliggende Vision Transformers (ViT) bevroren blijven. Alleen de projectielagen en LoRA-adapters voor de LLM worden getraind op BigEarthNet.txt.

Belangrijkste Bijdragen

1. BigEarthNet.txt Dataset: De eerste dataset die co-geregistreerde multi-sensor data (S1 + S2) unificeert met diverse, rijke tekstuele beschrijvingen voor 15 verschillende taken binnen 4 categorieën (captioning, binary VQA, MCQ, referring detection).
2. Benchmark Split: Een zorgvuldig gecurateerde, handmatig gecontroleerde testset voor betrouwbare evaluatie van VLMs in de aardobservatie.
3. Empirisch Bewijs: Demonstratie dat bestaande VLMs (zowel CV als RS) tekortschieten in het interpreteren van multi-spectrale RS-data, en dat fine-tuning op deze dataset aanzienlijke prestatieverbeteringen oplevert.

Resultaten

• Prestaties van Bestaande Modellen: Zowel algemene CV-modellen als gespecialiseerde RS-modellen presteerden slecht op de benchmark.
  • RS-modellen presteerden vaak slechter dan CV-modellen, waarschijnlijk omdat ze voornamelijk op RGB-data zijn getraind en moeite hebben met het benutten van extra spectrale informatie.
  • Modellen hadden moeite met complexe taken zoals het tellen van objecten, het bepalen van relatieve posities en het lokaliseren van specifieke objecten via tekst (Referring Expression Detection).
  • De beste prestaties werden gezien bij taken die leken op de oorspronkelijke pre-training doelen (bijv. "aanwezigheid" van een klasse), maar zelfs daar waren de scores matig.
• Prestaties van RS-InternVL: Na fine-tuning op BigEarthNet.txt boekte het aangepaste model (RS-InternVL) enorme winsten:
  • Captioning: BLEU-4 steeg van ~1.66% (SOTA RS) naar 34.04%.
  • Binary VQA: Accuracy steeg van ~58.38% naar 73.29%.
  • MCQ: Accuracy steeg van ~35.26% naar 51.49%.
  • Referring Expression Detection: mIoU steeg van ~16.18% naar 65.84%.
  • Dit toont aan dat zelfs een relatief klein model (1B parameters) effectief complexe multi-sensor data kan leren interpreteren als er voldoende trainingsdata beschikbaar is.

Betekenis en Impact

Dit werk benadrukt dat de beperkingen van huidige VLMs in de aardobservatie voornamelijk te wijten zijn aan data-schaarste en niet aan architecturale beperkingen.

• Democratisering: BigEarthNet.txt maakt het mogelijk om natuurlijke taal te gebruiken voor interactie met complexe aardobservatiegegevens, wat de toegang voor niet-experts vergroot.
• Toekomstige Richting: Het paper stelt een nieuwe standaard voor voor het trainen van multi-sensor VLMs en onderstreept het belang van het combineren van SAR en optische data voor een volledig begrip van het aardoppervlak.
• Benchmark: De geïntroduceerde benchmark split biedt een robuust kader voor het objectief vergelijken van toekomstige modellen in dit domein.