🤖 machine learning

SpectralEarth-FM: Bringing Hyperspectral Imagery into Multimodal Earth Observation Pretraining

Het artikel introduceert SpectralEarth-FM, een hiërarchisch transformer-model, en het bijbehorende 40 TB grote SpectralEarth-MM-dataset, die toonaangevende gezamenlijke vooropleiding van hyperspectrale beelden met multispectrale, SAR- en thermische aardobservatiegegevens mogelijk maken om de beperkingen van foundation-modellen voor één sensor of één modus te overwinnen.

Oorspronkelijke auteurs: Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de Aarde voor als een gigantisch, complex puzzelstuk. Jarenlang hebben wetenschappers die dit puzzelstuk probeerden te begrijpen, verschillende soorten "lenzen" gebruikt om er naar te kijken. Sommige lenzen zien de wereld in brede, kleurrijke streken (zoals standaard satellietfoto's), terwijl anderen het zien in zwart-wit radarbeelden of warmtekaarten.

Lange tijd was er een zeer speciale, krachtige lens genaamd Hyperspectrale Beeldvorming (HSI). Deze lens ziet niet alleen kleuren; hij ziet honderden kleine, specifieke tinten licht, waardoor hij precies kan identificeren welke materialen zich op de grond bevinden (zoals het onderscheiden tussen twee soorten tarwe of het opsporen van een specifiek mineraal). Deze speciale lens werd echter grotendeels geïsoleerd gebruikt. Wetenschappers hadden krachtige modellen voor de "brede" lenzen en aparte modellen voor de "speciale" lens, maar ze leerden ze zelden om samen te werken.

SpectralEarth-FM is het nieuwe systeem dat dit moet oplossen. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige concepten:

1. De Omvangrijke Bibliotheek (SpectralEarth-MM)

Voordat een student kan leren, heeft hij een bibliotheek met boeken nodig. De auteurs bouwden een enorme digitale bibliotheek genaamd SpectralEarth-MM.

De Collectie: Het bevat meer dan 40 Terabytes aan data – genoeg om duizenden harde schijven te vullen.
De Mix: Het heeft niet alleen de "speciale" hyperspectrale foto's. Het koppelt deze aan standaardfoto's, radarbeelden en warmtekaarten, allemaal genomen op exact dezelfde plek op Aarde en op hetzelfde moment.
De Schaal: Het dekt ongeveer 2 miljoen verschillende locaties wereldwijd, wat resulteert in 25 miljoen bijpassende beeldsets. Denk hierbij aan een wereldwijde fotoboek waar elke pagina een hoogwaardige kleurenfoto, een radarscan en een warmtekaart van dezelfde achtertuin bevat, allemaal perfect op elkaar afgestemd.

2. De Slimme Vertaler (De Architectuur)

Het probleem is dat deze verschillende "lenzen" verschillende talen spreken. De hyperspectrale camera spreekt in honderden kleine frequentiewoorden, terwijl de radarcamera spreekt in een paar luide, brede woorden. Als je probeert ze in een standaard brein te voeden, raakt dat in de war.

SpectralEarth-FM fungeert als een briljante vertaler met een unieke hersenstructuur:

Gespecialiseerde Assistenten: Het heeft verschillende "assistenten" (takken) voor elk type camera. De assistent voor de hyperspectrale camera is getraind om complexe, gedetailleerde spectrale patronen te begrijpen. De assistent voor de radarcamera is getraind om textuur en vorm te begrijpen.
De Fusie-tafel: Zodra elke assistent zijn eigen stukje van de puzzel begrijpt, brengen ze hun notities naar een centrale tafel. Hier combineert een "fusiemodule" hun inzichten tot één enkel, verenigd begrip.
Het Gedeelde Brein: Ten slotte wordt dit gecombineerde begrip doorgegeven aan een gedeeld "brein" (een hiërarchische encoder) dat het grote plaatje leert begrijpen, waardoor het systeem vragen over de Aarde kan beantwoorden met elke combinatie van deze sensoren.

3. De Leermethode (JEPA Pretraining)

Hoe leer je een model dit zonder dat een leraar het de antwoorden geeft? De auteurs gebruikten een spel genaamd JEPA (Joint-Embedding Predictive Architecture).

Stel je voor dat je naar een landschap kijkt.

De Leraar: De "Leraar" kijkt naar het hele landschap met alle beschikbare sensoren (het volledige plaatje) en vormt een diep, abstract idee van wat er is.
De Student: De "Student" krijgt een klein, wazig uitsnede van het landschap te zien met slechts één sensor (bijvoorbeeld alleen de radar of alleen het hyperspectrale zicht).
De Uitdaging: De Student moet het diepe idee van de Leraar raden op basis van dat kleine, enkel-sensor zicht.
Het Resultaat: Door dit spel miljoenen keren te spelen, leert het model de essentie van de Aarde te begrijpen. Het leert dat een specifieke radar-textuur gecombineerd met een specifiek warmte-signatuur meestal "bos" betekent, zelfs als het nog niet de volledige kleurenfoto heeft gezien. Het leert de "betekenis" van een scène te voorspellen in plaats van alleen de pixels te kopiëren.

4. De Resultaten

De auteurs testten dit nieuwe systeem op twee soorten uitdagingen:

Hyperspectrale Taken: Kan het specifieke mineralen of gewassoorten identificeren met de hoog-detaillens? Ja. Het presteerde beter dan alle eerdere modellen die alleen waren getraind op hyperspectrale data.
Algemene Aarde-taken: Kan het standaardtaken zoals overstromingsmonitoring of landbedekkingclassificatie aan met de mix van sensoren? Ja. Het presteerde even goed als, of beter dan, de beste bestaande modellen die standaard satellietdata gebruiken.

De Conclusie

SpectralEarth-FM is een nieuw soort "Aarde-brein" dat eindelijk leert de Aarde te lezen met al zijn zintuigen tegelijk. Door het ultra-gedetailleerde zicht van hyperspectrale camera's te combineren met het robuuste, alle-weer zicht van radar en standaardcamera's, creëert het een vollediger en accurater begrip van onze planeet dan ooit tevoren. De auteurs hebben ook beloofd de enorme bibliotheek en de code van het brein aan het publiek vrij te geven, zodat anderen kunnen voortbouwen op deze fundamenten.

Technische Samenvatting: SpectralEarth-FM

Probleemstelling

Grondobservatie (EO) fundamentele modellen (FM's) hebben in toenemende mate multi-sensor voortraining omarmd, waarbij multispectrale beelden (MSI), synthetische aperture radar (SAR) en afgeleide geospatiale lagen worden geïntegreerd. Hyperspectrale beelden (HSI), die multidimensionale, spectraal aaneengesloten metingen bieden (~10 nm bandbreedte), blijven echter ondervertegenwoordigd in deze multimodale kaders. Omgekeerd worden bestaande HSI fundamentele modellen doorgaans uitsluitend getraind op HSI-gegevens, waardoor de gezamenlijke voortraining en fusie van HSI met gelijktijdig opgenomen MSI, SAR en thermische waarnemingen onontgonnen terrein blijft.

Huidige modelleringbenaderingen staan voor specifieke uitdagingen bij het integreren van HSI:

Spectrale Complexiteit: HSI bevat sterke inter-band correlaties en sensorafhankelijke ruis, wat expliciete spectrale-ruimtelijke verwerking vereist in plaats van eenvoudige patch-projectie.
Heterogeniteit: Het integreren van HSI met sensoren met minder kanalen (MSI, SAR, Landoppervlaktetemperatuur) vereist een architectuur die fijnkorrelige spectrale verwerking behoudt, terwijl het breedband optische invoer ondersteunt.
Data-tekort: Er is een gebrek aan grootschalige, ruimtelijk uitgelijnde datasets die ruimtewervende HSI koppelen aan andere belangrijke EO-modi (Sentinel-2, Landsat, Sentinel-1) over gemeenschappelijke geografische voetafdrukken.

Methodologie

1. Dataset: SpectralEarth-MM

Om grootschalige voortraining mogelijk te maken, hebben de auteurs SpectralEarth-MM samengesteld, een multi-sensor dataset gecentreerd rond ruimtewervende HSI-missies.

Bronnen: De dataset is verankerd op HSI van drie sensoren: EnMAP, EMIT en DESIS.
Gelijktijdige locaties: Deze zijn ruimtelijk uitgelijnd met Sentinel-2, Landsat-8/9 (MSI en Landoppervlaktetemperatuur) en Sentinel-1 (SAR).
Schaal: De dataset beslaat ongeveer 2 miljoen wereldwijd verspreide locaties, bestaande uit 25 miljoen geografisch verwijzingde patches en meer dan 40 TB aan gegevens.
Constructie: De pijplijn omvat sensor-specifieke kwaliteitscontrole (wolkenscreening, controles van geografische verwijzing), patch-extractie in niet-overlappende voetafdrukken van $(3,84 \text{ km})^2$ , en hiërarchische herbeweging met behulp van AlphaEarth-embeddings om ruimtelijke en semantische redundantie te verminderen terwijl zeldzame sensorconfiguraties behouden blijven.

2. Architectuur: SpectralEarth-FM

De auteurs stellen SpectralEarth-FM voor, een hiërarchische transformer ontworpen voor heterogene spectrale dimensionaliteit. De architectuur bestaat uit vier hoofdcomponenten:

Spectrale Tokenisatie (HSI): In tegenstelling tot standaard patch-projecties ondergaan HSI-invoeren een sensor-specifieke spectrale tokenizer. Banden binnen een ruimtelijke patch worden onderverdeeld in aaneengesloten groepen, ingebed via toewijzingen en verwerkt door een Spectrale Transformer (SpecTr). Leerbare spectrale positie-coderingen injecteren orde-informatie. De resulterende groepstokens worden geaggregeerd tot een enkele ruimtelijke token.
Sensor-specifieke Lokale Takken: Sensoren met lagere dimensionaliteit (MSI, SAR, LST) gebruiken standaard convolutie-patch-projecties. Alle takken gaan vervolgens door Lokale Hiërarchische Blokken (LHB's) gebaseerd op het Hiera-ontwerp. Deze takken werken onafhankelijk om sensor-specifieke statistieken te verwerken voordat fusie plaatsvindt.
Cross-Sensor Fusie: Na lokale codering worden tak-embeddings op elke ruimtelijke positie samengevoegd. Een geleerde query attendeert op de geprojecteerde sensortokens (verrijkt met sensor-specifieke embeddings) om een enkele gefuseerde tokenrooster te produceren.
Gedeelde Hiërarchische Encoder: De gefuseerde tokens worden doorgegeven aan een gedeelde Hiera-encoder om de uiteindelijke representatie $Z$ te produceren.

3. Voortrainingsstrategie

Het model wordt voorgetraind met een Joint-Embedding Predictive Architecture (JEPA)-stijl doelstelling, aangepast voor multimodale EO-fusie.

Doelstelling: In plaats van ruwe pixels te reconstrueren (wat moeilijk is over modi met verschillende ruiskarakteristieken), leert het model representaties te matchen tussen globale weergaven en single-sensor lokale weergaven van dezelfde locatie.
Leraar-Leerling Ontwerp: Er wordt een asymmetrische opstelling gebruikt waarbij een Exponentiële Bewegende Gemiddelde (EMA) leraar uitsluitend globale weergaven (met meerdere modi) verwerkt om een stabiel doel te definiëren. De leerling verwerkt globale, lokale en sensor-gedropte weergaven om dit doel te voorspellen.
Verliesfunctie: De doelstelling combineert een invariantieverlies (MSE tussen student- en leraarprojecties) met een SIGReg-straf om representatie-instorting te voorkomen.

Belangrijkste Bijdragen

SpectralEarth-MM: Een globaal gebalanceerde, multi-temporele corpus van 40+ TB die HSI, MSI, SAR en LST omvat, specifiek ontworpen om de kloof tussen hyperspectrale en multi-sensor EO te overbruggen.
SpectralEarth-FM: Een nieuw fundamenteel modelarchitectuur met expliciete spectrale tokenisatie voor HSI, sensor-specifieke lokale takken en een cross-sensor fusiemodule binnen een hiërarchisch transformer-kader.
Multimodale JEPA Voortraining: Een op maat gemaakte voortrainingsstrategie die directe pixelreconstructie over heterogene sensoren vermijdt, en zich in plaats daarvan richt op het uitlijnen van latente representaties tussen globale en lokale weergaven.
Uitgebreide Evaluatie: Uitgebreide benchmarking op tien hyperspectrale downstream-taken en de standaard PANGAEA-suite van EO-benchmarks.

Resultaten

Het artikel evalueert SpectralEarth-FM onder twee instellingen: single-branch routing (invoer routeren naar de dichtstbijzijnde spectrale tak) en multi-branch routing (features van meerdere takken concateneren).

Hyperspectrale Benchmarks: Op tien downstream-taken (inclusief CDL, BD-Foret, EuroCrops en OxHyperMinerals) behaalde SpectralEarth-FM-a (multi-branch) de beste algehele gemiddelde rang (1,4), en presteerde beter dan state-of-the-art modellen zoals HyperSIGMA, Panopticon en CARL. Het toonde bijzondere sterkte op EnMAP-gebaseerde taken en demonstreerde succesvolle overdracht naar ongezonde sensoren (bijv. EO-1 Hyperion, GF-5) via spectrale interpolatie.
Algemene EO Benchmarks (PANGAEA): Geëvalueerd op zeven taken (bijv. HLS Burns, Sen1Floods11, AI4Farms), behaalde SpectralEarth-FM-a een gemiddelde rang van 3,43, wat het plaatst onder de best presterende modellen (het passeerde TerraMind, CROMA en Prithvi in de vergelijking).
Ablatiestudies:
- Takselectie: De EnMAP-tak leverde over het algemeen de hoogste prestaties op HSI-taken op, terwijl het combineren van alle HSI-taken de resultaten verder verbeterde.
- Sensorfusie: Het fuseren van EnMAP met Sentinel-2 of Landsat OLI leverde complementaire informatie op, wat aanzienlijke winsten opleverde (bijv. +3,4 mIoU op EuroCrops) in vergelijking met single-sensor invoer.

Betekenis en Claims

De auteurs claimen dat SpectralEarth-FM een significante stap voorwaarts vertegenwoordigt in het integreren van hyperspectrale data in het bredere ecosysteem van Earth Observation fundamentele modellen. Door de hoge spectrale dimensionaliteit van HSI expliciet aan te pakken via toewijzing en fusiemechanismen, bereikt het model state-of-the-art prestaties op hyperspectrale taken, terwijl het concurrerende prestaties behoudt op standaard multi-sensor benchmarks.

Het werk benadrukt dat:

Gezamenlijke voortraining van HSI met MSI, SAR en LST haalbaar en gunstig is, waardoor modellen representaties kunnen leren die over sensoren generaliseren.
De voorgestelde JEPA-stijl doelstelling effectief omgaat met de heterogeniteit van sensorruis en spectrale resolutie zonder pixel-niveau reconstructie te vereisen.
De release van SpectralEarth-MM en SpectralEarth-FM een noodzakelijke bron biedt voor toekomstig onderzoek in multimodale EO, waarbij de historische kloof wordt aangepakt waarin HSI geïsoleerd was of uitgesloten van grootschalige fundamentele modellen.

Het artikel concludeert bescheiden, met de opmerking dat hoewel het model sterke prestaties binnen de verdeling behaalt, de complexe wisselwerking van ruimtelijke en spectrale kenmerken in gefuseerde representaties verdere onderzoek naar verklaarbaarheid vereist. Bovendien is het huidige kader gewijd aan specifieke voortrainingssensoren, waarbij flexibiliteit uit de doos wordt geruild voor sterkere spectrale representaties, een afweging die de auteurs erkennen voor toekomstig werk.