🤖 machine learning

Leveraging Multi-Temporal Sentinel 1 and 2 Satellite Data for Leaf Area Index Estimation With Deep Learning

Dit artikel stelt een nieuw deep learning-framework voor dat multi-temporele Sentinel-1- en Sentinel-2-satellietdata integreert met behulp van vooraf getrainde U-Net-modules en een seizoensbewuste decoder om een uiterst nauwkeurige pixelgewijze schatting van het Bladoppervlakindex te realiseren met een RMSE van 0,06 en een R² van 0,93.

Oorspronkelijke auteurs: Clement Wang, Antoine Debouchage, Valentin Goldité, Aurélien Wery, Jules Salzinger

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Clement Wang, Antoine Debouchage, Valentin Goldité, Aurélien Wery, Jules Salzinger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te rekenen hoeveel bladeren er op een boom staan in een enorm bos, maar je kunt er niet naartoe lopen. In plaats daarvan kijk je naar het bos vanuit de ruimte. Dit is de uitdaging bij het meten van de Bladoppervlakte-index (LAI)—een chique manier om te zeggen "hoeveel groen bladerdek de grond bedekt". Dit getal is cruciaal voor het begrijpen hoe gezond onze planeet is, hoeveel voedselgewassen er zullen worden opgeleverd en hoe het klimaat verandert.

Meestal proberen wetenschappers dit getal te krijgen door mensen het veld in te sturen om bladeren te tellen (wat traag en moeilijk is) of door gebruik te maken van satellieten die foto's maken. Maar hier zit het probleem: wolken. Wolken zijn als een gigantische, pluizige deken die het zicht van de satelliet blokkeert, waardoor de optische foto's onbruikbaar worden.

Dit artikel presenteert een slimme nieuwe manier om dit probleem op te lossen met behulp van Deep Learning (een type kunstmatige intelligentie dat leert zoals een brein) en twee verschillende soorten satelliet-"ogen": Sentinel-2 (die kleurrijke foto's maakt) en Sentinel-1 (die radar gebruikt).

Hier is hoe hun methode werkt, uitgelegd met alledaagse analogieën:

1. De twee ogen: Foto's versus radar

Stel je Sentinel-2 voor als een fotograaf. Het maakt prachtige, gedetailleerde foto's van het land, maar als het bewolkt is, is de foto gewoon een witte waas.
Stel je Sentinel-1 voor als een vleermuis die gebruikmaakt van echolocatie. Het zendt radargolven uit die dwars door wolken en mist kunnen kijken. Het geeft je geen mooie foto, maar het vertelt je de vorm en textuur van de grond, zelfs als de lucht bewolkt is.

De onderzoekers beseften dat als je de "mooie foto's" (wanneer de lucht helder is) combineert met de "radarecho's" (wanneer de lucht bewolkt is), je een veel duidelijker beeld van het bos krijgt dan wanneer je er één alleen gebruikt.

2. De tijdmachine: Kijken naar de geschiedenis

De AI kijkt niet alleen naar één dag; het kijkt naar drie dagen achter elkaar.
Stel je voor dat je probeert te raden hoeveel een plant is gegroeid. Als je alleen naar vandaag kijkt, kun je in de war raken. Maar als je kijkt hoe het er gisteren en eergisteren uitzag, kun je het patroon zien. De AI gebruikt deze "tijdmachine"-aanpak om te begrijpen hoe de bladeren op een korte periode veranderen, wat helpt bij het maken van slimmere schattingen, zelfs als een van de dagen bewolkt is.

3. Het brein: Een gespecialiseerd team

De AI die ze hebben gebouwd, is als een team van specialisten dat samenwerkt, in plaats van één generalist die alles probeert te doen.

Twee encoders (de specialisten): De ene specialist richt zich uitsluitend op de radardata en de kalender (seizoenen). De andere specialist richt zich op de eerdere foto's en de kalender. Ze werken parallel, waarbij ze elk heel goed worden in het begrijpen van hun specifieke type data.
Eén decoder (de manager): Zodra de specialisten hun analyse hebben gedaan, geven ze hun notities door aan een "Manager" (de decoder). Deze Manager combineert de radarinformatie, de fotoinformatie en de seizoenscontext om de uiteindelijke kaart van bladdichtheid te tekenen.

4. Het brein trainen

Het leren van deze AI is lastig omdat de data complex is. De onderzoekers gebruikten een trainingsmethode in twee stappen:

Stap 1: Ze leerden de twee specialisten eerst apart, zodat ze experts werden op hun eigen terrein.
Stap 2: Ze zetten het hele team samen en stelden ze fijn af om als een eenheid te werken. Ze zorgden er ook voor dat de AI aandacht besteedde aan het "seizoen" (zoals of het lente of winter is), omdat bladeren er heel anders uitzien afhankelijk van het tijdstip van het jaar.

De resultaten

Toen ze dit systeem testten:

Op heldere dagen: Het was ongelooflijk nauwkeurig, bijna perfect.
Op bewolkte dagen: Het deed het goed, maar niet zo perfect als op heldere dagen. De onderzoekers ontdekten dat de AI hier wat moeite had omdat er niet genoeg voorbeelden van "bewolkte dagen" in de trainingsdata zaten om het te leren zich sterk op de radar te verlaten.
Vergeleken met oude methoden: Traditionele methoden die slechts één pixel tegelijk bekijken, faalden jammerlijk (alsof je probeert het weer te raden door naar een enkele regendruppel te kijken). Deze nieuwe methode, die naar het hele plaatje en de context kijkt, was een enorm succes.

De conclusie

Het artikel laat zien dat door radar- en optische satellietdata te combineren, en door slimme AI te gebruiken die tijd en seizoenen begrijpt, we kunnen schatten hoe gezond onze vegetatie is, zelfs als het weer slecht is. De auteurs hebben hun code gedeeld zodat anderen op dit werk kunnen voortbouwen, in de hoop dat deze "bladentellers" in de toekomst nog beter worden.

Technische Samenvatting: Benutting van Multi-Temporale Sentinel-1 en Sentinel-2 Data voor Schatting van het Bladoppervlakte-index (LAI)

Probleemstelling
De Bladoppervlakte-index (LAI) is een fundamentele maatstaf voor het beoordelen van ecosysteemgezondheid, plantproductiviteit en koolstofcycli. Hoewel traditionele grondgebonden methoden (destructieve bemonstering, allometrische vergelijkingen) nauwkeurige lokale data leveren, ontbreekt het hen aan ruimtelijke dekking. Satellietremote sensing biedt een oplossing voor regionaal tot globaal monitoring; echter, optische data (bijv. Sentinel-2) wordt vaak gecompromitteerd door bewolking, wat directe metingen belemmert en de data-beschikbaarheid vermindert. Bestaande deep learning-benaderingen voor LAI-predictie vertrouwen vaak op enkele tijdstippen, enkele sensortypen (optisch of radar), of behandelen pixels onafhankelijk, waardoor waardevolle contextuele informatie van naburige pixels en het complementaire karakter van multi-sensor data worden genegeerd.

Methodologie
De auteurs stellen een nieuw deep learning-kader voor voor pixel-voor-pixel LAI-predictie dat multi-temporale data integreert van Sentinel-1 (radar) en Sentinel-2 (multispectraal) satellieten. De kern van de methodologie omvat een aangepaste diepe neurale netwerkarchitectuur die is ontworpen om heterogene inputmodaliteiten en temporele afhankelijkheden te verwerken.

Datasetconstructie: De studie maakt gebruik van publiek beschikbare Sentinel-1 en Sentinel-2 data van diverse Europese locaties. Steekproeven bestaan uit drie opeenvolgende tijdstippen ( $T \in \{t-2, t-1, t\}$ ) met een onderlinge afstand van niet meer dan een week. Inputs omvatten:
- Sentinel-1 radardata (VH en VV polarisaties).
- Sentinel-2 afgeleide LAI-kaarten (voor eerdere tijdstippen) en semantische maskers (die wolken, water, land, enz. identificeren, gegenereerd via de Sen2Cor-processor).
- Seizoensinformatie gecodeerd als sinus- en cosinuswaarden die de dag van het jaar voorstellen.
- De ground truth is de LAI-kaart op tijdstip $t$ .
- De dataset is opgesplitst in "niet-bewolkte", "bewolkte" en "unieke gebieden" (Tsjechië en Italië) om generalisatie te testen.
Architectuur: Het model beschikt over twee parallelle encoders en één decoder (Figuur 1):
1. Encoder 1: Verwerkt Sentinel-1 radardata, semantische maskers en seizoensinformatie.
2. Encoder 2: Verwerkt historische Sentinel-2 LAI-waarden ( $t-2, t-1$ ), maskers en seizoensinformatie.
3. Decoder: Een U-Net-structuur die de feature maps van beide encoders concateneert om de uiteindelijke pixel-voor-pixel LAI-predictie te produceren. Het ontwerp prioriteert de vroege inkrimping van multi-temporale data om redundantie te verminderen.
Trainingsstrategie: Vanwege de complexiteit van de architectuur wordt een tweestaps trainingsbenadering toegepast:
1. Pre-training: Elke encoder wordt afzonderlijk getraind met een pixel-voor-pixel convolutielaag om LAI te voorspellen, waarbij de Gemiddelde Kwantieke Fout (MSE) wordt geoptimaliseerd.
2. End-to-End Fine-tuning: De voorgeöorde gewichten worden geïntegreerd in het volledige netwerk. Het model wordt geoptimaliseerd met intermediaire supervisie, waarbij de verliesfunctie de MSE van de uiteindelijke decoder-output combineert met de outputs van de intermediaire encoder-fasen. De verliesfunctie is gedefinieerd als:
  $Loss = MSE(LAI_{gt}, LAI_{dec}) + \alpha \cdot MSE(LAI_{gt}, LAI_{enc1}) + \beta \cdot MSE(LAI_{gt}, LAI_{enc2})$
  waarbij $\alpha$ en $\beta$ hyperparameters zijn (respectievelijk ingesteld op 0,1 en 0,15) om het belang van intermediaire fasen te wegen. De verliesberekening sluit expliciet pixels uit die door wolken worden bedekt.

Belangrijkste Resultaten
De voorgestelde methode werd geëvalueerd op een testset van 256x256 afbeeldingssecties.

Prestaties: Het volledige model behaalde een RMSE van 0,058 en een $R^2$ -score van 0,930 op niet-bewolkte data.
Ablatiestudies:
- Het gebruik van alleen Sentinel-1 data leverde slechte resultaten op ( $R^2 = 0,434$ ).
- Het gebruik van alleen Sentinel-2 data (met maskers en seizoensinformatie) presteerde goed ( $R^2 = 0,903$ ) maar vertoonde significante degradatie op bewolkte data ( $R^2 = -0,294$ ).
- De gecombineerde aanpak (Alle inputs) behield robuuste prestaties over de datasets, hoewel de prestaties op "unieke gebieden" (ongezien locaties) hogere foutpercentages vertoonden, wat wijst op een zekere locatiespecifieke bias.
Vergelijking: De deep learning-aanpak presteerde aanzienlijk beter dan traditionele pixel-voor-pixel baselines zoals Multi-lineaire Regressie ( $R^2 = -0,0445$ ) en Random Forest ( $R^2 = -0,0166$ ) wanneer getest op single-pixel data zonder ruimtelijke context.

Betekenis en Claims
Het artikel claimt een baanbrekend onderzoek te presenteren naar pixel-voor-pixel LAI-predictie dat effectief gebruikmaakt van de gecombineerde, multi-temporale informatie van Sentinel-1 en Sentinel-2 data via een diep neuraal netwerk. Belangrijke bijdragen omvatten:

Nieuwe Architectuur: Het gebruik van twee parallelle encoders die zijn toegesneden op specifieke sensormodaliteiten, verenigd door een decoder die rekening houdt met seizoensinvloeden en ruimtelijke context.
Omgaan met Complexiteit: De implementatie van intermediaire supervisie en pre-training om de complexiteit van multi-modale inputs te beheersen en effectieve feature-representatie te waarborgen.
Contextbewustzijn: Het overstijgen van onafhankelijke pixel-predictie om gebruik te maken van globale context en informatie van naburige pixels, waarmee een frequente beperking in eerdere werken wordt aangepakt.
Open Bijdrage: De auteurs hebben hun code en bijdragen beschikbaar gesteld om toekomstige verbeteringen op dit gebied te faciliteren.

De auteurs merken bescheiden op dat, hoewel de methode goed presteert, uitdagingen blijven bestaan met betrekking tot data-ongelijkheid (specifiek de schaarste aan bewolkte trainingssteekproeven) en generalisatie naar geheel nieuwe geografische locaties. Zij suggereren dat toekomstig werk zou kunnen profiteren van het toekennen van hogere gewichten aan verliesfuncties voor bewolkte inputs en het opnemen van aanvullende meta-informatie zoals terrein- of meteorologische data.