🤖 machine learning

Predicting Viticulture Potential through an Ensemble of U-Net and a Geospatial Foundation Model

Dit artikel presenteert een inzending voor de tweede plaats in de ImageCLEF AI4Agri 2026-competitie die een ensemble van U-Net en het Prithvi-2.0 Geospatial Foundation Model gebruikt om de viticultuurpotentie in Zuid-Frankrijk te voorspellen met een nauwkeurigheid van 68,32%, waarmee de effectiviteit van remote sensing voor duurzame agrarische planning wordt aangetoond.

Oorspronkelijke auteurs: Jorge Ignacio Perez, Hwaai Kang Kee, Lucas Rassbach

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jorge Ignacio Perez, Hwaai Kang Kee, Lucas Rassbach

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een boer bent die probeat uit te zoeken of een stuk land in Zuid-Frankrijk perfect is voor het verbouwen van druiven. Vroeger zou je een team van experts moeten inhuren om daarheen te wandelen, grondmonsters op te graven en rapporten te schrijven. Dat is traag, duur, en tegen de tijd dat ze klaar zijn, kan het weer alweer veranderd zijn!

Om dit te versnellen, besloot een team onderzoekers van Georgia Tech om satellieten het zware werk te laten doen. Ze keken naar een enorme puzzel bestaande uit 34 verschillende snapshots van hetzelfde land, genomen over drie jaar (2017–2019) door een Sentinel-2 satelliet. Elk piepklein vierkantje (pixel) in deze plaatjes had een score nodig van 1 tot 5, die aangaf hoe goed het geschikt zou zijn voor een wijngaard.

De Twee Super-Studenten

De onderzoekers kozen niet zomaar één hulpmiddel; ze bouwden een "studiegroep" van twee zeer verschillende AI-modellen om dit puzzel samen op te lossen.

1. De Detailgeoriënteerde Detective (U-Net)
Denk aan het eerste model, genaamd U-Net, als een detective die ervan houdt om alles tegelijkertijd te bekijken. In plaats van te kijken hoe het land over de tijd verandert als een film, stapelde deze detective alle 34 snapshots op elkaar, als een dikke sandwich.

De Truc: Ze behandelden elk moment in de tijd als simpelweg een extra laag ingrediënten. Omdat er 34 tijdstappen waren en 15 verschillende soorten licht (spectrale banden) om naar te kijken, staarde de detective naar een enorme stapel van 510 kanalen aan data tegelijkertijd.
Het Resultaat: Dit model was geweldig in het spotten van kleine, specifieke details en lokale patronen, zoals een enkel droog stuk grond of een vreemd gevormd veld.

2. De Seizoensverteller (Prithvi-2.0)
Het tweede model, Prithvi-2.0, is een "foundation model". Stel je het voor als een student die al miljoenen boeken over de aarde heeft gelezen voordat deze klas überhaupt begon. Het weet hoe bossen, oceanen en boerderijen zich gewoonlijk gedragen.

De Truc: In plaats van naar de dikke sandwich van 34 snapshots te kijken, groepeerde deze verteller de data in vier seizoenen (winter, lente, zomer, herfst). Het keek alleen naar de zes belangrijkste kleuren van het licht waarop het getraind was, en negeerde de rest om consistent te blijven met zijn "opleiding".
Het Geheime Sausje: De onderzoekers gebruikten het eerste model (de Detective) om de tweede te helpen. Waar de Detective zeker was over een pixel maar de label ontbrak, fluisterde hij het antwoord naar de Verteller. Dit hielp de Verteller om te leren van de delen van de puzzel die meestal leeg waren.

De Grote Verrassing: Tijdreizen Werkte Niet

Hier is de wending die het team ontdekte. Voordat ze begonnen, gaven ze aan dat het kijken naar hoe het land verandert over de tijd (temporele modellering) het geheim van succes zou zijn. Ze dachten dat de AI de "film" van de seizoenen moest zien om de druiven te begrijpen.

Ze zaten ernaast.

Toen ze geavanceerde modellen probeerden die specifelijk zijn ontworpen om tijdssequenties te begrijpen (zoals TSViT of U-TAE), presteerden die modellen eigenlijk slechter dan de simpele "gestapelde sandwich"-aanpak.

Waarom? De onderzoekers suggereren dat omdat de tijdframes vaststonden en identiek waren voor iedereen, het eigenlijk beter was om tijd te behandelen als extra kleuren in plaats van een bewegend verhaal. De U-Net, die de tijdstappen simpelweg als extra lagen verf stapelde, bleek nauwkeuriger dan de complexe tijdreisende modellen.

Het Winnaarsteam

De echte kampioen was niet één model alleen; het was het Ensemble.

De U-Net (de Detective) was goed in de fijne details, maar werd soms wat ruizig.
De Prithvi (de Verteller) was vloeiender en beter in het grote plaatje, maar miste soms kleine details.
De Magie: Wanneer ze hun antwoorden combineerden, waarbij ze de mening van de Detective voor 65% en die van de Verteller voor 35% zwaar lieten meewegen, creëerden ze een superoplossing.

Het Scorebord

In de uiteindelijke wedstrijd (ImageCLEF AI4Agri 2026) behaalde dit team een ±1 nauwkeurigheid van 68,32%.

Wat betekent dat? Als de ware score een "4" was (hoog potentieel), raadde het model in ongeveer 68% van de gevallen correct een "3", "4" of "5".
De Ranking: Deze score bracht hen op de 2e plaats van de 7 teams.
Het Gat: De individuele modellen scoorden 66,25% (U-Net) en 65,51% (Prithvi). De samenwerking was absoluut beter, maar de onderzoekers merkten een "generalisatiekloof" op. De modellen deden het geweldig op de oefentoets (validatie), maar zakten iets in wanneer ze geconfronteerd werden met de echte, onbekende testdata. Ze vermoeden dat het land in de test anders oogt (missen misschien meer bergen of een andere bodem) dan het land in de training, maar ze zijn daar nog niet 100% zeker van.

Wat Nu?

Het team suggereert dat ze misschien de grotere versie van de Verteller (Prithvi-300M) met de volledige 34 tijdstappen hadden moeten proberen in plaats van slechts vier seizoenen, maar hun computers waren niet krachtig genoeg om dit keer te proberen. Ze willen ook precies uitzoeken waarom de modellen in de war raakten door de testdata.

Voor nu is de les duidelijk: soms is de beste manier om de tijd te begrijpen niet door te kijken hoe deze beweegt, maar door het op te stapelen en er in één keer naar te kijken!

Technische Samenvatting: Voorspellen van Viticultuurpotentieel via een Ensemble van U-Net en een Geospatiale Foundation Model

Probleemdefinitie
Het artikel behandelt de uitdaging van het voorspellen van agrarische geschiktheid, specif으로 de geschiktheid voor viticultuur (wijnbouw), met behulp van remote sensing-data. Traditionele methoden voor het bepalen van landgeschiktheid vereisen kostbare, tijdrovende fysieke surveys die frequente herbeoordeling behoeven om rekening te houden met veranderende milieuomstandigheden en klimaatverandering. De auteurs richten zich op ImageCLEF AI4Agri 2026: Subtask 1, die gebruikmaakt van de AgriPotential-dataset om Sentinel-2 multispectrale satellietbeelden te classificeren. Het doel is om op pixelniveau een score voor agrarische geschiktheid van 1 tot 5 toe te kennen voor viticultuur in Zuid-Frankrijk. De dataset presenteert specifieke uitdagingen, waaronder een hoog aandeel ongelabelde pixels (ongeveer 50% over de splitsingen), een groot datavolume (~200GB), en de noodzaak om de temporele dynamiek over 34 tijdstappen (2017–2019) te modelleren.

Methodologie
Het DS@GT ARC-team stelde een gewogen ensemble voor van twee verschillende deep learning-modellen, die beide onafhankelijk zijn getraind en tijdens de inferentie worden gecombineerd.

U-Net Architectuur (Temporele Stapeling):
- Inputstrategie: In plaats van expliciete temporele modellering, behandelden de auteurs de 34 tijdstappen en 15 kanalen (10 ruwe Sentinel-2 banden + 5 spectrale indices inclusief NDVI, NDMI, NDWI, NDRE en NBR) als een enkele input-tensor van $34 \times 15 = 510$ kanalen.
- Architectuur: Een standaard U-Net uitgebreid met residual connections, een basiskanaaldimensie van 128 en een diepte van 3.
- Verliesfunctie: Het model maakt gebruik van een binary cross-entropy ordinal loss, die rekening houdt met de geordende aard van de geschiktheidsklassen (1–5). Ongelabelde pixels worden uit de verliesberekening uitgesloten.
- Output: Een single-channel output die door een ordinale laag wordt geleid met 4 leerbare drempelwaarden (cumulatieve som van softplus-getransformeerde waarden) om binaire beslissingsgrenzen te genereren.
Prithvi-EO-2.0 Foundation Model (Seizoensgebonden Aggregatie):
- Inputstrategie: Om aan te sluiten bij de pretraining-configuratie van het Prithvi-EO-2.0 model, werden de 34 tijdstappen geaggregeerd naar vier seizoensgemiddelden. Alleen de zes spectrale banden die gebruikt werden tijdens de pretraining van Prithvi (Blauw, Groen, Rood, NIR, SWIR-1, SWIR-2) werden toegepast.
- Architectuur: Het model finetunet de prithvi_eo_v2_100_tl backbone (100M parameters) met een Feature Pyramid Neck en een UperNet decoder. Het bevat temporele en locatiecoördinaat-encodings.
- Trainingsstrategie: De encoder werd gedurende de eerste 7 epochs bevroren. Het model maakt gebruik van een teacher-student pseudo-labeling benadering: de getrainde U-Net fungeert als een vaste teacher die pseudo-labels genereert voor ongelabelde pixels wanneer de betrouwbaarheid boven 0,7 uitkomt. Deze labels worden met een gewicht van $\lambda=0,3$ in de loss van de student opgenomen.
- Initialisatie: De ordinale drempelwaarden werden geïnitialiseerd vanuit de getrainde U-Net waarden om stabiele convergentie te waarborgen.
Ensemble Strategie:
- De uiteindelijke voorspelling is een gewogen logit-ensemble: $z = 0,65 \cdot z_{\text{U-Net}} + 0,35 \cdot z_{\text{Prithvi}}$ .
- Data Augmentatie: Rotaties en flips werden toegepast om de generalisatiekloof tussen de validatie- en testsets te overbruggen.
- Normalisatie: U-Net maakte gebruik van een deling door 10.000, terwijl Prithvi Z-score normalisatie per dataset-split gebruikte om consistentie met de pretraining-distributies te behouden.

Belangrijkste Resultaten

Prestaties: Het ensemble bereikte een test $\pm 1$ nauwkeurigheid van 68,32%, wat een 2e plaats betekende onder 7 teams op de publieke leaderboard.
Modelvergelijking: Het ensemble presteerde beter dan de individuele componenten:
- U-Net: 66,25%
- Prithvi: 65,51%
- Andere transformer-architecturen (TSViT, U-TAE, Swin-V2, Presto) leverden lagere testnauwkeurigheden op (variërend van 49% tot 64%).
Observaties:
- De U-Net produceerde ruiziger voorspellingen maar legde fijnmazige ruimtelijke patronen vast.
- Prithvi genereerde gladdere, meer ruimtelijk coherente outputs, maar had moeite met complexe grenzen.
- Er werd een consistente generalisatiekloof waargenomen tussen de validatie- en testsets bij alle modellen, wat wijst op een potentiële verschuiving in de train-test distributie of overfitting.

Belangrijkste Bijdragen en Claims

Effectiviteit van Ensemble: De primaire bijdrage is het aantonen dat het combineren van een convolutionele aanpak (U-Net met gestapelde temporele kanalen) en een geospatial foundation model (Prithvi met seizoensgebonden aggregatie) superieure prestaties levert vergeleken met elk model afzonderlijk of andere complexe temporele architecturen.
Inzicht in Temporele Modellering: In tegenstelling tot de initiële hypothese dat expliciete temporele modellering (bijv. via Transformers) de beste resultaten zou opleveren, claimt het artikel dat het stapelen van tijdskaders als inputkanalen (het behandelen van tijdstappen als afzonderlijke observaties voor dezelfde pixel) effectiever was voor deze specifieke taak. De auteurs suggereren dat semantische segmentatie over de tijdskaders heen wordt uitgevoerd, in plaats van voor elk afzonderlijk tijdskader in deze context.
Adaptatie van Foundation Models: Het werk demonstreert de levensvatbaarheid van het aanpassen van een grootschalig geospatial foundation model (Prithvi-EO-2.0) aan een specifieke agrarische taak met behulp van seizoensgebonden aggregatie en semi-supervised pseudo-labeling om ongelabelde data te verwerken.
Semi-Supervised Learning: Het artikel benadrukt het nut van het gebruiken van een U-Net als teacher om pseudo-labels te genereren voor ongelabelde pixels in het Prithvi student-model, wat een regulariserend effect biedt.

Betekenis
Het artikel presenteert een praktische, hoogwaardige aanpak voor het voorspellen van viticultuurpotentieel vanuit multitemporele satellietbeelden. Het daagt de aanname uit dat complexe temporele architecturen altijd noodzakelijk zijn voor tijdreeks-remote sensing taken, en suggereert dat kanaalstapeling (channel-stacking) een robuuste baseline kan zijn voor vaste tijdskader-segmentatie. Het werk onderstreept ook het belang van het aanpakken van de generalisatiekloof in remote sensing toepassingen, waarbij distributieverschuivingen tussen validatie- en testsets een aanzienlijke uitdaging blijven. De implementatie is publiekelijk beschikbaar gesteld om verdere research te ondersteunen in de kaartlegging van agrarisch potentieel.