Technische Samenvatting: Mini-JEPA Foundation Model Fleet Maakt Agente Hydrologische Intelligentie Mogelijk

Probleemstelling

Geospatiale foundation-modellen volgen doorgaans een "generalist"-paradigma: het trainen van één enkel, massief model op diverse multispectrale, radar- en atmosferische data om een universele embedding-ruimte te produceren. Hoewel dit effectief is voor brede karakterisering, staat deze aanpak voor drie kritieke beperkingen in gespecialiseerde domeinen zoals de hydrologie:

1. Signaalcompromis: Een enkele embedding-ruimte moet dimensies toewijzen aan fenomenen met verschillende fysische oorsprong (bijv. optische reflectie versus microgolf-backscatter). Dit leidt vaak tot een onderschatting van gespecialiseerde signalen die relevant zijn voor specifieke hydrologische taken.
2. Toegankelijkheid en Kosten: Planetair schaalbare modellen (bijv. Google AlphaEarth) zijn duur om te trainen, vaak gesloten-bron en vereisen enorme rekenkracht, waardoor ze ontoegankelijk zijn voor veel onderzoeksgroepen en moeilijk te auditeren of uit te breiden.
3. Gebrek aan Specialisatie: Generalist-modellen kunnen de genuanceerde fysische signalen missen die nodig zijn voor gespecialiseerd hydrologisch redeneren, waarbij de relevante data vaak in een specifieke sensor-modus zit.

De auteurs stellen voor dat in plaats van één monolithisch model, een vloot van kleine, sensor-gespecialiseerde modellen beheerd door een agente router, een efficiënter, interpreteerbaarder en performanter alternatief kan bieden voor hydrologische intelligentie.

Methodologie

1. De Mini-JEPA Vloot

De kernbijdrage is een vloot van vijf Mini-JEPA (Joint Embedding Predictive Architecture) foundation-modellen.

• Architectuur: Alle vijf modellen delen een identieke Vision Transformer-Small (ViT-S) backbone (12 lagen, 6 attention-heads, verborgen dimensie 384) en een 64-dimensionale output-ruimte om directe vergelijkbaarheid met planetair schaalbare modellen zoals AlphaEarth te waarborgen.
• Trainingsrecept: Ze maken gebruik van de I-JEPA trainingsdoelstelling gecombineerd met een VICReg regularisator. In tegenstelling tot Masked Autoencoders (MAE) die pixels reconstrueren (wat het model dwingt sensor-specifieke ruis te leren), voorspelt JEPA gemaskerde latente representaties. Dit maakt het mogelijk om hetzelfde trainingsrecept toe te passen op verschillende sensor-modi zonder bias naar specifieke ruisprofielen (bijv. SAR-speekle of MODIS-strepen).
• Data: Elk model is voorgetraind op een apart Google Earth Engine satellietproduct dat 9.704 patches (128x128 pixels, 30m resolutie) over het Continentaal Verenigde Staten (CONUS) voor het jaar 2022 beslaat. De vijf modi zijn:
  1. S2-Optisch: Sentinel-2 oppervlakte-reflectie (jaarlijkse mediaan).
  2. S1-SAR: Sentinel-1 dual-polarisatie SAR (VV+VH).
  3. MODIS-Thermisch: MODIS landoppervlaktetemperatuur (dag/nacht).
  4. S2-Phenologie: Sentinel-2 kwartaalcomposieten die seizoensdynamiek vastleggen.
  5. Topo-Bodem: Een stapel van SRTM-hoogte/helling/aspect en SoilGrids-eigenschappen.

2. Evaluatiekader

De auteurs karakteriseren de vloot langs drie assen:

• Interpreteerbaarheid op Dimensieniveau: Met behulp van Spearman-correlaties en Random Forest-permutatie-importantie om embedding-dimensies af te beelden op omgevingsvariabelen (bijv. bodemvocht, neerslag, temperatuur).
• Manifold-Geometrie: Analyse van de geometrische structuur van de 64-d embedding-ruimten via globale participatieverhoudingen (effectieve dimensionaliteit) en lokale intrinsieke dimensionaliteit (op k-NN gebaseerd).
• Complementariteit: Met behulp van Canonische Correlatieanalyse (CCA) en gezamenlijke Random Forest-regressie om te bepalen of Mini-JEPAs informatie bieden die niet al door AlphaEarth wordt vastgelegd.

3. Agente Systeem

Een routerende agent (LLM) is geïmplementeerd om de vloot operationeel te maken:

• Referentiekarten: Elk Mini-JEPA wordt samengevat in een compacte "referentiekart" met daarin zijn dimensiewoordenlijst, geometrisch profiel, beschrijving van fysische signalen en voorspellende prestatie-metrics.
• Routeringslogica: Gegeven een hydrologische vraag in natuurlijke taal, leest de router-LLM deze kaarten en geeft een gestructureerd plan uit om specifieke Mini-JEPAs (en optioneel AlphaEarth) te bevragen.
• Retrieval & Synthese: Geselecteerde modellen voeren k-nearest-neighbor-retrieval uit tegen FAISS-indexen. Een syntheserende LLM combineert de opgehaalde context om een definitief antwoord te genereren.

Belangrijkste Resultaten

1. Sensorfysica Drijft Specialisatie

Elk Mini-JEPA toonde zijn sterkste voorspellende vaardigheid op de omgevingsvariabele die fysiek overeenkwam met zijn sensor:

• MODIS-Thermisch: Bereikte $R^2 = 0,97$ voor gemiddelde jaartemperatuur.
• Topo-Bodem: Bereikte $R^2 = 0,97$ voor hoogte.
• S2-Phenologie: Bereikte $R^2 = 0,81$ voor neerslag (via vegetatiereactie).
• S1-SAR: Bereikte $R^2 = 0,62$ voor neerslag.
• S2-Optisch: Bereikte $R^2 = 0,73$ voor ariditeit.
  Opmerkelijk is dat de prestatiepatronen van de vloot geen eenvoudige sensor-naar-variabele-opzoekingen waren, maar complexe oppervlakteprocessen weerspiegelden (bijv. phenologie voorspelde neerslag beter dan SAR). Alle modellen hadden moeite met categorische landbedekking (NLCD), wat wijst op een taakbeperking in plaats van een modelfalen.

2. Distincte Manifold-Geometrieën

De vijf modellen produceerden embedding-manifolds met verschillende geometrische structuren, wat hun sensorfysica weerspiegelt:

• Globale Dimensionaliteit: Varieerde van 8,9 (S1-SAR) tot 20,2 (MODIS-Thermisch).
• Lokale Complexiteit: S1-SAR vertoonde hoge lokale complexiteit (gemiddelde lokale $n_{80} \approx 6,0$), terwijl MODIS-Thermisch lokaal bijna één-dimensionaal was ($n_{80} \approx 2,0$), consistent met temperatuur die langs gladde gradiënten varieert.
  Dit bevestigt dat het vastleggen van de architectuur en het recept de sensor isoleert als de primaire drijver van structurele verschillen.

3. Complementariteit met AlphaEarth

• Additieve Waarde: Het combineren van Topo-Bodem of S2-Phenologie met AlphaEarth leverde positieve winsten op ($\Delta R^2$ tot 0,031) voor bodemvocht, ariditeit en neerslag.
• Redundantie: Voor variabelen waarbij AlphaEarth al goed presteerde (temperatuur, hoogte), boden de Mini-JEPAs weinig extra winst, hoewel ze individueel de prestaties van AlphaEarth konden evenaren.
• Substitutie: Op fysisch overeenkomende variabelen kon een enkel Mini-JEPA (22M parameters) de planetair schaalbare generalist vervangen, met vergelijkbare $R^2$-scores met een fractie van de rekenkracht.

4. Agente Prestaties

• Routeringsnauwkeurigheid: De router-LLM behaalde een 100% hit-rate op verwachte modi voor een gecureerde set van 40 vragen.
• Antwoordkwaliteit: In "LLM-as-Judge"-evaluaties:
  • Aggregate: Het dual-retrievalsysteem (AlphaEarth + Vloot) toonde slechts bescheiden aggregate winsten ten opzichte van AlphaEarth alleen ($\Delta \approx +0,021$), grotendeels door scoreverzadiging bij brede vragen.
  • Enkel-modus Vragen: Voor vragen waarbij het fysische signaal schoon in één sensor zit, presteerde de gerouteerde vloot aanzienlijk beter dan AlphaEarth alleen (Cohen's $d = 1,10, p = 0,031$).
  • Substitutie: De gerouteerde vloot alleen presteerde vergelijkbaar met AlphaEarth op fysisch overeenkomende vragen, wat het gebruik als een zelfstandig alternatief valideert wanneer generalisten niet beschikbaar zijn.

Betekenis en Claims

Het artikel claimt dat lokaal getrainde, gespecialiseerde Mini-JEPAs een levensvatbaar, complementair pad bieden naar planetair schaalbare foundation-modellen voor de milieuwetenschappen.

• Democratisering: Het vlootontwerp verlaagt de instapdrempel, waardoor instellingen met bescheiden rekenbronnen (een enkele workstation-GPU) op maat gemaakte milieu-embeddings kunnen bouwen, auditeren en uitbreiden.
• Interpreteerbaarheid: Door modellen te scheiden op sensorfysica, biedt het systeem duidelijkere interpreteerbaarheid over welke fysische signalen specifieke voorspellingen drijven, in tegenstelling tot de "black box"-aard van generalist-embeddings.
• Agente Flexibiliteit: De routerende agent composeert deze specialisten succesvol tot een functioneel systeem dat zich aanpast aan de fysische eisen van een query, en generalisten op gespecialiseerde taken overtreft.
• Co-existentie: De auteurs envisioneren een toekomst waarin generalist-embeddings en specialist-vloten naast elkaar bestaan, waarbij agenten dynamisch het juiste instrument selecteren op basis van de fysica van de vraag.

De auteurs blijven bescheiden en erkennen beperkingen zoals de beperking tot CONUS-data, het trainingscorpus van één jaar, en de verzadiging van LLM-as-Judge-scores bij brede vragen. Zij suggereren dat toekomstig werk specialisatie per hydrologisch regime (bijv. sneeuw, aride) en tijdschaal moet verkennen, en geografische generalisatie buiten het trainingsdomein moet testen.