Technische Samenvatting: TESSERA V2 – Schalen van Pixel-gebaseerde Aard-fundamentele Modellen

Probleemstelling

De toepassing van aardobservatie (EO) op downstream-taken wordt geconfronteerd met aanzienlijke knelpunten: datapreparatie is arbeidsintensief (radiometrische kalibratie, bewolkingscorrectie, cross-sensor harmonisatie), grondwaarheid-labels zijn schaars en regio-specifiek, en ruwe beelden bevatten onregelmatige samplingsfrequenties en bewolkingsoverdekking. Hoewel "embeddings-als-data"-producten streven naar analyse-klare vectorrepresentaties van het aardoppervlak, lijden bestaande systemen onder rigide specificaties. Ze bieden vaak een enkele vaste embedding-dimensie en modelgrootte, waardoor alle gebruikers dezelfde opslag- en I/O-kosten dragen, ongeacht hun specifieke budget of taakeisen. Bovendien blijven de schaalwetten die bepalen hoe pretraining-rekenkracht moet worden toegewezen (tussen encodergrootte, projectorgrootte en datavolume) in het EO-domein slecht begrepen, waarbij veel studies vertrouwen op pretraining-loss als een proxy voor downstream-prestaties—een proxy die onbetrouwbaar kan zijn door de unieke kenmerken van satellietgegevens (bijv. dominante bewolking en orbitale sampling).

Methodologie

1. Downstream-gestuurde Schalingsstudie

De auteurs voerden de grootste gecontroleerde schalingsstudie voor EO tot nu toe uit, bestaande uit 395 trainingsruns binnen een vaste pixel-gebaseerde Barlow Twins-familie.

• Architectuur: Een vaste architecturale familie van pixel-gebaseerde Sentinel-1/2 encoders werd geselecteerd via een voorlopige sweep.
• Variabelen: De studie onderzocht drie dimensies: encodergrootte ($N_{enc}$, 16 breedtes van 7M tot 278M parameters), projectorgrootte ($N_{proj}$, 4 breedtes), en trainingsdatavolume ($D$, 0,03M tot 3.202M d-pixels).
• Evaluatie: Elk model werd geëvalueerd op 15 diverse downstream-taken (classificatie, veranderingen detecteren, regressie) uit de ALPHAEARTH-suite.
• Compute Metriek: Totale training FLOPs werden berekend met een specifieke formule die rekening houdt met drie encoder-passes per stap (twee augmented views + één mix-up view) en de Barlow Twins cross-correlatie kosten.

2. Belangrijkste Bevindingen over Schalingswetten

De studie leverde twee cruciale empirische bevindingen op die de standaard taal/visie schaalingsaannames tegenspreken:

• Bevinding F1 (Loss is een slechte proxy): De geconvergeerde pretraining-loss voorspelt de downstream-prestaties nauwelijks ($|Pearson\ r| < 0,2$). Het selecteren van modellen op basis van alleen loss vereist ongeveer 2–5× meer rekenkracht om dezelfde downstream-score te behalen als selectie op basis van werkelijke taakprestaties.
• Bevinding F2 (Optimale Allocatie): Naarmate het trainingsbudget groeit, is de optimale strategie om de encoder-capaciteit en de trainingsdata tegelijkertijd te vergroten, terwijl de projector-grootte vast blijft. De projector fungeert als een "vervangbaar trainingssteiger" (disposable training scaffold) in plaats van een schaalbare as. De passende machtswetten zijn $N_{enc} \propto C^{0,36}$ en $D \propto C^{0,63}$, terwijl $N_{proj} \propto C^{0,011}$ (statistisch niet te onderscheiden van nul) is.

3. Teacher-Student Distillatie en MATRYOSHKA Embeddings

Om de kloof tussen grote, hoogwaardige teachers en inzetbare producten te overbruggen, gebruikten de auteurs een distillatiestrategie:

• Teacher Training: Een enorme 2B-parameter pixel-gebaseerde encoder werd getraind met behulp van de afgeleide schaalingsregel (oversized encoder + bijbehorende data, vaste projector) op ~14 miljard d-pixels.
• Distillatie: De bevroren 2B teacher werd gebruikt om een familie van compacte studenten te distilleren (N, S, M, L maten, variërend van 1M tot 44M parameters).
• MATRYOSHKA Representatie: In tegen tegenstelling tot zelf-gesuperviseerde pretraining, die alleen subspaces identificeert tot rotatie, biedt distillatie tegen een vaste teacher het noodzakelijke signaal om de coördinaten van de embeddings te ordenen. Dit stelt de studenten in staat om geneste embeddings te produceren waarbij prefixes van dimensies $d \in \{16, 32, 64, 128\}$ geldige representaties zijn. Een 16-dimensionale prefix behoudt ~92% van de prestaties van de volledige 128-dimensionale embedding tegen 1/8ste van de opslagkosten.
• Inference Optimalisatie: Het systeem maakt gebruik van adaptive bucket sampling, waarbij variabel-lengte observatie-sequenties in de kleinste vaste-lengte bucket worden gepakt die past, waarbij residuen worden opgevuld via midpoint resampling. Dit voorkomt het weggooien van observaties of het willekeurig dupliceren van data.

Belangrijkste Resultaten

• Prestaties: De gedistilleerde TESSERA v2-2B-L (44M parameters) presteert beter dan elke open en propriëtaire embedding-product die getest is, inclusief ALPHAEARTH (480M parameters) en OlmoEarth-L (308M parameters).
  • Op een hold-out suite van 14 datasets behaalde TESSERA v2 een samengestelde score van 0,647, vergeleken met 0,614 voor de op één na beste systemen.
  • Op de 15-taak ALPHAEARTH suite scoorde het 0,593, waarmee het ALPHAEARTH (0,560) en TESSERA v1 (0,541) overtrof.
• Efficiëntie: Het 44M student-model bereikt state-of-the-art resultaten met een inference-kosten die twee ordes van grootte lager is dan de 2B teacher en aanzienlijk lager dan grotere propriëtaire modellen.
• Opslag Adaptiviteit: De MATRYOSHKA prefixes stellen gebruikers in staat om opslag tegen prestaties uit te ruilen. De 16-dimensionale prefix behoudt ~92% van de volledige score bij 1/8ste opslag, terwijl de 32-dimensionale prefix ~97% behoudt.
• Artefact Reductie: TESSERA v2 vermindert aanzienlijk de along-track striping en tile-seam discontinuïteiten die zichtbaar waren in v1, terwijl de inter-jaarlijkse stabiliteit behouden blijft.

Betekenis en Claims

Het artikel claimt een concreet, empirisch onderbouwd recept te bieden voor het schalen van pixel-gebaseerde EO-fundamentele modellen, wat de paradigmaverschuiving markeert van "train groot en hoop dat loss correleert" naar "train groot, selecteer op basis van downstream-prestaties, en distilleer."

1. Herdefiniëren van Schaling voor EO: De auteurs stellen dat EO-schaling fundamenteel verschilt van taal/visie; vertrouwen op pretraining-loss is inefficiënt en misleidend. De voorgestelde allocatieregel (vergroot encoder en data, houd projector vast) wordt gepresenteerd als de optimale weg voor EO.
2. Distillatie als Noodzaak voor Geneste Embeddings: Het papier claimt dat geneste embeddings (MATRYOSHKA) niet effectief geleerd kunnen worden via zelf-gesuperviseerde prefix-losses vanwege problemen met coördinatensymmetrie. In plaats daarvan is distillatie tegen een vaste teacher vereist om het ordeningssignaal te leveren dat prefixes bruikbaar maakt bij verschillende dimensionaliteiten.
3. Product Levensvatbaarheid: TESSERA v2 wordt gepresenteerd als niet alleen een model, maar als een inzetbaar productfamilie die adaptiviteit biedt. Het stelt gebruikers in staat om modelgroottes en embedding-dimensies te kiezen die passen bij hun specifieke budgetbeperkingen zonder opnieuw te trainen, wat een belangrijk gat in de huidige "analyse-klare" dataproducten opvult.

De auteurs zijn van plan om globale 10m jaarlijkse embeddings dekkend over 2017–2025 vrij te geven als versie 2 van het TESSERA-product, waarbij de code en checkpoints beschikbaar worden gesteld aan de gemeenschap.