🤖 machine learning

TESSERA v2: Scaling Pixel-wise Earth Foundation Models

Questo articolo presenta il più grande studio di scaling controllato per i modelli fondativi pixel-wise di osservazione della Terra, rivelando che la perdita di pretraining è un debole predittore delle prestazioni a valle ed établendo una regola di allocazione del calcolo che consente la creazione di modelli student distillati, compatti e ad alte prestazioni, i quali superano i prodotti esistenti pur supportando embedding Matryoshka flessibili e a basso costo.

Autori originali: Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madha

Pubblicato 2026-08-07

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madhavapeddy, Srinivasan Keshav

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire la Terra guardando un enorme e disordinato album fotografico. Ogni pagina è una foto di un punto specifico del pianeta, ma le foto sono state scattate in momenti diversi, con fotocamere diverse, e metà di esse sono coperte da nuvole o nebbia. Questa è la realtà quotidiana per gli scienziati che studiano il nostro pianeta tramite i satelliti. Devono trasformare questi scatti caotici e incompleti in una mappa chiara e utilizzabile di ciò che la Terra sta facendo — che si tratti di monitorare la crescita delle foreste, contare i raccolti o individuare l'inquinamento. Per farlo, utilizzano qualcosa chiamato "modelli di fondazione" (foundation models). Pensa a questi modelli come a studenti super intelligenti che hanno letto ogni singola foto satellitare mai scattata. Invece di darti le foto grezze e pesanti, questi studenti riassumono le informazioni in una "carta d'identità" minuscola ed efficiente (un embedding) per ogni punto della Terra. Questa carta d'identità ti dice tutto ciò di cui hai bisogno su quel luogo senza dover portare con te l'intero album fotografico. La grande domanda, tuttavia, è sempre stata: come possiamo addestrare questi studenti per farli diventare i migliori possibili senza sprecare una fortuna in elettricità e tempo?

Questo articolo, intitolato TESSERA V2, è un esperimento massiccio per rispondere esattamente a questa domanda. I ricercatori hanno condotto 395 diverse sessioni di addestramento per scoprire la ricetta perfetta per costruire questi modelli di osservazione terrestre. Hanno scoperto alcune cose sorprendenti. In primo luogo, hanno scoperto che il modo abituale di giudicare i progressi di uno studente — guardando il suo "voto nei compiti" (pretraining loss) — è in realtà un pessimo predittore di quanto farà bene nel mondo reale. È come uno studente che prende un A in un test di pratica ma fallisce l'esame finale; il documento mostra che fare affidamento su questo punteggio spreca una quantità enorme di potenza di calcolo. Inveente, hanno scoperto che la strategia vincente è rendere il "cervello" del modello (l'encoder) molto più grande e nutrirlo con più dati, mantenendo invece piccola e fissa la parte che organizza le risposte (il proiettore).

Ma c'è un problema: un cervello gigante è costoso da gestire. Se costruisci un insegnante super intelligente, costa troppo usarlo ogni giorno. Così, il team ha usato un trucco astuto chiamato "distillazione". Hanno addestrato un modello "insegnante" gigante da 2 miliardi di parametri usando le loro nuove regole, e poi hanno insegnato a quattro modelli "studenti" più piccoli come copiare il suo pensiero. Questi studenti sono minuscoli rispetto all'insegnante, ma sono comunque incredibilmente intelligenti. Ancora più fantastico, questi studenti possono emettere risposte di diverse dimensioni, come una matrioska. Puoi chiedere una risposta minuscola a 16 dimensioni che occupa pochissimo spazio di archiviazione ma mantiene il 92% dell'accuratezza, oppure una risposta completa a 128 dimensioni se hai bisogno di ogni singolo dettaglio. Il risultato è una famiglia di modelli che sono più economici da archiviare, più veloci da eseguire e più accurati nei compiti del mondo reale rispetto a qualsiasi altro sistema aperto o privato testato, dimostrando che a volte, il modo migliore per scalare è addestrare un gigante e poi rimpicciolirlo.

Riepilogo Tecnico: TESSERA V2 – Scalabilità dei Modelli Foundation Pixel-Wise per la Terra

Definizione del Problema

L'applicazione dell'osservazione della Terra (EO) a compiti downstream affronta colli di bottiglia significativi: la preparazione dei dati è laboriosa (calibrazione radiometrica, correzione delle nuvole, armonizzazione tra sensori), le etichette di ground-truth sono scarse e specifiche per regione, e le immagini grezze contengono cadenze di campionamento irregolari e occlusioni da nuvole. Sebbene i prodotti "embeddings-as-data" mirino a fornire rappresentazioni vettoriali pronte per l'analisi della superficie terrestre, i sistemi esistenti soffrono di specifiche rigide. Spesso offrono una singola dimensione di embedding e una dimensione del modello fisse, costringendo tutti gli utenti a sostenere gli stessi costi di archiviazione e I/O indipendentemente dai propri requisiti di budget o di compito specifico. Inoltre, le leggi di scaling che regolano come allocare la computazione di pretraining (tra dimensione dell'encoder, dimensione del proiettore e volume di dati) nel dominio dell'EO rimangono scarsamente comprese, con molti studi che si affidano alla perdita di pretraining come proxy per le prestazioni downstream — un proxy che può essere inaffidabile a causa delle caratteristiche uniche dei dati satellitari (ad es., dominanza delle nuvole e campionamento orbitale).

Metodologia

1. Studio di Scaling guidato dai Compiti Downstream

Gli autori hanno condotto il più grande studio di scaling controllato per l'EO ad oggi, coinvolgendo 395 sessioni di addestramento all'interno di una famiglia fissa di Barlow Twins pixel-wise.

Architettura: Una famiglia architettonica fissa di encoder Sentinel-1/2 pixel-wise è stata selezionata tramite uno sweep preliminare.
Variabili: Lo studio ha analizzato tre dimensioni: dimensione dell'encoder ( $N_{enc}$ , 16 larghezze da 7M a 278M di parametri), dimensione del proiettore ( $N_{proj}$ , 4 larghezze) e volume di dati di addestramento ( $D$ , da 0,03M a 3.202M di d-pixel).
Valutazione: Ogni modello è stato valutato su 15 compiti downstream diversificati (classificazione, rilevamento del cambiamento, regressione) della suite ALPHAEARTH.
Metrica di Computazione: Il totale dei FLOP di addestramento è stato calcolato utilizzando una formula specifica che tiene conto di tre passaggi dell'encoder per step (due viste aumentate + una vista mix-up) e del costo di cross-correlazione di Barlow Twins.

2. Risultati Chiave sulle Leggi di Scaling

Lo studio ha prodotto due risultati empirici critici che contraddicono le standard assunzioni di scaling per linguaggio/visione:

Risultato F1 (La perdita è un cattivo proxy): La perdita di pretraining convergente predice appena le prestazioni downstream ( $|Pearson\ r| < 0,2$ ). Selezionare i modelli basandosi solo sulla perdita richiede circa 2–5× più computazione per ottenere lo stesso punteggio downstream rispetto alla selezione basata sulle effettive prestazioni del compito.
Risultato F2 (Allocazione Ottimale): Man mano che il budget di addestramento cresce, la strategia ottimale è aumentare simultaneamente la capacità dell'encoder e i dati di addestramento, mantenendo la dimensione del proiettore fissa. Il proiettore agisce come uno "scaffold di addestramento usa e getta" piuttosto che come un asse di scaling. Le leggi di potenza adattate sono $N_{enc} \propto C^{0,36}$ e $D \propto C^{0,63}$ , mentre $N_{proj} \propto C^{0,011}$ (statisticamente indistinguibile da zero).

3. Distillazione Teacher-Student e Embedding MATRYOSHKA

Per colmare il divario tra i grandi modelli teacher ad alte prestazioni e i prodotti implementabili, gli autori hanno impiegato una strategia di distillazione:

Addestramento del Teacher: Un massiccio encoder pixel-wise da 2 miliardi di parametri è stato addestrato utilizzando la regola di scaling derivata (encoder sovradimensionato + dati corrispondenti, proiettore fisso) su circa 14 miliardi di d-pixel.
Distillazione: Il teacher da 2B parametri, congelato, è stato utilizzato per distillare una famiglia di studenti compatti (dimensioni N, S, M, L, che variano da 1M a 44M di parametri).
Rappresentazione MATRYOSHKA: A differenza del pretraining auto-supervisionato, che identifica sottospazi solo fino a una rotazione, la distillazione contro un teacher fisso fornisce il segnale necessario per ordinare le coordinate degli embedding. Ciò consente agli studenti di produrre embedding annidati dove i prefissi delle dimensioni $d \in \{16, 32, 64, 128\}$ sono rappresentazioni valide. Un prefisso a 16 dimensioni mantiene circa il 92% delle prestazioni dell'embedding completo a 128 dimensioni al costo di 1/8 della memoria.
Ottimizzazione dell'Inferenza: Il sistema utilizza il campionamento a bucket adattivo, raggruppando sequenze di osservazione di lunghezza variabile nei bucket a lunghezza fissa più piccoli che possano contenerle, riempiendo i residui tramite ricampionamento del punto medio. Ciò evita di scartare osservazioni o duplicare i dati arbitrariamente.

Risultati Chiave

Prestazioni: Il modello distillato TESSERA v2-2B-L (44M di parametri) supera ogni prodotto di embedding aperto e proprietario testato, inclusi ALPHAEARTH (480M di parametri) e OlmoEarth-L (308M di parametri).
- Su una suite di 14 dataset tenuti fuori dal training, TESSERA v2 ha ottenuto un punteggio composito di 0,647, rispetto allo 0,614 dei sistemi successivi.
- Sulla suite ALPHAEARTH di 15 compiti, ha ottenuto 0,593, superando ALPHAEARTH (0,560) e TESSERA v1 (0,541).
Efficienza: Il modello studente da 44M raggiunge risultati allo stato dell'arte con un costo di inferenza due ordini di grandezza inferiore rispetto al teacher da 2B e significativamente inferiore ai modelli proprietari più grandi.
Adattività di Archiviazione: I prefissi MATRYOSHKA consentono agli utenti di scambiare lo storage con le prestazioni. Il prefisso a 16 dimensioni mantiene circa il 92% del punteggio completo con 1/8 dello storage, mentre il prefisso a 32 dimensioni mantiene il 97%.
Riduzione degli Artefatti: TESSERA v2 riduce significativamente lo striping lungo la traccia e le discontinuità nelle giunture tra i tile visibili in v1, mantenendo al contempo la stabilità interannuale.

Significato e Rivendicazioni

Il documento rivendica di fornire una ricetta concreta ed empiricamente fondata per scalare i modelli foundation pixel-wise per l'EO, spostando il paradigma da "addestra un modello grande e spera che la perdita sia correlata" a "addestra un modello grande, seleziona in base alle prestazioni downstream e distilla".

Ridefinire lo Scaling per l'EO: Gli autori affermano che lo scaling per l'EO differisce fondamentalmente da quello per linguaggio/visione; fare affidamento sulla perdita di pretraining è inefficiente e fuorviante. La regola di allocazione proposta (aumentare encoder e dati, fissare il proiettore) è presentata come la via ottimale per l'EO.
La Distillazione come Necessità per gli Embedding Annidati: Il documento afferma che gli embedding annidati (MATRYOSHKA) non possono essere appresi efficacemente tramite perdite di prefisso auto-supervisionate a causa dei problemi di simmetria delle coordinate. Al contrario, la distillazione contro un teacher fisso è necessaria per fornire il segnale di ordinamento che rende utilizzabili i prefissi a diverse dimensionalità.
Vitalità del Prodotto: TESSERA v2 è presentato non solo come un modello, ma come una famiglia di prodotti implementabili che offre adattività. Permette agli utenti di selezionare dimensioni del modello e dimensioni degli embedding che si adattino ai loro specifici vincoli di budget senza dover riaddestrare, affrontando una lacuna chiave nei prodotti di dati "analysis-ready" esistenti.

Gli autori intendono rilasciare gli embedding annuali globali da 10m coprendo il periodo 2017–2025 come versione 2 del prodotto TESSERA, rendendo il codice e i checkpoint disponibili alla comunità.