🤖 machine learning

TESSERA v2: Scaling Pixel-wise Earth Foundation Models

Cet article présente la plus grande étude de mise à l'échelle contrôlée pour les modèles de fondation d'observation de la Terre au niveau du pixel, révélant que la perte de pré-entraînement est un mauvais prédicteur de la performance en aval et établissant une règle d'allocation de calcul qui permet la création de modèles étudiants distillés, compacts et performants, lesquels surpassent les produits existants tout en supportant des plongements Matryoshka flexibles et à faible coût.

Auteurs originaux : Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madha

Publié 2026-08-07

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhengpeng Feng, Sadiq Jaffer, Ira Shokar, Jovana Knezevic, James Ball, Pedro Sousa, Mark Elvers, Madeline Lisaius, Clement Atzberger, Robin Young, Aneesh Naik, Niall Robinson, David Coomes, Anil Madhavapeddy, Srinivasan Keshav

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de comprendre la Terre en regardant un album photo géant et désordonné. Chaque page est une photo d'un endroit spécifique de la planète, mais les photos sont prises à des moments différents, par des caméras différentes, et la moitié d'entre elles est recouverte de nuages ou de brouillard. C'est la réalité quotidienne des scientifiques qui étudient notre planète à l'aide de satellites. Ils doivent transformer ces instantanés chaotiques et incomplets en une carte claire et utilisable de ce que fait la Terre — qu'il s'agisse de suivre la croissance des forêts, de compter les récoltes ou de repérer la pollution. Pour ce faire, ils utilisent ce qu'on appelle des « modèles de fondation ». Considérez ces modèles comme des étudiants super intelligents qui ont lu toutes les photos satellites jamais prises. Au lieu de vous donner les photos brutes et lourdes, ces étudiants résument l'information en une « carte d'identité » minuscule et efficace (un embedding) pour chaque endroit de la Terre. Cette carte d'identité vous dit tout ce que vous avez besoin de savoir sur ce lieu sans avoir besoin de transporter tout l'album photo. La grande question est cependant la suivante : comment formerons-nous ces étudiants pour qu'ils soient les meilleurs possibles sans gaspiller une fortune en électricité et en temps ?

Ce document, intitulé TESSERA V2, est une expérience massive visant à répondre précisément à cette question. Les chercheurs ont mené 395 sessions d'entraînement différentes pour trouver la recette parfaite pour construire ces modèles d'IA d'observation de la Terre. Ils ont découvert quelques choses de surprenantes. Premièrement, ils ont constaté que la manière habituelle d'évaluer les progrès d'un étudiant — en regardant sa « note aux devoirs » (la perte de pré-entraînement) — est en réalité un très mauvais prédicteur de ses performances dans le monde réel. C'est comme un étudiant qui obtient un A à un examen blanc mais échoue à l'examen final ; le document montre que se fier à ce score gaspille une énorme quantité de puissance de calcul. Au lieu de cela, ils ont découvert que la stratégie gagnante consiste à rendre le « cerveau » du modèle (l'encodeur) beaucoup plus grand et à lui fournir plus de données, tout en gardant la partie qui organise les réponses (le projecteur) petite et fixe.

Mais il y a un bémol : un cerveau géant coûte cher à exploiter. Si vous construisez un professeur super intelligent, cela coûte trop cher à utiliser quotidiennement. L'équipe a donc utilisé une astuce ingénieuse appelée « distillation ». Ils ont entraîné un modèle « enseignant » géant de 2 milliards de paramètres en utilisant leurs nouvelles règles, puis ont appris à quatre modèles « étudiants » plus petits à copier sa pensée. Ces étudiants sont minuscules par rapport à l'enseignant, mais restent incroyablement intelligents. Encore plus cool, ces étudiants peuvent recracher des réponses de différentes tailles, comme une poupée russe (Matryoshka). Vous pouvez demander une réponse minuscule de 16 dimensions qui occupe très peu d'espace de stockage mais conserve 92 % de la précision, ou une réponse complète de 128 dimensions si vous avez besoin de chaque dernier détail. Le résultat est une famille de modèles qui sont moins chers à stocker, plus rapides à exécuter et plus précis pour les tâches réelles que n'importe quel autre système ouvert ou privé testé, prouvant que parfois, la meilleure façon de monter en échelle est d'entraîner un géant, puis de le rétrécir.

Résumé Technique : TESSERA V2 – Mise à l'échelle de modèles de fondation terrestres par pixel

Problématique

L'application de l'observation de la Terre (EO) aux tâches en aval se heurte à des goulots d'étranglement importants : la préparation des données est laborieuse (étalonnage radiométrique, correction des nuages, harmonisation inter-capteurs), les étiquettes de vérité terrain sont rares et spécifiques à chaque région, et les images brutes présentent des cadences d'échantillonnage irrégulières et des occlusions nuageuses. Bien que les produits de type « embeddings-as-data » visent à fournir des représentations vectorielles prêtes pour l'analyse de la surface terrestre, les systèmes existants souffrent de spécifications rigides. Ils offrent souvent une dimension d'embedding et une taille de modèle fixes, forçant tous les utilisateurs à supporter les mêmes coûts de stockage et d'E/S, quels que soient leurs besoins budgétaires ou leurs tâches spécifiques. De plus, les lois d'échelle régissant l'allocation du calcul de pré-entraînement (entre la taille de l'encodeur, la taille du projecteur et le volume de données) dans le domaine de l'EO restent mal comprises, de nombreuses études s'appuyant sur la perte de pré-entraînement comme proxy de la performance en aval — un proxy qui peut être peu fiable en raison des caractéristiques uniques des données satellitaires (ex: dominance des nuages et échantillonnage orbital).

Méthodologie

1. Étude de mise à l'échelle pilotée par l'aval

Les auteurs ont mené la plus grande étude de mise à l'échelle contrôlée pour l'EO à ce jour, impliquant 395 cycles d'entraînement au sein d'une famille fixe de Barlow Twins par pixel.

Architecture : Une famille architecturale fixe d'encodeurs Sentinel-1/2 par pixel a été sélectionnée via un balayage préliminaire.
Variables : L'étude a balayé trois dimensions : la taille de l'encodeur ( $N_{enc}$ , 16 largeurs de 7M à 278M de paramètres), la taille du projecteur ( $N_{proj}$ , 4 largeurs), et le volume de données d'entraînement ( $D$ , de 0,03M à 3 202M de d-pixels).
Évaluation : Chaque modèle a été évalué sur 15 tâches diverses (classification, détection de changement, régression) de la suite ALPHAEARTH.
Métrique de calcul : Les FLOPs totaux d'entraînement ont été calculés à l'aide d'une formule spécifique tenant compte de trois passages de l'encodeur par étape (deux vues augmentées + une vue de mix-up) et du coût de corrélation croisée de Barlow Twins.

2. Principales conclusions sur les lois d'échelle

L'étude a produit deux conclusions empiriques critiques qui contredisent les hypothèses standards de mise à l'échelle du langage et de la vision :

Conclusion F1 (La perte est un mauvais proxy) : La perte de pré-entraînement convergée prédit à peine la performance en aval ( $|Pearson\ r| < 0,2$ ). Sélectionner des modèles uniquement sur la base de la perte nécessite environ 2 à 5 fois plus de calcul pour atteindre le même score en aval que la sélection basée sur la performance réelle de la tâche.
Conclusion F2 (Allocation optimale) : À mesure que le budget d'entraînement augmente, la stratégie optimale consiste à augmenter simultanément la capacité de l'encodeur et les données d'entraînement, tout en gardant la taille du projecteur fixe. Le projecteur agit comme un « échafaudage d'entraînement jetable » plutôt que comme un axe de mise à l'échelle. Les lois de puissance ajustées sont $N_{enc} \propto C^{0,36}$ et $D \propto C^{0,63}$ , tandis que $N_{proj} \propto C^{0,011}$ (statistiquement indiscernable de zéro).

3. Distillation Enseignant-Étudiant et Embeddings MATRYOSHKA

Pour combler l'écart entre les enseignants massifs de haute performance et les produits déployables, les auteurs ont employé une stratégie de distillation :

Entraînement de l'Enseignant : Un encodeur par pixel massif de 2 milliards de paramètres a été entraîné en utilisant la règle d'échelle dérivée (encodeur surdimensionné + données correspondantes, projecteur fixe) sur environ 14 milliards de d-pixels.
Distillation : Le l'enseignant de 2B paramètres gelé a été utilisé pour distiller une famille d'étudiants compacts (tailles N, S, M, L, allant de 1M à 44M de paramètres).
Représentation MATRYOSHKA : Contra-irement à l'apprentissage auto-supervisé, qui n'identifie des sous-espaces qu'à un niveau de rotation, la distillation contre un enseignant fixe fournit le signal nécessaire pour ordonner les coordonnées des embeddings. Cela permet aux étudiants de produire des embeddings imbriqués où les préfixes de dimensions $d \in \{16, 32, 64, 128\}$ sont des représentations valides. Un préfixe de 16 dimensions conserve environ 92 % de la performance de l'embedding complet de 128 dimensions pour 1/8ème du coût de stockage.
Optimisation de l'inférence : Le système utilise un échantillonnage par compartiments adaptatif (adaptive bucket sampling), regroupant des séquences d'observations de longueurs variables dans le plus petit compartiment de longueur fixe possible, en remplissant les résidus par rééchantillonnage du point médian. Cela évite de rejeter des observations ou de dupliquer des données arbitrairement.

Résultats Clés

Performance : L'étudiant distillé TESSERA v2-2B-L (44M de paramètres) surpasse tous les produits d'embeddings ouverts et propriétaires testés, y compris ALPHAEARTH (480M de paramètres) et OlmoEarth-L (308M de paramètres).
- Sur une suite de 14 jeux de données testés sur des données non vues, TESSERA v2 a obtenu un score composite de 0,647, contre 0,614 pour les meilleurs systèmes suivants.
- Sur la suite de 15 tâches ALPHAEARTH, il a obtenu un score de 0,593, surpassant ALPHAEARTH (0,560) et TESSERA v1 (0,541).
Efficacité : Le modèle étudiant de 44M atteint des résultats de pointe avec un coût d'inférence deux ordres de grandeur inférieur à celui de l'enseignant de 2B et nettement inférieur aux modèles propriétaires plus larges.
Adaptabilité du stockage : Les préfixes MATRYOSHKA permettent aux utilisateurs de troquer le stockage contre la performance. Le préfixe de 16 dimensions maintient ~92 % du score complet pour 1/8ème du stockage, tandis que le préfixe de 32 dimensions maintient ~97 %.
Réduction des artefacts : TESSERA v2 réduit considérablement le striage longitudinal (along-track striping) et les discontinuités de jointure de tuiles (tile-seam) visibles dans la v1, tout en maintenant la stabilité interannuelle.

Signification et Revendications

Le document affirme fournir une recette concrète et empiriquement fondée pour la mise à l'échelle des modèles de fondation EO par pixel, passant du paradigisme « entraîner large et espérer que la perte corrèle » à « entraîner large, sélectionner par performance en aval et distiller ».

Redéfinir la mise à l'échelle pour l'EO : Les auteurs affirment que la mise à l'échelle de l'EO diffère fondamentalement de celle du langage ou de la vision ; s'appuyer sur la perte de pré-entraînement est inefficace et trompeur. La règle d'allocation proposée (augmenter l'encodeur et les données, fixer le projecteur) est présentée comme la voie optimale pour l'EO.
La distillation comme nécessité pour les embeddings imbriqués : Le papier soutient que les embeddings imbriqués (MATRYOSHKA) ne peuvent pas être appris efficacement via des pertes de préfixes auto-supervisées en raison des problèmes de symétrie de coordonnées. Au lieu de cela, la distillation contre un enseignant fixe est requise pour fournir le signal d'ordonnancement qui rend les préfixes utilisables à différentes dimensions.
Viabilité du produit : TESSERA v2 est présenté non seulement comme un modèle, mais comme une famille de produits déployables offrant de l'adaptabilité. Il permet aux utilisateurs de choisir des tailles de modèles et des dimensions d'embeddings qui correspondent à leurs contraintes budgétaires spécifiques sans ré-entraînement, répondant ainsi à une lacune clé des produits de données « prêtes pour l'analyse ».

Les auteurs prévoient de publier des embeddings annuels mondiaux de 10m couvrant la période 2017–2025 en tant que version 2 du produit TESSERA, rendant le code et les checkpoints disponibles pour la communauté.