Résumé Technique : Mise à l'échelle des modèles de fondation en télédétection

Problématique

Bien que les lois d'échelle pour les modèles de fondation soient bien établies dans le domaine du traitement du langage naturel et de l'image naturelle, leur applicabilité à la télédétection (RS - Remote Sensing) reste mal comprise. Les données de télédétection présentent des défis uniques, notamment des propriétés spectrales et spatiales diverses, un nombre limité d'échantillons étiquetés, et une limite potentielle de capacité de représentation due à la variété finie des objets observables dans l'imagerie aérienne. Un fossé critique existe dans la compréhension de la relation entre la taille du jeu de données d'entraînement, les paramètres du modèle et la performance à l'échelle du pétaoctet. Il n'est pas clair si les modèles de RS actuels à l'échelle de la frontière sont contraints par la disponibilité des données ou par la capacité du modèle, et si l'augmentation de la taille du modèle ou de la taille des lots (batch size) produit des rendements décroissants dans ce domaine.

Méthodologie

Les auteurs ont mené une étude systématique utilisant Akupara, un nouveau jeu de données de télédétection mondiale comprenant plus d'un pétapixel (1 × 10¹⁵ pixels) d'imagerie satellite haute résolution Maxar (GSD de 0,3 m à 1,2 m). Le jeu de données comprend plus d'un million d'images satellites complètes couvrant 415 millions de km².

Pour générer des étiquettes d'entraînement à cette échelle, l'équipe a développé G-DAUG (Geospatial Data Augmentation), un pipeline qui associe des fragments d'images (chips) aux données vectorielles d'OpenStreetMap (OSM) pour créer des étiquettes de supervision faible automatisées (segmentation sémantique, segmentation d'instance et boîtes englobantes rotatives) pour 37 classes d'objets.

Le design expérimental s'est concentré sur quatre questions directrices en utilisant deux architectures de modèles :

1. MTP (Multi-Task Pretraining) : Un cadre entièrement supervisé utilisant un squelette (backbone) ViT partagé avec des décodeurs spécifiques aux tâches pour la segmentation et la détection.
2. ScaleMAE : Un auto-encodeur masqué auto-supervisé qui incorpore l'échelle réelle (GSD) dans les plongements de position (positional embeddings).

Les expériences clés incluaient :

• Sensibilité de la taille des lots (Batch Size) : Balayage des tailles de lots (128–512) pour déterminer les tailles de lots critiques pour l'efficacité de la convergence.
• Stabilité du taux d'apprentissage (LR) : Mise en œuvre d'un protocole « Fail Fast » (échouer rapidement) pour trier les taux d'apprentissage instables avant de s'engager dans des cycles d'entraînement complets, en utilisant un programme Warmup, Stable, Decay (WSD).
• Mise à l'échelle des données (Data Scaling) : Entraînement d'un modèle surdimensionné fixe (ViT-Giant, 1,8 milliard de paramètres) sur des sous-ensembles imbriqués d'Akupara allant de 5k à 1M d'images pour isoler les effets des données.
• Mise à l'échelle des paramètres (Parameter Scaling) : Entraînement de modèles de tailles variables (86M à 1,8B de paramètres) sur un jeu de données fixe (100k images) pour isoler les effets des paramètres.

Contributions Clés

Le document fournit un compte rendu orienté processus sur la mise à l'échelle des modèles de fondation en RS, offrant les perspectives empiriques suivantes :

• Leçons de mise à l'échelle du débit (Throughput) : Les phases initiale et intermédiaire de l'entraînement sont largement insensibles à l'augmentation de la taille des lots au-delà de seuils modérés. L'efficacité est mieux obtenue par la diversité des données et la planification du taux d'apprentissage que par un batching agressif.
• Programmes d'optimisation stables : Un régime WSD avec un taux d'apprentissage de base modéré (spécifiquement 1 × 10⁻⁴ pour MTP avec ViT-L) offre une convergence robuste. Le protocole de warmup « Fail Fast » identifie et écarte efficacement les candidats à haut LR instables, économisant ainsi des ressources de calcul.
• Loi d'échelle de données empirique : Dans la plage de 5k à 1M d'images de scènes complètes, la perte de validation suit une loi de puissance cohérente ($L(N) = A + BN^{-a}$) avec un exposant $a \approx 0,03$. Cela indique des rendements décroissants mais non saturés, soutenant la valeur d'une expansion ultérieure des données.
• Loi d'échelle de paramètres empirique : À travers des tailles de modèles de 86M à 1,8B de paramètres, les gains de performance étaient effectivement plats ($b \approx 0$) lorsque les données et les budgets d'entraînement étaient maintenus constants. Cela suggère que, dans les régimes de données typiques, l'augmentation des paramètres seuls ne produit que des bénéfices négligeables.
• Supervision faible scalable : Le pipeline G-DAUG démontre une méthode reproductible pour générer une supervision à l'échelle mondiale à partir de sources vectorielles ouvertes, comblant le fossé entre les données SIG et l'entraînement raster haute résolution.

Résultats

• Données vs Paramètres : L'étude confirme que les modèles de fondation en RS opèrent actuellement dans un régime limité par les données. L'augmentation de la taille du jeu de données améliore systématiquement les performances (suivant une loi de puissance), tandis que l'augmentation des paramètres du modèle sans une augmentation correspondante des données ou des jetons d'entraînement par paramètre ne réduit pas la perte.
• Taille des lots : Augmenter la taille du lot de 128 à 512 n'a pas accéléré la convergence ni amélioré l'efficacité lors des étapes initiales et intermédiaires de l'entraînement.
• Taux d'apprentissage : Les taux d'apprentissage élevés (ex: $10^{-3}$) ont provoqué des divergences ou des oscillations. Le taux stable optimal identifié était $10^{-4}$, permettant une réduction monotone de la perte.
• Modes de défaillance : Environ la moitié des cycles de mise à l'échelle des données se sont retrouvés piégés dans des minima locaux tôt dans l'entraînement, soulignant la sensibilité de l'entraînement de grande échelle en RS à l'initialisation et à la dynamique d'optimisation.

Signification et Revendications

Les auteurs affirment que ce travail établit les premiers comportements de mise à l'échelle empiriques pour les modèles de fondation en RS entraînés à l'échelle du pétaoctet. La signification primaire réside dans le déplacement du paradigme de développement des modèles de RS d'un focus sur les « modèles plus gros » vers une « meilleure diversité des données et des stratégies d'optimisation ».

Le document soutient que :

1. La RS est limitée par les données : Contra contrairement à certains domaines de l'image naturelle où la capacité du modèle peut être un goulot d'étranglement, la performance en RS est actuellement contrainte par la disponibilité de données diversifiées et contextuelles.
2. Les rendements décroissants sont gérables : Bien que l'exposant de mise à l'échelle des données ($a=0,03$) indique des rendements décroissants, ceux-ci ne sont pas saturés, impliquant que la collecte continue de données produit des gains mesurables.
3. L'ingénierie prime l'architecture : Les progrès futurs dépendent de leviers d'ingénierie tels que la stratification des données (géographie, capteur, saison), la qualité des étiquettes et les programmes d'optimisation stables plutôt que de simplement augmenter le nombre de paramètres ou la taille des lots.
4. Directives pratiques : L'étude fournit une « checklist pratique » pour la communauté, mettant l'accent sur des taux d'apprentissage conservateurs, un échantillonnage de données stratifié pour éviter la duplication de contenu, et un triage rigoureux des hyperparamètres pour éviter le gaspillage de calcul.

Les auteurs concluent que le progrès durable dans la modélisation de fondation en RS dépend de l'utilisation de données plus diverses (incluant des sources multi-modales et multi-temporelles) plutôt que de la simple augmentation de la puissance de calcul ou de la taille des modèles.