💻 computer science

Beyond GSD-as-Token: Continuous Scale Conditioning for Remote Sensing VLMs

Ce papier présente ScaleEarth, un cadre de fine-tuning efficace en paramètres pour les modèles vision-langage de télédétection qui traite la distance d'échantillonnage au sol (GSD) comme une variable de conditionnement continue pour acheminer dynamiquement le calcul via CS-HLoRA, tout en prédisant simultanément la GSD à partir de caractéristiques visuelles et en exploitant un nouvel ensemble de données sensible à l'échelle pour atteindre des performances de pointe sur diverses tâches liées aux systèmes terrestres.

Auteurs originaux : Song Zhang, Yanlong Chen, Yilin Li, Yining Chen, Zili Yi, Xiaowei Zhang, Yawei Li

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Song Zhang, Yanlong Chen, Yilin Li, Yining Chen, Zili Yi, Xiaowei Zhang, Yawei Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La Confusion du "Zoom"

Imaginez que vous regardez une ville depuis deux hauteurs différentes :

Depuis un drone à 3 mètres de haut : Vous pouvez voir des voitures individuelles, la couleur d'un toit et une personne promenant un chien.
Depuis un satellite à 16 kilomètres de haut : Vous ne voyez ni voitures ni personnes. Vous ne voyez qu'une tache verte (un parc) ou une grille grise (un quartier).

Dans le monde de la télédétection (prendre des photos de la Terre depuis le ciel), la distance par rapport au sol est appelée GSD (Distance d'Échantillonnage au Sol). Le problème est que les modèles d'IA actuels (Modèles Vision-Langage) sont mauvais pour gérer cela.

Ancienne Méthode 1 (Le Modèle Aveugle) : L'IA regarde l'image et essaie de deviner ce qu'elle est, en ignorant totalement la hauteur. Elle pourrait essayer de compter des voitures individuelles sur une photo satellite floue, ce qui est impossible.
Ancienne Méthode 2 (Le Token Textuel) : On dit à l'IA : "Cette photo a été prise depuis 16 kilomètres de haut", mais elle traite simplement cette phrase comme n'importe quel autre mot dans une histoire. Elle ne change pas réellement la façon dont elle pense ou traite l'image. C'est comme dire à un chef : "C'est un plat épicé", mais le chef le goûte toujours comme s'il était doux.

La Solution : ScaleEarth

Les auteurs ont construit un nouveau système appelé ScaleEarth. Au lieu de simplement lire la hauteur comme un mot, ils ont fait de la hauteur un cadran physique qui modifie réellement le cerveau de l'IA pendant qu'elle réfléchit.

Imaginez le cerveau de l'IA comme un couteau suisse avec différents outils :

Petits Outils : Pour voir les détails fins (voitures, personnes, tuiles de toit).
Outils Moyens : Pour voir les structures (routes, bâtiments, îlots).
Grands Outils : Pour voir le tableau d'ensemble (forêts, villes, côtes).

ScaleEarth possède un mécanisme spécial qui sélectionne automatiquement les bons outils en fonction de la hauteur de la caméra.

Si la caméra est proche (faible GSD), elle déverrouille les "Petits Outils" et verrouille les "Grands Outils".
Si la caméra est loin (GSD élevé), elle verrouille les "Petits Outils" (car ils ne verraient que du bruit) et déverrouille les "Grands Outils".

Cela se produit automatiquement et en douceur, non pas en passant d'un modèle d'IA à un autre, mais en ajustant les paramètres du même modèle en temps réel.

Comment ils l'ont construit (Les Trois Parties)

1. Le "Cadran Intelligent" (CS-HLoRA)

C'est l'invention centrale. Les chercheurs ont créé une "porte" à l'intérieur de l'IA qui contrôle quelles parties de son cerveau sont actives.

L'Analogie : Imaginez un variateur d'intensité pour une ampoule. Au lieu de simplement allumer ou éteindre la lumière, vous pouvez faire glisser le commutateur exactement à la luminosité souhaitée.
Comment ça marche : L'IA prend la distance physique (GSD) comme un nombre. Elle utilise une formule mathématique pour décider exactement combien "allumer" les parties de son cerveau axées sur les détails par rapport aux parties axées sur le tableau d'ensemble. Cela permet à l'IA de s'adapter parfaitement à n'importe quel niveau de zoom.

2. L'"Œil de Devin" (SSE-U)

Parfois, la photo ne vient pas avec une étiquette indiquant la hauteur de la caméra.

L'Analogie : Imaginez qu'on vous remette une photo sans légende. Vous regardez les arbres et les bâtiments et vous dites : "D'après la taille des arbres, je parierais que cette photo a été prise depuis environ 300 mètres de haut. Je suis assez sûr, mais peut-être que je me trompe un peu."
Comment ça marche : Le système possède un petit module auxiliaire qui regarde l'image et estime la hauteur et son niveau de confiance. Si l'image est très claire, elle devine avec précision. Si l'image est floue ou étrange, elle dit : "Je ne suis pas sûr", et le système revient à un réglage sûr et intermédiaire pour éviter de faire une hypothèse farfelue.

3. Le "Manuel de Formation" (GeoScale-VQA)

Pour enseigner cette nouvelle compétence à l'IA, les chercheurs ont créé un nouveau manuel massif appelé GeoScale-VQA (1,5 million de questions et réponses).

L'Analogie : Au lieu de simplement montrer à l'IA une photo d'une voiture et de demander "Qu'est-ce que c'est ?", ils lui ont montré la même photo à différents niveaux de zoom.
- De près : "De quelle couleur est la voiture ?" (Réponse : Rouge).
- De loin : "Quel type de zone est-ce ?" (Réponse : Un parking).
La Boucle : Ils ont veillé à ce que les questions posées correspondent au niveau de zoom. On ne demanderait pas "De quelle couleur est la voiture ?" si la photo était trop floue pour voir la voiture. Cela a créé une boucle de rétroaction parfaite où l'IA a appris que Niveau de Zoom = Questions Différentes = Réponses Différentes.

Les Résultats

Lorsqu'ils ont testé ce nouveau système :

Il a battu tous les autres modèles d'IA de télédétection sur des tests standards.
Il était bien meilleur pour répondre à des questions nécessitant une compréhension de l'"échelle" (par exemple, compter des voitures vs compter des quartiers).
Il a fonctionné même lorsque les informations de hauteur manquaient, grâce à l'"Œil de Devin".

Résumé

ScaleEarth est comme donner à une IA de télédétection une paire de lunettes intelligentes.

Les anciennes IA portaient les mêmes lunettes pour tout, donc elles soit plissaient trop les yeux sur des photos floues, soit manquaient le tableau d'ensemble sur des images détaillées.
ScaleEarth ajuste automatiquement les lentilles en fonction de la distance de l'objet. Elle sait quand chercher des détails minuscules et quand reculer pour observer le paysage, le tout sans qu'un humain ait besoin de lui dire quoi faire.

Résumé technique : Au-delà de GSD-as-Token : Conditionnement à échelle continue pour les VLM de télédétection

1. Énoncé du problème

Les modèles vision-langage de télédétection (RS-VLM) présentent un décalage fondamental avec leurs équivalents sur images naturelles en raison de la variabilité extrême de la résolution spatiale (GSD). Alors que les images naturelles existent généralement dans une plage d'échelles stable, les images de télédétection s'étendent sur plus de deux ordres de grandeur, allant de l'imagerie aérienne sub-décimétrique (~~0,06 m/pixel) aux produits satellitaires décamétriques (~~10 m/pixel ou plus grossiers).

Les RS-VLM existants échouent à traiter efficacement cette réalité physique en raison de deux limitations principales :

Affinement fin agnostique de l'échelle : Ces modèles utilisent des paramètres statiques sur toutes les résolutions, contraignant le modèle à fusionner des régimes visuels distincts (par exemple, des textures fines versus des régions floues) en une seule représentation moyenne, dégradant ainsi à la fois la reconnaissance des détails fins et le raisonnement régional grossier.
GSD-as-Token : Les approches actuelles injectent les métadonnées GSD sous forme de tokens textuels discrets (par exemple, « résolution 0,4 m »). Cette méthode tokenise le scalaire en tant que texte, n'induisant aucune adaptation au niveau des paramètres et échouant totalement lorsque les métadonnées du capteur sont absentes ou peu fiables.

Aucune de ces approches ne traite le GSD comme une variable physique continue qui devrait gouverner dynamiquement le chemin de calcul interne du modèle.

2. Méthodologie : ScaleEarth

Les auteurs proposent ScaleEarth, un cadre d'affinement fin efficace en paramètres construit sur l'architecture de base Qwen3-VL-8B. L'innovation centrale consiste à traiter le GSD non pas comme une métadonnée passive, mais comme une variable de conditionnement continue qui pilote le calcul du modèle. Le cadre se compose de trois composants principaux :

A. CS-HLoRA (Hyper-LoRA conditionné par l'échelle continue)

CS-HLoRA est le mécanisme d'adaptation central. Il modifie le chemin de mise à jour standard de l'adaptation à faible rang (LoRA) en insérant une porte pilotée par le GSD entre les matrices de projection descendante et ascendante.

Mécanisme : La mise à jour est définie par $\Delta W(s) = \frac{\alpha_{lora}}{r} B \text{diag}(h(s)) A$ , où $s = \log_{10}(\text{GSD})$ .
Fonction de porte : La porte $h_k(s) = \sigma(\alpha(\tau_k - s))$ est une fonction sigmoïde qui sélectionne en douceur les dimensions du rang LoRA en fonction de l'échelle d'entrée.
Initialisation par niveaux physiques : Les 64 dimensions de rang sont initialisées en trois niveaux motivés physiquement, basés sur la théorie de l'unité de cartographie minimale :
- Rangs objets (0–10) : Actifs à haute résolution (GSD < 1 m) pour les détails fins.
- Rangs structures (11–31) : Actifs à résolution moyenne à basse (1–10 m) pour la disposition et les relations structurelles.
- Rangs sémantiques (32–63) : Actifs sur toute la plage d'échelles pour les sémantiques au niveau du paysage.
Routage continu : À mesure que le GSD varie, les dimensions LoRA actives se déplacent de manière fluide, remplaçant la politique moyenne de l'affinement fin agnostique de l'échelle par un chemin d'adaptation dépendant de l'échelle, sans modifier l'architecture de base pré-entraînée.

B. SSE-U (Estimation d'échelle hétéroscédastique)

Pour garantir que le cadre fonctionne sans dépendre des métadonnées du capteur lors du déploiement, ScaleEarth inclut une tête légère hétéroscédastique, SSE-U.

Fonction : Elle prédit le GSD ( $\hat{\mu}$ ) et son incertitude ( $\hat{\sigma}^2$ ) directement à partir des caractéristiques visuelles (caractéristiques ViT regroupées).
Entraînement : Elle est entraînée par vraisemblance négative gaussienne (NLL) sur des échantillons avec des annotations GSD exactes.
Inférence : Si les métadonnées sont absentes, le modèle utilise le GSD prédit si l'incertitude est faible ; sinon, il revient à une échelle d'ancrage neutre. Cela permet un décodage conditionné par l'échelle conscient de l'incertitude.

C. Dataset GeoScale-VQA

Pour fournir une supervision correspondante, les auteurs ont construit GeoScale-VQA, un corpus RS-VQA stratifié par échelle de 1,5 million d'échantillons.

Construction : Il combine des ensembles de données existants (RSVQA-HR/LR, RSVQA-xBEN, GeoLLaVA-8K, PatternNet, MtSCCD) avec des échantillons nouvellement générés.
Génération consciente de l'échelle : Les paires question-réponse sont générées en fonction du niveau d'échelle GSD de l'image (Haut : <0,2 m, Milieu : 0,2–1,0 m, Bas : >1,0 m). Les prompts de niveau haut mettent l'accent sur les détails des objets, le niveau milieu se concentre sur la disposition spatiale, et le niveau bas cible les sémantiques du paysage.
Contrôle de qualité : Un processus de filtrage en deux étapes (vérifications syntaxiques suivies d'un criblage de qualité supervisé par Claude) assure la cohérence factuelle et l'alignement des échelles.

D. Pipeline d'entraînement

ScaleEarth emploie une stratégie d'entraînement en deux étapes :

Étape 1 (SFT domaine RS) : Affinement fin supervisé à paramètres complets sur RS-GPT4V pour combler l'écart de distribution entre images naturelles et télédétection.
Étape 2 (Adaptation conditionnée par l'échelle) : L'architecture de base est figée (quantifiée sur 4 bits). Les adaptateurs CS-HLoRA et la tête SSE-U sont entraînés conjointement sur GeoScale-VQA. L'objectif combine la perte VLM avec une perte d'estimation GSD ( $\mathcal{L} = \mathcal{L}_{VLM} + \lambda_{gsd}\mathcal{L}_{nll}$ ).

3. Contributions clés

CS-HLoRA : Une méthode d'affinement fin novatrice qui module le sous-espace à faible rang LoRA via une porte pilotée par le GSD avec une initialisation de niveaux ancrée physiquement. Elle permet à un modèle unifié d'adapter le calcul à l'échelle physique sans modification architecturale ni adaptateurs spécifiques à la résolution.
SSE-U : Une tête d'estimation d'échelle hétéroscédastique qui prédit le GSD et l'incertitude à partir des seules caractéristiques visuelles, réduisant la dépendance aux métadonnées et permettant un décodage conscient de l'incertitude.
GeoScale-VQA : Un corpus RS-VQA conscient de l'échelle de 1,5 million d'échantillons qui forme une boucle fermée méthode-données, où la supervision et l'adaptation efficace en paramètres sont pilotées par le même scalaire physique (GSD).

4. Résultats expérimentaux

Le modèle a été évalué sur deux benchmarks complets : XLRS-Bench (perception et raisonnement à ultra-haute résolution) et OmniEarth-Bench (cognition des systèmes terrestres à travers six sphères).

XLRS-Bench : ScaleEarth a atteint une nouvelle précision moyenne de pointe de 57,4 %, surpassant la meilleure baseline spécialisée (GeoEyes, 54,2 %) de +3,2 % et le meilleur généraliste open-source (Qwen3-VL-235B-A22B, 51,1 %) de +6,3 %, malgré l'utilisation d'une architecture de base de seulement 8B. Des gains significatifs ont été observés dans des tâches sensibles à l'échelle comme la classification d'occupation des sols régionale (78,6 %) et l'état de mouvement des objets (66,1 %).
OmniEarth-Bench : ScaleEarth a atteint une précision moyenne de 40,71 % sur des tâches à choix multiples, dépassant la meilleure baseline open-source zero-shot (InternVL3-72B, 33,26 %) de 7,45 points de pourcentage et la meilleure baseline propriétaire (Claude-3.7-Sonnet, 29,07 %) de 11,64 points de pourcentage.
Études d'ablation : La suppression de CS-HLoRA a réduit la précision de 4,2 %, tandis que la suppression de la supervision consciente de l'échelle a causé une baisse de 3,8 %. L'aléatoire de l'initialisation des niveaux physiques a davantage diminué les performances de 3,5 %, confirmant l'utilité du prior cartographique.
Tests de falsification GSD : Lorsque l'entrée GSD a été systématiquement perturbée, ScaleEarth a présenté une courbe de précision lisse en forme de cloche, culminant au GSD réel. En revanche, le routage basé sur des seaux discrets (MoE-LoRA) a montré des discontinuités nettes aux limites des seaux, et le LoRA standard ou l'injection de tokens textuels a montré des réponses plates, prouvant que les gains proviennent du conditionnement physique continu et non d'une simple capacité ajoutée.

5. Signification et affirmations

L'article soutient que la boucle fermée établie par ScaleEarth entre l'architecture, la supervision et les données suggère un principe de conception plus large pour les RS-VLM : les variables physiques qui distinguent fondamentalement l'imagerie aérienne des images naturelles doivent façonner le modèle directement et systématiquement, plutôt que d'être rejetées ou insérées simplement comme des invites textuelles auxiliaires.

Les auteurs affirment que ScaleEarth démontre que :

Traiter le GSD comme une variable de conditionnement continue permet à un modèle unique de router dynamiquement le calcul à travers les niveaux objets, structures et sémantiques.
Cette approche surpasse à la fois les modèles agnostiques de l'échelle et ceux qui traitent l'échelle comme un token textuel discret ou un signal de routage en seaux.
Le cadre reste robuste dans les scénarios de déploiement où les métadonnées du capteur sont absentes, grâce au mécanisme de repli conscient de l'incertitude fourni par SSE-U.

Ce travail se positionne comme une étape vers une IA de télédétection plus fiable et consciente de la résolution, en particulier pour les tâches nécessitant une perception fine dans des scénarios à ultra-haute résolution ou un raisonnement multi-échelle dans des tâches complexes de systèmes terrestres.