GeoEyes: On-Demand Visual Focusing for Evidence-Grounded Understanding of Ultra-High-Resolution Remote Sensing Imagery

Le papier présente GeoEyes, un cadre d'entraînement par étapes intégrant un jeu de données de démarrage à froid et une méthode d'apprentissage par renforcement, conçu pour résoudre le problème de l'homogénéisation des appels d'outils et permettre aux modèles multimodaux de réaliser un zoom à la demande efficace pour la compréhension d'images de télédétection à très haute résolution.

L'essentiel

🌍 GeoEyes : Le Détective qui apprend à ne pas tout regarder de trop près

Imaginez que vous essayez de trouver une fourmi spécifique sur une immense carte routière de 100 kilomètres carrés. Si vous regardez la carte entière d'un coup, vous ne verrez rien. Si vous zoomez trop vite, vous risquez de passer à côté. C'est exactement le problème que les ordinateurs rencontrent avec les images satellites ultra-haute résolution.

Les images sont si détaillées qu'elles contiennent des milliards de pixels. Pour répondre à une question précise (comme "Combien y a-t-il de camions rouges ?" ou "Où est l'anomalie dans ce champ ?"), l'ordinateur doit savoir où regarder et quand arrêter de chercher.

Le papier présente GeoEyes, un nouveau système intelligent conçu pour résoudre ce casse-tête.

1. Le Problème : L'habitude de "tout zoomer" (L'effet "Marteau")

Les chercheurs ont remarqué un comportement étrange chez les intelligences artificielles actuelles capables de zoomer. On l'appelle "l'homogénéisation de l'usage des outils".

• L'analogie : Imaginez un détective privé qui, pour résoudre n'importe quel crime, sort toujours sa loupe et l'applique sur le visage de chaque suspect, même si le suspect est innocent ou si le crime s'est passé à l'autre bout de la ville.
• La réalité : Les modèles actuels (comme DeepEyes) appellent l'outil de zoom pour chaque question, même celles qui sont simples. Ils ne savent pas s'arrêter. Ils zooment une fois, puis s'arrêtent, même si la réponse n'est pas encore claire. C'est inefficace, coûteux en énergie, et souvent faux.

2. La Solution : GeoEyes, l'élève modèle

Pour corriger cela, les auteurs ont créé GeoEyes en suivant une recette en deux étapes, comme on apprendrait à un enfant à conduire.

Étape 1 : La "Cours de Conduite" (Apprentissage Supervisé - SFT)
Avant de laisser l'IA conduire seule, on lui donne un manuel d'instructions très précis.

• L'analogie : Au lieu de laisser l'IA deviner, on lui montre des milliers d'exemples de "bonnes conduites".
  • Exemple A : "Voici une photo de tout un pays. La question est 'Quelle est la couleur du drapeau ?'. Réponse : On ne zoome pas, on regarde tout de suite." (Pas d'outil).
  • Exemple B : "Voici une photo d'une ville. La question est 'Compte les vélos'. Réponse : On zoome une fois sur le quartier." (Un seul zoom).
  • Exemple C : "Voici une photo d'une forêt. La question est 'Trouve l'oiseau rare'. Réponse : On zoome sur la forêt, puis sur l'arbre, puis sur la branche." (Zooms progressifs).
• Le résultat : L'IA apprend qu'il existe différents types de questions et qu'il faut parfois s'arrêter, parfois chercher plus loin.

Étape 2 : Le "Jeu de Chasse au Trésor" (Apprentissage par Renforcement - RL)
Une fois les bases acquises, on laisse l'IA jouer et on la récompense intelligemment. C'est ici qu'intervient la méthode AdaZoom-GRPO.

• La récompense intelligente :
  • Si l'IA trouve la réponse avec le minimum d'effort (sans zoomer inutilement), elle gagne des points.
  • Si elle zoome dans le vide (sur une zone qui ne contient pas la réponse), elle perd des points.
  • Si elle s'arrête au bon moment, elle est félicitée.
  • Si elle s'égare, on lui dit : "Non, reviens en arrière, tu as raté quelque chose", mais sans la punir trop sévèrement pour qu'elle ose réessayer.

3. Les Résultats : Plus petit, mais plus malin

Le résultat est surprenant. GeoEyes, qui utilise un "cerveau" (modèle) de taille moyenne (7 milliards de paramètres), bat des géants de l'IA (comme les modèles de 235 milliards de paramètres) sur les tâches de vision par satellite.

• Pourquoi ? Parce que les géants essaient de tout voir d'un coup ou zooment bêtement. GeoEyes, lui, agit comme un chasseur d'images : il sait quand s'arrêter, quand chercher plus loin, et quand dire "Je n'ai pas besoin de zoomer".
• La performance : Sur les tests officiels, il atteint 54,23% de réussite, contre 50% pour les meilleurs concurrents actuels. C'est une victoire claire, surtout pour les tâches difficiles comme compter de petits objets ou repérer des anomalies.

En résumé

GeoEyes est une intelligence artificielle qui a appris la sagesse du "juste milieu".

• Elle ne regarde pas tout de trop près (ce qui la rend lente).
• Elle ne regarde pas tout de trop loin (ce qui la rend aveugle).
• Elle sait quand utiliser sa loupe et quand la ranger.

C'est comme passer d'un détective qui fouille chaque recoin de la maison pour trouver une clé perdue, à un détective qui sait exactement où la clé a été posée et va directement la chercher.

Résumé technique

1. Problématique : L'Homogénéisation de l'Utilisation des Outils

Le papier identifie un échec critique des modèles de langage multimodaux (MLLM) actuels capables de « zoom » lorsqu'ils sont appliqués à l'imagerie satellite à ultra-haute résolution (UHR). Ce phénomène est nommé « Homogénéisation de l'utilisation des outils » (Tool Usage Homogenization).

• Le constat : Les modèles existants (comme DeepEyes) tendent à appeler l'outil de zoom de manière systématique et uniforme pour chaque question, indépendamment de la nécessité réelle.
• Les causes racines :
  1. Hétérogénéité des tâches : Certaines questions peuvent être résolues par une vue globale (le zoom ajoute du bruit et du coût), tandis que d'autres nécessitent une inspection progressive multi-étapes pour des objets minuscules. Une stratégie uniforme échoue dans les deux cas.
  2. Faible densité d'évidence effective : Dans les images UHR (ex: 8500x8500 pixels), les indices pertinents sont extrêmement rares et dispersés. Une récompense basée uniquement sur la réponse finale ne suffit pas à guider le modèle vers une exploration visuelle progressive et efficace.
• Conséquence : Les modèles tombent dans des politiques de zoom stéréotypées (souvent un seul appel), limitant leur capacité à acquérir les preuves visuelles nécessaires pour des tâches complexes.

2. Méthodologie : Le Framework GeoEyes

Pour résoudre ce problème, les auteurs proposent GeoEyes, un cadre d'entraînement en deux étapes conçu pour apprendre des politiques de zoom « à la demande » avec un comportement d'arrêt approprié.

A. Initialisation par Affinement Supervisé (Cold-Start SFT)

Avant l'apprentissage par renforcement, le modèle est initialisé avec un nouveau jeu de données nommé UHR-CoZ (Ultra-High-Resolution Chain-of-Zoom).

• Construction : Ce jeu de données est dérivé de HighRS-VQA et généré via un pipeline automatisé orchestré par un agent (GLM-4.5V).
• Contenu : Il contient des chaînes de pensée (CoT) intercalées texte-image couvrant trois régimes distincts :
  1. Pas d'outil (tâches globales).
  2. Un seul appel de zoom (cibles de taille moyenne).
  3. Zooms progressifs multi-tours (objets minuscules).
• Objectif : Enseigner au modèle la capacité de distinguer quand s'abstenir d'utiliser l'outil et quand engager une exploration progressive.

B. Apprentissage par Renforcement Adaptatif : AdaZoom-GRPO

Une fois le modèle initialisé, une phase d'apprentissage par renforcement (RL) est appliquée en utilisant une variante de l'algorithme GRPO (Group Relative Policy Optimization) avec une fonction de récompense restructurée (AdaZoom-GRPO). Cette fonction vise à maximiser le gain de preuves et l'amélioration de la réponse.

La récompense totale $R$ est une combinaison pondérée de plusieurs composantes :

1. Récompense d'Efficacité Adaptative ($R_{tool}$) : Adapte le coût du zoom à la difficulté de la tâche. Elle pénalise les appels inutiles pour les tâches simples (via un seuil de base par catégorie) mais récompense l'exploration nécessaire pour les tâches complexes.
2. Récompense Chaîne de Focus ($R_{cof}$) : Encourage une trajectoire de zoom « du grossier au fin » (Coarse-to-Fine). Elle récompense le rétrécissement géométrique de la fenêtre de vue (contenue dans la précédente) et pénalise les dérives, tout en permettant un « retour en arrière » (backtrack) sans pénalité pour la récupération d'erreurs.
3. Récompense de Vérification de Processus ($R_{proc}$) : Un juge « conscient de la nécessité » vérifie que les réponses détaillées sont soutenues par des actions de zoom correspondantes, pénalisant les hallucinations confiantes sans preuves visuelles.

3. Contributions Clés

1. Diagnostic du problème : Identification et analyse du phénomène d'homogénéisation des politiques d'outils dans les scénarios UHR, attribué à l'hétérogénéité des tâches et à la faible densité d'évidence.
2. Création de données (UHR-CoZ) : Construction du plus grand jeu de données à ce jour pour le démarrage à froid (cold-start) en RS, annotant systématiquement des trajectoires de raisonnement intercalées avec des appels d'outils multi-tours.
3. Modèle GeoEyes : Développement d'un MLLM spécialisé qui apprend un zoom adaptatif via une combinaison de SFT initialisé et de RL avec récompenses spécifiques (efficacité, géométrie, nécessité).

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark XLRS-Bench, qui évalue la perception et le raisonnement sur des images UHR.

• Performance Globale : GeoEyes atteint une précision moyenne de 54,23 %, surpassant l'état de l'art (SOTA).
  • Il bat les modèles spécialisés en RS comme GeoLLaVA-8K (51,5 %) et DeepEyes (50,0 %).
  • Il surpasse des modèles généralistes beaucoup plus grands, tels que Qwen3-VL-235B (51,1 %) et Qwen2.5-VL-72B (50,2 %), bien que GeoEyes utilise un backbone de seulement 7 milliards de paramètres.
• Améliorations Spécifiques : Les gains sont particulièrement marqués sur les tâches de perception fine :
  • Classification d'objets (OCL) : 66,1 % (contre ~39-44 % pour les modèles statiques).
  • Comptage global (OCC) : 59,5 %.
• Études d'ablation :
  • L'initialisation SFT avec UHR-CoZ est cruciale : sans elle, le modèle tombe à 47,73 % et utilise l'outil 100 % du temps.
  • La récompense géométrique (CoF) est supérieure aux métriques IoU standard pour guider le zoom progressif.
  • La vérification de nécessité améliore la robustesse contre les hallucinations.

5. Signification et Impact

Ce travail démontre que pour comprendre l'imagerie satellite à ultra-haute résolution, il ne suffit pas d'augmenter la taille des modèles ou la résolution brute. La clé réside dans le développement de politiques de contrôle d'outils adaptatives.

GeoEyes prouve qu'un modèle peut apprendre à :

1. S'abstenir de zoomer lorsque la vue globale suffit.
2. Itérer de manière progressive lorsque les détails sont nécessaires.
3. Arrêter l'exploration au bon moment.

En combinant une supervision de processus alignée sur le domaine (SFT) avec un façonnage de récompense centré sur les preuves (RL), GeoEyes résout le goulot d'étranglement de la résolution UHR sans recourir à une mise à l'échelle brute (« brute-force scaling »), offrant une nouvelle voie pour les systèmes de raisonnement visuel agiles et efficaces.