💻 computer science

Object-Level Explanations for Image Geolocation Models: a GeoGuessr use-case

Ce papier propose un pipeline d'analyse centré sur les objets qui décompose les cartes d'attribution en éléments interprétables, de type objet, pour démontrer que les modèles de géolocalisation s'appuient sur des indices visuels spécifiques plutôt que sur des régions diffuses pour leurs prédictions.

Auteurs originaux : Emilie Durrieu, Christophe Hurter, Philippe Muller, Victor Boutin

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Emilie Durrieu, Christophe Hurter, Philippe Muller, Victor Boutin

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouiez à un jeu comme GeoGuessr, où vous regardez une photo d'une rue et devez deviner dans quel pays elle se trouve. En tant qu'humain, vous ne vous contentez pas de fixer l'image entière ; vous repérez des indices spécifiques. Vous pouvez remarquer un type précis de panneau de signalisation, la couleur de la végétation ou le style d'un bâtiment. Vous utilisez ces « objets » concrets pour faire votre hypothèse.

Mais comment les programmes informatiques (IA) s'y prennent-ils ? Regardent-ils les mêmes indices, ou se contentent-ils de deviner à partir de motifs flous et aléatoires ?

Cet article tente de répondre à cette question en construisant un « pipeline d'enquête » spécial pour voir ce que l'IA observe réellement.

Le Problème : La « Vision Floue » de l'IA

Habituellement, lorsque nous essayons de voir ce à quoi une IA pense, nous utilisons des outils qui mettent en évidence un blob diffus et flou sur l'image. C'est comme regarder une photo à travers une vitre embuée où une grande zone indistincte brille. Nous savons que l'IA regarde quelque part là, mais nous ne pouvons pas dire si elle observe une voiture spécifique, un panneau de signalisation ou simplement la couleur générale du ciel. Il est difficile de relier ce blob flou à un objet réel et reconnaissable.

La Solution : Découper l'Image en « Pièces de Puzzle »

Les auteurs ont créé une nouvelle méthode pour transformer ce blob flou en pièces claires et distinctes, comme découper un puzzle en pièces individuelles. Voici comment ils ont procédé, étape par étape :

Repérer les Points Chauds : D'abord, ils ont utilisé un outil standard (comme Grad-CAM) pour trouver les « points chauds » sur l'image où l'IA porte le plus d'attention. Imaginez cela comme l'IA pointant une lampe torche sur les parties les plus importantes de la photo.
Découper en Pièces : Ensuite, ils ont pris ces zones éclairées par la lampe torche et utilisé un outil de « segmentation » (un coupeur numérique) pour les découper en morceaux ressemblant à des objets. Au lieu d'un seul gros blob lumineux, ils disposent maintenant de pièces séparées qui ressemblent à une voiture, un mur ou un panneau.
Noter les Pièces : Ils ont attribué une note à chaque pièce en fonction de la manière dont elle chevauchait le « point chaud » de l'IA. Les pièces qui correspondaient le mieux à l'attention de l'IA ont été conservées.
Le « Test de Goût » (Suppression et Insertion) : C'est la partie la plus importante. Pour vérifier si ces pièces sont réellement importantes, ils ont effectué deux tests :
- Le Test de Suppression : Ils ont pris les « pièces d'objets » spécifiques que l'IA aimait et les ont effacées de la photo. Si l'IA s'est soudainement perdue et n'a plus pu deviner le pays, cela prouvait que ces pièces étaient cruciales.
- Le Test d'Insertion : Ils ont pris uniquement ces « pièces d'objets » spécifiques et les ont placées sur un fond blanc, en cachant le reste de la photo. Si l'IA pouvait encore deviner correctement le pays rien qu'avec ces quelques pièces, cela prouvait qu'elles contenaient toutes les informations nécessaires.

Ce Qu'ils Ont Découvert

Ils ont testé cela sur des photos provenant de la France, de l'Inde et du Japon.

Le Résultat : Lorsqu'ils ont utilisé leurs « pièces d'objets », l'IA a bien mieux performé que lorsqu'ils ont simplement choisi des morceaux aléatoires de l'image.
L'Analogie : Imaginez essayer de deviner une chanson en écoutant un extrait aléatoire de 5 secondes par rapport à écouter le refrain spécifique. Les « pièces d'objets » étaient comme le refrain : elles contenaient la véritable mélodie dont l'IA avait besoin pour faire son hypothèse.
Les Indices : Les pièces sur lesquelles l'IA s'est concentrée étaient bien des choses reconnaissables : voitures, marquages au sol, panneaux de signalisation et murs. Cela suggère que l'IA ne devine pas au hasard ; elle observe réellement des indices concrets, similaires à ceux des humains.

La Mise en Garde

La méthode n'est pas parfaite. Parfois, le « coupeur numérique » découpe les choses de manière un peu étrange, créant des pièces un peu désordonnées ou qui se chevauchent trop. De plus, ils n'ont testé cela que sur trois pays, nous ne savons donc pas encore si cela fonctionne partout.

La Conclusion

Cet article montre que nous pouvons prendre les explications « floues » de l'IA et les découper en objets réels et compréhensibles. En faisant cela, nous pouvons prouver que l'IA de géolocalisation observe réellement le même type d'indices visuels (comme les panneaux et les voitures) que les humains utilisent pour résoudre l'énigme, plutôt que de simplement deviner à partir de motifs invisibles. C'est un pas vers la capacité de l'IA à expliquer son raisonnement d'une manière qui a du sens pour nous.

Résumé Technique : Explications au Niveau des Objets pour les Modèles de Géolocalisation d'Images

Énoncé du Problème
Les modèles de géolocalisation d'images, qui prédisent le lieu de prise d'une image à partir de son contenu visuel, ont atteint des performances élevées grâce à l'apprentissage profond. Cependant, comprendre les preuves visuelles spécifiques qui sous-tendent ces prédictions reste difficile. Alors que les humains s'appuient sur des indices concrets au niveau des objets (par exemple, panneaux routiers, végétation, détails architecturaux) dans des jeux comme GeoGuessr, les méthodes d'attribution standard (par exemple, Grad-CAM) produisent généralement des cartes thermiques diffuses et superposées. Ces cartes mettent en évidence de larges régions plutôt que des entités visuelles cohérentes, rendant difficile le lien entre les décisions du modèle et des objets spécifiques et interprétables ou des motifs perceptibles. Ce fossé limite la capacité à interpréter, faire confiance et analyser les modèles de géolocalisation avec une granularité au niveau des concepts.

Méthodologie
Les auteurs proposent un pipeline d'analyse centré sur l'objet pour décomposer les cartes d'attribution en éléments discrets de type objet et évaluer leur pertinence prédictive. La méthodologie se compose de trois étapes principales :

Entraînement du Modèle et Attribution : Un réseau de neurones convolutif (ResNet50) est entraîné pour la classification par pays. Des cartes d'attribution sont générées à l'aide de méthodes basées sur le gradient et sur le score (Grad-CAM, Grad-CAM++, SmoothGrad, Score-CAM) afin d'identifier les régions saillantes influençant la prédiction. Ces cartes sont seuillées pour conserver le top- $p$ percentile des pixels, créant ainsi des « régions guidées par l'attribution ».
Extraction d'Objets : Au sein de ces régions saillantes, un modèle de segmentation (spécifiquement des variantes du modèle Segment Anything Model : MobileSAM, SAM2 et SAM3) est utilisé pour extraire des éléments visuels discrets. Ces éléments ne se voient pas attribuer d'étiquettes sémantiques mais sont traités comme des unités perceptibles (par exemple, une voiture, un panneau).
- Notation : Chaque segment candidat est noté en fonction de son chevauchement avec les pixels à haute saillance, de sa valeur d'attribution moyenne et de la valeur d'attribution à son centre géométrique.
- Filtrage : Les segments en dessous d'un seuil de pertinence sont écartés. Les segments se chevauchant sont filtrés à l'aide d'un critère d'Intersection sur Union (IoU) basé sur la containment pour éliminer les quasi-duplicates tout en préservant les petits détails.
- Sortie : Les segments restants sont convertis en boîtes de délimitation rectangulaires avec un léger remplissage pour préserver le contexte.
Évaluation de la Fidélité : La pertinence prédictive de ces éléments extraits est testée par rapport à des régions sélectionnées au hasard de couverture similaire en utilisant deux métriques XAI standard :
- Test de Suppression : Les crops extraits sont occultés dans l'image originale. Une baisse significative de la précision de classification indique que les régions supprimées contenaient des informations critiques.
- Test d'Insertion : Seuls les crops extraits sont conservés tandis que le reste de l'image est masqué. Une précision conservée élevée indique que les crops contiennent suffisamment d'informations prédictives.

Contributions Clés

Pipeline Centrée sur l'Objet : L'article introduit un cadre a posteriori qui comble le fossé entre les cartes d'attribution au niveau des pixels diffuses et des preuves visuelles localisées de type objet, sans nécessiter de concepts prédéfinis ni modifier le classifieur sous-jacent.
Validation Quantitative : L'étude fournit une évaluation rigoureuse montrant que les crops guidés par l'attribution conservent systématiquement plus d'informations prédictives que des crops aléatoires de taille similaire.
Analyse de Segmentation : Le travail examine l'impact de la qualité de la segmentation sur l'interprétabilité, démontrant que le choix du modèle de segmentation (par exemple, SAM3 par rapport à SAM2) influence considérablement la couverture et l'efficacité des indices extraits.

Résultats
Des expériences ont été menées sur un référentiel comprenant des images de trois pays : la France, l'Inde et le Japon (en utilisant le jeu de données OSV-5M).

Pertinence Prédictive : Dans toutes les configurations testées, les crops guidés par l'attribution ont surpassé les références aléatoires. Dans les tests de suppression, l'occultation de ces régions a provoqué une baisse plus importante de la précision, et dans les tests d'insertion, elles ont conservé significativement plus d'informations prédictives.
Comparaison des Méthodes :
- Méthodes d'Attribution : Grad-CAM++ et d'autres méthodes basées sur le gradient ont fourni des cartes de saillance efficaces pour guider l'extraction.
- Modèles de Segmentation : SAM3, qui génère un plus grand nombre de segments, a obtenu des résultats plus forts dans les deux configurations d'ablation par rapport à SAM2 et MobileSAM. Les auteurs notent que SAM2 a mal performé dans les tests de suppression, probablement en raison de la génération de trop peu de segments, entraînant une couverture spatiale insuffisante pour supprimer des informations significatives.
Résultats Qualitatifs : Les éléments extraits comprenaient des motifs visuels divers tels que des véhicules, des murs, des panneaux de signalisation et des marquages routiers. Cependant, les auteurs reconnaissent des limites, notant que certains éléments extraits se chevauchent, ne correspondent qu'à des parties de structures plus grandes, ou restent amorphes en raison des contraintes de segmentation.

Signification et Revendications
L'article revendique que les cartes d'attribution dans les modèles de géolocalisation contiennent des preuves localisées qui peuvent être décomposées de manière significative en régions visuelles perceptibles. Cela suggère que les prédictions du modèle peuvent être tracées jusqu'à des indices spécifiques au niveau des objets, similaires à ceux utilisés par les humains. Les auteurs positionnent ce travail comme une étape vers l'interprétabilité au niveau des objets et les explications basées sur les concepts en géolocalisation d'images.

Les auteurs restent modestes concernant la portée de leurs résultats. Ils reconnaissent que les éléments extraits sont approximatifs et peuvent être sur-segmentés. De plus, l'évaluation est limitée à un cadre de trois pays sans références supplémentaires. Un travail futur est proposé pour étendre le cadre à des référentiels plus vastes et plus granulaires, et pour intégrer une évaluation humaine afin de vérifier l'alignement avec le raisonnement humain dans les tâches de géolocalisation.