What Does CLIP Learn for Regional Geolocalization? Probing Visual Cues and Scene Configuration After Adaptation

Imaginez-vous debout au coin d'une rue dans une ville tentaculaire, observant une rangée de maisons familières, un type d'arbre spécifique et la façon dont la lumière frappe le pavé. Pour un humain, ces détails peuvent sembler génériques, pourtant ils détiennent le secret de l'endroit exact où vous vous trouvez. Pour les ordinateurs, cependant, distinguer deux quartiers qui se ressemblent presque de manière identique est un défi profond. C'est le cœur de la géolocalisation visuelle, un domaine de l'intelligence artificielle qui tente de déterminer où une photographie a été prise en regardant simplement ses pixels. Si les systèmes modernes sont devenus assez doués pour identifier des emplacements larges, comme faire la différence entre une île tropicale et une montagne enneigée, ils trébuchent souvent lorsqu'on leur demande de localiser précisément des districts spécifiques au sein d'une même zone métropolitaine. La question que les chercheurs se posent depuis longtemps est de savoir si ces systèmes informatiques peuvent apprendre à voir les différences subtiles entre des lieux proches, et si oui, ce qu'ils apprennent exactement à voir.

Une équipe de chercheurs de l'Université de Californie du Sud s'est donné pour mission de répondre à cela en étudiant les rues de Los Angeles. Ils ont rassemblé près de neuf mille images de vues de rue provenant de huit régions distinctes, allant du noyau urbain dense du centre-ville aux ambiances côtières de Santa Monica et aux banlieues verdoyantes de Pasadena. Ces zones partagent le même climat, la même architecture générale, et souvent les mêmes types de voitures et d'arbres, ce qui en fait un test parfait pour la discrimination fine. Les chercheurs ont utilisé un puissant modèle informatique pré-entraîné connu sous le nom de CLIP, qui avait déjà appris à associer des images à des descriptions textuelles à partir d'une vaste quantité de données internet. Ils voulaient savoir si ce modèle, dans son état d'origine, pouvait déjà distinguer ces quartiers, ou s'il devait être réentraîné pour percevoir les détails plus fins. Plus important encore, si le modèle s'améliorait effectivement dans la tâche après l'entraînement, ils voulaient comprendre quels nouveaux indices visuels il utilisait. S'agissait-il simplement de mémoriser les formes des bâtiments, ou apprenait-il quelque chose de plus complexe sur la façon dont la scène est agencée ?

Les chercheurs ont testé le modèle de plusieurs manières, en commençant par une approche « zero-shot » où ils demandaient à l'ordinateur de deviner l'emplacement sans aucun entraînement spécifique sur les données de Los Angeles. Dans cet état non entraîné, le modèle n'était correct qu'environ 39 % du temps, soit à peine mieux qu'un choix aléatoire parmi les huit options. Lorsqu'ils ont tenté d'améliorer le modèle en lui apprenant simplement à lire la sortie de son système visuel existant — sans changer sa façon de voir le monde — la performance a à peine bougé. Cependant, lorsqu'ils ont permis au modèle d'ajuster réellement son traitement visuel interne, les résultats ont radicalement changé. En laissant le modèle apprendre des images de Los Angeles, sa précision a bondi à plus de 82 %. Cette amélioration massive suggérait que le secret pour distinguer ces quartiers ne résidait pas seulement dans les données brutes que le modèle possédait déjà, mais dans sa capacité à réorganiser et à hiérarchiser ces données par l'adaptation.

Pour comprendre ce que le modèle faisait réellement lorsqu'il devenait si performant, les chercheurs ont soumis les images à une série de tours de passe-passe visuels. Ils ont supprimé des éléments spécifiques comme le texte sur les panneaux, les véhicules, les arbres et le ciel pour voir si le modèle connaîtrait toujours son emplacement. Ils ont également flouté les images pour masquer les détails fins tout en conservant les formes générales, et ils ont brouillé les images en les découpant en petits carrés et en les mélangeant, détruisant ainsi la disposition tout en préservant le contenu local. Les résultats ont révélé une nuance fascinante. Les modèles améliorés et adaptés sont devenus beaucoup plus sensibles à l'agencement global de la scène. Lorsque les chercheurs ont brouillé la disposition, les modèles adaptés ont changé d'avis sur l'emplacement près de 43 % du temps, alors que les modèles non entraînés n'ont changé d'avis que 11 % du temps. Cela indiquait que les modèles entraînés avaient appris à compter lourdement sur la structure intacte de la scène de rue — la façon dont la route, les bâtiments et le ciel s'assemblent — plutôt que de simplement repérer un objet distinctif.

Cependant, l'étude a également montré que cette sensibilité à la structure ne signifiait pas que les modèles pouvaient ignorer totalement les détails visuels. Lorsque les chercheurs ont flouté les images pour supprimer les textures et les couleurs fines, les modèles adaptés n'ont pas conservé un pourcentage de précision plus élevé par rapport aux modèles non entraînés. En d'autres termes, bien que les modèles soient devenus meilleurs pour utiliser la disposition de la scène, ils n'étaient pas capables de deviner l'emplacement sur la base de la disposition seule ; ils avaient toujours besoin de l'apparence visuelle de l'environnement. La suppression d'indices environnementaux comme la végétation et le ciel a continué de troubler les modèles, suggérant que ces caractéristiques atmosphériques larges restaient cruciales. Les chercheurs ont également testé l'effet de brassage sur un ensemble d'images complètement différent, présentant des objets communs comme des chats et des chaises, et ont constaté que le brassage de ces images confondait également les modèles. Cela a prouvé que la sensibilité à la disposition était un trait général de la façon dont le modèle traitait les images, et non un superpouvoir spécial développé pour trouver des lieux.

L'étude conclut que pour qu'un ordinateur puisse distinguer des quartiers visuellement similaires, il doit être autorisé à adapter son traitement visuel à l'environnement spécifique. Cette adaptation conduit le système à prêter une attention accrue à la configuration globale de la scène, à la façon dont les divers éléments sont disposés les uns par rapport aux autres. Pourtant, cela ne remplace pas le besoin de détail visuel. Le système n'apprend pas à voir le monde uniquement à travers des formes abstraites ; il apprend une combinaison de la structure de la scène et de son apparence spécifique. Les conclusions sont spécifiques à ce cadre contrôlé de lieux proches avec des vues qui se chevauchent, ce qui signifie que le modèle apprend à gérer différents angles des mêmes endroits plutôt qu'à reconnaître des villes entièrement nouvelles et lointaines. En fin de compte, la recherche montre que si l'intelligence artificielle peut apprendre à naviguer dans les subtilités d'une ville, elle le fait en tissant ensemble l'agencement de la rue et la texture du monde, plutôt qu'en trouvant un indice magique unique.