Imaginez que vous essayez de résoudre un immense puzzle, mais qu'au lieu d'avoir l'image sur la boîte pour vous guider, vous n'avez que deux photos de la même scène prises sous des angles légèrement différents. Votre cerveau est incroyablement doué pour repérer un arbre dans la première photo et retrouver exactement ce même arbre dans la seconde, même si l'éclairage est différent ou si l'arbre est partiellement caché. Dans le monde des ordinateurs, c'est ce qu'on appelle la « correspondance d'images » (image matching). C'est le tour de magie qui permet aux robots de savoir où ils se trouvent, aide les voitures autonomes à voir la route et permet aux applications de recréer des photos panoramiques. Pour faire cela, les ordinateurs doivent trouver des « points clés » (keypoints) — des endroits distinctifs comme le coin d'un bâtiment ou le bout d'une feuille — puis les comparer pour trouver les bonnes correspondances.

Pendant longtemps, les ordinateurs qui étaient vraiment bons pour cela étaient comme des géants lourds et gourmands en énergie. Ils avaient besoin de serveurs massifs et de beaucoup d'électricité pour réfléchir. Mais que se passerait-il si vous vouliez mettre cette puissance de correspondance super intelligente dans un petit robot ou un téléphone fonctionnant avec une petite batterie ? C'est là qu'intervient la recherche de modèles « légers ». Les scientifiques ont essayé de construire un cerveau numérique assez petit pour fonctionner sur une puce simple, tout en étant assez intelligent pour trouver ces pièces de puzzle avec précision. Un tel modèle, appelé XFeat, a été récemment présenté avec une promesse audacieuse : il pouvait être rapide, efficace et précis tout à la fois, fonctionnant de manière fluide même sur un processeur d'ordinateur standard sans nécessiter de matériel spécial.

Ce document est une « étude de reproductibilité », ce qui est essentiellement une double vérification scientifique. Les auteurs, deux étudiants curieux, ont décidé de reconstruire XFeat de zéro en utilisant uniquement les instructions du papier de recherche original et ses notes complémentaires. Ils voulaient voir si le tour de magie fonctionnait réellement comme décrit, ou s'il y avait des détails cachés qui faisaient paraître les résultats originaux meilleurs qu'ils ne l'étaient réellement. Ils ne se sont pas contentés de le construire ; ils l'ont soumis à un parcours du combattant, comparant leur version au code original, le testant sur de nouveaux types d'images (comme des cartes thermiques ou des scanners oculaires médicaux), et remettant même en question les choix de conception spécifiques des auteurs originaux.

Les principales conclusions : Un coureur rapide, mais pas parfait

L'enquête des étudiants a confirmé que XFeat est effectivement un champion de la vitesse. Lorsqu'ils l'ont testé sur un processeur d'ordinateur standard (spécifiquement un Apple M1 Pro), leur version reconstruite était la méthode « apprise » la plus rapide qu'ils aient pu trouver. Elle pouvait traiter des images à environ 11,8 images par seconde (FPS) tout en trouvant des correspondances avec une grande précision. Mieux encore, ils ont découvert un mode « semi-dense » (appelé XFeat*) qui trouve beaucoup plus de points de correspondance. Ce mode était un peu plus lent (environ 6,3 FPS) mais nettement plus précis, prouvant que l'on peut échanger un peu de vitesse contre beaucoup plus de précision. Cela soutient la affirmation originale selon laquelle XFeat offre un excellent équilibre entre rapidité et intelligence.

Cependant, l'étude a également déballé les couches pour voir si les « ingrédients » spécifiques que les auteurs originaux prétendaient essentiels étaient réellement nécessaires. Le papier original soutenait que séparer le « détecteur de points clés » (la partie qui trouve les points) de l'« extracteur de descripteurs » (la partie qui les décrit) était crucial, surtout pour le mode semi-dense. Les expériences des étudiants ont suggéré que c'est en grande partie vrai : lorsqu'ils ont forcé les deux parties à travailler ensemble plutôt que séparément, le mode semi-dense s'est beaucoup dégradé. Mais ils ont aussi constaté que le bénéfice n'était pas aussi énorme ou constant que le suggérait le papier original, surtout pour le mode simple et parcimonieux (sparse).

Une autre grande question concernait une « connexion de saut » (skip-connection) spécifique — un raccourci dans le cerveau de l'ordinateur qui transmet l'information précoce directement à une étape ultérieure. Les auteurs originaux affirmaient que ce raccourci spécifique était la clé du succès. Les étudiants ont testé cela en le supprimant et en essayant différents types de raccourcis. Ils ont découvert que le raccourci spécifique utilisé dans la conception originale n'était pas réellement la formule magique. En fait, d'autres types de raccourcis fonctionnaient tout aussi bien, ou parfois même mieux. Cela suggère que le papier original a peut-être surestimé l'importance de ce choix de conception spécifique.

Là où la magie s'estompe : Nouveaux mondes et nouvelles lumières

Les étudiants ont également sorti XFeat de sa zone de confort pour voir s'il pouvait gérer des images qu'il n'avait jamais vues auparavant. Ils l'ont testé sur des scanners rétiniens, des images thermiques (de chaleur) et des photos satellites.

• Scanners oculaires (rétiniens) : Sur les scanners oculaires faciles où les images se ressemblent, XFeat a fonctionné étonnamment bien, presque aussi bien que des outils médicaux spécialisés. Mais à mesure que les images devenaient plus difficiles (avec plus de différences dans l'anatomie de l'œil), ses performances chutaient.
• Thermique vs Visible : Lorsqu'ils ont essayé de faire correspondre une photo normale avec une carte thermique de la même scène, XFeat a eu du mal. Il a réussi à trouver quelques correspondances, mais il a échoué la plupart du temps. Les étudiants ont noté que le modèle n'était simplement pas entraîné pour comprendre qu'un objet « chaud » dans une carte thermique est la même chose qu'un objet « brillant » dans une photo normale.
• Images satellites : De même, lors de la correspondance d'images optiques avec des images satellites radar ou infrarouges, la précision du modèle a chuté. Il pouvait gérer correctement le même type d'image (optique à optique), mais dès que la « modalité » (la façon dont l'image a été capturée) changeait, le modèle était confus.

Le problème du « manuel manquant »

L'une des parties les plus intéressantes de l'étude a été le travail de détective impliqué dans le simple fait de faire fonctionner le modèle. Le papier original, les notes complémentaires et le code informatique publié ne concordaient pas toujours. Ils n'étaient pas d'accord sur le nombre de couches que le cerveau de l'ordinateur devait avoir, sur la façon dont la « perte » (loss) d'entraînement (le score que l'ordinateur essaie de minimiser) devait être calculée, et même sur la façon dont les résultats finaux devaient être mesurés.

Les étudiants ont dû faire des suppositions éclairées pour combler ces lacunes. Par exemple, lors de tests du modèle sur une tâche de localisation visuelle (trouver la position d'une caméra dans une ville), ils n'ont pas pu reproduire les résultats incroyables du papier original. Leur version, ainsi que le code des auteurs originaux, ont tous deux obtenu des résultats moins bons que les chiffres publiés. Les étudiants ont conclu que cela n'était pas dû au fait que le modèle était mauvais, mais que le papier original avait probablement omis des détails cruciaux sur la façon dont le test avait été configuré, comme la manière dont l'ordinateur recherchait les images de référence. C'est comme si l'on vous donnait une recette qui dit « cuire jusqu'à ce que ce soit prêt » sans vous donner la température ou le temps ; vous obtiendrez peut-être un gâteau, mais ce ne sera peut-être pas le même gâteau que celui de l'auteur.

Le verdict

En fin de compte, les étudiants ont conclu que XFeat est un outil véritablement impressionnant pour permettre aux ordinateurs de voir et de faire correspondre des images rapidement sur du matériel courant. Il tient sa promesse d'être rapide et efficace. Cependant, l'étude a également montré que certaines des raisons architecturales spécifiques données par les auteurs pour son succès pourraient ne pas être aussi uniques ou critiques qu'ils le pensaient. De plus, bien que XFeat soit excellent pour les photos standards, ce n'est pas une solution « universelle » ; il éprouve des difficultés lorsque les images sont trop différentes de celles sur lesquelles il a été entraîné. Le papier sert de rappel vital que dans la science, même lorsqu'un outil fonctionne bien, creuser plus profondément pour comprendre pourquoi il fonctionne — et où il peut échouer — est tout aussi important que l'outil lui-même.