A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction

Dans le monde de la vision par ordinateur, les machines apprennent à voir le monde en trois dimensions à partir de photographies plates. Elles prennent une série d'images en deux dimensions et, en une seule passe, reconstruisent une carte 3D de la scène, plaçant des points dans l'espace pour représenter des murs, des sols et des objets. Pour que ces systèmes soient utiles dans la vie réelle, comme pour guider un robot ou aider une voiture autonome, ils ont besoin de plus qu'une simple supposition sur l'emplacement des choses ; ils doivent savoir à quel point ils sont sûrs de cette supposition. C'est là qu'intervient un « signal de confiance ». Chaque fois que le modèle prédit un point dans l'espace 3D, il émet également un nombre représentant sa confiance. Les systèmes en aval, qui sont les programmes utilisant réellement ces données 3D, lisent ce nombre comme un signal de fiabilité. Si la confiance est élevée, le système fait confiance au point et l'utilise ; si elle est faible, il ignore le point ou le traite avec prudence. Pendant des années, ce signal de confiance a été traité comme un simple outil de classement : un moyen de trier les pixels du plus fiable au moins fiable. Mais une question critique restait sans réponse : le nombre lui-même indique-t-il réellement la vérité sur l'ampleur de l'erreur ?

Une équipe de chercheurs de l'Université technique de Munich et d'autres institutions a décidé de passer ce signal de confiance au microscope. Ils n'ont pas construit un nouveau modèle ni cherché à apprendre à un ancien modèle comment être meilleur. Au lieu de cela, ils ont effectué un audit rigoureux de sept modèles existants, publiés et déjà utilisés par la communauté scientifique. Ils ont testé ces modèles sur treize ensembles de données différents, allant de pièces intérieures et rues urbaines à des jeux vidéo synthétiques, couvrant des milliards de pixels individuels. Leur objectif était de voir si les nombres de confiance produits par ces modèles étaient des mesures précises de l'incertitude, ou s'ils étaient simplement doués pour trier les erreurs sans dire la vérité sur leur taille.

Les chercheurs ont découvert que les modèles sont excellents pour le classement. Si un modèle affirme qu'un pixel est plus confiant qu'un autre, il est presque toujours exact que le premier pixel est effectivement plus précis. Cependant, lorsqu'ils ont examiné la taille réelle de l'erreur, une autre histoire est apparue. Les modèles étaient systématiquement trop confiants. Ils prétendaient être beaucoup plus certains qu'ils ne l'étaient réellement. En moyenne, sur tous les modèles testés, l'incertitude prédite était trop basse d'un facteur de 2,4. Cela signifie que si un modèle prédisait une erreur d'un centimètre, l'erreur réelle était souvent plus proche de 2,4 centimètres. Le problème s'aggravait à mesure que le modèle se sentait confiant. Quand le modèle était très sûr de lui, il était en réalité le plus erroné, sous-estimant son erreur par un facteur allant jusqu'à 15 dans certains cas.

Cette surconfiance n'était pas le signe que les modèles étaient mal entraînés ou qu'ils avaient cessé d'apprendre trop tôt. Les chercheurs ont prouvé que même si l'on prenait un modèle publié et qu'on continuait à l'entraîner sur ses propres données, il atteindrait rapidement sa limite mathématique et resterait surconfiant sur de nouvelles images inédites. Le problème n'était pas que les modèles n'avaient pas assez appris ; c'était que la manière dont ils étaient enseignés pour produire des nombres de confiance était fondamentalement différente de la manière dont ces nombres sont utilisés dans le monde réel. Pendant l'entraînement, les modèles apprenaient à minimiser une fonction de perte mathématique spécifique, qui optimisait le classement des erreurs mais ne garantissait pas que les nombres de confiance correspondent à la taille physique réelle des erreurs dans un nouvel environnement.

Pour corriger cela, les chercheurs ont développé une correction post-hoc simple. Ils ont découvert qu'en appliquant un ajustement mathématique spécifique — une loi de puissance qui met à l'échelle les nombres de confiance en fonction du modèle et de l'ensemble de données — ils pouvaient rapprocher considérablement l'incertitude prédite de la vérité. Cette correction ne changeait pas le classement ; les modèles triaient toujours correctement les pixels. Mais elle corrigeait l'échelle. Avec cet ajustement, l'erreur moyenne de la prédiction est passée d'un écart de 2,4 fois à un écart de seulement 1,35 fois. Si les chercheurs disposaient d'une petite quantité de données étiquetées provenant de l'ensemble de données spécifique utilisé, ils pouvaient affiner davantage cette correction, ramenant l'erreur à seulement 1,12 fois la prédiction.

Malgré ce succès, les chercheurs ont trouvé une limite intrinsèque à ce qu'un simple nombre peut corriger. Bien que la correction fonctionne bien en moyenne, elle ne pouvait pas prédire parfaitement l'erreur pour chaque scène individuelle. Une correction qui fonctionne pour un ensemble de données entier peut échouer pour une pièce ou une rue spécifique, car l'erreur dans une scène dépend de la forme et de la structure uniques de cette scène, et non d'un simple décalage global des nombres. Les modèles manquent d'une compréhension profonde de la géométrie spécifique de la scène qu'ils observent, et aucun changement d'échelle ne peut compenser pleinement ce manque de connaissances.

L'étude conclut que, bien que ces modèles de reconstruction 3D "feed-forward" soient des outils puissants fournissant d'excellents classements de fiabilité, leurs nombres de confiance bruts ne peuvent pas être considérés comme des mesures directes de l'erreur. Ils sont des guides fiables pour le tri, mais pas pour la mesure. Les chercheurs ont publié leur protocole d'audit ainsi que les constantes de correction spécifiques pour chaque modèle et ensemble de données testés, permettant à d'autres scientifiques et ingénieurs d'appliquer ces correctifs immédiatement. Ce travail offre une voie claire : les utilisateurs peuvent désormais prendre ces modèles puissants et pré-entraînés, appliquer une correction simple à leurs signaux de confiance, et les utiliser avec une compréhension bien plus claire de leurs limites réelles.