Foreground Sampling and Spatial Support in Pavement Crack Segmentation

Les routes sont constamment attaquées. Le soleil, la pluie et le trafic intense transforment lentement l'asphalte lisse en un paysage fracturé de fissures. Pour les ingénieurs, repérer ces fissures est la première étape pour décider si une route nécessite un simple colmatage ou une reconstruction complète. Pendant des décennies, cette inspection a été réalisée par des humains conduisant lentement le long de la chaussée, plissant les yeux pour regarder le sol, un processus lent, subjectif et difficile à étendre à l'échelle de villes entières. Pour remédier à cela, les chercheurs se sont tournés vers l'informatique, apprenant aux ordinateurs à regarder des photos de routes et à tracer automatiquement des lignes autour de chaque fissure qu'ils voient. Cette tâche, appelée segmentation, exige que l'ordinateur distingue les lignes fines et sombres d'une fissure de la surface plus claire et texturée de la route.

Le défi pour ces programmes informatiques est que les fissures sont rares. Dans une photo typique d'une route, la grande majorité des pixels montre un pavage intact, tandis qu'une infime fraction montre une fissure. Pour aider l'ordinateur à apprendre, les chercheurs utilisent souvent une astuce appelée échantillonnage du premier plan (foreground sampling). Au lieu de montrer à l'ordinateur des morceaux aléatoires de la route, ils forcent le programme à regarder principalement les parties de l'image qui contiennent des fissures. Cela semble être une décision logique : si l'ordinateur voit plus de fissures, il devrait devenir meilleur pour les trouver. Cependant, cette stratégie simple a un coût caché que les chercheurs ont largement ignoré. En découpant uniquement les parties de l'image contenant des fissures, l'ordinateur ne voit jamais le reste de la route. Il manque les ombres, les marquages au sol, les plaques d'égout et la texture du pavage loin de tout dommage. Ces détails de « l'arrière-plan » ne sont pas seulement des espaces vides ; ils constituent un contexte crucial qui aide l'ordinateur à comprendre ce qu'une fissure n'est pas.

Une équipe de chercheurs de l'Université d'État du Montana a décidé d'étudier précisément ce qui se passe lorsque cette astuce d'échantillonnage est utilisée. Ils voulaient savoir si le problème était simplement que l'ordinateur voyait trop de fissures, ou si le véritable problème était que l'ordinateur était rendu aveugle au reste du monde. Pour le découvrir, ils ont mis en place une expérience contrôlée utilisant une vaste collection d'images de routes appelée Crack500. Ils ont construit un modèle de vision par ordinateur standard, un type d'intelligence artificielle conçu pour reconnaître des motifs, et ont gardé chaque partie de son entraînement identique, sauf une chose : la manière dont ils sélectionnaient les morceaux d'image à lui montrer.

Les chercheurs ont commencé par établir une référence. Ils ont laissé l'ordinateur apprendre à partir de morceaux aléatoires de la route, tout comme un humain pourrait jeter un regard sur une route depuis une fenêtre de voiture, voyant à la fois des fissures et un pavage intact dans un mélange naturel. Cette approche a produit les meilleurs résultats. Lorsqu'ils ont essayé d'être plus agressifs et de ne montrer à l'ordinateur que des morceaux de route contenant des fissures, les performances du modèle ont chuté de manière significative. Il est devenu moins efficace pour trouver les fissures, et non meilleur. C'était surprenant car l'ordinateur voyait davantage la cible qu'il était censé trouver. Les chercheurs ont réalisé qu'en forçant l'ordinateur à ne regarder que les fissures, ils avaient accidentellement supprimé une immense partie de la route de sa vue. En fait, lorsqu'ils ont calculé la géométrie des images, ils ont découvert que cet échantillonnage agressif rendait presque la moitié de la surface de la route totalement inaccessible. L'ordinateur s'entraînait de fait dans un monde où de larges sections du pavage n'existaient tout simplement pas.

Pour prouver que la surface de la route manquante était la coupable, et non pas seulement le fait que l'ordinateur voyait trop de fissures, les chercheurs ont conçu un test ingénieux. Ils ont créé une nouvelle méthode d'entraînement qui montrait à l'ordinateur le même nombre de fissures que la méthode aléatoire naturelle, mais ils l'ont toujours forcé à ignorer les parties de la route qui étaient éloignées de toute fissure. Cette configuration maintenait le « compte de fissures » identique, mais supprimait le « contexte de la route ». Le résultat fut une répétition de la faible performance. L'ordinateur éprouvait autant de difficultés que lorsqu'on ne lui montrait que des fissures. Cela a prouvé que le problème n'était pas la quantité de fissures, mais la perte de l'environnement environnant.

Les chercheurs ont ensuite effectué un dernier test décisif pour séparer deux causes possibles : la perte de contexte par rapport à la réduction pure et simple du nombre de différents morceaux d'images que l'ordinateur pouvait voir. Ils ont pris l'ensemble d'entraînement restreint et, au lieu de limiter l'ordinateur à un petit voisinage de la route, ils ont dispersé les morceaux d'images disponibles sur toute la surface de la route. Ils ont gardé le nombre de morceaux exactement le même que dans le test restreint, mais ils ont permis à l'ordinateur de voir à nouveau presque toute la route. Lorsqu'ils ont fait cela, les performances de l'ordinateur sont remontées au niveau de l'entraînement naturel et aléatoire. Ils ont constaté que le fait d'avoir accès à l'aménagement spatial complet de la route, même avec moins d'exemples au total, était bien plus important que d'avoir un grand nombre d'exemples provenant de seulement quelques endroits.

L'étude a également révélé que ce problème dépend de la manière dont l'ordinateur traite l'information. Les chercheurs ont testé leurs conclusions en utilisant deux méthodes de traitement interne différentes, l'une courante et l'autre moins courante. Le problème de la perte de contexte était sévère avec la méthode courante, mais il se comportait différemment avec l'autre, suggérant que la façon dont un ordinateur gère les données peut changer son degré de dépendance vis-à-vis de la vision de l'ensemble de l'image. Cela signifie qu'il n'existe pas de règle unique applicable à chaque système de vision par ordinateur ; l'impact de la suppression de parties d'une image dépend des outils spécifiques utilisés.

La leçon ultime de ce travail est que, dans le monde de l'intelligence artificielle, ce que vous laissez de côté est tout aussi important que ce que vous mettez dedans. Lorsque les chercheurs tentent de résoudre le problème de la rareté des fissures en montrant uniquement les fissures à l'ordinateur, ils lui enseignent par inadvertance une version déformée de la réalité. L'ordinateur a besoin de voir les fissures, mais il a aussi besoin de voir la route autour d'elles pour comprendre la différence entre une fissure et une ombre ou une tache. Les chercheurs ont conclu que les études futures doivent rapporter non seulement combien de fissures l'ordinateur voit, mais aussi quelle proportion de la route il est autorisé à voir. Ils ont soutenu que les stratégies d'échantillonnage devraient être traitées comme une règle pour sélectionner quelles parties du monde l'ordinateur est autorisé à explorer, plutôt que comme un simple moyen d'équilibrer les chiffres. En mesurant et en rapportant la « joignabilité » (reachability) des données d'entraînement, les scientifiques peuvent s'assurer que leurs modèles apprennent à partir d'une image complète de la route, et non d'une image fragmentée.