Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

Dans le monde de l'imagerie microscopique, les scientifiques sont souvent confrontés à un problème de rareté. Ils doivent apprendre aux ordinateurs à reconnaître de minuscules défauts sur des surfaces métalliques ou des atomes individuels sur un cristal, mais ils ne disposent tout simplement pas d'assez d'images pour le faire. Un seul balayage peut prendre des heures, et un chercheur peut ne parvenir à capturer qu'une douzaine d'images de haute qualité d'un défaut spécifique. Pour surmonter cette pénurie, les chercheurs utilisent une astuce classique appelée l'augmentation de données. Ils prennent ces quelques images originales et les modifient mathématiquement — en les faisant pivoter, en les retournant, en changeant leur luminosité ou en les floutant légèrement — pour créer des centaines, voire des milliers de nouveaux exemples d'entraînement. C'est comme prendre une seule photographie d'un arbre et créer toute une forêt de versions légèrement différentes de ce même arbre pour apprendre à un élève ce qu'est un arbre.

Le but de cet entraînement est de construire un modèle capable de regarder une nouvelle image, jamais vue auparavant, et d'identifier correctement un défaut. Pour prouver que le modèle fonctionne, les scientifiques divisent leurs données en deux tas : un pour l'enseignement et un pour les tests. Le modèle apprend à partir du premier tas, puis est noté sur le second. Si le modèle obtient un score élevé, on suppose qu'il est intelligent et prêt pour une utilisation dans le monde réel. Cependant, une question cruciale demeure : le modèle comprend-il réellement le concept de défaut, ou a-t-il simplement mémorisé les images spécifiques qui lui ont été présentées ? Cette distinction est la différence entre le véritable apprentissage et la simple reconnaissance.

Une étude récente de Shaoxuan Zhang, de l'Institut de technologie de Harbin, examine une faille cachée dans la manière dont ce processus est souvent réalisé. Le chercheur a découvert que lorsque les scientifiques créent leurs milliers d'images d'entraînement à partir de seulement quelques originaux, ils commettent fréquemment une erreur dans la manière de séparer le tas d'enseignement du tas de test. Au lieu de garder les images sources originales séparées, ils mélangent toutes les versions modifiées et les distribuent de manière aléatoire. Cela signifie qu'une image utilisée pour le test peut être une copie légèrement pivotée ou éclaircie d'une image que le modèle a déjà vue pendant l'entraînement. Le modèle n'est pas testé sur sa capacité à généraliser à de nouvelles situations, mais sur sa capacité à reconnaître un quasi-doublon de quelque chose qu'il a déjà vu. L'étude mesure précisément à quel point cette erreur gonfle les taux de réussite rapportés et propose un moyen simple de corriger les normes de compte rendu.

Pour mesurer l'ampleur de ce problème, le chercheur a mis en place une expérience contrôlée utilisant deux types différents de données microscopiques. Un ensemble de données contenait des images de défauts sur des surfaces d'acier, et l'autre contenait des images de défauts ponctuels sur des cristaux capturées par un microscope à effet tunnel à balayage. Dans les deux cas, le chercheur est parti d'un petit nombre d'images originales, appelées acquisitions. Pour chaque image originale, il a généré quatre-vingts variations différentes en utilisant des astuces informatiques standard. Il a ensuite créé deux méthodes différentes pour diviser cet ensemble d'images. La première méthode, courante dans de nombreux articles actuels, consistait à prendre toutes les variations de toutes les images originales, à les mélanger dans un grand seau, puis à en choisir certaines au hasard pour l'entraînement et d'autres pour le test. La seconde méthode était plus stricte : elle gardait les images originales séparées. Elle réservait une image originale entière pour le test et n'utilisait que les variations des images originales restantes pour l'entraînement. Cela garantissait que le modèle n'avait jamais rien vu de l'image de test auparavant.

Les résultats ont montré un écart massif entre les deux méthodes. Lorsque le modèle était entraîné et testé en utilisant la méthode du mélange aléatoire, il atteignait des scores presque parfaits. Sur l'ensemble de données des surfaces d'acier, le modèle a atteint un score de 1,000, ce qui signifie qu'il a trouvé chaque défaut qu'il était censé trouver. Cependant, lorsque ce même modèle était testé avec la méthode plus stricte qui gardait les sources originales séparées, le score chutait de manière spectaculaire. Aux budgets de données les plus faibles, où il n'y avait que deux images originales par type de défaut, la méthode aléatoire surestimait la performance du modèle de plus d'un demi-point sur une échelle où 1,0 est parfait. Même lorsque le nombre d'images originales était porté à dix, la méthode aléatoire surestimait encore la performance de manière significative. Le modèle ne peinait pas à apprendre ; il réussissait trop bien à reconnaître des copies de ce qu'il avait déjà étudié.

L'étude a également révélé que cette inflation n'était pas uniforme selon les types de défauts. Certains défauts étaient faciles à reconnaître grâce à leur texture, et le modèle perforait bien quel que soit le mode de test. Cependant, pour les défauts qui dépendaient de l'aspect spécifique du balayage original, la méthode aléatoire faisait passer le modèle pour un génie, tandis que la méthode stricte montrait qu'il était en difficulté. Cela suggère qu'un score élevé dans ces études ne signifie pas forcément que le modèle a appris à trouver des défauts en général, mais plutôt qu'il a appris à reconnaître les artefacts spécifiques des quelques images sur lesquelles il a été entraîné. L'écart entre les deux méthodes s'est légèrement réduit à mesure que le nombre d'images originales augmentait, mais il ne disparaissait pas. Même avec dix images originales, la méthode aléatoire donnait un score trente points supérieur à la méthode stricte, indiquant que le problème persiste même avec plus de données.

Le chercheur a également développé un outil simple pour détecter ce problème sans avoir besoin d'entraîner un modèle. En comparant les images de l'ensemble de test aux images de l'ensemble d'entraînement, l'outil peut calculer combien d'images de test ont un « frère » dans l'ensemble d'entraînement. Un frère est simplement une variation de la même image originale. Si un grand nombre d'images de test ont des frères dans l'ensemble d'entraînement, c'est le signe clair qu'une évaluation est défectueuse. Cette vérification ne prend que quelques secondes et ne nécessite aucun matériel spécial. L'étude a révélé que dans les divisions aléatoires erronées, presque chaque image de test avait un frère dans l'ensemble d'entraînement, alors que dans les divisions strictes, aucun n'en avait.

Sur la base de ces conclusions, l'article propose une nouvelle norme pour la manière dont les chercheurs doivent rapporter leurs travaux. Au lieu de simplement indiquer le nombre d'images utilisées, les auteurs devraient rapporter le nombre d'acquisitions originales et indépendantes à partir desquelles ils sont partis. Ils doivent clairement préciser si les images ont été divisées avant ou après avoir été modifiées et étendues. Ils doivent spécifier l'unité de la division, par exemple s'ils ont séparé les données par image individuelle ou par source originale. Enfin, ils doivent inclure une vérification simple pour montrer combien d'images de test ont des frères dans l'ensemble d'entraînement. Ces quatre informations sont faciles à fournir et rendraient visibles les limites des études à faibles volumes de données.

L'étude conclut que dans le domaine de l'imagerie à faibles quantités de données, où les chercheurs ne disposent souvent que de quelques balayages originaux, la manière actuelle d'évaluer les modèles est trompeuse. Les scores élevés rapportés dans de nombreux articles décrivent la capacité du modèle à reconnaître des copies des données d'entraînement plutôt que sa capacité à trouver des défauts dans des situations nouvelles et inédites. À mesure que ces systèmes informatiques passent de l'analyse hors ligne au contrôle d'expériences réelles, se fier à ces scores gonflés pourrait conduire à de mauvaises décisions. La solution n'est pas nécessairement un nouvel algorithme ou des ordinateurs plus puissants, mais un changement dans la gestion et le compte rendu des données. En gardant les sources originales séparées et en étant transparent sur le processus, la communauté scientifique peut garantir que les modèles qu'elle construit sont réellement prêts pour le monde réel.