SHIELD reduces information leakage in data splits through joint structural optimization

Dans la course à l'utilisation de l'intelligence artificielle pour la découverte scientifique, les chercheurs tentent d'apprendre aux ordinateurs à prédire les propriétés de matériaux, de médicaments et de réactions chimiques qui n'ont encore jamais été vus. L'objectif n'est pas seulement de mémoriser ce qui a déjà été mesuré, mais d'apprendre les règles sous-jacentes afin que l'ordinateur puisse deviner correctement l'inconnu. Pour tester si un ordinateur a véritablement appris ces règles, les scientifiques divisent leurs données en deux tas : un pour l'entraînement de l'ordinateur et un pour le tester. Si le tas de test contient des éléments trop similaires au tas d'entraînement, l'ordinateur peut s'appuyer sur la reconnaissance d'un motif familier plutôt que sur la résolution du problème. C'est comme un étudiant passant un examen où les questions ne sont que de légères reformulations des devoirs faits à la maison ; il obtient un score parfait, mais il n'a pas réellement appris la matière. Pendant des décennies, la méthode standard pour diviser les données a consisté à tout mélanger de manière aléatoire, ce ce qui laisse souvent ces paires dangereuses et trop similaires de part et d'autre de la séparation, créant un faux sentiment de sécurité quant à la capacité des modèles à fonctionner dans le monde réel.

Une équipe de chercheurs de l'Université Hamad Bin Khalifa a développé une nouvelle méthode appelée SHIELD pour résoudre ce problème. Au lieu de mélanger les données de manière aléatoire ou d'utiliser une règle unique pour les séparer, SHIELD agit comme un organisateur sophistiqué qui examine les données sous trois angles différents à la fois. Il considère comment les éléments sont regroupés en familles, à quel point ils sont proches les uns des autres dans un réseau complexe de caractéristiques, et comment leurs distributions globales se comparent. Le système trouve ensuite un moyen de couper les données qui respecte toutes ces relations simultanément, garantissant que l'ensemble de test est véritablement différent de l'ensemble d'entraînement. Les chercheurs ont testé cette approche sur huit ensembles de données scientifiques différents, allant de l'étude des alliages métalliques utilisés dans l'impression 3D au comportement de minuscules molécules en chimie quantique. Ils ont constaté que SHIELD créait systématiquement des conditions de test beaucoup plus strictes et plus réalistes que les méthodes existantes, révélant que de nombreux modèles qui semblaient réussis lors de tests aléatoires échouaient face à des données réellement nouvelles.

Le cœur du problème réside dans la structure des données scientifiques. Dans des domaines comme la biologie ou la science des matériaux, les points de données sont rarement indépendants. Une nouvelle molécule de médicament peut être une légère variation d'une ancienne, ou un alliage métallique peut appartenir à une famille spécifique de matériaux partageant une histoire commune. Lorsqu'un modèle informatique est entraîné sur une version d'une molécule et testé sur une version presque identique, il n'a pas besoin de comprendre la chimie ; il lui suffit de reconnaître la similitude. C'est ce qu'on appelle la fuite d'information (information leakage), et cela conduit à des prédictions trop optimistes. Les chercheurs ont montré que les méthodes standards, qui reposent souvent sur un simple regroupement ou une sélection aléatoire, échouent fréquemment à briser ces connexions cachées. Par exemple, dans un ensemble de données impliquant la fusion sur lit de poudre laser — un processus utilisé pour construire des pièces métalliques couche par couche — la division aléatoire des données laissait les ensembles d'entraînement et de test si mélangés que l'ordinateur pouvait facilement deviner le résultat en se basant sur la machine utilisée ou le type d'alliage, plutôt que sur la physique réelle du processus.

Pour résoudre cela, le cadre SHIELD a été conçu pour gérer trois types spécifiques de relations qui causent la fuite d'information. Premièrement, il examine le confinement hiérarchique, qui maintient les groupes liés, comme une famille d'alliages ou un ensemble de variantes de protéines, ensemble dans le même tas afin qu'ils ne puissent pas fuiter dans l'autre. Deuxièmement, il examine le collecteur de caractéristiques (feature manifold), qui est une façon de cartographier la proximité entre différents points de données en fonction de leurs propriétés, garantissant que les voisins dans cette carte ne soient pas séparés. Troisièmement, il gère la distribution, en s'assurant que l'étalement global des données dans l'ensemble de test correspond soit de manière contrôlée à un scénario futur connu, soit à un décalage délibéré pour simuler un scénario totalement inconnu. L'innovation réside dans le fait que SHIELD n'applique pas ces règles les unes après les autres, ce qui pourrait annuler le travail de l'étape précédente. Au lieu de cela, il optimise les trois simultanément, trouvant un équilibre où les données sont divisées de manière à satisfaire le besoin de séparation sans briser la structure naturelle de la science.

L'équipe a validé cette méthode à travers un large éventail de disciplines scientifiques. Dans l'étude des alliages formateurs de verre, ils ont constaté que si certaines méthodes existantes pouvaient séparer les données efficacement, elles rompaient souvent l'équilibre des classes, conduisant à des résultats trompeurs. SHIELD a réussi à maintenir l'équilibre des classes tout en créant un environnement de test difficile. Dans le domaine de la chimie quantique, où l'objectif est de prédire les états énergétiques de petites molécules organiques, la nouvelle méthode a réussi à séparer les ensembles d'entraînement et de test de manière à forcer les modèles informatiques à véritablement extrapoler. Lorsque les chercheurs ont testé des modèles d'apprentissage automatique standards sur ces nouveaux découpages, les résultats ont été révélateurs. Des modèles qui avaient précédemment affiché une grande précision avec des divisions aléatoires ont vu leurs performances chuter considérablement, échouant parfois complètement. Cette chute n'était pas le signe que les modèles étaient défectueux, mais plutôt que les tests précédents avaient été trop faciles. Ces nouveaux découpages ont exposé l'incapacité des modèles à gérer des données réellement extérieures à leur expérience d'entraînement.

L'une des découvertes les plus frappantes est venue de l'ensemble de données de fabrication additive, qui comprenait 1 579 constructions de pièces métalliques issues de six alliages différents sur 45 modèles d'imprimantes différents. Lorsque les chercheurs ont utilisé SHIELD pour isoler des familles entières d'alliages de l'ensemble d'entraînement, les modèles informatiques ont énormément peiné. Un modèle de réseau neuronal, qui avait bien performé sur d'autres divisions, s'est effondré, produisant des prédictions extrêmement inexactes. Cela s'est produit parce que le modèle n'avait jamais vu ce type spécifique d'alliage auparavant et ne pouvait pas compter sur une simple reconnaissance de formes. En revanche, lorsque les chercheurs ont isolé un modèle d'imprimante spécifique, les modèles ont bien mieux performé. Cette asymétrie a fourni une analyse cruciale : la famille d'alliages représentait une barrière physique fondamentale que le modèle ne pouvait franchir, tandis que l'identité de l'imprimante était une variable moins significative. Le cadre SHIELD a été capable de distinguer ces deux types de défis, aidant les scientifiques à comprendre quels aspects de leurs données étaient réellement difficiles à prédire.

Les chercheurs ont également démontré que leur méthode pouvait gérer des ensembles de données massifs en utilisant une technique appelée grossissement (coarsening). Pour de très grandes collections de données, calculer les relations entre chaque point individuel est informatiquement impossible. SHIELD résout cela en regroupant les éléments liés en "super-nœuds" plus larges basés sur leur hiérarchie avant d'effectuer la division. Cela a réduit la taille du problème d'un facteur de plus de 1 600 dans l'un de leurs tests, tout en maintenant une qualité de division aussi stricte que s'ils avaient traité chaque point de données individuellement. Cette évolutivité signifie que la méthode peut être appliquée aux plus grands ensembles de données scientifiques sans perdre sa capacité à détecter les formes subtiles de fuite d'information. L'équipe a également introduit une nouvelle façon de mesurer la difficulté d'une division, appelée l'erreur quadratique normalisée de découverte (Discovery Normalized Squared Error). Cette métrique observe de combien l'erreur augmente lors du passage des données d'entraînement aux données de test, offrant une image plus claire de la façon dont un modèle se comportera lorsqu'il rencontrera l'inconnu.

L'étude conclut que la manière de diviser les données n'est pas seulement un détail technique, mais une partie fondamentale de la question scientifique posée. Si la division permet la fuite d'informations, le test mesure la mauvaise chose. En optimisant conjointement les relations structurelles des données, SHIELD fournit une évaluation plus honnête de la capacité d'un modèle à découvrir de nouvelles connaissances. Les chercheurs soulignent que ce n'est pas une solution miracle qui règle tous les problèmes, mais un outil qui force les scientifiques à être plus rigoureux dans ce qu'ils testent. Les résultats suggèrent que de nombreux modèles actuellement célébrés dans la littérature scientifique pourraient faire du surapprentissage (overfitting) sur les particularités de leurs données d'entraînement plutôt que d'apprendre les lois de la nature. En utilisant une méthode qui respecte la véritable structure des données scientifiques, les chercheurs peuvent construire des modèles qui sont réellement prêts pour les défis de la découverte, garantissant que lorsqu'un ordinateur prédit un nouveau matériau ou un nouveau médicament, cela repose sur une compréhension réelle plutôt que sur un coup de chance.