No Value Is Better Than a Wrong Value: Finding and Handling Erroneous Data in Literature-Mined Datasets for AI
Cet article aborde le défi critique des données erronées dans les ensembles de données d'IA extraites de la littérature en proposant une taxonomie des erreurs d'extraction et un cadre de vérification multicouche combinant les lois physiques, le consensus statistique et les contrôles de provenance afin d'améliorer significativement la précision des modèles et de prévenir les fausses découvertes en science des matériaux et dans les domaines connexes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Pour découvrir de nouveaux matériaux pour des ordinateurs plus rapides, des batteries plus durables ou des médicaments plus efficaces, les scientifiques se tournent de plus en plus vers l'intelligence artificielle. Ces assistants numériques apprennent en étudiant de vastes collections de données, espérant trouver des modèles qui révèlent quelles combinaisons chimiques fonctionneront le mieux. Pour de nombreuses propriétés, telles que l'énergie qu'une batterie peut contenir ou la façon dont un cristal dévie la lumière, le seul endroit où ces chiffres existent est dispersé à travers des milliers de publications scientifiques. Les chercheurs ont conçu des outils pour lire ces articles automatiquement, extrayant des nombres et les transformant en bases de données compréhensibles par les machines. Cependant, le processus consistant à lire une page imprimée et à la transformer en une liste propre de nombres est loin d'être parfait. Un point décimal peut disparaître, une unité de mesure peut être confondue avec une autre, ou une valeur peut être attachée au mauvais matériau. Si un ordinateur apprend de ces erreurs, il ne fera pas seulement de petites erreurs ; il orientera avec assurance les chercheurs vers de mauvaises découvertes, sélectionnant souvent les nombres les plus extrêmes et incorrects comme étant les meilleurs candidats.
Une équipe de chercheurs du laboratoire Dibakar Datta s'est donné pour mission de résoudre ce problème en traitant les erreurs de données non pas comme un bug rare, mais comme une partie attendue du processus. Ils se sont concentrés sur les matériaux électro-optiques, qui sont des cristaux qui modifient la façon dont ils dévient la lumière lorsqu'une tension électrique est appliquée. Ces matériaux sont cruciaux pour les réseaux de fibres optiques qui transportent les données à travers le monde et pour les futurs ordinateurs quantiques. L'équipe a construit un système pour extraire les valeurs de ces matériaux de la littérature scientifique, mais elle l'a conçu avec une philosophie spécifique : aucune valeur ne vaut mieux qu'une mauvaise valeur. Au lieu d'essayer d'extraire chaque nombre parfaitement, ce qu'ils ont jugé impossible, ils ont construit un filet de sécurité à plusieurs couches pour attraper les erreurs avant qu'elles ne puissent empoisonner les modèles d'intelligence artificielle.
Les chercheurs ont identifié que les erreurs entrent dans la base de données à plusieurs étapes distinctes. Parfois, l'erreur se trouve dans l'article original, où une valeur est mal imprimée ou copiée incorrectement d'une étude plus ancienne. D'autres fois, l'erreur se produit lorsqu'un programme informatique tente de lire un document numérisé, confondant un zéro avec la lettre O ou perdant un signe négatif. Même lorsque le texte est lu correctement, l'ordinateur peut attacher un nombre au mauvais libellé, confondant la mesure d'un matériau avec celle d'un autre, ou il peut omettre les conditions spécifiques dans lesquelles la mesure a été prise, comme la température ou la pression. Pour gérer cela, l'équipe a créé un processus de filtrage en cinq étapes. La première étape vérifie si les données semblent correctes en surface, en s'assurant que les unités sont correctes et que le nombre apparaît réellement dans le texte source. La deuxième étape applique les lois de la physique, vérifiant si une valeur est physiquement possible, par exemple en s'assurant que les règles de symétrie d'un cristal ne sont pas violées ou qu'une capacité de batterie ne dépasse pas sa limite théorique.
La troisième étape recherche un accord entre différentes études. Si dix articles rapportent une valeur pour le même matériau, les nombres corrects devraient se regrouper, tandis que les erreurs aléatoires se démarqueront comme des valeurs aberrantes. La quatrième étape utilise un modèle d'intelligence artificielle entraîné sur le reste des données pour repérer les valeurs qui semblent étranges par rapport à des matériaux similaires. La dernière étape est une revue ciblée par un expert humain, qui n'examine que les valeurs que les étapes précédentes ont signalées comme suspectes. Cette approche permet à l'équipe de gérer les erreurs efficacement sans avoir besoin qu'un humain vérifie chaque nombre. Lors de leur dernière exécution, ce système a stoppé 402 des 816 valeurs candidates, enregistrant une raison spécifique pour laquelle chacune était rejetée ou retenue pour examen.
Malgré ces filtres stricts, les chercheurs ont constaté que des erreurs s'infiltraient encore. Lorsqu'ils ont comparé les valeurs acceptées par leur système à un ensemble de référence soigneusement préparé, ils ont découvert qu'environ 27 % des valeurs acceptées étaient encore défectueuses. Des vérifications simples ne nécessitant pas de base de données de référence, comme la vérification du respect des règles de symétrie d'un cristal, ont permis de capturer 70 % de ces erreurs restantes. Dans un test contrôlé où ils connaissaient exactement quels nombres étaient faux, leur système multicouche a trouvé 81 % des erreurs avec une grande précision. Crucialement, ils ont montré que sans ce processus de nettoyage, les modèles d'intelligence artificielle auraient été complètement égarés. Dans leurs données non nettoyées, 89 % des vingt plus grandes valeurs étaient des erreurs. Puisque les modèles d'IA conçus pour trouver les meilleurs matériaux cherchent naturellement les plus grandes valeurs, une base de données non nettoyée mènerait les chercheurs vers les pires candidats, confondant une erreur massive avec une découverte majeure.
L'étude a également révélé un second problème, plus subtil. Même après le retrait des mauvais chiffres, les chercheurs ont constaté que de nombreux enregistrements manquaient encore du contexte nécessaire pour être utiles. Par exemple, deux enregistrements pourraient lister le même matériau et la même valeur, mais l'un a été mesuré sous haute pression et l'autre à température ambiante, et le système ne pouvait pas les distinguer car l'information sur la pression manquait du texte. Ce manque de contexte, que les chercheurs ont mesuré comme une fraction d'enregistrements indistincts, est devenu la limite principale de la capacité d'apprentissage de l'IA. L'équipe a conclu que l'avenir de la science pilotée par les données ne dépend pas seulement de la recherche de plus de chiffres, mais de la construction de bases de données qui suivent leur propre qualité, rapportent leurs propres erreurs et stockent les conditions spécifiques sous lesquelles chaque mesure a été prise. En admettant que les erreurs sont inévitables et en construisant des systèmes pour les attraper, les scientifiques peuvent s'assurer que l'intelligence artificielle sur laquelle ils comptent apprend de la réalité, et non d'une collection d'erreurs.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.