La science des données est souvent imaginée comme un domaine d'algorithmes complexes et de modèles prédictifs, mais avant qu'un seul modèle ne puisse être entraîné, un travail massif doit être accompli pour préparer la matière première. Cette phase préparatoire, appelée curation de données, consiste à collecter des informations désordonnées issues du monde réel, à corriger les erreurs et à les organiser dans un format compréhensible par les ordinateurs. C'est un processus fastidieux et chronophage où une seule erreur — comme supprimer la mauvaise ligne de chiffres ou mal interpréter une date — peut ruiner une étude entière. Pendant des années, les scientifiques se sont appuyés sur l'effort manuel ou des scripts rigides pour gérer ce travail, en veillant à ce que chaque modification soit enregistrée afin que d'autres puissent répéter le processus exactement de la même manière. Cependant, l'essor de l'intelligence artificielle a introduit un nouveau raccourci tentant : demander à un programme informatique de faire le nettoyage pour vous. Bien que ces agents d'IA puissent écrire du code et accomplir des tâches à une vitesse incroyable, ils opèrent avec un manque de transparence dangereux. Si une IA supprime un fichier ou modifie un ensemble de données sans laisser de trace claire, les résultats deviennent impossibles à vérifier ou à reproduire, transformant la découverte scientifique en une boîte noire où le chemin allant des données brutes à la conclusion finale est perdu.

Pour résoudre ce problème, des chercheurs du MIT ont développé un nouveau cadre appelé Scrub Data, conçu pour permettre aux scientifiques d'utiliser de puissants agents d'IA pour le nettoyage des données sans sacrifier la capacité de vérifier leur travail. Le système agit comme un superviseur strict pour l'IA, garantissant que chaque modification apportée à un ensemble de données est enregistrée comme une étape autonome et exécutable dans un journal d'historique permanent. Au lieu de laisser l'IA errer librement à travers les fichiers et effectuer des modifications impossibles à tracer, le cadre force l'agent à proposer un script spécifique, à l'exécuter via un système contrôlé, puis à consigner le résultat. Cela crée une chaîne d'événements claire et ininterrompue, semblable à un enregistreur de vol sur un avion, où chaque action est documentée du moment où les données brutes sont collectées jusqu'à l'ensemble de données final et poli. Le système comprend également une interface visuelle qui permet aux chercheurs humains de voir les données en temps réel, de construire des outils personnalisés pour détecter les erreurs et de vérifier que les changements de l'IA sont cohérents avant qu'ils ne soient sauvegardés de façon permanente.

Les chercheurs ont testé cette approche en s'attaquant à un projet massif et difficile en écologie du mouvement des animaux : la création d'un ensemble de référence standardisé appelé MOVEBENCH. Ils ont commencé avec une collection chaotique de 89 millions de coordonnées GPS brutes provenant d'études de suivi de la faune sauvage, recueillies auprès de centaines de sources différentes avec des formats et des qualités variables. L'objectif était de nettoyer ces données pour obtenir un ensemble utilisable de 2,6 millions de points provenant de 807 animaux individuels de 110 espèces, adapté à l'entraînement de modèles d'apprentissage automatique pour prédire le mouvement des animaux. En utilisant le cadre Scrub Data, une équipe de deux chercheurs a travaillé avec un agent d'IA pour naviguer dans cette montagne d'informations. L'agent les a aidés à écrire des scripts pour filtrer les horodatages erronés, réduire la fréquence des données enregistrées trop souvent et sélectionner des animaux représentatifs de différentes études. Crucialement, chaque décision prise par l'agent a été capturée dans un graphe d'historique de versions. Si l'équipe voulait savoir comment la position d'un animal spécifique avait été calculée, ou pourquoi une certaine étude avait été exclue, elle pouvait retracer le code et la logique exacts utilisés pour prendre cette décision.

Tout au long du processus, les chercheurs humains sont restés aux commandes, utilisant le cadre pour construire des outils de visualisation personnalisés qui leur permettaient de voir les trajectives animales sur une carte et de vérifier les anomalies. Lorsqu'une IA suggérait un changement, comme la suppression de lignes avec des dates invalides, le système exécutait le code, affichait les résultats et demandait une confirmation avant de sauvegarder la nouvelle version. Cette boucle a permis à l'équipe de progresser rapidement, en tirant parti de la vitesse de l'IA pour gérer les tâches répétitives tout en maintenant les normes rigoureuses requises pour la recherche scientifique. Le résultat final fut un ensemble de données propre et reproductible, créé en seulement trois jours, une tâche qui aurait pris des semaines ou des mois avec les méthodes manuelles traditionnelles. Tout l'historique du processus de curation, des fichiers bruts initiaux au benchmark final, a été préservé sous la forme d'un ensemble d'étapes exécutables, garantissant que tout autre scientifique puisse rejouer le processus et arriver exactement au même résultat.

Le succès de ce projet souligne un changement dans la manière dont les outils scientifiques sont construits. Plutôt que de traiter l'IA comme un remplacement du jugement humain, le cadre Scrub Data la traite comme un assistant puissant qui doit opérer au sein d'une structure transparente et auditable. En séparant la capacité de l'IA à écrire du code de la modification directe des fichiers de données, le système empêche l'approche de la « curation par l'intuition » (vibe curation), où les utilisateurs font aveuglément confiance aux résultats de l'IA sans vérification. Au lieu de cela, il impose un flux de travail où chaque modification est une étape délibérée et enregistrée. Cette approche n'élimine pas le besoin d'expertise humaine ; elle s'appuie au contraire dessus. Les chercheurs devaient toujours décider quels animaux conserver, comment gérer les données manquantes et à quoi devrait ressembler l'ensemble de données final. Le cadre garantit simplement que la contribution de l'IA est fiable et que le chemin allant de l'observation brute à l'intuition scientifique reste clair et ouvert à l'inspection.

Ce travail suggère que l'avenir de la science des données ne réside peut-être pas dans le choix entre la précision humaine et la vitesse de la machine, mais plutôt dans la recherche d'une manière d'intégrer les deux en toute sécurité. Le cadre Scrub Data offre un moyen pratique d'exploiter l'efficacité des agents d'IA tout en préservant l'intégrité de la méthode scientifique. Il prouve qu'il est possible d'automatiser les parties fastidieuses du nettoyage des données sans perdre la capacité de tracer, de vérifier et de reproduire les résultats. Alors que le volume de données dans des domaines tels que l'écologie, la médecine et les sciences du climat continue de croître, des outils comme celui-ci seront essentiels pour gérer la complexité de la recherche moderne. Le cadre est désormais disponible pour que d'autres scientifiques puissent l'utiliser et l'adapter, offrant une base pour construire leurs propres flux de travail de curation de données personnalisés. En rendant le processus de nettoyage des données transparent et reproductible, les chercheurs espèrent permettre une nouvelle génération de découvertes scientifiques qui soit à la fois plus rapide et plus fiable.