Dans les vastes entrepôts désorganisés d'Internet, les données reposent dans des tableaux, attendant d'être utilisées. Ces tableaux contiennent de tout, des dates de sortie de films aux noms d'universités, mais sans une étiquette indiquant à un ordinateur ce qu'une colonne représente réellement, les données ne sont qu'un amas de texte confus. Un système ne peut pas savoir qu'une liste de noms fait référence à des « Scientifiques » plutôt qu'à simplement des « Personnes », ou qu'une suite de chiffres est une « Année » et non un « Numéro de téléphone ». Ce processus consistant à attacher une signification sémantique à une colonne est appelé l'annotation du type de colonne. C'est le fondement qui permet aux ordinateurs de rechercher, de nettoyer et de combiner des données provenant de différentes sources. Pendant des années, les meilleurs outils pour cette tâche étaient des programmes informatiques spécialisés entraînés sur des ensembles de données spécifiques. Ils fonctionnaient bien dans leur environnement d'origine, mais échouaient lamentablement lorsqu'ils étaient déplacés vers un nouvel entrepôt de données, car ce nouvel endroit utilisait des étiquettes et des types d'informations différents. Réentraîner ces programmes de zéro pour chaque nouveau lac de données demandait tellement d'efforts humains et d'argent que cela était souvent impossible, laissant de vastes quantités de données verrouillées et inutilisables.

Des chercheurs de l'HKUST et d'Ant Group ont développé une nouvelle approche appelée LakeHopper qui résout ce problème en changeant la manière dont ces programmes s'adaptent à de nouveaux environnements. Au lieu d'essayer de réentraîner l'ensemble du système à partir de zéro ou de demander à une intelligence artificielle puissante de deviner les étiquettes, ils traitent la tâche comme une question de gestion des connaissances. Ils ont réalisé que lors du déplacement d'un programme d'un lac de données à un autre, certaines des anciennes connaissances sont inutiles et doivent être jetées, d'autres sont encore utiles mais doivent être ajustées, et de nouvelles connaissances doivent être apprises. Leur méthode sépare soigneusement ces trois types de connaissances. Elle conserve les parties du programme qui fonctionnent bien, met à jour les parties qui nécessitent un ajustement et utilise un grand modèle de langage non pas pour prendre la décision finale, mais pour agir comme un vérificateur strict. Ce vérificateur contrôle les suppositions du programme et signale uniquement les colonnes où le programme est incertain ou susceptible de se tromper, garantissant que le système ne demande de l'aide humaine que pour les éléments spécifiques qui en ont réellement besoin.

Le résultat est un système capable de prendre un programme entraîné sur un ensemble de données et de le faire fonctionner sur un ensemble complètement différent avec une fraction infime de l'effort habituel. Dans leurs tests, les chercheurs ont déplacé des programmes entre trois lacs de données différents, incluant l'un contenant des données commerciales publiques et un autre avec des tableaux scientifiques. Ils ont constaté que LakeHopper pouvait atteindre une qualité presque identique à celle obtenue si le programme avait été entraîné sur l'ensemble du nouveau jeu de données, mais il l'a fait en utilisant moins de six pour cent des étiquettes humaines requises. Il s'agit d'une réduction massive des coûts et du temps. De plus, comme le système s'appuie sur un programme spécialisé pour établir l'étiquette finale plutôt que sur une intelligence artificielle générale, il ne produit jamais une étiquette qui sort de la liste autorisée des types. Les modèles d'intelligence artificielle générale ont souvent tendance à halluciner, ou à inventer, des étiquettes qui n'existent pas dans le système cible, rendant leur production inutilisable pour les pipelines automatisés. LakeHopper évite cela entièrement, garantissant structurellement que chaque résultat respecte le format requis.

Les chercheurs ont démontré que cette méthode fonctionne à travers différents niveaux de difficulté. Dans certains cas, le nouveau lac de données ajoutait simplement de nouveaux types d'étiquettes à la liste existante, ce qui est une extension directe. Dans d'autres cas, le nouveau lac exigeait que le système oublie les anciennes étiquettes apprises et en apprenne de toutes à fait nouvelles, un défi beaucoup plus difficile. Même dans ces scénarios difficiles, LakeHopper a amélioré les performances des programmes sous-jacents jusqu'à soixante-onze pour cent par rapport aux méthodes standards. Le système est également remarquablement rapide, s'adaptant à de nouvelles données vingt-sept à cent trente et un fois plus vite que les autres méthodes qui tentent d'affiner les grands modèles de langage. Cette vitesse provient du fait que le système n'a pas besoin de tout réapprendre ; il doit seulement apprendre les écarts spécifiques entre ce qu'il sait et ce qu'il doit savoir.

Une idée clé de ce travail est le rôle spécifique assigné au grand modèle de langage. Les tentatives précédentes consistaient souvent à demander à ces modèles d'agir comme l'annotateur principal, en devinant directement le type d'une colonne. Les chercheurs ont découvert que, bien que ces modèles possèdent de vastes connaissances générales, ils sont peu performants pour les règles spécifiques et rigides requises pour l'étiquetage des données et inventent fréquemment des étiquettes qui ne correspondent pas au schéma du système. LakeHopper inverse cette dynamique. Le grand modèle de langage est utilisé uniquement pour vérifier les suppositions faites par le programme spécialisé. Il répond à une question simple par oui ou par non : « Cette étiquette est-elle correcte ? ». Cette tâche est bien plus facile pour le modèle que de choisir l'étiquette correcte parmi des centaines d'options. En limitant le modèle à la vérification, le système bénéficie de la connaissance étendue du modèle pour détecter les erreurs sans risquer l'introduction d'étiquettes invalides.

Le processus implique un cycle de vérification et d'apprentissage. Le système ajuste d'abord sa structure interne pour correspondre à la nouvelle liste d'étiquettes possibles, en transplantant les connaissances qu'il partage déjà avec le nouvel environnement et en réinitialisant les parties qu'il ne connaît pas. Il parcourt ensuite les nouvelles données, cherchant les colonnes pour lesquelles il éprouve une incertitude. Pour ces colonnes incertaines, il demande au vérificateur de contrôler son travail. Si le vérificateur indique que l'étiquette est fausse ou qu'il ne connaît pas la réponse, le système marque cette colonne comme étant difficile. Il trouve ensuite d'autres colonnes similaires à celles qui sont difficiles et demande des étiquettes humaines pour l'ensemble de ce groupe. Cela permet au système d'apprendre à partir d'un échantillon petit mais hautement informatif plutôt que d'un échantillon aléatoire. À mesure qu'il apprend, il s'exerce sur les nouvelles données tout en se souvenant des anciennes données qu'il doit encore utiliser, garantissant qu'il n'oublie pas ce qu'il sait déjà.

Cette approche s'attaque à un goulot d'étranglement fondamental de la gestion des données : le coût de l'étiquetage. Dans de nombreux scénarios réels, les experts sont trop occupés ou trop coûteux pour étiqueter chaque colonne d'un nouveau lac de données. LakeHopper démontre qu'il est possible d'obtenir des résultats de haute qualité en étant intelligent sur l'endroit où consacrer cet effort humain limité. Le système est assez robuste pour fonctionner même si le vérificateur est un modèle plus petit, exécuté localement, ce qui signifie qu'il ne dépend pas de services externes coûteux. Cela rend la technologie accessible aux organisations qui doivent gérer leurs propres données sensibles sans les envoyer à des tiers.

L'étude confirme que la méthode fonctionne de manière cohérente à travers différents types de données et différents programmes sous-jacents. Que les données proviennent de tableaux de bord publics, de tables scientifiques ou de dépôts de code, le système s'adapte efficacement. Il gère la transition entre de simples extensions de données existantes et des changements complexes où la nature même des données change. Les chercheurs ont noté que, bien que le système soit hautement efficace, il n'est pas une solution miracle qui élimine totalement le besoin de supervision humaine. Dans les scénarios les plus difficiles, la précision reste inférieure à ce qui pourrait être obtenu avec un étiquetage humain illimité, mais elle rapproche le système de l'utilité pour de nombreuses applications pratiques. Ce travail représente un passage de la tentative de construire un modèle unique et parfait pour toutes les données à la création d'un processus flexible capable de transférer les connaissances d'un contexte à un autre de manière efficace.

En traitant l'adaptation des outils de données comme un problème de gestion des connaissances, les chercheurs ont tracé une voie claire pour l'intégration des données. Ils ont montré que l'écart entre ce qu'un ordinateur sait et ce qu'il doit savoir peut être comblé en identifiant soigneusement les différences et en les remplissant par un apprentissage ciblé. Cette approche respecte les limites de l'intelligence artificielle actuelle, en l'utilisant là où elle est forte et en l'évitant là où elle est faible. Le résultat est une méthode pratique, efficace et fiable pour débloquer la valeur des lacs de données qui étaient auparavant trop coûteux à exploiter. À mesure que le volume et la variété des données continuent de croître, des méthodes comme LakeHopper seront essentielles pour transformer l'information brute en connaissance exploitable sans exiger une quantité impossible de travail humain.