"Will This Data Break My Task?" - Interactive Synthesis of Task-Aware Data Unit Tests

Imaginez que vous êtes un chef dirigeant un restaurant très fréquenté. Chaque matin, un énorme camion de livraison (la donnée) arrive, rempli d'ingrédients frais. Avant de pouvoir cuisiner le moindre plat, vous devez savoir : Cette nourriture est-elle saine ? Le lait est-il tourné ? Y a-t-il assez d'œufs pour les omelettes ? Si vous sautez cette vérification et servez de la nourriture avariée, vos clients tomberont malades et votre restaurant fermera ses portes. Dans le monde numérique, les entreprises sont confrontées au même problème. Elles ont d'énormes pipelines de données qui circulent dans leurs applications et modèles d'IA. Si de mauvaises données se glissent à travers — comme une adresse e-mail de client manquante ou un prix négatif — cela peut faire planter des applications mobiles, supprimer des dossiers médicaux ou faire agir bizarrement des modèles d'IA. Pour empêcher cela, les ingénieurs utilisent des « tests unitaires de données ». Considérez-les comme des inspecteurs de qualité automatisés qui vérifient les ingrédients avant qu'ils ne soient utilisés. Mais voici le hic : les inspecteurs traditionnels sont comme des chefs les yeux bandés. Ils vérifient les ingrédients selon des règles générales (ex : « tout le lait doit être froid ») sans savoir ce que le chef essaie réellement de cuisiner. Ils pourraient rejeter un lait parfaitement bon simplement parce qu'il n'est pas assez froid pour une soupe chaude, ou ils pourraient manquer un ingrédient crucial parce qu'ils ne le cherchaient pas.

C'est ici qu'intervient le papier « Will This Data Break My Task? ». Les auteurs, Hao Chen, Arnab Phani et Sebastian Schelter, présentent un nouveau système appelé PrismaDV. Au lieu d'un inspecteur aux yeux bandés, PrismaDV est comme un sous-chef super intelligent qui lit la recette avant l'arrivée des ingrédients. Il examine le code de la tâche en aval (la recette) et les données (les ingrédients) ensemble. En comprenant exactement ce dont la recette a besoin, il peut écrire des tests personnalisés et « conscients de la tâche ». Par exemple, si une recette n'a besoin que de commandes « VALIDÉES », le système sait qu'il doit ignorer les commandes « ANNULÉES » et se concentrer sur les colonnes spécifiques qui comptent. Le papier démontre qu'en utilisant un système d'IA composé (une équipe d'outils d'IA travaillant ensemble) pour analyser à la fois les données et le code, PrismaDV peut générer ces tests personnalisés automatiquement. Dans leurs expériences, cette approche a été nettement plus efficace pour détecter les mauvaises données que les anciennes méthodes qui ignorent la recette, améliorant la précision de la détection de plus de 20 points. Le système ne se contente pas de deviner ; il construit un « graphe d'hypothèses données-code », une carte qui relie chaque test à la ligne de code spécifique qui l'a inspiré, permettant aux humains de réviser, d'ajuster et de faire confiance aux résultats.

Le Problème : L'inspecteur aux « yeux bandés »

Dans le monde moderne, la donnée est le sang vital des entreprises. Mais la donnée est désordonnée. Elle se corrompt, devient manquante ou se mélange au cours de son voyage à travers des pipelines complexes. Lorsque de mauvises données atteignent la destination finale — comme une application mobile ou un modèle d'apprentissage automatique — cela cause de graves problèmes. Les applications plantent, les enregistrements disparaissent et les modèles d'IA commencent à commettre des erreurs silencieuses qui dégradent leurs performances au fil du temps.

Pour corriger cela, les ingénieurs utilisent des tests unitaires de données. Ce sont de petits programmes qui agissent comme des gardiens. Ils vérifient les lots de données entrants par rapport à un ensemble de règles (contraintes) avant de laisser passer les données à l'étape suivante. Si les données échouent au test, le système lève une alerte, et les ingénieurs peuvent corriger le problème avant qu'il ne crée le chaos.

Cependant, les outils actuels de création de ces tests présentent un défaut majeur : ils sont agnostiques à la tâche. Cela signifie qu'ils regardent la donnée dans le vide. Ils pourraient dire : « Cette colonne a beaucoup de valeurs manquantes, donc elle est mauvaise ! ». Mais ils ne savent pas que le programme spécifique utilisant ces données ne regarde jamais cette colonne. Ou bien, ils pourraient manquer une règle subtile parce qu'ils ne comprennent pas le contexte du code.

Créer ces tests manuellement est un cauchemar. Pour un tableau de centaines de colonnes, un ingénieur humain doit deviner quelles règles sont importantes. S'il se trompe, il obtient deux mauvais résultats :

1. Fausses Alertes : Le test est trop strict et signale de bonnes données, provoquant une « fatigue d'alerte » où les ingénieurs ignorent les avertissements.
2. Erreurs Manquées : Le test est trop lâche et laisse passer de mauvaises données, provoquant des plantages ultérieurs.

La Solution : PrismaDV, le chef qui « lit la recette »

Les auteurs proposent PrismaDV, un système qui change la donne en rendant les tests conscients de la tâche. Au lieu de simplement regarder les données, PrismaDV lit le code source de la tâche en aval (la « recette ») pour comprendre exactement ce dont le programme a besoin.

Voyez cela ainsi : si vous préparez un sandwich, vous n'avez pas besoin de vérifier si le lait est frais. Mais si vous faites un milkshake, vous en avez besoin. PrismaDV lit le code, voit que le programme fait un milkshake, et ne vérifie donc que le lait. Il ignore le pain et le fromage.

PrismaDV fonctionne comme un système d'IA composé, ce qui signifie qu'il décompose une tâche complexe en étapes plus petites, en utilisant des modèles de langage étendus (LLM) pour chaque partie. Voici comment il fonctionne, étape par étape :

1. Profilage des données et détection de colonnes : D'abord, il jette un coup d'œil rapide aux données pour comprendre ce qu'elles contiennent. Ensuite, il lit le code de la tâche pour déterminer exactement quelles colonnes (ingrédients) le programme utilise réellement. Il est assez intelligent pour ignorer les colonnes mentionnées par le code mais qui ne sont jamais réellement touchées.
2. Le « Graphe d'hypothèses données-code » : C'est la recette secrète du système. Pendant qu'il analyse le code, il construit une carte. Il connecte des lignes de code spécifiques aux colonnes de données qu'elles utilisent, puis déduit ce que le programmeur supposait à propos de ces données. Par exemple, si une ligne de code dit if status == 'CLEARED', le système déduit : « Le programme suppose que lorsque le statut est 'CLEARED', l'adresse e-mail doit être présente. »
3. Synthèse de contraintes : Enfin, il traduit ces hypothèses en langage naturel en code exécutable réel (tests) qui peuvent s'exécuter dans des frameworks populaires comme AWS Deequ ou Great Expectations.

Pourquoi c'est important : Les Résultats

Les auteurs ont testé PrismaDV sur cinq jeux de données réels avec 60 tâches différentes en aval. Ils ont créé un benchmark où ils ont injecté des erreurs synthétiques (comme des valeurs manquantes, des formats incorrects ou des nombres erronés) dans des données propres pour voir si le système pouvait les détecter.

Les résultats sont clairs :

• Les anciennes méthodes (comme Deequ standard ou TensorFlow Data Validation) et même des prompts d'IA simples ont eu du mal. Elles ont souvent manqué des erreurs ou signalé trop de fausses alertes.
• PrismaDV a nettement surpassé tous les autres. Dans leurs tests, il a amélioré le score F1 (une mesure de la capacité d'un système à trouver des erreurs sans générer de fausses alertes) de plus de 20 points par rapport au meilleur concurrent.
  • Par exemple, en utilisant un modèle d'IA spécifique, PrismaDV a atteint un score F1 de 77,4 %, tandis que la méthode la plus proche n'atteignait que 47,2 %.

Ce n'est pas seulement une petite amélioration ; cela signifie que le système est beaucoup plus fiable pour distinguer ce qui est « sûr à utiliser » de ce qui est « dangereux ».

L'Expérience Interactive : Un terrain de jeu pour les ingénieurs

Le papier présente également une interface web qui permet aux ingénieurs de manipuler le système. Ce n'est pas seulement une boîte noire qui recrache du code ; c'est un outil collaboratif.

• Visualisation du graphe : Les utilisateurs peuvent voir le « Graphe d'hypothèses données-code ». Ils peuvent cliquer sur un test spécifique et voir exactement quelle ligne de code et quelle colonne de données l'ont inspiré.
• Raffinement interactif : Si le système devine une règle qui ne correspond pas tout à fait à la logique métier, l'utilisateur peut éditer l'hypothèse en langage naturel (par exemple, changer « l'e-mail doit être valide » en « l'e-mail doit être valide uniquement pour les utilisateurs payants »). Le système régénère alors instantanément le code du test basé sur cette nouvelle règle.
• Auto-amélioration : Le système inclut un « optimiseur de prompt ». À mesure que les tests s'exécutent dans le monde réel, le système apprend de ses erreurs. Si un test génère une fausse alerte (signale des données bonnes comme étant mauvaises), le système analyse pourquoi et ajuste ses propres instructions pour éviter de commettre cette erreur à l'avenir.

L'essentiel

PrismaDV suggère que l'avenir de la qualité des données ne réside pas dans l'écriture de règles plus rigides ou dans la vérification aveugle de plus de colonnes. Tout est question de contexte. En apprenant au système de test à lire le code et à comprendre le travail spécifique que les données sont censées accomplir, nous pouvons construire des tests plus intelligents, plus précis et moins agaçants pour les ingénieurs qui doivent les maintenir. Cela transforme le processus de validation des données d'un jeu de devinettes en un effort précis, traçable et collaboratif.