KramaBench: A Benchmark for AI Systems on Data-to-Insight Pipelines over Data Lakes

Ce papier présente KramaBench, un benchmark composé de 104 défis réels sur des lacs de données, qui révèle que les systèmes d'IA actuels, bien que capables de générer des pipelines plausibles, échouent encore majoritairement à produire des pipelines de bout en bout fonctionnels, n'atteignant qu'une précision de 55 % dans ce contexte complexe.

L'essentiel

🕵️‍♂️ KRAMABENCH : Le "Grand Jeu de l'Enquête" pour les IA

Imaginez que vous êtes un détective privé. Votre mission est de résoudre un mystère complexe (par exemple : "Combien d'argent a été volé en 2024 ?"). Mais il y a un gros problème : vous n'avez pas un dossier unique et propre. Vous avez une énorme cave remplie de milliers de boîtes (le "Data Lake").

Dans ces boîtes, il y a :

• Des vieux carnets de notes illisibles.
• Des photos floues.
• Des listes de chiffres mélangées à des textes incompréhensibles.
• Des documents dans des langues différentes.

Votre but est de trouver les bonnes boîtes, de nettoyer les informations, de les assembler comme un puzzle, et enfin de donner la réponse exacte.

C'est exactement ce que KRAMABENCH teste : Est-ce que les intelligences artificielles (IA) sont capables de faire ce travail de détective de A à Z ?

🧪 Le Test : Une Épreuve de Vérité

Les chercheurs du MIT ont créé ce test (le "Bench") avec 104 missions réelles basées sur des domaines variés : l'archéologie, l'astronomie, la médecine, la prévention des incendies, etc.

Pour chaque mission, ils ont :

1. Le mystère (la question à résoudre).
2. La cave (des milliers de fichiers réels, sales et désorganisés).
3. La solution parfaite (ce qu'un humain expert ferait).

Ils ont ensuite demandé à 8 IA différentes (les "détectives") de résoudre ces énigmes.

📉 Les Résultats : Les IA sont de bons stagiaires, mais pas encore des experts

Voici ce que le test a révélé, avec des analogies simples :

1. L'IA sait "parler", mais pas "agir"

Les IA sont très douées pour imaginer un plan. Si on leur demande "Comment on résout ce problème ?", elles peuvent dessiner un schéma très logique.

• Analogie : C'est comme un chef cuisinier qui peut écrire une recette parfaite sur un papier, mais qui, une fois dans la cuisine, oublie de préchauffer le four ou brûle les œufs.
• Résultat : Elles réussissent à concevoir le plan environ 42 % du temps, mais elles n'arrivent à exécuter le code final correctement que 20 % du temps.

2. Le problème de la "Cave" (Recherche d'information)

Quand on donne à l'IA toute la cave (tous les fichiers), elle se perd. Elle ne sait pas toujours quelles boîtes ouvrir.

• Analogie : C'est comme chercher une aiguille dans une botte de foin, mais l'aiguille est cachée sous une autre botte de foin, qui est elle-même cachée sous un tas de vieux journaux.
• Même si on aide l'IA en lui donnant seulement les bonnes boîtes (les fichiers nécessaires), elle échoue encore souvent. Cela prouve que le problème n'est pas seulement de trouver l'info, mais de la comprendre et de la manipuler.

3. Le meilleur score : Encore loin de la perfection

Le meilleur système testé a réussi à résoudre 55 % des missions de bout en bout.

• Métaphore : Imaginez un examen de conduite. Si vous réussissez 55 % des fois sans accident, c'est bien, mais vous n'êtes pas encore prêt à conduire un bus de voyageurs ! Les IA actuelles font trop d'erreurs pour être laissées seules sur des tâches critiques.

🤖 Pourquoi échouent-elles ?

Les chercheurs ont identifié trois faiblesses principales :

1. La mémoire de l'IA vs la réalité : Les IA ont tendance à utiliser ce qu'elles savent déjà (leurs "préjugés") au lieu de regarder les données réelles. Si on change les noms des villes dans les fichiers (ex: remplacer "Paris" par "Villette"), l'IA panique ou donne une mauvaise réponse car elle s'attendait à voir "Paris". Elle ne sait pas s'adapter à la nouvelle réalité.
2. L'aveuglement aux détails : Elles ratent des petits détails cruciaux (comme une colonne de données mal étiquetée ou une valeur manquante) qui font tout échouer à la fin.
3. Le manque de curiosité : Quand l'IA ne comprend pas quelque chose, elle n'ose pas poser de questions. Un humain, lui, dirait : "Attends, ce fichier est bizarre, je vais vérifier avec mon collègue." L'IA, elle, essaie de deviner et se trompe.

🚀 Conclusion : Où en sommes-nous ?

KRAMABENCH nous dit une chose importante : Nous avons des IA très intelligentes pour écrire du code, mais nous n'avons pas encore de "Data Scientists" autonomes.

Aujourd'hui, l'IA est comme un super-assistant qui peut faire le gros du travail si un humain vérifie chaque étape. Mais si on la laisse seule dans la cave avec des milliers de boîtes, elle risque de se perdre ou de vous donner une réponse fausse en toute confiance.

L'avenir ? Il faut créer des IA qui savent mieux naviguer dans le chaos, qui osent poser des questions quand elles sont perdues, et qui comprennent vraiment le contexte (comme un vrai humain), et pas seulement les mots.

---

En résumé : KRAMABENCH est un test de réalité qui montre que les IA sont encore des "stagiaires brillants mais imprévisibles" dans le monde complexe de la science des données.

Résumé technique

Voici un résumé technique détaillé du papier de recherche KRAMABENCH, présenté à la conférence ICLR 2026.

1. Problématique

L'extraction d'informations (insights) à partir de lacs de données réels (data lakes) est un défi majeur pour les systèmes d'IA. Ces lacs contiennent souvent des données non nettoyées, semi-structurées ou non structurées, provenant de multiples sources. Le processus de transformation de ces données brutes en insights nécessite une chaîne complexe de tâches : découverte de données, nettoyage, intégration, analyse et modélisation.

Bien que les modèles de langage (LLM) aient fait des progrès remarquables dans la génération de code et le raisonnement isolé, leur capacité à concevoir et exécuter des pipelines de données complets (end-to-end) dans des environnements réels et complexes reste incertaine. Les benchmarks existants se concentrent souvent sur des étapes isolées (comme la génération de code à partir de prompts fins ou le Text-to-SQL) et ne capturent pas l'hétérogénéité des tâches, la nécessité de raisonnement dépendant des données, ni la complexité de la coordination multi-étapes requise pour les lacs de données réels.

2. Méthodologie : KRAMABENCH

Pour combler ce vide, les auteurs introduisent KRAMABENCH, un benchmark conçu pour évaluer les systèmes basés sur des LLM sur des pipelines de science des données complets.

• Données et Tâches : Le benchmark comprend 104 tâches soigneusement curées et résolues manuellement, réparties sur 1700 fichiers réels provenant de 24 sources distinctes dans 6 domaines : archéologie, astronomie, recherche biomédicale, sciences environnementales, découverte d'informations juridiques et prévention des incendies de forêt.
• Design des Tâches : Chaque tâche est décrite en langage naturel et exige que le système découvre les données pertinentes, effectue du "data wrangling" (nettoyage, normalisation) et implémente des analyses statistiques ou computationnelles.
  • Pour éviter le biais d'apprentissage (data leakage), 20 % des tâches ont des entrées obscurcies (identifiants et données numériques remplacés par des synthétiques) tout en conservant la structure de la tâche.
• Évaluation à Trois Niveaux : KRAMABENCH propose un cadre d'évaluation complet pour analyser les forces et faiblesses des systèmes :
  1. Automatisation End-to-End : Évalue la capacité du système à résoudre la tâche entièrement sans intervention humaine.
  2. Conception de Pipeline (Pipeline Design) : Évalue la capacité du système à identifier les composants clés et les étapes nécessaires pour un pipeline réussi.
  3. Implémentation de Sous-tâches : Évalue la capacité à exécuter correctement des sous-tâches individuelles (ex: nettoyer une colonne spécifique) lorsque le contexte est fourni.
• Systèmes Évalués : Les auteurs ont testé 8 LLMs différents via :
  • DS-Guru : Un cadre de référence léger (single-agent) avec trois variantes (no-context, one-shot, few-shot) utilisant un échantillonnage de données (OPS) pour gérer les contextes larges.
  • Systèmes Agentic : Des systèmes open-source (smolagents DR, Reflexion, PDT) et des systèmes propriétaires fermés (OpenAI Deep Research, Google Gemini Agentic).

3. Contributions Clés

1. Le Benchmark KRAMABENCH : C'est le premier benchmark à évaluer les pipelines de données de bout en bout sur des lacs de données réels, hétérogènes et "sales", couvrant une variété de domaines scientifiques et juridiques.
2. Cadre d'Évaluation Holistique : La distinction entre la conception du pipeline, l'implémentation des sous-tâches et l'automatisation complète permet d'isoler les causes d'échec (ex: échec de la récupération des données vs échec du raisonnement).
3. Analyse des Échecs et des Limites : Le papier fournit une analyse approfondie des raisons pour lesquelles les systèmes actuels échouent, notamment l'incapacité à comprendre les conventions de données implicites et la dépendance excessive aux connaissances paramétriques (mémoire) plutôt qu'au raisonnement basé sur les données.

4. Résultats Principaux

Les expériences révèlent que les systèmes actuels sont loin de maîtriser la science des données automatisée complète :

• Performance Globale Faible : Le meilleur système atteint seulement 55 % de précision end-to-end dans le cadre complet (Full Input). Même avec un accès parfait aux fichiers pertinents (Oracle Input), la précision plafonne à 62 %.
• Écart entre Conception et Implémentation : Les LLMs sont capables de raisonner à un niveau grossier sur les opérations nécessaires (conception de pipeline à ~42 %), mais échouent massivement à implémenter correctement les tâches individuelles (seulement ~20 % de réussite).
• Impact du Contrôle Agentic : Les systèmes agentic (comme smolagents DR avec Claude-3.7) surpassent les approches structurées simples (DS-Guru) avec 55,83 % contre 24,98 %. Cela suggère que les boucles de contrôle itératives (recherche, planification, réparation) sont cruciales pour naviguer dans les lacs de données.
• Limites de la Récupération (Retrieval) : Fournir les fichiers "gold" (corrects) n'améliore la performance que de 0 à 7 %. Cela indique que le goulot d'étranglement principal n'est pas la découverte des fichiers, mais le raisonnement dépendant des données (comprendre comment traiter les données une fois trouvées).
• Dépendance aux Connaissances Antérieures : Les systèmes échouent souvent lorsqu'ils ne peuvent pas s'appuyer sur leurs connaissances pré-entraînées. Sur les tâches aux entrées obscurcies, la performance chute drastiquement (ex: de 62,81 % à 12,77 % pour certains modèles), prouvant qu'ils mémorisent les réponses plutôt que de raisonner sur les données.
• Comparaison Humaine : Même les experts humains en science des données commettent des erreurs (notamment dans la conception de pipelines et la navigation multi-fichiers), obtenant une précision de base de 76,75 %, ce qui souligne la difficulté intrinsèque de la tâche.

5. Signification et Implications

KRAMABENCH met en lumière que, malgré les avancées récentes, les agents IA ne sont pas encore prêts à remplacer les data scientists pour des tâches complexes de bout en bout sur des données réelles.

• Défis Non Résolus : Les principaux obstacles identifiés sont l'intégration robuste des connaissances de domaine, la capacité à poser des questions de clarification lorsque les données sont ambiguës, et le raisonnement fin dépendant des données (fine-grained data-dependent reasoning).
• Orientation Future : La recherche doit se concentrer sur le développement de mécanismes de récupération plus intelligents, de systèmes capables de vérifier leurs hypothèses par rapport aux données réelles, et d'architectures multi-agents spécialisées pour la coordination de tâches complexes.
• Réalisme : Ce benchmark force la communauté à passer de l'évaluation sur des données propres et structurées à l'évaluation sur des environnements de données réels, bruyants et hétérogènes, reflétant véritablement les défis de l'industrie.

En résumé, KRAMABENCH établit un nouvel état de l'art pour l'évaluation des agents IA en science des données, démontrant que la capacité à générer du code ne suffit pas pour construire des pipelines de données fonctionnels et fiables.