💬 NLP

LakeQA: An Exploratory QA Benchmark over a Million-Scale Data Lake

Le document présente LakeQA, un benchmark complet construit sur 9,5 To de données hétérogènes qui met au défi les grands modèles de langage à effectuer du questionnement centré sur la recherche en combinant la récupération de documents avec un raisonnement multi-étapes complexe, révélant des écarts de performance significatifs même chez les modèles de pointe.

Auteurs originaux : Haonan Wang, Jiaxiang Liu, Yurong Liu, Austin Senna Wijaya, Tianle Zhou, Eden Wu, Yijia Chen, Wanting You, Reya Vir, Daniela Pinto, Grace Fan, Yusen Zhang, Juliana Freire, Eugene Wu

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haonan Wang, Jiaxiang Liu, Yurong Liu, Austin Senna Wijaya, Tianle Zhou, Eden Wu, Yijia Chen, Wanting You, Reya Vir, Daniela Pinto, Grace Fan, Yusen Zhang, Juliana Freire, Eugene Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre un mystère très spécifique. Dans la plupart des récits de détectives (ou des tests d'IA standards), l'auteur vous tend une pile de dossiers et dit : « La réponse est dans ces trois pages. » Votre travail consiste simplement à les lire et à trouver l'indice.

LAKEQA est un type de test différent. Ici, l'auteur vous donne une question mais aucun fichier. Au lieu de cela, vous êtes parachuté dans un immense entrepôt chaotique, de la taille d'une petite ville, rempli de 40 millions de documents différents. Certains sont des feuilles de calcul proprement organisées, d'autres sont des PDF désordonnés, d'autres encore sont de vieux fichiers texte ou des rapports gouvernementaux.

Votre travail consiste à trouver la réponse en cherchant à travers cet entrepôt et en reliant les points à travers de nombreux documents différents.

Voici une décomposition de ce dont traite le document, en utilisant des analogies simples :

1. Le Problème : La « aiguille dans une botte de foin » est en réalité une « aiguille dans une montagne de bottes de foin »

Les modèles d'IA actuels (Grands Modèles de Langage) sont excellents pour lire un livre et répondre à des questions à son sujet. Mais dans le monde réel, les données ne sont pas emballées proprement. Elles sont éparpillées dans des millions de fichiers au sein de « lacs de données » (Data Lakes).

L'ancienne méthode : L'IA reçoit un livre spécifique et on lui demande : « De quelle couleur est la voiture ? » L'IA lit le livre et répond.
La méthode LAKEQA : On demande à l'IA : « Trouvez l'école primaire à New York qui a des classes de petite taille et le moins d'incidents violents entre 2008 et 2011. »
- L'IA ne sait pas quel fichier contient les noms des écoles.
- L'IA ne sait pas quel fichier contient la taille des classes.
- L'IA ne sait pas quel fichier contient les rapports de criminalité.
- Elle doit chercher les bons fichiers, les télécharger, les lire, et ensuite combiner les informations de tous ces fichiers pour résoudre l'énigme.

2. Le Benchmark : Une chasse au trésor à « sauts multiples »

Le papier présente LAKEQA, un nouveau test conçu pour évaluer la capacité de l'IA à effectuer ce type précis de travail de détective.

Considérez une tâche dans LAKEQA comme une chasse au trésor avec 8 indices.

Indice 1 : Vous devez trouver un quartier. (Vous cherchez sur Wikipédia).
Indice 2 : Ce quartier est adjacent à un autre. (Vous cherchez dans une base de données cartographiques).
Indice 3 : Vous devez trouver les écoles dans ces deux quartiers. (Vous cherchez dans une liste gouvernementale).
Indice 4 : Vous devez filtrer ces écoles selon la taille des classes. (Vous ouvrez une feuille de calcul).
Indice 5 : Vous devez vérifier les statistiques de criminalité pour les écoles restantes. (Vous ouvrez un rapport différent).
...et ainsi de suite.

Si l'IA bloque sur l'Indice 2, elle ne pourra jamais résoudre l'Indice 8. Le papier appelle cela le « raisonnement multi-sauts » (multi-hop reasoning). L'IA doit faire une étape, trouver une nouvelle information, et utiliser celle-ci pour décider où chercher ensuite.

3. L'Échelle : Une « Bibliothèque de Babel »

Les chercheurs ont construit ce test en utilisant une collection massive de données :

9,5 Téraoctets de données (imaginez une bibliothèque avec des millions de livres).
40 millions de documents (un mélange de données structurées comme des feuilles Excel et de données non structurées comme des articles textuels).
Sources : Wikipédia (pour la culture générale) et Data.gov (pour les données gouvernementales réelles et désordonnées).

Ceci est important car les tests précédents n'utilisaient que de petites collections de textes propres. LAKEQA force l'IA à composer avec la « désorganisation » du monde réel.

4. Les Résultats : L'IA se perd

Les chercheurs ont testé sept des modèles d'IA les plus intelligents disponibles (incluant GPT-5.2 et Claude) sur ce défi.

Le Score : La meilleure IA n'a obtenu que 18 % à 33 % de bonnes réponses.
L'Échec Principal : L'IA n'a pas échoué parce qu'elle était incapable de lire ou de raisonner. Elle a échoué parce qu'elle ne pouvait pas trouver les bons fichiers.
- Analogie : Imaginez un détective brillant capable de résoudre n'importe quel crime, mais qui serait aveuglé dans un immense entrepôt. Il ne peut pas trouver les preuves car il ne sait pas sur quelle étagère regarder.
Le Problème de la « Longue Chaîne » : À mesure que le nombre d'étapes (sauts) augmentait, les performances de l'IA chutaient brutalement. Plus il y avait d'étapes à franchir, plus l'IA risquait de s'égarer ou d'oublier un indice précédent.

5. La Conclusion : La recherche est le goulot d'étranglement

Le papier conclut que si l'IA s'améliore en matière de « pensée » (raisonnement), elle est encore très mauvaise en matière de « regard » (recherche et découverte) dans de vastes lacs de données non organisés.

IA Actuelle : « Je peux lire un livre parfaitement, mais si vous cachez ce livre dans un tas de 40 millions d'autres livres, je ne peux pas le trouver. »
L'Objectif : Nous avons besoin d'agents d'IA qui ne soient pas seulement de bons lecteurs, mais aussi des explorateurs experts capables de naviguer dans de vastes entrepôts de données désordonnés pour trouver les preuves spécifiques dont ils ont besoin pour résoudre un problème.

En résumé, LAKEQA est un test de résistance qui démontre que l'IA actuelle est encore très mauvaise pour trouver des aiguilles dans de massives et désordonnées bottes de foin, même lorsqu'elle possède l'intelligence nécessaire pour comprendre l'aiguille une fois trouvée.

Résumé Technique : LAKEQA – Un benchmark d'évaluation de l'AQ exploratoire sur un lac de données à l'échelle du million

Définition du Problème

Les modèles de langage de grande taille (LLM) récents ont démontré des progrès significatifs dans le questionnement et réponses (QA) basé sur la lecture, où les preuves sont soit explicitement fournies, soit trivialement récupérables à partir de corpus étroits et curatés. Cependant, les scénarios réels impliquent souvent un Questionnement et Réponses Exploratoire (EQA) sur des lacs de données hétérogènes. Dans ces contextes, les preuves ne sont pas fournies au préalable ; au contraire, elles sont dispersées à travers de vastes collections de documents structurés (ex: CSV, JSON) et non structurés (ex: PDF, HTML). Résoudre de tels problèmes exige que des agents recherchent de manière itérative des fichiers pertinents, découvrent des entités intermédiaires et raisonnent à travers de multiples étapes dépendantes avant de formuler une réponse finale.

Les benchmarks actuels ne parviennent pas à capturer cette complexité simultanément. Les jeux de données existants possèdent soit une forte intensité de recherche (grandes collections de documents) mais une faible profondeur de raisonnement (peu de sauts), soit une forte profondeur de raisonnement mais opèrent sur de petits espaces de recherche curatés. Il manque un benchmark complet qui exige à la fois une haute intensité de recherche (parcourir des millions de documents) et une haute intensité de raisonnement (raisonnement multi-sauts à long horizon avec des étapes intermédiaires implicites).

Méthodologie

1. Construction du Benchmark (LAKEQA)

Les auteurs introduisent LAKEQA, un benchmark conçu pour évaluer les capacités d'EQA sur un lac de données massif et hétérogène.

Échelle du Lac de Données : Le benchmark est construit sur une collection d'environ 9,5 To de données, comprenant environ 40 millions de documents uniques.
Sources : Les données sont agrégées à partir de deux sources de données ouvertes complémentaires :
- Wikipedia : Extraite du dernier dump anglais pour servir de corpus textuel canonique.
- Data.gov : Récoltée à partir de l'archive Harvard LIL data.gov, fournissant divers artefacts gouvernementaux publics faiblement standardisés (tables structurées, métadonnées, rapports).
Conception des Tâches : Chaque tâche est une question complexe en langage naturel exigeant qu'un agent :
1. Identifie les documents pertinents parmi la collection de 40M.
2. Extrait les faits supports.
3. Enchaîne des étapes de raisonnement où la sortie d'une étape sert de condition d'entrée pour la suivante.
Processus d'Annotation : Les tâches sont construites via un processus humain dans la boucle impliquant des experts de niveau doctorat et des étudiants de premier cycle supérieurs. Le processus comprend :
- Construction de Sous-questions : Les annotateurs dérivent des faits à partir des documents et formulent des sous-questions, en les enchaînant de telle sorte que $Answer_i$ est un prérequis pour $Question_{i+1}$ .
- Réécriture de la Question : La chaîne est réécrite en une question unique et naturelle qui masque les identifiants de documents pour empêcher une découverte triviale.
- Contrôle Qualité : Chaque tâche subit une revue multi-étapes par des annotateurs indépendants pour garantir la validité logique, le naturel, et que la réponse finale est déterminée de manière unique par les preuves.

2. Configuration Expérimentale

Modèles Évalués : Sept LLM de pointe ont été testés, incluant des modèles propriétaires (OpenAI GPT-5.2, GPT-5-mini, Anthropic Claude Haiku/Sonnet/Opus 4.5) et des modèles open-source (DeepSeek-R1, Llama-3.3-70B).
Environnement de l'Agent : Les modèles ont été équipés d'une suite d'outils simulant des flux de travail d'analyse de données réalistes, incluant :
- search(query) : Recherche par mots-clés et sémantique sur le lac de données.
- list_files, download, inspect : Gestion et aperçu de fichiers.
- execute_code : Exécution de code Python pour l'analyse de données locale (filtrage, agrégation).
Baselines : Des baselines de Génération Augmentée par Récupération (RAG) ont été testées en utilisant la recherche BM25 et Hybride (BM25 + Vectorielle) sur des sous-ensembles échantillonnés du lac de données (10k–50k documents).
Métriques : La performance a été mesurée via l'Exact Match (EM) pour la précision de bout en bout, ainsi que la Précision, le Rappel et le F1 au niveau du document pour l'efficacité de la recherche.

Résultats Clés

1. Écart de Performance

Même avec accès aux outils de recherche et d'inspection, les LLM de pointe peinent considérablement avec LAKEQA :

Faible Précision : Le meilleur modèle, Claude-sonnet-4.5, n'a obtenu que 32,87 % d'Exact Match sur le benchmark complet (LAKEQA-full). GPT-5.2 a marqué 18,37 %, et les modèles open-source ont performé encore plus bas.
Compromis Coût-Précision : Bien que les modèles plus larges (ex: Claude Opus) aient montré une précision plus élevée sur le mini-set (45,93 %), ils ont engendré des coûts et des temps d'exécution nettement plus élevés. Les modèles plus petits et moins coûteux ont souvent échoué en raison d'une génération de code inefficace ou d'un mauvais raisonnement.

2. Analyse d'Échec

L'analyse des trajectoires a révélé que le principal goulot d'étranglement est la découverte de documents, et non le raisonnement sur les preuves trouvées :

Échec de Recherche : Les modèles ont fréquemment échoué à récupérer les documents "gold" nécessaires pour répondre à la question. Le rappel sur l'ensemble récupéré ( $D_{ret}$ ) était faible, indiquant que les agents ne pouvaient pas faire émerger les fichiers pertinents.
Échec d'Exploration : Même lorsque des documents pertinents étaient récupérés, les agents échouaient souvent à les inspecter ou à les analyser. Par exemple, sur LAKEQA-full, Claude-sonnet-4.5 a atteint 42,36 % de rappel sur les documents récupérés mais seulement 13,04 % de rappel sur les documents accédés ( $D_{acc}$ ), suggérant une déconnexion entre la récupération et l'exploration efficace.
Accumulation d'Erreurs : La performance s'est dégradée brutalement à mesure que le nombre de sauts de raisonnement augmentait. Les tâches nécessitant plus de 18 sauts ont vu une chute drastique de l'exactitude, indiquant que l'exploration à long horizon amplifie les erreurs cumulées d'une récupération imparfaite et de contraintes manquées.

3. Baselines RAG

L'ajout d'outils de récupération à des sous-ensembles de documents réduits (10k–50k) a légèrement amélioré les performances mais n'a pas résolu le problème. Les résultats suggèrent que l'EQA n'est pas une tâche de récupération en un seul coup ; les agents doivent inférer de manière itérative des informations manquantes, formuler de nouvelles requêtes et décider quand les preuves sont suffisantes, une capacité dont les systèmes RAG actuels sont dépourvus.

Signification et Revendications

Le papier positionne LAKEQA comme un banc d'essai réaliste pour développer des agents LLM capables d'opérer dans des environnements de lacs de données modernes. Sa signification réside dans :

Combler le fossé : C'est le premier benchmark qui met à l'échelle simultanément l'intensité de recherche (40M de documents) et l'intensité de raisonnement (chaînes multi-sauts), répondant à une limitation des travaux précédents comme OTT-QA (haute recherche, faible raisonnement) et MuSiQue (haut raisonnement, faible recherche).
Identifier les goulots d'étranglement : Les expériences démontrent que les agents LLM actuels ne sont pas encore capables d'une recherche et exploration itératives efficaces. Le mode de défaillance primaire est l'incapacité de découvrir et d'ouvrir les documents de preuves corrects, plutôt que l'incapacité de raisonner une fois la preuve trouvée.
Pertinence Réelle : En utilisant des données gouvernementales et Wikipedia hétérogènes, LAKEQA reflète la réalité désordonnée et non structurée des lacs de données réels, allant au-delà des corpus curatés pour défier les agents avec la complexité de la découverte de preuves dans l'obscurité.

Les auteurs concluent que bien que les LLM aient progressé en compréhension de lecture, la recherche et l'exploration efficaces restent les principaux goulots d'étranglement pour résoudre des questions complexes en domaine ouvert sur des lacs de données à grande échelle.