A Cost-Aware Agentic Architecture for NL-to-SQL over Nested Enterprise Schemas, with a New Benchmark
Ce document présente le benchmark DevRev NL2SQL, comprenant 900 requêtes vérifiées par exécution avec des structures imbriquées et un nouveau score de profondeur sémantique (Semantic Depth Score), ainsi qu'une architecture agentique sensible aux coûts qui atteint un taux de correction de réponse significatif de 91,7 % sur ce benchmark et reste compétitive sur Spider 2.0.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où vous pourriez poser à un ordinateur des questions complexes sur votre entreprise et recevoir des réponses précises en langage clair, sans avoir besoin de connaître le langage secret des bases de données. Pendant des années, des chercheurs ont appris aux ordinateurs à traduire des questions humaines en commandes de base de données, un domaine connu sous le nom de « natural-language-to-SQL » (du langage naturel vers le SQL). Les premiers succès furent impressionnants, mais ils reposaient sur des tests effectués sur des listes de données simples et plates, comme un tableur avec des lignes et des colonnes. Dans le monde réel, cependant, les données d'entreprise sont rarement aussi ordonnées. Les systèmes d'entreprise modernes sont construits autour de flux de travail complexes, où un seul élément, comme un ticket de support client, est connecté à un réseau d'autres éléments, imbriqués dans des listes, et enfoui dans des couches d'informations. Ces structures sont souvent décrites comme étant de type « graphe », ce qui signifie qu'elles ressemblent à une carte de connexions plutôt qu'à un simple tableau. Lorsque les chercheurs ont tenté d'appliquer leurs meilleurs outils à ces données réelles et désordonnées, les systèmes ont souvent échoué, incapables de naviguer dans les chemins profonds et emmêlés de l'information.
Une équipe de chercheurs a maintenant relevé ce défi spécifique en construisant un nouveau terrain d'essai et un système informatique plus intelligent conçu pour le gérer. Ils ont créé un benchmark appelé DevRev, qui contient 900 questions réelles basées sur une base de données commerciale vivante. Contrairement aux tests précédents, cette base de données est remplie de structures profondément imbriquées, où l'information est stockée dans des listes qui contiennent d'autres listes, et où les éléments sont liés entre eux de manières complexes qui changent selon le contexte. Pour mesurer la capacité d'un système à comprendre ces questions, l'équipe a introduit une nouvelle méthode de notation appelée « Semantic Depth Score » (Score de Profondeur Sémantique). Ce score ne se contente pas de compter la longueur d'une question ; il mesure le nombre de couches de raisonnement nécessaires pour trouver la réponse, comme devoir comparer différentes périodes de temps, calculer de nouvelles valeurs à partir d'anciennes ou suivre une chaîne de connexions entre différents types d'objets commerciaux.
Les chercheurs ont constaté que les systèmes les plus avancés disponibles à l'époque, qui avaient obtenu de bons résultats sur des tests plus simples, éprouvaient des difficultés significatives avec ces nouvelles données complexes. Ces systèmes, qui tentent souvent de générer de nombreuses réponses possibles puis de choisir la meilleure, ne parvenaient pas à naviguer correctement dans les listes imbriquées ou à comprendre les règles spécifiques de liaison entre différents types de dossiers commerciaux. Leur taux de réussite sur ce nouveau benchmark oscillait autour d'un tiers, ce qui signifie qu'ils donnaient la mauvaise réponse pour la plupart des questions. Les chercheurs ont soutenu que le problème n'était pas seulement un manque de pratique, mais un décalage fondamental entre la manière dont ces systèmes étaient construits et la structure des données. Les systèmes tentaient d'imposer une approche plate et simple à une réalité profondément stratifiée.
Pour résoudre cela, l'équipe a conçu une nouvelle architecture informatique qui fonctionne davantage comme un enquêteur méticuleux que comme un devineur. Au lieu de générer des dizaines de réponses possibles en espérant que l'une d'entre elles soit la bonne, ce système suit un chemin unique et ciblé. Il commence par demander à un coordinateur central d'examiner la base de données et de déterminer quelles pièces spécifiques d'information sont nécessaires. Si le système se retrouve bloqué parce qu'il ne trouve pas une table ou une colonne, il ne se contente pas de deviner ; il revient en arrière, demande plus de détails sur la structure et réessaie avec les nouvelles informations. Ce processus est guidé par une carte détaillée de la base de données qui inclut non seulement les noms des colonnes, mais aussi des descriptions de ce que les données qu'elles contiennent signifient réellement. Le système tient également un journal de chaque erreur commise, apprenant de chaque échec pour éviter de répéter la même erreur. Il vérifie son propre travail avant de l'envoyer à la base de données, s'assurant que la logique est cohérente et qu'il ne crée pas accidentellement un ensemble de données massif et confus.
Lorsqu'il a été testé sur les 900 questions complexes, ce nouveau système a atteint un taux de réussite de 91,7 %, une amélioration massive par rapport aux meilleures tentatives précédentes. Il a été capable de répondre correctement à des questions nécessitant de suivre plusieurs étapes, de calculer des valeurs dérivées et de naviguer à travers des listes de données imbriquées. Les chercheurs ont également montré que cette approche était bien plus efficace, coûtant nettement moins cher à l'exécution car elle ne gaspillait pas de ressources à générer et tester des dizaines de mauvaises réponses. Sur un test distinct de grande envergure portant sur des données plus simples, le système a obtenu des performances identiques à celles de ses principaux concurrents, prouvant que sa conception spécialisée pour les données complexes ne se faisait pas au détriment du traitement des données standards.
L'étude suggère que l'avenir de l'interaction avec les ordinateurs ne réside pas dans le fait de leur faire travailler plus dur ou de générer plus d'options, mais dans le fait de leur donner de meilleurs outils pour comprendre la structure des données sur lesquelles ils travaillent. En construisant des systèmes capables d'explorer de manière itérative une base de données, d'apprendre de leurs erreurs et de comprendre les connexions profondes entre les différentes pièces d'information, les chercheurs ont tracé une voie vers des interfaces intelligentes et fiables pour les données complexes et imbriquées qui alimentent les entreprises modernes. Ce travail souligne que pour que les ordinateurs comprennent véritablement nos questions, ils doivent d'abord comprendre le monde complexe et stratifié où vivent nos données.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.