Bounded Semantic Planning and Deterministic Compilation for Reliable Enterprise Text-to-SQL

Dans le monde des affaires modernes, les données sont souvent enfermées dans de vastes et complexes entrepôts numériques. Poser une question simple telle que « Combien de polices l'agent deux a-t-il vendues l'année dernière ? » nécessite de naviguer dans un labyrinthe de tables, de relations et de règles qui définissent le fonctionnement de l'entreprise. Pendant des années, des chercheurs ont tenté d'apprendre aux ordinateurs à traduire directement les questions en langage naturel en le code spécifique nécessaire pour extraire les réponses. C'est la promesse du text-to-SQL : une machine qui comprend l'intention humaine et écrit les instructions correctes pour récupérer les données. Cependant, un problème important subsiste. Lorsqu'un ordinateur écrit ces instructions de lui-même, il produit souvent un code qui s'exécute parfaitement mais renvoie la mauvaise réponse. Il peut connecter les mauvaises pièces d'information ou compter les choses de la mauvaise manière, créant un résultat qui semble plausible mais qui est fondamentalement erroné. Cela est dangereux dans un contexte d'entreprise, où un mauvais chiffre peut conduire à de mauvaises décisions commerciales.

Une nouvelle étude explore une approche différente pour résoudre ce problème de fiabilité. Au lieu de demander à une intelligence artificielle d'écrire l'intégralité du code à partir de zéro, les chercheurs ont construit un système où l'IA agit comme un guide plutôt que comme un bâtisseur. Le travail de l'IA est limité à comprendre la question et à choisir dans une liste pré-approuvée de chemins et de relations valides. Une fois que l'IA a fait sa sélection, un programme informatique distinct et rigide prend le relais. Ce programme traduit la sélection en le code final, garantissant que les connexions sont établies correctement et que les règles de comptage sont suivies à la lettre. Les chercheurs ont testé cette méthode contre l'approche traditionnelle du « tout écrire » en utilisant un ensemble de données d'assurance complexe. Ils ont constaté que le système guidé était bien plus fiable, produisant des réponses correctes presque à chaque fois, tandis que le système traditionnel générait fréquemment du code qui s'exécutait mais donnait de mauvais résultats.

Le cœur de cette recherche réside dans le changement de l'endroit où réside l'incertitude. Dans un système standard, le modèle d'intelligence artificielle doit tout décider : quelles tables joindre, comment les lier et comment agréger les chiffres. Parce que ces modèles génèrent du texte basé sur la probabilité, ils peuvent parfois choisir un chemin qui est techniquement possible mais sémantiquement erroné. Le nouveau système, que l'auteur appelle la Compilation de Chemins Sémantiques (Semantic Path Compilation), trace une ligne de démarcation stricte. L'intelligence artificielle est autorisée à ancrer les mots de la question à des concepts métier spécifiques et à choisir parmi un ensemble fini d'options fournies par une carte des données préparée par l'humain. Elle ne peut pas inventer de nouvelles connexions ni écrire de fragments de code. Une fois que l'IA a fait son choix, un moteur déterministe prend le volant. Ce moteur est un logiciel qui suit des règles fixes pour transformer la sélection de l'IA en la requête de base de données finale. Il vérifie les erreurs, s'assure que la logique tient la route et ne publie le code que s'il passe chaque contrôle. Si le choix de l'IA est ambigu ou viole une règle, le système refuse de répondre plutôt que de deviner.

Pour tester cela, les chercheurs ont utilisé un benchmark basé sur les données d'une compagnie d'assurance, ce qui implique de nombreuses relations complexes, telles que les différents rôles qu'une personne peut jouer (comme un assuré, un agent ou un souscripteur) et comment ces rôles se connectent aux polices et aux sinistres. Ils ont exécuté deux systèmes différents sur le même ensemble de trente-huit questions. Le premier système était l'approche traditionnelle, où l'IA génère directement le code à partir de la structure de la base de données. Le second système était la nouvelle approche guidée. Ils ont exécuté chaque question trois fois pour voir à quel point les résultats étaient cohérents. Le système traditionnel a réussi à obtenir la bonne réponse pour les trois exécutions sur seulement vingt et un des trente-huit questions. En revanche, le système guidé a réussi sur trente-sept des trente-huit questions. Plus important encore, le système traditionnel a produit vingt-neuf cas où le code s'exécutait avec succès mais où la réponse était fausse. Le système guidé a produit zéro erreur de ce type. Lorsqu'il échouait, il refusait simplement de donner une réponse, plutôt que de fournir un chiffre trompeur.

L'étude a également examiné ce qui se passe lorsque les données sont légèrement altérées pour exposer des erreurs cachées. Dans le jeu de données d'assurance, certaines questions nécessitent de compter des éléments à un niveau de détail spécifique. Si l'ordinateur joint les tables incorrectement, il pourrait accidentellement multiplier les nombres, créant un résultat trop élevé. Les chercheurs ont créé des versions « contrefactuelles » de la base de données où ces erreurs de multiplication deviendraient évidentes. Ils ont découvert que le système traditionnel échouait souvent à détecter ces erreurs, renvoyant des chiffres gonflés qui semblaient corrects sur les données originales mais qui étaient faux sur les données modifiées. Le système guidé, parce qu'il était contraint de suivre les règles strictes de la carte sémantique, évitait ces pièges. Il produisait systématiquement le compte correct, même lorsque les données étaient modifiées pour piéger un système moins prudent.

Les chercheurs ont pris soin de noter que leur succès provenait du fait que l'ensemble du système travaillait de concert, et non pas seulement du nouveau moteur logiciel. Le système guidé avait accès à une carte détaillée des règles métier écrite par l'humain, ce dont le système traditionnel ne disposait pas. Cela signifie que l'amélioration est le résultat de la combinaison d'une meilleure connaissance avec un processus plus rigoureux. L'étude ne prétend pas que la nouvelle méthode fonctionnera pour toutes les questions possibles ou qu'elle élimine toute incertitude. L'intelligence artificielle doit toujours faire le choix initial, et si les règles métier ne sont pas correctement définies dans la carte, le système refusera de répondre. Cependant, pour le type de questions complexes et riches en règles trouvées dans ce domaine de l'assurance, la combinaison d'une IA guidée et d'un compilateur rigide s'est avérée être un moyen puissant d'assurer la fiabilité.

Les conclusions suggèrent un changement dans la manière dont nous pourrions construire ces outils à l'avenir. Au lieu d'espérer qu'un grand modèle de langage réussisse la logique complexe à chaque fois, nous pouvons construire des systèmes qui contraignent le modèle à faire des choix sûrs et utiliser ensuite un logiciel déterministe pour les exécuter. Cette approche échange une partie de la flexibilité contre un degré de confiance beaucoup plus élevé. Dans un monde où les données pilotent des décisions commerciales critiques, la capacité de dire « je ne sais pas » plutôt que « voici une mauvaise réponse » est un avantage significatif. L'étude montre qu'en transférant la lourde tâche de la logique et de la connexion du modèle probabiliste vers un moteur basé sur des règles, nous pouvons atteindre un niveau de cohérence qui était auparavant difficile à atteindre. Le résultat est un système qui n'est pas seulement intelligent, mais aussi fiable.