SemPlan: Benchmarking Structured Semantic Planning for LLM-Based Queries over Enterprise Data

Imaginez que vous essayez de demander un livre spécifique à un robot bibliothécaire super intelligent, mais que vous ne connaissez pas le code secret de la bibliothèque. Vous dites simplement : « Je veux le livre sur les dragons de l'étagère rouge. » Le robot doit alors comprendre exactement ce que vous voulez dire, vérifier si vous avez le droit de voir cette étagère, puis trouver le livre. C'est le monde des Interfaces en Langage Naturel vers les Données d'Entreprise. C'est la science qui permet aux gens ordinaires de parler à des bases de données complexes en utilisant des phrases normales plutôt que du code informatique.

Pendant longtemps, les scientifiques se sont inquiétés du fait que ces robots puissent réussir la syntaxe (écrire une commande informatique valide) mais se tromper sur le sens (trouver le mauvais livre), ou qu'ils ne respectent pas les règles en vous laissant voir des livres que vous n'êtes pas censés toucher. La grande question est : Comment construire le meilleur « cerveau » pour ce robot ? Devons-nous laisser le robot écrire directement le code informatique ? Devons-nous lui donner un ensemble d'outils spécifiques à utiliser ? Ou devons-nous le forcer à rédiger d'abord un plan détaillé avant de faire quoi que ce soit ? Ce document, appelé SemPlan, est une expérience géante pour découvrir lequel de ces « designs de cerveau » fonctionne le mieux lorsque les enjeux sont élevés et que les données sont complexes.

Le Grand Combat des Cerveaux de Robots

Les chercheurs ont mis en place une bataille royale massive et contrôlée dans un univers fictif mais très réaliste nommé « Northstar Commerce ». Ils ont créé 1 800 questions différentes, tant en anglais qu'en portugais brésilien, allant de demandes simples comme « Combien d'argent avons-nous gagné ? » à des énigmes complexes à plusieurs étapes qui tentent de piéger le robot. Ils ont ensuite testé quatre architectures de robots différentes (appelons-les Équipe A, B, C et D) en utilisant exactement le même modèle super intelligent (une version spécifique d'une IA appelée gpt-5.6-luna) pour s'assurer que la comparaison soit équitable.

Voici comment les quatre équipes ont joué le jeu :

• L'Équipe A (L'Écrivain Direct) : Ce robot entend votre question et essaie immédiatement d'écrire le code informatique (SQL) pour obtenir la réponse. C'est comme demander à un élève de résoudre un problème de mathématiques sur un tableau blanc sans montrer son raisonnement.
• L'Équipe B (L'Utilisateur d'Outils) : Ce robot n'écrit pas de code. À la place, il possède une boîte à outils. Il doit choisir les bons outils (comme « additionner des nombres » ou « trier par date ») et cliquer dessus dans le bon ordre. C'est comme un chef cuisinier qui ne peut utiliser que des ingrédients pré-préparés et des ustensiles de cuisine spécifiques.
• L'Équipe C (Le Planificateur) : Ce robot n'écrit ni code ni outils. À la place, il écrit une requête sémantique stricte et structurée — un plan très spécifique et organisé qui précise exactement quelles données sont nécessaires. Un programme informatique distinct, ennuyeux mais parfait, prend ensuite ce plan et le transforme en code. C'est comme un élève qui rédige un plan parfait, et une autre personne qui écrit l'essai final basé sur ce plan.
• L'Équipe D (Le Clarificateur) : C'est le grand frère de l'Équipe C. Il rédige également un plan, mais s'il trouve la question confuse, il est autorisé à demander des clarifications ou à se souvenir de ce qui a été dit précédemment dans la conversation. C'est comme un détective qui peut revenir en arrière et demander : « Attendez, vouliez-vous dire le dragon rouge ou le bleu ? »

Les Résultats : Pas de Vainqueur Parfait

Après avoir lancé 4 800 tests au total (1 200 questions pour chacune des quatre équipes), les résultats ont été surprenants. La grande conclusion ? Il n'y a pas un seul « meilleur » robot. C'est un compromis, comme choisir entre une voiture de sport, un camion et une berline économique. On ne peut pas avoir la vitesse de la voiture de sport, la capacité de chargement du camion et la faible consommation de la berline en un seul véhicule.

Voici ce que les données ont montré :

1. La course à la précision
Si vous voulez simplement la bonne réponse, l'Équipe C (Le Planificateur) a gagné, mais ce n'était pas un raz-de-marée.

• L'Équipe C a obtenu la bonne réponse 25,67 % du temps.
• L'Équipe D (Le Clarificateur) arrive en deuxième position avec 24,25 %.
• L'Équipe B (L'Utilisateur d'Outils) est à 22,58 %.
• L'Équipe A (L'Écrivain Direct) est dernière avec 22,25 %.

Bien que l'Équipe C soit statistiquement meilleure que les autres, le document note qu'obtenir la bonne réponse environ 1 fois sur 4 est encore assez faible. Même le meilleur design a lutté face à la complexité des questions.

2. La course à la sécurité et aux règles
C'est ici que les équipes ont inversé les rôles.

• L'Équipe A (L'Écrivain Direct) était la plus sûre. Elle a le mieux suivi les règles (politique) (43,67 %) et était la moins susceptible de faire quelque chose de dangereux ou d'invalide (31,00 %). Elle était très conservatrice ; si elle n'était pas sûre, elle préférait souvent dire « Je ne peux pas faire cela » (un « faux refus ») plutôt que de risquer une erreur.
• L'Équipe D (Le Clarificateur) était la plus polie (ne refusant que 0,17 % du temps) mais la plus risquée. Elle avait le taux le plus élevé d'actions non sécurisées ou invalides (64,08 %). Elle essayait tellement d'être utile qu'elle enfreignait parfois les règles.

3. Le Coût et la Stabilité

• L'Équipe D était la moins chère à exploiter, coûtant en moyenne seulement 0,000469 $ par question.
• L'Équipe C était la plus stable. Lorsqu'ils posaient la même question trois fois, l'Équipe C donnait la même réponse correcte 98,67 % du temps. L'Équipe B était la moins stable, ne répétant correctement que 92,00 % du temps.

4. La Surprise de la « Langue »
Les chercheurs ont également remarqué que toutes les équipes faisaient moins bien lorsque les questions étaient en portugais brésilien par rapport à l'anglais. Par exemple, l'Équipe C a réussi 31,00 % en anglais contre seulement 20,33 % en portugais. Cela suggère que même avec le meilleur design, les différences linguistiques causent encore de gros problèmes.

Ce que cela signifie pour l'avenir

Le document écarte explicitement l'idée que « plus de structure est toujours mieux ». Vous pourriez penser que forcer le robot à rédiger un plan détaillé (Équipe C) ou à demander des clarifications (Équipe D) résoudrait tout. Les données disent non. Ajouter de la structure a changé la manière dont les robots échouaient, mais cela n'a pas miraculeusement réglé le fait qu'ils donnaient encore la mauvaise réponse la plupart du temps.

• L'Équipe A est sûre mais renonce souvent trop facilement.
• L'Équipe B est correcte mais incohérente.
• L'Équipe C est la plus précise et la plus stable, mais elle n'est pas parfaite.
• L'Équipe D est peu coûteuse et polie, mais elle est dangereuse et moins précise.

L'auteur conclut que nous ne devrions pas simplement chercher le « vainqueur » unique avec le score de précision le plus élevé. Nous devons regarder l'ensemble du tableau : Est-ce que la sécurité nous importe davantage (Équipe A) ? Est-ce que obtenir la bonne réponse est primordial (Équipe C) ? Ou est-ce que l'économie de coûts est l'objectif (Équipe D) ?

L'étude suggère que, pour l'instant, même les designs d'IA les plus intelligents ont encore du mal à comprendre parfaitement les questions commerciales complexes. La voie à suivre n'est pas seulement de construire un « meilleur » robot, mais de comprendre les compromis spécifiques de chaque design et de choisir l'outil adapté pour la tâche spécifique. Comme le dit le document, ce n'est pas encore un « problème résolu » ; c'est une carte qui nous montre où se trouvent les pièges afin que nous puissions construire de meilleurs systèmes à l'avenir.