Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

Le Détective contre la Calculatrice : Pourquoi avoir raison importe plus que la rapidité

Imaginez que vous soyez dans une bibliothèque géante et chaotique où des millions de livres sont constamment réécrits, déplacés ou jetés. Vous demandez à un bibliothécaire : « Combien de livres rouges ont été vendus mardi dernier ? » Un programme informatique traditionnel agit comme une calculatrice super rapide : il commence immédiatement à chercher, extrait un nombre et vous le crie en retour. Si le calcul est parfait, l'ordinateur se sent fier. Mais qu'en est-il si « rouge » signifiait « cramoisi » pour vous mais « écarlate » pour le bibliothécaire ? Ou si les livres rouges avaient été déplacés dans un autre bâtiment la semaine dernière, rendant la question impossible à répondre ? La calculatrice vous donnerait quand même un nombre, mais ce serait le mauvais, et personne ne le saurait avant qu'il ne soit trop tard.

C'est le monde des agents analytiques LLM. Ce sont des systèmes d'IA conçus pour dialoguer avec des bases de données (les bibliothèques) et répondre à des questions commerciales. Pendant longtemps, les scientifiques mesuraient leur succès en vérifiant si l'IA écrivait le bon « code » (SQL) pour poser une question à la bibliothèque. C'est comme noter un élève uniquement sur sa grammaire, en ignorant s'il a réellement compris l'histoire. Mais dans le monde réel, une phrase « parfaite » qui mène à un mauvais chiffre est un désastre. C'est comme un GPS qui vous donne des directions parfaites vers une maison qui a brûlé l'année dernière. Le véritable défi n'est pas seulement d'écrire le code ; c'est de savoir quand ne pas répondre, quand demander des clarifications et quand dire : « Je ne peux pas vous aider pour cela. » Ce document plonge dans ce problème complexe et réel, en posant la question : vaut-il mieux avoir un cerveau gigantesque et coûteux qui devine avec assurance, ou un petit détective respectueux des règles qui vérifie tout ce qu'il fait ?

L'histoire de QueryProof : Le Détective respectueux des règles

Dans cette étude, un chercheur nommé Morris Lee a construit un nouveau type d'agent d'IA appelé QueryProof. L'objectif était de tester une idée audacieuse : peut-être n'avons-nous pas besoin d'un cerveau massif de 32 milliards de paramètres pour être intelligents. Peut-être avons-nous simplement besoin d'un cerveau plus petit, de 7 milliards de paramètres, qui est contraint de suivre des règles strictes et de vérifier son propre travail.

Pour tester cela, le chercheur a créé un terrain de jeu spécial appelé WarehouseReliabilityBench. Imaginez deux fausses bibliothèques (une pour un magasin en ligne, une pour une entreprise de logiciels) remplies de pièges subtils. Sur 400 questions, environ la moitié étaient conçues pour être impossibles à répondre correctement avec un simple chiffre. Certaines questions étaient ambiguës (comme demander le « revenu » sans préciser si vous parliez du brut ou du net), certaines demandaient des données inexistantes, et d'autres tentaient de piéger l'IA pour lui faire enfreindre les règles. Dans ces cas, la bonne réponse n'était pas un nombre, mais un refus poli, une demande de précisions ou un message de type « Je ne peux pas faire cela ».

L'expérience a comparé trois personnages principaux :

1. Le Cerveau Géant (32B) : Un modèle énorme sollicité directement pour tout répondre. Il n'avait aucun filet de sécurité, aucune règle, et personne pour vérifier son travail.
2. Le Détective Respectueux des Règles (QueryProof) : Un modèle plus petit de 7B, mais celui-ci était enveloppé dans une « machine à états déterministe ». Voyez cela comme un superviseur strict qui force l'IA à consulter un manuel de règles avant de parler. Si la question est ambiguë, le superviseur dit : « Stop ! Demandez des clarifications. » Si les données sont manquantes, le superviseur dit : « Stop ! Refusez de répondre. » L'IA ne peut parler que si elle passe ces vérifications.
3. La Référence de Coût Équivalent : Un modèle plus petit avec quelques exemples supplémentaires (few-shot) pour voir si le simple fait de lui donner plus d'indices aide.

La Grande Révélation : Les Règles battent la Puissance Brute

Les résultats ont été surprenants et très clairs. Le Cerveau Géant était confiant mais souvent erroné. Il essayait de répondre à chaque question, même aux plus impossibles, et finissait par donner de faux chiffres commerciaux sur la plupart d'entre elles. Son « Taux de Succès Faux » (le ratio des mauvaises réponses sur toutes les réponses qu'il a fournies) était un chiffre stupéfiant de 0,754. C'était comme un étudiant qui répond au hasard à toutes les questions d'un examen et obtient un score élevé en « tentative », mais échoue à l'examen réel.

QueryProof, le plus petit détective avec son manuel de règles, a complètement surpassé le géant.

• Précision : QueryProof a atteint un Taux de Vérité Commerciale de 0,537 (signifiant qu'il a donné la bonne réponse ou le bon comportement 53,7 % du temps), tandis que le Cerveau Géant n'a réussi qu'à 0,300.
• Sécurité : Lorsque QueryProof fournissait une réponse, il se trompait moins souvent que le Cerveau Géant. Plus précisément, 35,1 % des réponses fournies par QueryProof étaient incorrectes, contre 75,4 % des réponses fournies par le Cerveau Géant. Crucialement, sur les questions spécifiques qui pouvaient être répondues, le Cerveau Géant n'a retourné aucun mauvais chiffre non détecté, alors que QueryProof a retourné 13 réponses à des questions qui nécessitaient en réalité une clarification ou un refus. La victoire clé était que QueryProof a stoppé les « échecs silencieux » où un mauvais chiffre est renvoyé sans avertissement, garantissant qu'aucun mauvais chiffre commercial n'était jamais renvoyé sur une tâche pouvant être traitée.
• Coût : Voici le plus important. QueryProof était 71,0 % moins cher par réponse correcte que le Cerveau Géant. Il n'avait pas besoin d'un modèle massif pour être fiable ; il avait besoin d'un bon système de vérification.

L'article a découvert que la « magie » ne résidait pas dans la taille du cerveau de l'IA. Elle résidait dans la couche déterministe — les règles rigides qui vérifiaient la question par rapport à la structure réelle de la base de données avant que l'IA ne parle. Cette couche agissait comme un videur à l'entrée d'un club, arrêtant les mauvaises questions avant qu'elles ne causent des problèmes.

Ce qui n'a pas fonctionné (Et pourquoi c'est important)

Les chercheurs ont également testé l'ajout de certaines fonctionnalités « intelligentes » à QueryProof, espérant l'améliorer encore davantage, mais celles-ci ont échoué.

• Le Modèle de Confiance : Ils ont essayé d'apprendre à l'IA à « ressentir » son niveau de confiance et à ignorer les questions pour lesquelles elle n'était pas sûre. Cela n'a pas fonctionné. Lors du test, la confiance apprise par l'IA était en fait moins bonne qu'une simple règle écrite à la main. C'était comme un étudiant qui pense connaître la réponse mais qui est en fait en train de deviner, alors que la règle simple était simplement honnête.
• Le Système de Routage : Ils ont tenté un système qui enverrait les questions difficiles à un modèle plus grand. Cela a eu l'effet inverse lors du test, provoquant le refus de trop de questions que l'IA aurait pu répondre.

L'article précise avec prudence que ces échecs sont réels. Les parties « intelligentes » ne se sont pas généralisées de la pratique au test final. La seule chose qui a fonctionné, c'est la vérification rigide et ennuyeuse basée sur les règles.

Le Bémol : À quel point sommes-nous sûrs ?

Les chercheurs sont honnêtes quant aux limites de leur récit.

• Le Terrain de Jeu : Les bibliothèques étaient synthétiques (fausses), construites à partir d'une graine unique. Bien que cela rende le test équitable et reproductible, nous ne savons pas avec certitude si cela fonctionne dans une entreprise réelle et désordonnée avec des décennies de données de mauvaise qualité.
• La « Fuite » : Les chercheurs ont admis que lors de la configuration, ils ont accidentellement trouvé certaines phrases spécifiques qui correspondaient aux questions du test. Ils les ont supprimées avant le test final, mais reconnaissent que le test n'est pas parfaitement « propre » car ils connaissaient les questions lors de la création des règles. Ils considèrent les résultats comme une « évaluation figée » avec un défaut connu, et non comme une preuve parfaite.
• Les Statistiques : Lorsqu'ils ont refait les calculs en utilisant des « familles » de questions plutôt que des questions individuelles, les intervalles de confiance se sont élargis. Cela signifie que la direction du résultat (Règles > Puissance Brute) est probablement vraie, mais que la taille exacte de la victoire pourrait être un peu floue.

La Conclusion à Retenir

La leçon principale ici est que pour l'analyse commerciale, la fiabilité provient de la structure, pas seulement de la taille. Une IA plus petite, lorsqu'elle est enveloppée dans un système strict de règles qui vérifient les données et la question avant de répondre, peut être plus précise, plus sûre et moins coûteuse qu'une IA massive qui se contente de deviner.

L'article suggère que si vous voulez une IA qui ne ment pas à votre patron, vous ne devriez pas simplement acheter un modèle plus gros. Vous devriez construire un meilleur « manuel de règles » et un « videur » pour vérifier le travail. Les parties d'apprentissage « intelligentes » (comme les scores de confiance) sont peut-être agréables à avoir, mais dans ce cas précis, elles n'ont pas aidé. Le véritable héros était la vérification déterministe et ennuyeuse qui disait : « Attendez, assurons-nous que cette question fait sens avant de répondre. »