🤖 AI

LLM-Based SQL Generation: Prompting, Self-Refinement, and Adaptive Weighted Majority Voting

Ce papier propose un cadre novateur pour la génération Text-to-SQL basée sur les LLM, qui combine un pipeline d'auto-affinement à agent unique avec vote d'ensemble (SSEV) et un système collaboratif multi-agents (ReCAPAgent-SQL) afin d'atteindre une précision d'exécution compétitive sur des benchmarks tels que Spider et BIRD, tout en traitant efficacement les complexités des bases de données d'entreprise réelles sans recourir à des données de vérité terrain.

Auteurs originaux : Yu-Jie Yang, Hung-Fu Chang, Po-An Chen

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu-Jie Yang, Hung-Fu Chang, Po-An Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous souhaitiez poser une question à une immense bibliothèque d'informations (une base de données), mais que les bibliothécaires ne parlent qu'un langage très strict et robotique appelé SQL. Vous, vous parlez l'anglais naturel. L'objectif de cette recherche est de créer un traducteur capable de transformer vos questions en anglais en commandes SQL parfaites afin que la bibliothèque puisse vous répondre.

Les auteurs de cet article, Yu-Jie Yang et ses collègues, ont abordé le problème selon lequel ces traducteurs sont souvent confus, commettent des erreurs ou ne comprennent pas la structure de la bibliothèque. Ils ont construit deux systèmes principaux pour résoudre ce problème : une approche de « Groupe d'experts » et une approche d'« Équipe d'agents spécialisés ».

Voici comment ils ont procédé, en utilisant des analogies simples :

1. Le Problème : Le Traducteur « Taille Unique » Échoue

Imaginez demander à une seule personne de traduire un document juridique complexe dans une autre langue. Elle pourrait manquer une nuance, se tromper sur un nom ou utiliser la mauvaise grammaire. Dans le monde des bases de données, cela se produit lorsqu'un modèle d'IA unique tente de deviner le code SQL. Il se perd souvent dans le « schéma » (la carte de la bibliothèque) ou mal interprète votre question.

2. La Première Solution : Le « Groupe d'Experts » (Pipeline SSEV)

Les auteurs ont créé un système appelé SSEV (Single-Agent Self-Refinement with Ensemble Voting). Imaginez cela non pas comme un seul traducteur, mais comme un panel de cinq experts différents assis autour d'une table.

La Phase de Brouillon (PreSQL) : Le panel note ses premières hypothèses pour la réponse.
La Vérification de la Carte (Schema Linking) : Ils réalisent qu'ils regardent une carte géante de la bibliothèque. Au lieu d'essayer de lire toute la carte, ils utilisent leurs premières hypothèses pour surligner uniquement les allées et les étagères pertinentes. Cela élimine le bruit.
Le Deuxième Brouillon (PostSQL) : Avec la carte rétrécie, ils rédigent un deuxième brouillon plus propre et plus ciblé.
La Boucle d'« Auto-correction » : Si un brouillon contient une faute de frappe ou ne fonctionne pas lorsqu'ils essaient de l'exécuter, ils ne le jettent pas simplement. Ils examinent le message d'erreur, le corrigent et réessaient. C'est comme un écrivain qui édite son propre travail jusqu'à ce qu'il ait du sens.
Le Système de Vote (WMA) : C'est l'ingrédient secret. Au lieu de simplement prendre un vote où chacun a un point égal, ils utilisent un Algorithme de Majorité Pondérée.
- Imaginez une émission de jeu où les juges ont différents niveaux de confiance. Si le « Juge A » a eu raison 10 fois de suite, son vote compte davantage. Si le « Juge B » continue de faire des erreurs, son vote compte moins.
- Le système met constamment à jour ces « scores de confiance » en fonction de qui a donné la bonne réponse par le passé. Avec le temps, le système apprend à écouter principalement l'expert le plus intelligent de la pièce.

Le Résultat : Sur des tests standards (comme Spider 1.0 et BIRD), cette approche de « Groupe d'experts » a donné la bonne réponse environ 86 % du temps, ce qui est bien mieux que n'importe quel expert travaillant seul.

3. La Deuxième Solution : L'« Équipe d'Agents Spécialisés » (ReCAPAgent-SQL)

Pour des problèmes encore plus difficiles (comme le nouvel ensemble de données Spider 2.0, qui imite des bases de données d'entreprise réelles et désordonnées), un simple panel ne suffit pas. Les auteurs ont construit ReCAPAgent-SQL, qui revient à engager une force opérationnelle spécialisée où chaque membre a un travail spécifique.

Le Planificateur : Découpe votre grande question en petites étapes logiques (comme un chef de projet).
Le Récupérateur : Va chercher des manuels ou de la documentation supplémentaires si l'équipe ne connaît pas une règle spécifique (comme un chercheur).
Le Critique : Examine le travail et dit : « Attendez, cette logique n'a pas de sens », ou « Vous avez oublié une étape ».
Le Lier de Schéma : Gère spécifiquement la carte de la bibliothèque, en s'assurant qu'ils regardent les bonnes tables et colonnes.
L'Auto-affineur : Si le code plante, cet agent le répare.
Le Validateur : L'inspecteur final de contrôle qualité qui vérifie : « Cette réponse résout-elle réellement le problème de l'utilisateur ? »

Ces agents communiquent entre eux dans une boucle. Ils planifient, agissent, sont critiqués, corrigent l'erreur et réessaient jusqu'à ce qu'ils obtiennent le bon résultat.

Le Résultat : Lorsqu'ils ont testé cela sur les questions les plus difficiles et les plus réalistes (Spider 2.0-lite), ils ont pris un système de référence qui ne donnait la bonne réponse que dans 6 % des cas et l'ont porté à 31 %. C'est un bond massif dans un domaine où les progrès sont généralement mesurés en minuscules fractions.

4. Pourquoi Cela Importe

L'article affirme qu'en combinant l'auto-correction (corriger ses propres erreurs), le vote intelligent (écouter les meilleurs experts) et les agents spécialisés (avoir une équipe avec des rôles spécifiques), nous pouvons construire des systèmes qui gèrent beaucoup mieux les questions complexes sur des données réelles qu'auparavant.

Ils n'ont pas seulement deviné ; ils ont testé ces méthodes sur des benchmarks standards et prouvé que :

Le Vote Pondéré fonctionne mieux que le vote majoritaire simple car il s'adapte à qui est réellement bon pour la tâche.
L'Auto-affinement aide à corriger les erreurs qui surviennent lorsque la base de données dit « Non, cette commande est incorrecte ».
Les Systèmes Multi-Agents sont nécessaires pour les bases de données désordonnées et compliquées que l'on trouve dans les vraies entreprises.

En bref, ils ont construit un traducteur plus intelligent et plus résilient qui apprend de ses erreurs et écoute ses meilleurs experts, rendant beaucoup plus facile pour les gens ordinaires de poser des questions complexes à d'immenses bases de données.

Résumé Technique : Génération SQL Basée sur les LLM avec Auto-Raffinement et Vote Majoritaire Pondéré Adaptatif

1. Énoncé du Problème

La génération de SQL à partir de texte vise à réduire la barrière à l'analyse des données en permettant aux utilisateurs d'interroger des bases de données via le langage naturel. Malgré les progrès des Modèles de Langage à Grande Échelle (LLM), la génération de SQL précis reste difficile en raison de :

Ambiguïté : Les requêtes en langage naturel manquent souvent d'intention précise.
Liaison de Schéma : Difficulté à mapper correctement les tokens du langage naturel vers des tables et colonnes spécifiques de la base de données, en particulier concernant les jointures implicites et les références inter-tables.
Généralisation : Mauvaises performances sur divers dialectes SQL (par exemple, BigQuery, Snowflake) et styles de requêtes rencontrés dans les environnements d'entreprise réels.
Manque de Robustesse : Les pipelines existants reposent souvent sur un seul modèle pour la sortie finale, carencés en mécanismes de rétroaction adaptative, en intégration de connaissances externes et en stratégies d'apprentissage à partir d'erreurs d'exécution antérieures.
Complexité : Les scénarios d'entreprise réels (par exemple, Spider 2.0) nécessitent un raisonnement multi-étapes, une interaction dynamique avec l'environnement et la gestion de contraintes de contexte long, où le prompting traditionnel en un seul tour échoue (atteignant souvent moins de 10 % de précision).

2. Méthodologie

L'article propose une approche en deux phases, évoluant d'un pipeline à agent unique vers un cadre multi-agents, tous deux exploitant le Vote Majoritaire Pondéré (WMA) et l'Auto-Raffinement Guidé par l'Exécution.

Phase 1 : Auto-Raffinement à Agent Unique avec Vote d'Ensemble (SSEV)

Fondé sur le cadre PET-SQL, le pipeline SSEV fonctionne sans données de vérité terrain lors de l'inférence et se compose de deux étapes principales :

Génération PreSQL et Liaison de Schéma :
- Plusieurs LLM (experts) génèrent des candidats SQL préliminaires (PreSQL) en utilisant des prompts few-shot contenant le DDL complet de la base de données, des références aux valeurs des cellules et des règles d'optimisation.
- Liaison de Schéma : Les chaînes PreSQL générées sont analysées pour extraire les tables et colonnes référencées. Les éléments de schéma non pertinents sont élagués pour créer un prompt focalisé et informé par le schéma pour l'étape suivante.
Génération PostSQL et Raffinement :
- Le même ensemble de LLM génère des candidats SQL affinés (PostSQL) en utilisant le schéma élagué.
- Auto-Raffinement Guidé par l'Exécution : Si une requête échoue (erreur de syntaxe ou résultat vide), elle subit une réécriture itérative. Le modèle est re-sollicité avec le contexte original, le SQL échoué et le message d'erreur spécifique. Cette boucle se poursuit jusqu'à un nombre maximal d'itérations ( $N$ ).
Vote d'Ensemble Adaptatif :
- Au lieu d'un simple vote majoritaire, le système emploie l'Algorithme de Majorité Pondérée (WMA) et sa variante randomisée (RWMA).
- Mécanisme : Chaque expert (LLM) se voit attribuer un poids ( $w_i$ ). Les poids sont mis à jour en fonction des performances historiques (exactitude ou succès d'exécution). Les prédictions incorrectes entraînent une pénalité multiplicative ( $1-\epsilon$ ).
- Sélection : Le SQL final est sélectionné en fonction du poids total le plus élevé (WMA) ou échantillonné de manière probabiliste selon les poids (RWMA). Cela permet au système de prioriser dynamiquement les experts les plus fiables sans nécessiter d'étiquettes de vérité terrain au moment de l'inférence.

Phase 2 : ReCAPAgent-SQL (Raffinement-Critique-Action-Planification)

Pour répondre à la complexité des bases de données d'entreprise (Spider 2.0), les auteurs proposent un cadre multi-agents qui encapsule les idées clés de SSEV dans des agents spécialisés et collaboratifs :

PlannerAgent : Décompose la requête utilisateur en un plan de raisonnement étape par étape (format JSON) avant de générer le SQL.
RetrieverAgent : Utilise la Génération Augmentée par Récupération (RAG) pour récupérer des connaissances de domaine externes et la syntaxe spécifique d'un dialecte SQL (par exemple, BigQuery) depuis une base de données vectorielle.
CritiqueAgent : Évalue à la fois le plan de raisonnement et le SQL généré pour la cohérence logique, la conformité au dialecte et la cohérence avec le plan. Il déclenche des révisions si des défauts sont détectés.
SchemaLinkerAgent : Filtre et formate dynamiquement les informations de schéma lorsque des erreurs d'exécution (par exemple, TableNotFound) se produisent, garantissant que le prompt ne contient que le contexte pertinent.
ActionAgent : Prédit la prochaine action exécutable (génération SQL, commande Bash ou terminaison) en fonction de l'état actuel et des retours d'information.
SelfRefinerAgent : Gère la boucle de correction itérative pour les requêtes SQL échouées, intégrant les messages d'erreur et le contexte du schéma.
ValidatorAgent : Effectue le contrôle qualité final, vérifiant si le résultat correspond à l'intention de l'utilisateur, n'est pas vide et ne contient pas de colonnes redondantes.

Le cadre fonctionne dans une boucle Planifier-Exécuter-Critiquer-Raffiner-Valider, ne se terminant qu'après une validation réussie ou l'atteinte d'une limite maximale d'étapes.

3. Contributions Clés

Pipeline SSEV : Un pipeline à agent unique novateur intégrant la génération PreSQL/PostSQL, l'auto-raffinement guidé par l'exécution et le vote adaptatif WMA/RWMA, obtenant de solides performances sur Spider 1.0 et BIRD sans supervision par vérité terrain.
ReCAPAgent-SQL : Un cadre multi-agents complet conçu pour des scénarios d'entreprise complexes et réels. Il intègre systématiquement la planification, la récupération de connaissances externes, la liaison de schéma dynamique et la critique/le raffinement itératif.
Mécanismes de Vote Adaptatif : L'application de WMA et RWMA à la génération SQL à partir de texte, démontrant que le pondération dynamique des experts LLM basée sur les performances historiques surpasse significativement les méthodes d'ensemble statiques et les modèles de base uniques.
Raffinement Guidé par l'Exécution : Une boucle d'auto-raffinement légère qui corrige les erreurs de syntaxe et d'exécution sans dépendre de modules externes complexes de catégorisation des erreurs.

4. Résultats Expérimentaux

Des expériences ont été menées sur Spider 1.0 (Dev/Test), BIRD (Dev) et les 100 premières requêtes de Spider 2.0-lite.

Performance de SSEV (Spider 1.0 & BIRD)

Spider 1.0 Dev : La meilleure configuration (Étape 6.1 : WMA + Auto-Raffinement + Liaison de Schéma) a atteint 85,5 % de précision d'exécution, surpassant les modèles de base individuels (par exemple, Gemini-2.5-Pro à 84,9 %).
Spider 1.0 Test : La même configuration a atteint 86,4 % de précision d'exécution.
BIRD Dev : Le cadre a atteint 66,3 % de précision d'exécution, approchant la performance du meilleur modèle individuel (Gemini-2.5-Pro à 66,56 %).
Études d'Ablation :
- La liaison de schéma a fourni des gains modestes mais constants, en particulier pour les modèles plus faibles.
- L'auto-raffinement guidé par l'exécution a montré des améliorations significatives sur le jeu de données complexe BIRD (jusqu'à +2,28 % pour des modèles spécifiques) mais des résultats mitigés sur Spider 1.0.
- WMA a constamment démontré des taux d'erreur et des regrets inférieurs à RWMA et au vote naïf, convergeant efficacement vers les experts les plus forts.

Performance de ReCAPAgent-SQL (Spider 2.0-lite)

Comparaison avec la Base : L'agent Spider officiel utilisant GPT-4.1 n'a atteint que 6 % de précision sur les 100 premières requêtes.
Amélioration par ReCAPAgent-SQL : L'intégration de ReCAPAgent-SQL avec GPT-4.1 a porté la précision à 31 % (un gain absolu de 25 %).
Grok-3-beta : ReCAPAgent-SQL a amélioré les performances de Grok-3-beta de 23 % à 29 %.
Impact du Vote : WMA a atteint la précision totale la plus élevée (31 %), tandis que RWMA a montré un léger avantage sur les requêtes "Difficiles" (12,5 % contre 8,3 %), indiquant un compromis entre précision globale et robustesse sur les instances difficiles.

5. Importance et Revendications

L'article revendique que son travail facilite le déploiement de systèmes évolutifs de SQL à partir de texte dans des contextes pratiques en :

Combler le Fossé : Passer des benchmarks synthétiques à des environnements d'entreprise réalistes et sensibles aux dialectes (Spider 2.0).
Coût et Efficacité : Soutenir la prise de décision basée sur les données avec un coût inférieur et une plus grande efficacité en réduisant la dépendance à une expertise SQL spécialisée.
Robustesse : Démontrer que la combinaison de l'auto-raffinement guidé par l'exécution avec le vote d'ensemble adaptatif (WMA) crée des systèmes robustes face à l'ambiguïté du schéma et aux erreurs d'exécution.
Fondement Théorique : Fournir une méthode théoriquement fondée (WMA) qui atteint des performances proches de l'expert avec un faible regret, même sans supervision par vérité terrain lors de l'inférence.

Les auteurs concluent que l'intégration du raffinement, du raisonnement sur le schéma et du vote adaptatif est cruciale pour faire progresser la fiabilité des systèmes de SQL à partir de texte dans des scénarios complexes et réels.