💬 NLP

R $^3$ -SQL: Ranking Reward and Resampling for Text-to-SQL

R³-SQL est un nouveau cadre Text-to-SQL qui améliore la précision d'exécution en introduisant un mécanisme de récompense unifié pour le classement cohérent des groupes SQL fonctionnellement équivalents et une stratégie de rééchantillonnage agentique pour récupérer les requêtes correctes lorsqu'elles sont initialement absentes du pool de candidats, atteignant ainsi des performances de pointe sur le benchmark BIRD-dev.

Auteurs originaux : Hojae Han, Yeonseok Jeong, Seung-won Hwang, Zhewei Yao, Yuxiong He

Publié 2026-04-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hojae Han, Yeonseok Jeong, Seung-won Hwang, Zhewei Yao, Yuxiong He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre un mystère (la question de l'utilisateur) en demandant des indices à une base de données. Vous avez une équipe de détectives juniors (le modèle d'IA) qui écrivent chacun leur propre version des indices qu'ils ont trouvés (requêtes SQL).

Par le passé, le détective senior (le système de classement) avait deux gros problèmes :

La confusion des « ressemblances » : Si deux détectives juniors écrivaient des phrases différentes qui signifiaient exactement la même chose et trouvaient les mêmes indices, le détective senior était souvent confus. Il pouvait donner un score élevé à l'une simplement parce qu'elle sonnait plus fancy, et un score bas à l'autre, même si les deux étaient justes.
Le problème de la « boîte vide » : Si aucun des détectives juniors ne trouvait les bons indices, le détective senior était impuissant. Peu importe à quel point il était doué pour choisir la « meilleure » mauvaise réponse, il ne pouvait pas trouver la bonne si elle n'était pas dans le tas.

L'article présente R3-SQL, un nouveau système qui résout ces deux problèmes en utilisant une stratégie en deux étapes.

Étape 1 : La fête du « regroupement d'indices » (résoudre la confusion)

Au lieu d'évaluer individuellement la note de chaque détective, R3-SQL demande d'abord : « Qu'avez-vous réellement trouvé ? »

L'analogie : Imaginez que tous les détectives rapportent leurs découvertes. R3-SQL place tous les détectives qui ont trouvé le même ensemble exact d'indices dans la même pièce.
- La pièce A contient 5 détectives qui ont tous trouvé « 201 molécules ».
- La pièce B contient 1 détective qui a trouvé « 71 molécules ».
- La pièce C contient 3 détectives qui ont trouvé « 3250 dollars ».

Maintenant, au lieu de juger les détectives un par un, le détective senior juge les pièces.

Il examine les pièces et demande : « Les découvertes de quelle pièce ont le plus de sens pour le mystère ? »
Il utilise un système de vote spécial (comparant les pièces entre elles) pour décider quelle pièce est la gagnante.
Le résultat : Même si la pièce « correcte » ne contient qu'un seul détective (la pièce B), elle peut toujours battre une pièce « fausse » avec cinq détectives (la pièce A), car le système vérifie la logique des découvertes, et non pas simplement le nombre de personnes dans la pièce. Cela empêche le système d'être confus par les différentes façons de dire la même chose.

Étape 2 : Le « éclaireur intelligent » (résoudre la boîte vide)

Que se passe-t-il si le détective senior examine toutes les pièces et réalise : « Attendez, aucun de ces indices ne résout réellement le mystère » ? Autrefois, il choisissait simplement la réponse « moins fausse » et abandonnait.

R3-SQL ajoute un éclaireur intelligent (un agent d'IA) qui agit comme un inspecteur de contrôle qualité.

L'analogie : Avant que la décision finale ne soit prise, l'éclaireur examine le tas d'indices.
L'action : L'éclaireur demande : « Y a-t-il une vraie solution ici ? »
- Si l'éclaireur dit : « Oui, j'en vois une bonne », le processus continue.
- Si l'éclaireur dit : « Non, ce tas est de la mauvaise qualité », le système jette tout le tas et renvoie les détectives juniors pour générer un nouveau, plus grand lot d'indices.
Le résultat : Cela garantit que la réponse finale provient d'un ensemble qui contient réellement la solution correcte, plutôt que de simplement choisir la meilleure d'un mauvais groupe.

Le score final

En combinant ces deux astuces — regrouper les réponses similaires pour éviter la confusion et utiliser un éclaireur pour s'assurer que la bonne réponse est réellement présente — R3-SQL est devenu le nouveau champion.

Il a testé cela sur cinq « jeux de mystère » (bases de données) différents.
Il a résolu 75,03 % des énigmes correctement sur le test le plus difficile (BIRD-dev), battant toutes les méthodes précédentes utilisant des modèles de taille connue.
Il a fait cela sans avoir besoin d'être un « superordinateur » que personne d'autre ne peut voir ; il a simplement utilisé une organisation plus intelligente et un meilleur contrôle qualité.

En bref : R3-SQL empêche l'IA de se confondre avec les différentes formulations d'une même réponse, et il refuse d'accepter un « meilleur pari » si la bonne réponse n'est pas réellement dans le mélange, renvoyant l'IA au tableau noir jusqu'à ce qu'elle trouve la bonne réponse.

1. Énoncé du problème

Les systèmes modernes de Text-to-SQL suivent généralement un paradigme génération- puis-classement, où un grand modèle de langage (LLM) échantillonne plusieurs requêtes SQL candidates, et un classeur sélectionne la meilleure. Les auteurs identifient deux limitations critiques dans les approches de classement existantes :

Incohérence fonctionnelle : Les classeurs existants (à la fois ponctuels et listiques) attribuent souvent des scores incohérents à des requêtes SQL fonctionnellement équivalentes qui ne diffèrent que par leur forme de surface (par exemple, l'ordre des tokens ou le style syntaxique) mais produisent des résultats d'exécution identiques. Cela entraîne une instabilité où un SQL correct pourrait être classé plus bas qu'un variant incorrect mais stylistiquement similaire.
Rappel borné : Les stratégies de classement supposent que le SQL correct existe déjà au sein du pool de candidats générés. Si le générateur échoue à produire la bonne réponse (un scénario de "rappel borné"), aucune stratégie de classement ne peut récupérer la solution correcte. Les méthodes existantes échouent souvent à combler efficacement cette lacune.

2. Méthodologie : Cadre R3-SQL

R3-SQL répond à ces limitations grâce à un cadre unifié combinant le Classement par Groupes et le Resampling Agentique. Le système fonctionne en deux phases : Exploration (élargissement du pool de candidats) et Exploitation (classement des candidats).

A. Classement par Groupes (Résolution de l'incohérence fonctionnelle)

Au lieu de classer des requêtes SQL individuelles, R3-SQL regroupe les candidats selon leurs résultats d'exécution.

Regroupement : Tous les candidats produisant le même résultat d'exécution sont regroupés en un seul groupe ( $G$ ). Cela garantit que l'équivalence fonctionnelle est traitée de manière cohérente.
Scoring à double signal : Pour classer ces groupes, R3-SQL combine deux signaux complémentaires :
1. Préférence inter-groupe (Signal listique) : Un classeur par paires compare des candidats provenant de groupes différents pour déterminer la préférence relative. Ce signal est robuste aux différences superficielles. Pour éviter le bruit provenant de comparaisons ambiguës, un seuil ( $\tau$ ) est appliqué pour filtrer les jugements incertains.
2. Utilité de groupe ponctuelle (Signal ponctuel) : Ce signal intègre le score ponctuel maximal au sein d'un groupe (représentant la qualité du meilleur candidat) et la taille du groupe (représentant la cohérence interne).
Ordre lexicographique : Les groupes sont triés principalement par le score de préférence inter-groupe. Les égalités sont départagées par le score d'utilité ponctuelle. Enfin, un seul SQL est sélectionné dans le groupe le mieux classé en fonction de son score ponctuel individuel.

B. Resampling Agentique (Résolution du rappel borné)

Pour garantir que le SQL correct est présent dans le pool, R3-SQL introduit un agent d'audit basé sur un LLM.

Processus en deux passes :
1. Génération initiale : Le LLM de base génère un pool initial de $n$ candidats.
2. Audit : Un agent ( $f$ ) évalue le pool pour déterminer si un SQL "probablement correct" existe, en se basant sur la correspondance d'intention, la validité du schéma et la cohérence de l'exécution.
Resampling sélectif : Si l'agent détermine que le pool est insuffisant (c'est-à-dire que le SQL correct est probablement absent), il rejette le pool initial et déclenche un resampling, générant un ensemble plus large de $m$ candidats ( $m > n$ ). Les $n$ meilleurs de ce nouvel ensemble sont sélectionnés. C'est "agentique" car il est sélectif, évitant ainsi le coût computationnel d'un resampling systématique.

C. Atténuation du biais de position

Le classeur listique est entraîné en utilisant un Objectif de cohérence de position dans le cadre GRPO (Group Relative Policy Optimization). Le modèle est récompensé non seulement pour sélectionner le bon SQL, mais aussi pour maintenir cette préférence indépendamment de l'ordre d'entrée des candidats (par exemple, si $A$ est préféré à $B$ , il doit toujours être préféré si l'entrée est inversée en $B, A$ ).

3. Contributions clés

Identification des limitations : L'article définit formellement et traite l'"incohérence fonctionnelle" et le "rappel borné" comme les principaux goulots d'étranglement des pipelines Text-to-SQL actuels.
Classement par groupes unifié : Un cadre de classement novateur qui agrège les candidats par sémantique d'exécution et utilise un hybride de préférence par paires et d'utilité ponctuelle pour résoudre les incohérences de classement.
Resampling agentique : Un mécanisme dynamique qui diagnostique la couverture du pool de candidats et étend sélectivement l'espace de recherche uniquement lorsque nécessaire, atténuant efficacement le rappel borné.
Entraînement invariant à la position : Un objectif d'entraînement qui réduit explicitement la sensibilité à l'ordre d'entrée dans les classeurs listiques.

4. Résultats expérimentaux

Les auteurs ont évalué R3-SQL sur cinq benchmarks : BIRD-dev, Spider, Spider-DK, EHR-SQL et ScienceBenchmark.

Performance de pointe : R3-SQL a atteint 75,03 % de précision d'exécution (EX) sur le benchmark BIRD-dev, établissant un nouvel état de l'art parmi les méthodes utilisant des modèles de tailles divulguées (spécifiquement en utilisant un générateur de 32B et un classeur de 7B).
Cohérence : Il a obtenu la plus haute EX sur les cinq benchmarks, avec une moyenne de 70,65 %, surpassant les meilleures bases de référence précédentes (par exemple, CHASE-SQL, XiYan-SQL).
Analyse des composants :
- Incohérence fonctionnelle : Le scoring par groupes a réduit la variance des scores parmi les SQL équivalents à 0,0, tandis que les méthodes purement ponctuelles montraient une variance significative.
- Amélioration du rappel : Le resampling agentique a augmenté le rappel des candidats de +3,92 points de pourcentage, élevant la limite supérieure théorique de la précision réalisable.
- Robustesse : La méthode a montré une stabilité supérieure par rapport aux différentes graines aléatoires par rapport aux bases de référence.
Efficacité : Malgré la complexité ajoutée, R3-SQL s'est révélé plus efficace que la base de référence CHASE-SQL, réduisant le temps d'inférence de 0,12 seconde par requête en évitant le classement redondant de candidats fonctionnellement identiques.

5. Signification

R3-SQL représente un changement significatif dans l'architecture Text-to-SQL en s'éloignant du traitement de la génération SQL comme un simple problème de "choisir la meilleure chaîne". Au lieu de cela, il la traite comme un problème de regroupement sémantique et de couverture.

Fiabilité : En regroupant par résultats d'exécution, il garantit que le système est robuste aux variations stylistiques dans les sorties des LLM.
Complétude : En intégrant un agent pour juger la couverture, il reconnaît que le classement ne peut pas corriger une réponse correcte manquante, comblant efficacement le fossé entre la génération et la sélection.
Évolutivité : Le mécanisme de resampling sélectif garantit que la surcharge computationnelle n'est encourue que lorsque nécessaire, rendant l'approche pratique pour un déploiement dans le monde réel.

En conclusion, R3-SQL démontre que la combinaison du regroupement sémantique, de la modélisation hybride des récompenses et du resampling intelligent est la clé pour débloquer une précision et une robustesse supérieures dans les systèmes Text-to-SQL.