Résumé Technique : ACE-SQL

Problématique

Les systèmes Text-to-SQL font face à un goulot d'étranglement critique dans le liage de schéma (schema linking), particulièrement lorsqu'ils traitent des bases de données modernes contenant des schémas larges et complexes. Les approches existantes se divisent généralement en deux catégories, qui souffrent toutes deux d'un décalage de supervision conditionné par le générateur :

1. Génération de schéma complet : Ces méthodes apprennent implicitement la sélection de schéma au sein d'une génération SQL de bout en bout. Cependant, cela laisse le liage de schéma dans un espace de recherche massif, ce qui entraîne souvent une précision d'exécution inférieure par rapport à l'utilisation de colonnes de vérité terrain (gold).
2. Pipelines de type Récupérateur-Générateur : Ces systèmes utilisent un récupérateur entraîné sur des annotations statiques de colonnes "gold" pour sélectionner explicitement les composants du schéma avant la génération. La limite ici est que le récupérateur est ancré à des cibles fixes ("gold"). Comme démontré dans l'article, une proportion significative (19,1 % à 42,3 %) des prédictions SQL dont l'exécution est correcte repose sur des ensembles de colonnes non-gold (des routes alternatives exécutables). Un récupérateur entraîné strictement sur des étiquettes "gold" statiques pénalise ces routes valides préférées par le générateur, créant une politique sous-optimale pour le générateur actuel.

Le défi central est que le liage de schéma et la génération SQL sont couplés : le récupérateur définit la distribution d'entrée du générateur, tandis que les sorties réussies du générateur déterminent quelles configurations de schéma sont valides. L'optimisation conjointe introduit une dépendance circulaire et une interférence de gradient, pourtant le découplage mène au décalage de supervision décrit ci-dessus.

Méthodologie : ACE-SQL

Les auteurs proposent ACE-SQL (Adaptive Co-Optimization via Empirical Credit Assignment), un cadre d'apprentissage par renforcement (RL) qui optimise conjointement la récupération de schéma et la génération SQL sous une politique partagée ($\pi_\theta$). Le cadre opère en deux étapes :

1. Fine-Tuning Supervisé (Cold Start)

Pour garantir que le pipeline récupérateur-générateur soit fonctionnel avant le RL, les auteurs effectuent une étape de SFT par auto-distillation utilisant le modèle Qwen3-8B.

• Filtrage des sources : Les échantillons sont filtrés à partir du jeu de données SynSQL-2.5M en fonction de la complexité et de la diversité des schémas.
• Auto-distillation appariée : Le modèle génère des sorties de récupérateur (ensembles de colonnes) via un vote de cohérence (self-consistency voting). Ceux-ci définissent des schémas élagués pour le générateur. Seuls les couples où l'exécution du générateur correspond au SQL "gold" sont conservés.
• SFT Mixte : Les échantillons du récupérateur et du générateur sont entraînés ensemble pour initialiser la politique partagée.

2. Entraînement GRPO Conjoint (Apprentissage par Renforcement)

L'innovation centrale réside dans l'entraînement par Optimisation de Politique Relative de Groupe Conjointe (Joint Group Relative Policy Optimization - GRPO), qui remplace les cibles "gold" statiques par des cibles adaptatives et on-policy dérivées du feedback d'exécution.

• Adaptation Bidirectionnelle :
  • Récupérateur $\to$ Générateur : Le récupérateur échantillonne $N$ ensembles de colonnes, qui sont agrégés via un vote majoritaire pour créer un schéma élagué ($\hat{S}$). Ce schéma conditionne l'entrée du générateur.
  • Générateur $\to$ Récupérateur : Le générateur produit $N$ requêtes SQL. Les exécutions réussies (correspondant au résultat gold) sont utilisées pour mettre à jour un Pool de l'Ensemble de Colonnes Empirique.
• Attribution de Crédit Empirique (Empirical Credit Assignment) :
  • Au lieu de cibler un ensemble de colonnes gold fixe, la cible du récupérateur est mise à jour dynamiquement vers l'ensemble de colonnes le plus fréquent ($S^\star(q)$) observé dans le pool empirique des rollouts corrects en exécution.
  • Ce pool est initialisé avec des unions de haute récurrence d'ensembles de colonnes et mis à jour en ligne avec un facteur de décroissance ($\gamma=0.5$) pour prioriser les preuves récentes tout en conservant les routes réussies.
• Construction de la Récompense :
  • Les deux rôles reçoivent des récompenses éparses (sparse rewards) cadencées par la correction de l'exécution (pour le générateur) ou par la correspondance exacte avec la cible empirique $S^\star(q)$ (pour le récupérateur).
  • Une pénalité de longueur tronquée (clipped length penalty) est appliquée pour décourager les sorties trop longues, mais uniquement si la sortie satisfait la condition de récompense éparse.
• Mécanismes de Stabilisation :
  • PCGrad (Gradient Surgery) : Pour atténuer l'interférence de gradient entre les pertes du récupérateur et du générateur, les auteurs appliquent PCGrad pour projeter les gradients conflictuels.
  • Calendrier de Poids du Générateur (Generator-Weight Schedule) : La contribution du générateur à la perte conjointe augmente linéairement de 0 à 1 sur les premiers 25 % des étapes de RL. Cela permet aux cibles du récupérateur empirique de se stabiliser avant que le générateur n'exerce une influence totale.

Principales Contributions

1. Attribution de Crédit On-Policy : L'article formule la récupération de schéma comme un problème d'attribution de crédit on-policy. Au lieu de s'appuyer sur des annotations gold statiques, ACE-SQL dérive des cibles de récupération adaptatives à partir de ses propres rollouts corrects en exécution.
2. Cadre Bidirectionnellement Adaptatif : ACE-SQL crée une boucle fermée où le récupérateur s'adapte aux préférences d'exécution du générateur, et le générateur s'adapte aux sélections de schémas évolutives du récupérateur, tous deux ancrés par l'exactitude de l'exécution.
3. Optimisation Conjointe Stabilisée : Les auteurs introduisent une combinaison de pool d'ensembles de colonnes empiriques, de PCGrad et d'un calendrier de poids du générateur pour stabiliser le processus d'optimisation non stationnaire et couplé.
4. Efficacité et Performance : La méthode atteint une haute performance avec nettement moins de tokens de sortie que les autres bases de référence basées sur le RL.

Résultats Expérimentaux

Évalué sur les benchmarks BIRD Dev et Spider en utilisant le backbone Qwen3-8B :

• BIRD Dev : ACE-SQL atteint 65,3 % d'exactitude d'exécution (EX) en mode greedy, surpassant toutes les bases de référence open-source listées (ex: SQL-R1-7B à 63,7 %, MTIR-SQL-8B à 63,6 %).
• Spider : Atteint 87,2 % d'EX sur le set de test et 79,5 % sur la variante plus difficile Spider-Realistic.
• Efficacité : ACE-SQL utilise seulement 0,93k tokens de sortie par requête sur BIRD Dev. C'est environ 3,3$\times$ moins de tokens que SQL-R1-7B (3,10k) et 2,2$\times$ moins que MTIR-SQL-8B (2,00k), tout en atteignant une meilleure précision.
• Études d'Ablation :
  • Supprimer PCGrad ou le calendrier de poids du générateur entraîne des baisses de performance, confirmant la nécessité de ces stabilisateurs pour le RL conjoint.
  • L'utilisation de cibles gold statiques pour le récupérateur entraîne une performance moindre (64,7 % contre 65,3 %) et une plus grande instabilité, validant le bénéfice de l'attribution de crédit empirique.
  • Les récompenses éparses (sparse rewards) surpassent les récompenses denses dans ce cadre conjoint, car les récompenses denses peuvent mener à une dominance de gradient par le récupérateur et à du "reward hacking".

Signification et Revendications

L'article affirme qu'ACE-SQL offre une direction pratique pour construire des systèmes Text-to-SQL efficaces et robustes pour des bases de données réelles et complexes. En s'éloignant de la supervision statique et en adoptant l'adaptation bidirectionnelle, le cadre résout la tension entre la récupération de schéma et la génération SQL.

Les auteurs soulignent que leur approche offre une nouvelle perspective sur l'attribution de crédit amont-aval (upstream-downstream) dans les pipelines de LLM multi-étapes. Ils soutiennent que les signaux alignés sur l'exécution sont supérieurs aux annotations statiques pour suivre les routes exécutables on-policy, permettant au modèle de tirer parti de ses propres schémas de raisonnement appris plutôt que d'être contraint par des étiquettes "gold" potentiellement sous-optimales. Le travail suggère qu'une récupération de schéma explicite, lorsqu'elle est co-optimisée avec la génération, peut améliorer à la fois la qualité et l'efficacité de l'inférence sans dépendre d'une génération massive de tokens.

Limites : Les auteurs notent que les expériences sont limitées à un seul modèle 8B (Qwen3-8B) et reposent sur des données d'entraînement synthétiques (SynSQL-2.5M). Ils reconnaissent que le passage à des modèles plus grands ou l'utilisation de paires requête-base de données réelles pourrait révéler des dynamiques différentes, et que l'initialisation du pool empirique à partir d'un checkpoint SFT pourrait sous-explorer les préférences initiales du modèle de base.