CAPER: Clause-Aligned Process Supervision for Text-to-SQL

Résumé Technique : CAPER – Supervision de Processus Alignée sur les Clauses pour le Text-to-SQL

Énoncé du Problème

Les systèmes Text-to-SQL visent à traduire des questions en langage naturel en requêtes SQL exécutables. Bien que les grands modèles de langage (LLM) aient fait progresser ce domaine grâce au liaison de schéma et à la récupération, la tâche reste un problème de génération structurée à haute précision où une seule erreur sémantique (par exemple, une clé de jointure incorrecte ou une agrégation erronée) peut rendre l'intégralité de la requête invalide.

Les paradigmes d'entraînement actuels font face à deux limitations principales concernant la supervision :

1. Correction de la requête au niveau de l'exécution : L'évaluation standard repose sur des signaux d'exécution terminaux (Exactitude d'Exécution, EX). Bien qu'évolutive, elle fournit une récompense binaire et parcelle (succès/échec) qui n'offre aucune indication sur quelle décision intermédiaire a causé l'échec. Cela crée un problème d'attribution de crédit où les requêtes de type « quasi-réussite » (globalement correctes mais échouant sur une seule clause) sont traitées de la même manière que les requêtes totalement erronées.
2. Supervision dense au niveau du jeton (token) : Passer à une rétroaction au niveau du jeton est mal adapté à la sémantique SQL. Les jetons individuels (alias, virgules, opérateurs) constituent rarement des décisions sémantiques complètes, tandis que les décisions SQL critiques s'expriment via des structures multi-jetons (ex: chemins de jointure, prédicats). La supervision au niveau du jeton peut diffuser le crédit vers des symboles de bas niveau et nécessite un étiquetage granulaire peu fiable.

Le défi central est de dériver une supervision de processus alignée sur les clauses à partir de résultats grossiers au niveau de la requête sans annotation manuelle coûteuse, tout en préservant la correction d'exécution comme objectif ultime tout en permettant la localisation de la cause racine de l'erreur.

Méthodologie : Le Cadre CAPER

Les auteurs proposent CAPER (Clause-Aligned Process Supervision), un cadre automatisé qui construit des données de préférence au niveau de la clause et entraîne un modèle de récompense de processus léger au niveau de la clause (Clause-Level Process Reward Model - Clause-PRM). Le cadre opère en trois étapes :

1. Annotation Automatique des Récompenses

CAPER convertit les résultats grossiers des trajectoires en récompenses fines au niveau de la clause en utilisant deux stratégies complémentaires sur une représentation par Arbre de Syntaxe Abstraite (AST) du SQL :

• Injection de Fautes (pour les trajectoires réussies) : Pour les trajectoires qui s'exécutent correctement, le système échantillonne des nœuds clés éditables dans l'AST et applique des mutations préservant le type (ex: échange de colonnes, changement d'opérateurs). Une mutation n'est conservée que si elle modifie le résultat de l'exécution, induisant ainsi une véritable erreur sémantique. Cela crée des exemples « négatifs » où la cause racine est connue.
• Intervention Contrefactuelle (pour les trajectoires échouées) : Pour les trajectoires qui échouent, le système compare le SQL prédit au standard de référence (gold standard). Il identifie la clause divergente la plus précoce et construit une requête contrefactuelle corrigée en réparant l'AST sous le même préfixe. Le système calcule ensuite le script d'édition au coût minimum pour transformer la clause prédite en la clause corrigée, identifiant ainsi le nœud de la cause racine ($v^*$).

Propagation de la Récompense :
Une fois le nœud de la cause racine identifié, une pénalité continue est assignée aux nœuds de l'AST en fonction de leur distance structurelle par rapport à $v^*$ :

• Le nœud de la cause racine reçoit la pénalité la plus forte ($-\alpha$).
• Les nœuds ancêtres sur le même chemin de dépendance reçoivent des récompenses négatives avec une décroissance gaussienne.
• Les branches non liées sont masquées (récompense nulle).
  Ces pénalités par nœud sont agrégées au niveau de la clause (ex: SELECT, FROM-JOIN, WHERE) en utilisant l'opérateur minimum, garantissant qu'une clause contenant l'erreur décisive hérite d'un label non positif fort. Cela produit des tuples de préférence $(u^+, u^-)$ avec une marge continue $\delta_k$ reflétant la sévérité de l'erreur structurelle.

2. Modèle de Récompense de Processus au Niveau de la Clause (Clause-PRM)

En utilisant le jeu de données annoté $\mathcal{D}$, les auteurs affinent un modèle léger (CAPER-9B, basé sur Qwen3.5-9B) pour agir comme un Clause-PRM.

• Objectif : Le modèle apprend à noter la préférence entre une unité de clause correcte et une unité de clause non préférée (contenant une erreur) étant donné l'entrée et le contexte précédent.
• Entraînement : Il optimise un objectif de préférence pondéré par la marge, où les paires ayant de plus grandes marges structurelles (erreurs plus décisives) contribuent à des signaux de supervision plus forts.

3. Optimisation de la Politique

Le Clause-PRM entraîné est déployé dans une boucle d'apprentissage par renforcement (RL) (spécifiquement GRPO) pour l'optimisation de la politique Text-to-SQL.

• Récompense Multi-Granulaire : Le signal de récompense à chaque frontière de clause combine :
  1. Récompense de Clause : Le score du Clause-PRM pour la clause actuelle.
  2. Récompense d'Exécution : Un signal terminal ajouté uniquement à la dernière frontière de clause.
• Attribution de Crédit : Au lieu de réduire les récompenses en un seul avantage au niveau de la trajectoire, la méthode calcule un retour à venir au niveau de la clause (clause-level return-to-go). Les jetons au sein d'une clause sont optimisés en fonction de l'avantage de la trajectoire restante après cette frontière de clause, préservant l'attribution de crédit temporelle.

Contributions Clés

1. Pipeline Automatisé : Un pipeline SQL-AST contrefactuel qui localise les erreurs de cause racine et construit une supervision de préférence au niveau de la clause sans annotation manuelle. Ce pipeline a généré plus de 90 000 tuples de préférence annotés par clause sur trois jeux de données (BIRD, Spider, SYNSQL).
2. Clause-PRM (CAPER-9B) : Un modèle léger entraîné pour fournir une rétroaction dense aux frontières de clauses. Il comble le fossé entre les résultats d'exécution épars et la supervision fragile au niveau du jeton.
3. Validation Empirique : Démontre que la supervision alignée sur les clauses améliore significativement l'exactitude d'exécution de bout en bout ainsi que la capacité du modèle à localiser les échecs.

Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks BIRD et Spider en utilisant Qwen3.5-9B comme squelette.

• Exactitude d'Exécution (EX) :
  • La politique GRPO entraînée avec CAPER-9B (récompense au niveau de la clause) a obtenu une amélioration relative de 15,3 % de l'Exactitude d'Exécution par rapport à GPT-5.4 sur le jeu de données BIRD.
  • Elle a surpassé les bases GRPO à récompense parcelle et GRPO à récompense au niveau du jeton, particulièrement dans les configurations Majority Vote@8, indiquant une meilleure fiabilité sémantique des candidats échantillonnés.
• Localisation des Échecs :
  • Sur les trajectoires échouées en test, CAPER-9B a atteint une précision de localisation Top-1 de 84,53 % et un MRR (Mean Reciprocal Rank) de 90,60 %.
  • Cela surpasse largement les sélecteurs heuristiques, les prompts de auto-débogage et les modèles de récompense basés uniquement sur l'exécution. Les études d'ablation confirment que la propagation sensible à la topologie et la construction d'erreurs contrefactuelles sont critiques pour cette performance.
• Vérification de Candidat :
  • Utilisé comme vérificateur plug-and-play pour reclasser les candidats de LLM fermés, CAPER-9B améliore systématiquement l'exactitude d'exécution par rapport à Majority Vote@8 de +0,7 à +1,6 point, démontant sa capacité à identifier les candidats possédant des décisions structurelles intermédiaires fiables, même lorsque le générateur est fixe.

Signification et Revendications

L'article affirme que la supervision de processus alignée sur les clauses est une direction évolutive et efficace pour les tâches de génération structurée comme le Text-to-SQL. En attribuant le succès ou l'échec de l'exécution à des décisions spécifiques de clauses SQL, CAPER fournit un mécanisme pratique d'attribution de crédit qui évite la parcimonie des labels terminaux et le désalignement sémantique de la rétroaction au niveau du jeton.

Les auteurs soulignent que leur approche ne nécessite pas de nouvelles architectures de parsing ou de pipelines de prompting complexes, mais exploite plutôt les perturbations de l'AST contrefactuelles pour dériver une supervision sémantiquement ancrée. Les résultats suggèrent que la rétroaction de processus intermédiaire, lorsqu'elle est alignée sur les unités sémantiques du domaine (clauses SQL), peut considérablement améliorer tant l'optimisation des politiques de génération que la capacité de diagnostic des modèles de récompense.

Limites Reconnues :
Les auteurs notent que l'implémentation actuelle décompose le SQL uniquement à la granularité de la clause de haut niveau, ce qui peut être trop grossier pour des erreurs à l'intérieur de prédicats complexes ou de sous-requêtes. De plus, le pipeline d'annotation automatisé introduit une surcharge de calcul par rapport aux récompenses parcelles, bien que les données résultantes soient réutilisables pour l'entraînement du PRM. La méthode se concentre actuellement sur la génération SQL plutôt que sur le raisonnement de type Chaîne de Pensée (Chain-of-Thought).