Résumé Technique : Optimisation des Compétences Résiduelles pour les Ensembles Text-to-SQL

Énoncé du Problème

Les systèmes Text-to-SQL visent à traduire des questions en langage naturel en requêtes SQL exécutables. Bien que les Modèles de Langage à Grande Échelle (LLM) obtiennent de bons résultats sur les benchmarks standards, les scénarios réels impliquant de grands schémas, une syntaxe spécifique à un dialecte et une logique multi-étapes restent difficiles. Les systèmes agents actuels, qui inspectent itérativement les schémas et corrigent les erreurs, échouent toujours à résoudre chaque requête de manière fiable.

Pour y remédier, les ensembles Text-to-SQL génèrent plusieurs candidats SQL ($K$) et sélectionnent le meilleur. Cependant, l'efficacité de tout ensemble est fondamentalement limitée par Pass@K—la probabilité qu'au moins l'un des $K$ candidats soit correct. Les méthodes existantes tentent d'augmenter la diversité par un décodage stochastique (échantillonnage à haute température) ou des variantes de prompts conçues à la main. Les auteurs soutiennent que ces approches sont insuffisantes car elles produisent souvent des candidats présentant des échecs corrélés. Dans les systèmes agents, l'aléatoire précoce de la planification se propage à travers de longues trajectoires de raisonnement, résultant en des variantes bruyantes d'un même chemin incorrect plutôt qu'en des solutions véritablement complémentaires. Par conséquent, Pass@K plafonne, et des candidats supplémentaires offrent des rendements décroissants.

Méthodologie : DIVSKILL-SQL

L'article présente DIVSKILL-SQL, un cadre qui construit des ensembles d'agents Text-to-SQL complémentaires sans fine-tuning de modèle. Au lieu de s'appuyer sur le hasard ou des heuristiques pour la diversité, il traite la complémentarité des candidats comme un objectif d'optimisation explicite en utilisant l'Optimisation des Compétences Résiduelles.

Concept Central : Compétences et Résidus

• Compétences : Une « compétence » est définie comme un fichier d'instructions de haut niveau (prompt système) qui contrôle le style de décomposition d'un agent, sa politique d'exploration du schéma, sa stratégie de rédaction et sa logique de correction.
• Optimisation Résiduelle : Le cadre opère sur le principe qu'une nouvelle compétence ne doit pas nécessairement être globalement meilleure que ses prédécesseurs, mais plutôt résoudre les exemples spécifiques que l'ensemble actuel rate.
  • Soit $D_{train}$ l'ensemble d'entraînement.
  • Après avoir sélectionné les compétences $s_1, \dots, s_{j-1}$, l'ensemble résiduel $R_{j-1}$ est défini comme le sous-ensemble d'exemples où l'ensemble actuel échoue.
  • La compétence suivante $s_j$ est optimisée pour maximiser le succès spécifiquement sur $R_{j-1}$.
  • Ce processus cible de manière gloutonne la contribution marginale d'une nouvelle compétence à l'ensemble Pass@K global.

Flux de l'Algorithme

1. Initialisation du Pool de Graines : Le processus commence avec un pool diversifié de $K$ compétences de base soigneusement sélectionnées (par exemple, decompose, direct_coder, explore_heavy, adversarial_checker), chacune codant une stratégie de raisonnement distincte.
2. Optimisation Itérative :
   • L'algorithme fonctionne par lots. Pour chaque compétence du pool, il identifie les échecs résiduels actuels (les exemples que l'ensemble n'a pas résolus).
   • En utilisant l'Optimisation Réfléchie des Prompts (spécifiquement la technique GEPA), un LLM analyse les traces d'échec (inspections de schéma, erreurs d'exécution) et propose un prompt raffiné pour adresser ces échecs spécifiques.
   • Le raffinement n'est accepté que s'il améliore la récupération sur l'ensemble résiduel.
   • L'ensemble résiduel est mis à jour pour retirer les exemples nouvellement résolus par la compétence raffinée.
3. Inférence : Au moment du test, les $K$ agents conditionnés par les compétences apprises s'exécutent en parallèle. Les candidats sont dédupliqués par sortie d'exécution, et le SQL final est sélectionné via une comparaison par paires utilisant un juge LLM, ce qui est plus fiable qu'une sélection directe 1-sur-K.

Contributions Clés

1. Formulation : Les auteurs formulent l'assemblage Text-to-SQL comme un problème d'optimisation résiduelle de Pass@K sur les compétences d'agents, visant à apprendre des comportements complémentaires couvrant différents modes d'échec.
2. Cadre : Ils proposent DIVSKILL-SQL, une méthode qui améliore la couverture de l'ensemble de candidats sans fine-tuning de modèle ni échantillonnage à haute température, la rendant applicable aux LLMs ouverts et fermés.
3. Garantie Théorique : L'article fournit une preuve (Proposition A.1) montrant que sous l'objectif de population, la stratégie d'optimisation résiduelle gloutonne atteint au moins une approximation de $(1 - 1/e)$ de l'ensemble optimal de $K$ compétences, en exploitant la submodularité de l'objectif Pass@K.
4. Validation Empirique : Une évaluation approfondie sur plusieurs benchmarks et dialectes SQL démontre que l'optimisation des compétences sur des exemples non résolus cible directement les contributions marginales à Pass@K.

Résultats Expérimentaux

Le cadre a été évalué sur Spider2-Lite (couvrant SQLite, Snowflake et BigQuery) et BIRD-Critic (débogage PostgreSQL), utilisant Opus-4.6 et GPT-5.4 comme modèles de base.

• Gains de Performance :
  • Sur Spider2-Lite (Snowflake), DIVSKILL-SQL a amélioré la précision sélectionnée de +11,1 points par rapport à la meilleure base de référence (CHASE-SQL).
  • Sur Spider2-Lite (BigQuery), l'amélioration est de +8,3 points.
  • Sur BIRD-Critic, il a amélioré la précision sélectionnée de +2,6 points, démontrant un transfert vers une formulation de tâche de type débogage.
• Transférabilité : Les compétences optimisées sur un seul dialecte (Snowflake) se sont transférées efficacement vers BigQuery et SQLite sans réentraînement, indiquant que les stratégies apprises capturent une logique de résolution de problèmes de haut niveau plutôt qu'une syntaxe spécifique à un dialecte.
• Réduction des Erreurs : Le diagnostic des erreurs a révélé jusqu'à 3 fois moins de références de schéma hallucinées et d'appels de fonctions non pris en charge par rapport aux bases de référence.
• Diversité Comportementale : L'analyse des trajectoires a montré que DIVSKILL-SQL réduit la redondance dans le comportement des agents de 19 % à 28 %. Contrairement à l'échantillonnage répété qui produit des échecs corrélés, les compétences apprises induisent des chemins de raisonnement véritablement différents (par exemple, des motifs distincts d'inspection de schéma et de décomposition).
• Efficacité : Pour atteindre la même couverture Pass@K que les 8 candidats de DIVSKILL-SQL, les méthodes de base nécessitaient 3 à 8 passages supplémentaires, soulignant l'efficacité coût-bénéfice de l'approche résiduelle.

Importance et Revendications

L'article revendique que DIVSKILL-SQL représente un changement de paradigme, passant d'une diversité stochastique à une diversité structurée et complémentaire. En optimisant explicitement les cas « résiduels » que les agents précédents manquent, le système construit un ensemble où le tout est plus grand que la somme de ses parties.

Les auteurs soulignent que leurs gains proviennent de compétences complémentaires véritablement fiables plutôt que de variations de surface. Cette approche adresse la fragilité des systèmes agents où l'aléatoire précoce conduit à un raisonnement instable. De plus, la capacité de la méthode à se transférer entre dialectes et types de tâches (de la génération au débogage) suggère que les compétences optimisées encodent des stratégies robustes et généralisables pour interagir avec les bases de données relationnelles. Le cadre offre une voie pratique pour améliorer la fiabilité du Text-to-SQL sans le coût computationnel du fine-tuning de multiples modèles.