Knowledge Distillation with Structured Chain-of-Thought for Text-to-SQL

Ce papier présente Struct-SQL, un cadre de distillation de connaissances qui améliore la génération de requêtes SQL par des petits modèles en utilisant des traces de raisonnement structurées basées sur des plans d'exécution de requêtes, réduisant ainsi les erreurs syntaxiques et surpassant les approches traditionnelles à raisonnement non structuré.

L'essentiel

🎓 Le Dilemme de l'Entreprise : Trop cher, Trop risqué, ou Trop bête ?

Imaginez que vous êtes le directeur d'une grande entreprise. Vous voulez que vos employés puissent poser des questions simples à vos bases de données (comme "Quels sont les films les plus populaires ?") et obtenir une réponse automatique en langage informatique (du code SQL).

Pour faire cela, vous avez trois options, mais chacune a un gros défaut :

1. Le Super-Smartphone (LLM géant) : C'est un modèle d'intelligence artificielle très puissant (comme un génie). Il comprend tout, mais il coûte une fortune à utiliser et, pire, il faut envoyer vos données confidentielles à une entreprise étrangère (problème de sécurité).
2. Le Petit Smartphone (SLM) : C'est un modèle plus petit, que vous pouvez garder dans vos propres serveurs (sécurisé et pas cher). Mais il est souvent "bête" : il fait beaucoup d'erreurs de grammaire et invente des tables qui n'existent pas.
3. Le Dilemme : Vous devez choisir entre payer cher et risquer la sécurité, ou avoir un système sécurisé mais qui ne fonctionne pas bien.

🧠 L'Idée Géniale : Apprendre à un élève avec un plan d'architecte

Les chercheurs de l'article Struct-SQL ont une idée pour résoudre ce problème. Ils veulent prendre le "Génie" (le grand modèle) et lui apprendre à enseigner au "Petit Smartphone" (le modèle local) sans que ce dernier ait besoin de voir les données sensibles.

C'est là que la magie opère. Habituellement, quand on apprend à un élève, on lui donne une explication en langage naturel, un peu floue :

"Alors, je vais d'abord regarder la table des films, puis je cherche le titre, etc..."

C'est ce qu'on appelle la Chaîne de Pensée Non Structurée. Le problème ? Le petit modèle se perd souvent dans les mots. Il ne comprend pas la logique précise.

Struct-SQL propose une méthode différente : La Chaîne de Pensée Structurée.
Au lieu de donner une explication en vrac, le "Professeur" (le grand modèle) donne à l'élève un Plan d'Exécution de Requêtes.

🏗️ L'Analogie du Chantier de Construction

Imaginez que vous devez construire une maison (c'est la requête SQL).

• Méthode ancienne (Non structurée) : Le maître maçon dit à l'apprenti : "Fais quelque chose de joli, commence par les murs, puis mets le toit, et n'oublie pas les fenêtres."

  • Résultat : L'apprenti confond les murs avec le toit, ou invente une fenêtre qui n'existe pas dans le plan. Il fait des erreurs de syntaxe (il construit n'importe comment).

• Méthode Struct-SQL (Structurée) : Le maître maçon donne un plan d'architecte précis à l'apprenti :

  1. Étape 1 : Scanner la table "Murs".
  2. Étape 2 : Filtrer les murs rouges.
  3. Étape 3 : Joindre avec la table "Portes".
  4. Étape 4 : Construire le mur final.
  • Résultat : L'apprenti suit le plan étape par étape. Il ne peut pas inventer de fenêtres, car le plan ne les mentionne pas. Il sait exactement où mettre chaque brique.

🚀 Ce que l'article a découvert

Les chercheurs ont testé cette idée sur un modèle de 4 milliards de paramètres (le "Petit Smartphone"). Voici ce qu'ils ont observé :

1. Moins d'erreurs bêtes : Le plus grand gain n'est pas que le modèle devient plus "intelligent" sur le fond, mais qu'il fait beaucoup moins d'erreurs de forme. Il n'invente plus de tables qui n'existent pas (ce qu'on appelle des "hallucinations de schéma"). C'est comme si l'apprenti apprenait enfin à respecter le code du bâtiment.
2. La performance explose : Le modèle structuré a gagné 8,1 % de précision par rapport à la méthode classique. C'est énorme ! Il est passé de "très mauvais" à "très bon".
3. L'importance du plan : Ils ont prouvé que ce n'est pas juste le texte qui compte. Si on donne un plan structuré à un modèle qui n'a jamais été entraîné à lire ce type de plan, il échoue. Il faut que le modèle ait appris à penser comme un architecte pendant son entraînement.

💡 En résumé

Struct-SQL, c'est comme donner un manuel de cuisine étape par étape (avec des mesures précises et une liste d'ingrédients vérifiés) à un jeune chef, au lieu de lui dire "fais un bon plat".

• Avantage : On obtient un système intelligent, sécurisé (qui tourne sur vos propres serveurs) et pas cher.
• Le petit bémol : Pour lire le plan, le modèle écrit un peu plus de texte (il faut décrire les étapes avant de donner la recette finale), ce qui prend un tout petit peu plus de temps, mais c'est un prix à payer pour avoir un résultat fiable.

En conclusion, cette méthode permet aux entreprises d'avoir leur propre "génie" de la base de données, sans payer des factures astronomiques ni risquer de fuite de données. C'est une victoire pour l'accessibilité et la sécurité des données.

Résumé technique

1. Problématique : Le Trilemme de l'Adoption en Entreprise

L'article identifie un défi majeur dans le déploiement de systèmes Text-to-SQL (conversion de questions en langage naturel en requêtes SQL) au niveau des entreprises : le Trilemme Adoption, qui oppose trois facteurs interdépendants :

• Coût : Les modèles de langage (LLM) performants nécessitent des ressources computationnelles massives, rendant leur utilisation via API propriétaire ou hébergement privé très onéreuse.
• Sécurité : L'envoi de schémas de bases de données sensibles et d'échantillons de données à des fournisseurs tiers (API externes) pose des risques de confidentialité inacceptables pour les entreprises.
• Performance : Pour résoudre les problèmes de coût et de sécurité, les entreprises se tournent vers des Modèles de Langage de Petite Taille (SLM) déployés localement. Cependant, ces modèles souffrent d'une précision insuffisante (souvent <15% sur des benchmarks complexes) et peinent à suivre les schémas de base de données, générant des erreurs de syntaxe et des « hallucinations » de schéma (tables ou colonnes inexistantes).

Bien que les techniques de raisonnement avancées comme la Chaîne de Pensée (Chain-of-Thought - CoT) améliorent considérablement les grands LLM, leur efficacité se dégrade fortement lorsqu'elles sont appliquées aux SLM. Les SLM ne parviennent pas à internaliser les décompositions logiques complexes si elles ne sont pas enseignées de manière explicite et structurée.

2. Méthodologie : Struct-SQL

Pour combler cet écart de performance, les auteurs proposent Struct-SQL, un cadre de Distillation de Connaissances (KD) novateur. L'hypothèse centrale est qu'une représentation de raisonnement formelle et structurée constitue un signal d'enseignement supérieur à une explication en langage naturel libre (CoT non structuré).

Approche Technique

1. Modèle Enseignant (Teacher) : Un LLM puissant (GPT-4o) génère non seulement la requête SQL finale, mais aussi un Plan d'Exécution de Requête (Query Execution Plan) sous forme de QP-CoT (Query Plan Chain-of-Thought). Ce plan décompose la requête en étapes logiques séquentielles (balayage de table, sélection, jointure, filtrage, regroupement), imitant le fonctionnement interne d'un moteur de base de données.
2. Modèle Étudiant (Student) : Un SLM (Qwen3-4B-Instruct-2507) est entraîné pour imiter la séquence complète de sortie de l'enseignant : le plan structuré ET la requête SQL finale.
3. Processus d'Entraînement :
   • Utilisation de la Fine-Tuning Adaptatif à Faible Rang (QLoRA) pour une efficacité computationnelle.
   • Le signal de supervision est la séquence complète $Z_T = R_{QP-CoT} \oplus Y_T$ (Plan structuré + SQL).
   • Comparaison avec une baseline ReasonSQL où l'enseignant fournit un raisonnement CoT en langage naturel libre (non structuré).
4. Inférence : Lors de l'utilisation, le modèle étudiant reçoit le prompt QP-CoT et doit générer autonomement le plan d'exécution logique avant de produire la requête SQL finale.

3. Contributions Clés

• Évaluation Systématique : Première étude évaluant systématiquement l'impact de la distillation de connaissances via un signal de raisonnement structuré (QP-CoT) pour le Text-to-SQL.
• Analyse d'Erreur Détaillée : Démonstration que l'amélioration provient principalement d'une réduction drastique des erreurs syntaxiques (notamment les hallucinations de schéma), prouvant que le signal structuré agit comme un « curriculum » plus clair.
• Généralisation : Validation de l'approche sur deux architectures de SLM différentes (Qwen3-4B et Mistral-7B), confirmant que le bénéfice est indépendant du modèle de base.
• Ressources Ouvertes : Publication du code, du modèle et du jeu de données pour favoriser la recherche reproductible.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark BIRD mini-dev, réputé pour sa complexité et son réalisme.

• Performance Globale :

  • Le modèle étudiant de base (sans entraînement) obtient 17,0 % de précision d'exécution (EX).
  • La distillation non structurée (ReasonSQL) atteint 36,9 %.
  • Struct-SQL atteint 45,0 %, soit une amélioration absolue de 8,1 points par rapport à la baseline non structurée.
  • Le modèle couvre ainsi 84 % de la performance du modèle enseignant (GPT-4o à 53,6 %).

• Analyse des Échecs :

  • Réduction des erreurs syntaxiques : Struct-SQL réduit les erreurs syntaxiques (ex: « colonne non trouvée », « table non trouvée ») de 21,2 % (ReasonSQL) à 16,8 %. Cela indique une meilleure adhérence au schéma de la base de données.
  • Stabilité : Presque élimination des erreurs de génération (pas de sortie SQL), passant de 2,2 % à 0,4 %.
  • Ablation Study : Un test montrant qu'un modèle entraîné sur du CoT non structuré (ReasonSQL) ne parvient pas à tirer profit d'un prompt structuré à l'inférence (chute à 29,2 %), prouvant que l'apprentissage de la structure doit se faire durant l'entraînement.

• Efficacité et Généralisation :

  • Sur Mistral-7B, Struct-SQL obtient 29,3 % contre 25,1 % pour ReasonSQL, confirmant la robustesse de la méthode.
  • Évaluation Officielle (BIRD Test) : Struct-SQL atteint 60,42 % de précision, se classant premier mondial parmi les modèles de ≤ 4 milliards de paramètres (au 30 janvier 2026).
  • Coût : L'entraînement est très efficace (29 minutes sur une GPU H200 pour 1000 échantillons), bien que l'inférence génère plus de tokens (3,6x) pour produire le plan intermédiaire.

5. Signification et Conclusion

Ce papier démontre que pour les SLM, la simple imitation de la réponse finale ou d'un raisonnement en langage naturel est insuffisante pour maîtriser des tâches complexes comme le Text-to-SQL. En forçant le modèle à apprendre un plan d'exécution logique structuré (similaire à celui d'un moteur de base de données), on fournit un signal d'apprentissage moins ambigu et plus rigide.

Impact :

• Démocratisation : Permet aux entreprises de déployer des solutions Text-to-SQL performantes, sécurisées (données locales) et économiques (SLM) sans sacrifier la précision.
• Paradigme de Raisonnement : Suggère que pour les tâches nécessitant une logique formelle stricte (comme le SQL), la structure du raisonnement est aussi importante, voire plus, que le contenu sémantique du raisonnement lui-même.

En résumé, Struct-SQL résout une partie critique du « Trilemme Adoption » en prouvant qu'un SLM peut atteindre des performances proches des grands LLM si l'on lui enseigne à raisonner selon une logique structurée et formelle.