Résumé technique : Les démonstrations de fonctions synthétiques améliorent la génération dans les langages de programmation à faibles ressources

Énoncé du problème

Les modèles de langage de grande taille (LLM) entraînés sur du code ont atteint une haute précision dans les langages de programmation à fortes ressources (HRPL) comme Python, principalement grâce à l'abondance de données d'entraînement contenant des commentaires explicatifs annotés par des humains. Cependant, les performances se dégradent considérablement dans les langages de programmation à faibles ressources (LRPL), tels que les formules Excel, le gallois ou des langages spécifiques à un domaine (DSL) de niche. Le goulot d'étranglement principal est la rareté des données d'entraînement naturellement existantes associant code et explications en langage naturel.

Les méthodes existantes d'augmentation des données, telles que l'utilisation de LLMs de l'état de l'art (SoTA) pour générer du code synthétique, peinent dans les LRPL car même des modèles puissants (par exemple, GPT-4o) manquent d'expertise de domaine suffisante pour générer du code de haute qualité dans ces langages sans entraînement préalable. De plus, les approches standard de génération augmentée par récupération (RAG) n'apportent souvent que des améliorations modestes dans des domaines inconnus, car les modèles manquent de la compréhension fondamentale nécessaire pour exploiter efficacement les informations récupérées.

Méthodologie

Les auteurs proposent un nouveau pipeline pour générer des données d'entraînement synthétiques de « qualité manuelle » pour les LRPL. Cette approche ne nécessite pas que le modèle enseignant soit un expert du domaine cible, mais exploite plutôt les capacités générales de raisonnement en programmation du modèle, combinées à une documentation spécifique du domaine. Le pipeline se compose de quatre étapes :

1. Préparer la bibliothèque de fonctions : Les auteurs collectent la documentation de la bibliothèque standard du LRPL cible. Pour leur étude de cas (Excel), ils ont identifié les 100 fonctions les plus fréquemment utilisées sur la base d'un échantillon de classeurs publics et ont rassemblé leur documentation officielle de support Microsoft, qui inclut les vecteurs d'arguments, les types et des exemples simples.
2. Échantillonner des contextes de données pertinents : Pour ancrer la génération synthétique dans des scénarios réalistes, les auteurs échantillonnent des tables de données non annotées (par exemple, à partir du jeu de données WikiTableQuestions de Wikipedia). Ils utilisent un modèle enseignant (GPT-4o) pour sélectionner la table la plus appropriée pour chaque fonction, garantissant que la fonction peut être exécutée logiquement sur cette structure de données spécifique (par exemple, associer des fonctions numériques à des tables contenant des données numériques).
3. Générer des problèmes synthétiques : Le modèle enseignant est invité à générer une série de démonstrations synthétiques pour chaque fonction. Crucialement, le processus de génération est systématique : pour chaque fonction, le modèle génère un ensemble d'exemples où chaque exemple démontre l'utilisation d'un emplacement d'argument spécifique (y compris les arguments optionnels). Chaque exemple comprend :
   • Une question en langage naturel (requête).
   • Une explication étape par étape de la logique.
   • La formule Excel exécutable.
   • La réponse attendue.
     La sortie est structurée en JSON pour faciliter la compilation automatisée en un programme d'entraînement.
4. Valider les générations : Puisque les données synthétiques sont générées par une IA, elles peuvent contenir des erreurs. Les auteurs emploient un processus de validation en deux étapes :
   • Vérification d'exécution : Filtrer tout échantillon où la formule Excel générée échoue à s'exécuter.
   • Vérification inter-langages : Générer des solutions parallèles pour les mêmes questions en utilisant Python (un HRPL où le modèle est plus fiable). Les auteurs exécutent à la fois les solutions Excel et Python et conservent les échantillons où les résultats correspondent. Ce processus conserve environ 50 % des générations synthétiques, améliorant considérablement la qualité des données.

L'ensemble de données résultant est utilisé pour affiner (fine-tune) des modèles « élèves » (les familles Qwen 2.5 et Llama 2) sur la tâche de réponse à des questions en utilisant des formules Excel.

Contributions clés

1. Un protocole pour la synthèse de données synthétiques : L'article définit un protocole général pour générer des données d'entraînement ciblées sur un domaine pour les LRPL. Il démontre qu'un modèle enseignant doté de fortes capacités de suivi d'instructions, augmenté par la documentation des fonctions et des contextes de données échantillonnés, peut produire des exemples synthétiques de haute qualité sans avoir besoin d'une expertise préalable approfondie dans le domaine cible.
2. Supériorité du fine-tuning par rapport au RAG : L'étude fournit des preuves empiriques que le fine-tuning sur des démonstrations de fonctions synthétiques surpasse significativement les approches basées sur le RAG. Alors que le RAG (même avec des signatures de fonctions récupérées par oracle) offre des gains marginaux et inconstants, le fine-tuning permet aux modèles d'intérioriser la syntaxe et la sémantique du LRPL.
3. Transfert des compétences générales en programmation : Les résultats indiquent que si le pré-entraînement sur des HRPLs ne permet pas directement la génération Excel, il fournit une base de compétences générales de résolution de problèmes. Le fine-tuning sur les données synthétiques LRPL transfère efficacement ces compétences générales au domaine spécifique, améliorant les performances de plus de 10 % sur les tâches de QA basées sur des tables.

Résultats

Les auteurs ont évalué leur approche sur deux jeux de données : WikiTableQuestions (WikiTQ) et TAT-QA (un jeu de données du domaine financier).

• Gains de performance : Le fine-tuning sur les données synthétiques (FTSyn-QA) a entraîné des améliorations significatives pour la plupart des modèles élèves. Par exemple, sur WikiTQ, le modèle Qwen2.5-coder 3B est passé d'une base de 15,34 % à 28,64 % de correspondance d'exécution (EM). La variante 14B est passée de 46,95 % à 54,93 %.
• Comparaison avec les bases de référence : Les modèles affinés ont surpassé à la fois les modèles de base et les modèles augmentés par RAG (à la fois naïf et récupéré par oracle). Notamment, les modèles affinés ont dépassé les performances de GPT-4o sur le sous-ensemble WikiTQ (58,2 % pour la base de référence contre 54,93 % pour le modèle affinée 14B, le modèle affinée 3B atteignant 28,64 % contre 15,34 % pour la base de référence).
• Analyse des erreurs : L'analyse qualitative a révélé que le fine-tuning a principalement réduit les erreurs liées à « l'indexation de table » (lecture correcte de la table) et à la « syntaxe des formules ». Les modèles ont appris à construire des formules valides pour des fonctions individuelles. Cependant, les données synthétiques, qui se concentraient sur des démonstrations de fonctions uniques, ont entraîné une légère augmentation des erreurs de « logique de plan », car les modèles avaient tendance à générer des solutions à fonction unique même lorsque un raisonnement multi-étapes aurait pu être nécessaire.
• Échelle du modèle et spécialisation : Les modèles plus grands ont généralement mieux performé. Les modèles pré-entraînés sur du code (par exemple, Qwen2.5-Coder) ont montré des gains plus importants grâce au fine-tuning par rapport à leurs homologues non spécialisés, suggérant que les compétences générales en programmation acquises dans les HRPLs se transfèrent bien aux LRPLs lorsqu'elles sont soutenues par un fine-tuning ciblé.

Importance et affirmations

L'article affirme que la génération d'exemples synthétiques de qualité manuelle est une stratégie viable et efficace pour adapter les LLMs aux langages de programmation à faibles ressources. L'importance réside dans la simplicité et l'automatisation de la méthode : elle ne nécessite que de la documentation publique, un modèle enseignant à usage général et des contextes de données non annotés, évitant ainsi le besoin d'une annotation humaine coûteuse ou d'un modèle enseignant déjà expert dans le LRPL cible.

Les auteurs postulent que cette approche répond au problème de la « longue traîne » des LRPLs, où les données naturelles sont insuffisantes pour l'entraînement. En exploitant les capacités de raisonnement général des modèles pré-entraînés et en les ancrant dans des sémantiques de fonctions spécifiques grâce à des données synthétiques, la méthode permet une adaptation rapide à de nouveaux domaines. L'article conclut que si la méthode actuelle se concentre sur des démonstrations de fonctions individuelles (ce qui peut biaiser les modèles vers des solutions plus simples), elle établit une base robuste pour les travaux futurs sur la génération de données synthétiques pour le pré-entraînement et l'adaptation des LLMs.