⚛️ phenomenology

LLM-Based FORM Code Generation with Verification-Driven Fine-Tuning

Cet article traite du manque de support de l'IA pour le langage de manipulation symbolique FORM en démontrant que les modèles de langage de pointe échouent aux tâches FORM en zero-shot, puis introduit un pipeline de fine-tuning piloté par la vérification utilisant le binaire FORM comme oracle pour entraîner un modèle compact de 8 milliards de paramètres qui surpasse des modèles de pointe beaucoup plus grands en matière d'exécution de code et de correction tout en préservant les capacités de raisonnement général.

Auteurs originaux : Bakar Chargeishvili

Publié 2026-09-22

📖 4 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bakar Chargeishvili

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde subatomique, où les particules entrent en collision et se désintègrent en des fractions de seconde, les physiciens théoriciens s'appuient sur un langage spécialisé pour décrire les mathématiques de leurs découvertes. Ce langage, nommé Form, n'est pas un outil de programmation à usage général, mais un système hautement spécifique conçu pour gérer des expressions algébriques d'une complexité phénoménale. Lorsque les scientifiques calculent le comportement des particules en utilisant la théorie quantique des champs, les formules qui en résultent peuvent contenir des millions, voire des milliards de termes. Les programmes informatiques à usage général plantent souvent face à des calculs aussi massifs, mais Form est conçu pour les gérer en stockant les étapes intermédiaires sur un disque dur plutôt que dans la mémoire de l'ordinateur. Depuis des décennies, cet outil est devenu indispensable pour percer les secrets de l'univers, pourtant il reste difficile à apprendre. Sa syntaxe est unique, ses règles sont impitoyables, et jusqu'à présent, il n'existait aucune intelligence artificielle capable d'aider un humain à écrire du code pour lui.

Ce fossé technologique a présenté un défi unique pour les chercheurs de l'Institut de technologie de Karlsruhe. Ils ont posé une question fondamentale : une intelligence artificielle moderne, entraînée sur de vastes quantités de données issues d'Internet, pourrait-elle apprendre à écrire du code pour un langage qui existe à peine dans ces données ? La réponse qu'ils ont trouvée est un non catégorique. Lorsqu'ils ont testé les modèles d'IA les plus puissants et les plus avancés disponibles — certains contenant des centaines de milliards de paramètres — ces géants de l'intelligence artificielle ont totalement échoué. Sans manuel ni guide pour les guider, ils n'ont pas pu générer une seule ligne de code Form valide. Pour l'IA, ce langage était effectivement invisible, un domaine à ressources nulles où la taille même du modèle importait moins que l'absence d'un entraînement spécifique.

Pour résoudre ce problème, les chercheurs ont adopté une approche différente. Au lieu de compter sur un modèle massif pour deviner les règles, ils ont construit une IA spécialisée, plus petite, et l'ont instruite à l'aide d'une méthode rigoureuse et auto-correctrice. Ils ont créé un pipeline dans lequel une IA puissante générait des programmes candidats basés sur de simples instructions en anglais, mais ces programmes n'étaient pas acceptés immédiatement. Au lieu de cela, ils étaient injectés dans le logiciel Form proprement dit pour vérifier s'ils s'exécutaient correctement. Si le code produisait une erreur ou un résultat erroné, il était rejeté. Seuls les programmes ayant passé chaque contrôle — syntaxe, exécution et cohérence logique — étaient conservés. Ce processus a généré une bibliothèque vérifiée de plus de 4 600 exemples, allant de tutoriels simples à des calculs de physique complexes.

En utilisant ces données de haute qualité et vérifiées, l'équipe a affiné un modèle d'IA compact de huit milliards de paramètres. Le résultat fut un spécialiste surpassant les modèles les plus grands et les plus coûteux du monde. Sur un ensemble de 664 tâches de calcul spécifiques, ce petit modèle spécialisé en a résolu 97,7 % correctement. En revanche, les plus grands modèles de pointe, même lorsqu'ils disposaient d'un guide de syntaxe à consulter, n'ont réussi à générer un code syntaxiquement valide et exécutable que pour environ 75 % de ces mêmes tâches. L'avantage était encore plus marqué sur les tâches ouvertes où l'objectif était décrit mais la méthode non spécifiée ; le modèle spécialisé réussissait à générer un code exécutable 83 % du temps, tandis que les meilleurs modèles géants n'y parvenaient que 60 % du temps.

Plus surprenant encore, les chercheurs ont découvert que cet entraînement spécialisé n'avait pas fait « oublier » à l'IA ses autres compétences. Le modèle a conservé ses capacités de raisonnement général et de codage, ne montrant qu'une infime baisse de performance sur les tests standards de mathématiques et de logique. Cela suggère qu'enseigner une compétence de niche à une IA ne nécessite pas de sacrifier son intelligence générale. L'étude démontre que pour les langages scientifiques hautement spécialisés, la clé du succès ne réside pas dans la taille brute du modèle, mais dans la qualité et la vérification des données dont il apprend. En utilisant le logiciel lui-même comme enseignant pour vérifier chaque leçon, les chercheurs ont créé un outil qui peut désormais assister les physiciens dans l'écriture du code complexe nécessaire à l'exploration des lois fondamentales de la nature, abaissant ainsi la barrière à l'entrée pour un langage qui constitue depuis longtemps un goulot d'étranglement en physique des hautes énergies.

Résumé technique : Génération de code Form basée sur les LLM avec un ajustement fin piloté par la vérification

Énoncé du problème
Form est un langage de manipulation symbolique spécifique au domaine, crucial pour les calculs de haute précision en physique des particules, capable de gérer des expressions algébriques comprenant des milliards de termes issus de diagrammes de Feynman à boucles multiples. Malgré son indispensabilité, Form manque d'outils assistés par l'IA. L'article établit que Form est un langage à « ressources nulles » dans le contexte des données d'entraînement des grands modèles de langage (LLM), apparaissant de manière négligeable dans les corpus à l'échelle du web. Par conséquent, les modèles de pointe (jusqu'à 756 milliards de paramètres) atteignent un taux de réussite d'exécution de 0 % sur les tâches de suivi d'instructions et de style tutoriel de Form sans documentation, faisant de Form un véritable langage « zero-shot » pour les LLM actuels. Le défi consiste à déterminer si un modèle plus petit peut être spécialisé pour générer du code Form correct et comment il se compare aux modèles massifs de pointe.

Méthodologie
L'auteur propose une méthodologie en trois parties centrée sur un pipeline de génération de données piloté par la vérification et un ajustement fin efficace en paramètres :

Génération de données pilotée par la vérification :
- Pipeline : Un pipeline en quatre étapes génère des données d'entraînement en utilisant un LLM de pointe (DeepSeek-V4 Flash) pour produire des programmes candidats à partir d'instructions en langage naturel.
- Oracle : Le binaire Form réel (FORM 5.0) sert d'oracle d'exécution.
- Étapes de vérification : Les candidats subissent : (1) une vérification de mots déterministes pour garantir des sorties uniques ; (2) une validation de la syntaxe via le binaire Form ; (3) une confirmation de sortie non triviale ; et (4) un audit de cohérence sémantique par un LLM indépendant (GLM-5.2) équipé d'une fiche de faits spécifique à Form pour prévenir les hallucinations.
- Corpus : Ce processus produit 4 633 exemples d'entraînement vérifiés, incluant des calculs déterministes, des programmes ouverts, du code de tutoriel et des paires de questions-réponses de connaissances, avec un chevauchement nul entre les ensembles d'entraînement et de test.
Ajustement fin efficace en paramètres (Parameter-Efficient Fine-Tuning) :
- Modèle : L'auteur affine le modèle Qwen3-8B de 8 milliards de paramètres en utilisant QLoRA (Quantized Low-Rank Adaptation).
- Configuration : Le modèle est entraîné avec une quantification NF4 en 4 bits, un rang LoRA de 16 et un alpha de 32.
- Variantes : Deux variantes sont entraînées pour isoler les effets des données : v3b (tâches déterministes uniquement) et v3c (mélange complet incluant les données ouvertes, de tutoriel et de connaissances). Le mode de pensée hybride est désactivé pour donner la priorité à la génération directe de code.
Cadre d'évaluation :
- Benchmarks : Quatre benchmarks sont utilisés : B1 (664-Déterministe), B2 (Instruct-100, ouvert), B3 (Tutorial-44), et B4 (Open-32, complexe multi-étapes).
- Métriques : L'évaluation inclut les taux de réussite syntaxique, la correspondance de sortie strictement vérifiée par Form (comparant la sortie générée à la solution de référence via le binaire Form) et le jugement par LLM ancré pour les tâches ouvertes.
- Lignes de base (Baselines) : Sept modèles de base sont comparés, allant de 8B à 756B de paramètres. Crucialement, les modèles de pointe de référence sont évalués avec un contexte de documentation (6 000 caractères de guide de syntaxe), tandis que le modèle affiné est évalué en zero-shot.

Résultats clés

Ligne de base Zero-Shot : Sans documentation, tous les modèles évalués (y compris ceux de 756 milliards de paramètres) échouent à générer un seul programme Form syntaxiquement valide sur les benchmarks Instruct-100 et Tutorial-44.
Performance sur les tâches déterministes : Le modèle 8B affiné (FORM-8B) atteint une correspondance exacte de sortie de 97,7 % sur le benchmark 664-Déterministe, surpassant de manière décisive le GLM-5.2 de 756B (75,5 %) et le DeepSeek-V4 Flash de 304B (62,3 %).
Performance sur les tâches ouvertes : Sur le benchmark Instruct-100, FORM-8B atteint un taux d'exécution de 83,0 % et un taux de correspondance stricte de sortie de 18,0 %. Cela dépasse largement le meilleur modèle de pointe (GLM-5.3), qui obtient 65,0 % d'exécution et 5,6 % de correspondance stricte.
Vérification stricte : L'avantage persiste sous une correspondance de sortie strictement vérifiée par Form. Sur les 89 tâches à sortie déterminée dans Instruct-100, FORM-8B en résout 18,0 % contre 5,6 % pour le meilleur modèle de pointe. Les tests de McNemar confirment que ces différences sont statistiquement significatives ( $p \le 0,007$ ).
Préservation de la capacité générale : L'ajustement fin provoque une dégradation minimale des capacités de raisonnement général : MMLU chute de 2,6 points de pourcentage, GSM8K de 1,5 et HumanEval de 0,6.
Résultats d'ablation : L'entraînement sur des données uniquement déterministes (v3b) entraîne une haute performance déterministe mais un effondrement de la capacité ouverte (29,0 %). L'inclusion de données diverses et vérifiées (v3c) est le principal moteur du succès des tâches ouvertes.

Signification et affirmations
L'article affirme que pour les langages spécifiques au domaine (DSL) à ressources nulles, les données d'entraînement vérifiées et spécifiques aux tâches sont plus précieuses que le nombre brut de paramètres. L'étude démontre qu'un modèle compact et affiné peut surpasser les modèles de pointe à grande échelle par une marge significative en termes de taux d'exécution et de correction stricte lorsque le langage cible est absent des corpus de pré-entraînement.

Le travail fournit un modèle pour apporter l'assistance à la programmation par IA aux langages scientifiques de niche :

Identifier un oracle d'exécution déterministe (le binaire Form).
Générer et vérifier les données d'entraînement via cet oracle pour garantir la validité syntaxique et sémantique sans annotation humaine.
Affiner un petit modèle en utilisant des méthodes efficaces en paramètres (QLoRA).

L'auteur souligne que ses résultats sont spécifiques au langage Form et aux benchmarks construits. Il note des limites, notamment la petite taille des ensembles de test ouverts (entraînant de larges intervalles de confiance sur certaines métriques), l'absence d'évaluation humaine par des physiciens, et le biais potentiel des benchmarks construits par l'auteur. Cependant, la publication des poids du modèle et de la suite complète de benchmarks (840 tâches) vise à établir un standard public pour l'évaluation de la génération de code Form.

Articles similaires