Résumé Technique : Du Raisonnement au Code : Optimisation GRPO pour les Langues Sous-Représentées

Énoncé du Problème

La génération de code précis et exécutable dans des langages de programmation sous-représentés (par exemple, Prolog, Lisp) reste un défi majeur pour les modèles de langage à grande échelle (LLM). Bien que les modèles excellent dans les langues à ressources élevées comme Python, ils échouent systématiquement dans la programmation logique en raison de la rareté des données d'entraînement publiques. Cette pénurie de données entraîne des modes de défaillance spécifiques : hallucination de prédicats inexistants, imposition d'un flux de contrôle impératif sur des paradigmes déclaratifs, et mauvaise gestion de l'unification et du backtracking. Le fine-tuning supervisé standard (SFT) est insuffisant car il repose sur des exemples écrits par l'homme, rares, et n'optimise pas directement la correction de l'exécution.

Méthodologie

L'article propose un cadre d'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) qui utilise un feedback piloté par l'exécution pour entraîner des LLM à petite échelle (famille Qwen2.5-Coder, de 0,5 à 7 milliards de paramètres) sans dépendre de vastes jeux de données curatés par l'homme.

Cadre Principal

• Algorithme : Les auteurs emploient l'Optimisation de Politique Relative par Groupe (GRPO), un algorithme de gradient de politique qui élimine le besoin d'un réseau de fonction de valeur séparé (contrairement au PPO). Le GRPO estime l'avantage d'une sortie par rapport à un groupe de sorties pairs échantillonnées à partir du même prompt, réduisant ainsi la surcharge computationnelle.
• Boucle d'Entraînement : Le système intègre un interpréteur Prolog (via PySwip) directement dans la boucle d'entraînement. Le LLM génère du code en réponse à des prompts en langage naturel (spécifiquement issus du jeu de données GSM8K), et l'interpréteur exécute le code pour fournir un signal de vérité terrain de correction.
• Système de Récompense : Une fonction de récompense multi-objectif agrège quatre signaux :
  1. Récompenses de Format : Pénalités et bonus pour le respect d'un modèle XML strict (<reasoning>, <code>, <query>), garantissant que le code est extractible. Une pénalité spécifique est appliquée si la requête est incorrectement imbriquée à l'intérieur du bloc de code.
  2. Récompenses de Correction : Basées sur les résultats d'exécution :
     • +1.0 : Correspondance exacte avec la vérité terrain.
     • -1.0 : Erreur logique (s'exécute mais résultat incorrect).
     • -0.5 : Erreur de syntaxe (échec de la compilation/exécution).
     • -0.1 : Délai d'attente dépassé ou aucune sortie.

Interventions Techniques Clés

Les auteurs ont identifié un mode de défaillance nommé "contraction du raisonnement", où l'entraînement GRPO standard avec une pénalité de divergence Kullback–Leibler (KL) a provoqué l'effondrement du modèle de 7B vers des motifs de sortie courts et mémorisés, dégradant la précision au fil du temps. Pour y remédier, ils ont introduit deux modifications critiques :

1. Suppression de la Divergence KL : L'élimination de la pénalité KL a permis à la politique de s'éloigner davantage de la base supervisée, permettant au modèle d'intérioriser le paradigme distinct de la programmation logique.
2. Récompense Sensible à la Longueur : Un mécanisme de récompense spécifique a été ajouté pour encourager les chaînes de raisonnement dans une plage de longueur de tokens cible, empêchant le modèle de tronquer son processus de raisonnement.

Contributions Clés

1. Nouvel État de l'Art pour Prolog : Démonstration que le RLVR avec feedback basé sur l'exécution peut compenser une pénurie extrême de données, établissant une nouvelle référence pour la génération de code Prolog sur GSM8K utilisant un modèle de 7 milliards de paramètres.
2. Ablation Systématique des Dynamiques GRPO : Identification de la "contraction du raisonnement" comme un mode de défaillance spécifique du RL régularisé par KL en programmation logique et caractérisation des conditions dans lesquelles l'assouplissement de cette contrainte est bénéfique.
3. Généralisation au-delà de l'Arithmétique : Démonstration que les améliorations se transfèrent à 20 tâches Prolog diverses (Rosetta Code) et au benchmark GSM-Symbolic, où la précision en zéro-shot a plus que doublé.
4. Validité Trans-langue : Validation de l'approche sur Lisp, démontrant que le RL piloté par interpréteur est efficace à travers des familles distinctes de langues sous-représentées.

Résultats

Les expériences ont été menées sur le jeu de données GSM8K, avec des évaluations sur Rosetta Code et GSM-Symbolic (variantes P1 et P2).

• Performance GSM8K :
  • Le Qwen2.5-Coder-7B optimisé (Zéro-shot, sans KL, contrainte de longueur) a atteint un pass@4 de 0,882.
  • Dans les configurations One-shot, la même configuration a atteint 0,893, surpassant PROPER (Mistral-7B, 0,72), Llama 3.3 70B (0,839) et Qwen2.5-Coder-32B (0,873).
  • Sans suppression du KL, le modèle de 7B a souffert d'une dérive des performances, chutant d'une base de 0,814 à 0,672.
• GSM-Symbolic :
  • Sur le jeu de données P2 difficile (nécessitant une manipulation symbolique plus profonde), le pass@4 en zéro-shot pour le modèle de 7B est passé d'une base de 0,298 à 0,673.
• Performance Lisp :
  • L'approche a amélioré le pass@4 en zéro-shot sur Lisp de 0,572 à 0,876. Cependant, la suppression de la contrainte KL a produit des gains plus modestes sur Lisp par rapport à Prolog, suggérant que l'entraînement "non régularisé" est plus critique pour les langages hautement spécialisés et à faibles ressources.
• Rosetta Code :
  • Le modèle de 7B a presque doublé sa base en zéro-shot, atteignant un pass@4 de 0,46.

Signification et Revendications

L'article soutient que pour les langages formels à sémantique déterministe, l'interpréteur lui-même peut servir de signal d'entraînement principal, remplaçant les données humaines rares sur lesquelles les approches actuelles dépendent. En traitant le système symbolique non plus comme un simple outil mais comme un "enseignant" qui supervise le réseau neuronal via des traces d'exécution, les auteurs fournissent un superviseur rigoureux et automatisé.

L'œuvre revendique offrir une voie robuste et adaptable pour améliorer la génération de code dans les langues sous-représentées. Elle suggère que combler le fossé entre l'intuition neuronale et la rigueur symbolique ne nécessite pas une échelle massive ou des jeux de données massifs, mais plutôt un changement de l'objectif d'apprentissage vers la maximisation de la correction d'exécution via l'apprentissage par renforcement. Les auteurs concluent que cette méthodologie permet aux modèles de respecter la syntaxe et la logique des langages cibles, se rapprochant du "Saint Graal" de la programmation où un utilisateur énonce un problème et l'ordinateur le résout via un code logique et vérifiable.