Résumé technique : Internalisation des lois géométriques via les résidus de solveurs

Énoncé du problème

Les grands modèles de langage (LLM) présentent une « hallucination de précision » dans les domaines exigeant une adhérence stricte aux lois géométriques, physiques ou logiques. Bien que les modèles puissent générer des sorties syntaxiquement cohérentes et sémantiquement plausibles, ils échouent fréquemment à satisfaire des contraintes métriques exactes (par exemple, la perpendicularité, la tangence, des longueurs spécifiques). Les approches existantes délèguent souvent le raisonnement à des solveurs symboliques ou numériques externes, réduisant le LLM à un simple traducteur du langage naturel vers un langage spécifique au domaine (DSL) propre au solveur. Cette délégation empêche le modèle d'internaliser la logique spatiale, ce qui le rend fragile face à de nouvelles contraintes situées en dehors du vocabulaire prédéfini du solveur.

Le défi spécifique abordé est la Résolution de Contraintes Géométriques (GCS - Geometric Constraint Solving) : traduire des descriptions en langage naturel libre en programmes Python précis qui produisent des coordonnées métriques exactes (emplacements de points, rayons de cercles) satisfaisant des dizaines de contraintes interactives simultanément. Contrairement aux benchmarks précédents qui se concentrent sur des réponses scalaires ou des preuves de théorèmes, cette tâche nécessite la génération d'une configuration géométrique entièrement construite où toutes les contraintes relationnelles sont satisfaites dans une tolérance stricte ($\|r\|_2^2 < 10^{-3}$).

Méthodologie

Le framework PyGeoX

Les auteurs introduisent PyGeoX, un moteur et un DSL géométrique programmable conçu pour faire le pont entre l'intention déclarative et l'optimisation différentiable.

• Architecture : PyGeoX fonctionne comme un pipeline « Déclaratif-vers-Symbolique-vers-Différentiable ». Il accepte des descriptions géométriques de haut niveau, les compile en équations de contraintes symboliques (en utilisant SymPy), et les agrège en une fonction d'erreur différentiable unique $E(u)$.
• Capacités : Le moteur prend en charge 35 types d'objets et 38 relations, y compris des contraintes algébriques complexes (par exemple, « le périmètre d'un pentagone est égal à l'aire d'un cercle ») et des contraintes d'inégalité, qui sont souvent non supportées par les moteurs déductifs traditionnels.
• Rôle dans l'entraînement : PyGeoX est utilisé strictement hors politique (off-policy). Il génère des données d'entraînement de manière procédurale et calcule les résidus par contrainte lors de l'évaluation de la récompense par apprentissage par renforcement (RL). Le LLM n'a jamais accès à la bibliothèque PyGeoX lors de l'inférence, ce qui le force à apprendre les lois géométriques plutôt que la syntaxe de l'API.

Conception de la récompense : Masquage de gradient par valeurs aberrantes et SAR

Une contribution centrale de l'article est l'identification d'un mode de défaillance dans le RL standard avec récompenses vérifiables (RLVR) appelé Masquage de gradient par valeurs aberrantes (Outlier Gradient Masking).

• Le Problème : Les récompenses standard à norme globale (par exemple, $R = \exp(-\|r\|_2^2)$) agrègent tous les résidus de contrainte en un scalaire unique. Dans des espaces de contraintes de haute dimension, une seule contrainte sévèrement violée (une valeur aberrante) pousse la norme globale vers zéro, provoquant l'effondrement du signal de récompense pour toutes les autres contraintes satisfaites. Ce passage de l'« tout ou rien » annule le gradient de la politique, empêchant le modèle d'apprendre à partir de progrès partiels.

• La Solution (SAR) : Les auteurs proposent des Récompenses Additives Saturantes (SAR - Saturating Additive Rewards). Au lieu d'agréger les résidus globalement, la SAR décompose la récompense en une somme de noyaux indépendants et bornés pour chaque contrainte :
  $$R_{SAR}(r) = \sum_{i=1}^{C} \phi(r_i)$$
  où $\phi$ est un noyau décroissant monotone (par exemple, Boltzmann $\phi(r) = e^{-r/T}$). Cela garantit que le progrès sur les contraintes satisfaites préserve un signal de gradient non nul, même lorsque d'autres contraintes sont violées.

• Récompense composite : Pour traiter le « plateau de récompense » (où la satisfaction partielle produit une récompense élevée mais échoue à atteindre des solutions exactes) et la « dégénérescence géométrique » (solutions triviales comme l'effondrement de tous les points sur une seule coordonnée), la fonction de récompense finale combine :

  1. Façonnement dense (SAR) : Fournit des gradients continus pour les progrès partiels.
  2. Bonus parcimonieux (Sparse Bonus) : Une récompense binaire activée uniquement lorsque toutes les contraintes sont satisfaites ($\|r\|_2^2 < 10^{-3}$).
  3. Pénalité de dégénérescence : Déduit de la récompense pour les configurations triviales (ex: points coïncidents).

Protocole d'entraînement

Le framework a été évalué en utilisant Qwen3-8B comme modèle de base.

• Données : Un pipeline procédural a généré environ 100k problèmes validés, stratifiés en niveaux Facile, Moyen et Difficile.
• Approches : Les auteurs ont comparé l'apprentissage supervisé par ajustement fin (SFT) avec perte pondérée (utilisant des récompenses normalisées) et l'apprentissage par renforcement utilisant l'optimisation de politique relative de groupe (GRPO).
• Baselines : Des comparaisons ont été faites contre les récompenses standards à norme globale (basées sur l'MSE), les récompenses binaires parcimonieuses et la proposition composite SAR+S+D.

Résultats clés

Performance sur les benchmarks

Les auteurs ont évalué les modèles sur PyGeoX-Bench (300 problèmes stratifiés) et PyGeoX-Wild (86 problèmes hors distribution adaptés de benchmarks de géométrie de niveau collège).

• Supériorité de la SAR : La récompense composite SAR+S+D a nettement surpassé les récompenses standards de type parcimonieux ou à norme globale. Sur le niveau « Difficile », la SAR+S+D a atteint un taux de résolution (SR) de 0,41 (RL) et 0,32 (SFT), contre 0,18 et 0,04 respectivement pour MSE+S+D.
• Validation du masquage de gradient : L'analyse empirique de 3 893 solutions partiellement correctes a montré que 60 % des récompenses basées sur l'MSE s'effondraient vers un niveau proche de zéro, les rendant indiscernables pour l'optimiseur. En revanche, 97 % des récompenses SAR se situaient dans la plage informative $[0,1, 0,9]$, préservant les écarts relatifs entre les solutions.
• Efficacité des tokens : Les modèles entraînés avec SAR+S+D ont nécessité environ 22,8 % de tokens en moins pour résoudre les problèmes par rapport aux baselines parcimonieuses, suggérant des chemins de raisonnement plus directs.
• Compétitivité : Le modèle 8B résultant (0,41 SR sur Difficile) a surpassé trois des quatre systèmes fermés de pointe évalués (incluant DeepSeek-V3.2) sur le niveau Difficile, malgré une taille nettement plus réduite.

Preuve d'internalisation

L'article soutient que le modèle a internalisé les lois géométriques plutôt que de mémoriser les données d'entraînement, sur la base de trois lignes de preuve :

1. Traces constructives : Environ 90 % des traces réussies suivaient des dérivations constructives étape par étape (style règle et compas) plutôt que des appels d'optimisation de type boîte noire.
2. Transfert OOD (Hors Distribution) : Le modèle a maintenu des performances élevées sur PyGeoX-Wild, qui présentait des textes rédigés par des humains et des combinaisons de contraintes inédites.
3. Infaisabilité combinatoire : L'espace de solution pour les problèmes Difficiles dépasse $10^{17}$ configurations, éclipsant largement l'ensemble d'entraînement, ce qui rend la mémorisation statistiquement impossible.

Signification et affirmations

L'article affirme présenter le premier framework formulant la résolution de contraintes géométriques de bout en bout comme une tâche d'alignement de LLM, dépassant le paradigme du « traducteur ». Sa principale importance réside dans :

1. Conception de la récompense : Identification et résolution du problème de « Masquage de gradient par valeurs aberrantes », démontant que des signaux de résidus denses et par contrainte sont essentiels pour l'entraînement des LLM sur des tâches à contraintes multiples.
2. Infrastructure : Publication de PyGeoX, un moteur géométrique différentiable qui supporte les contraintes d'inégalité et les relations algébriques complexes, ainsi que PyGeoX-Bench et PyGeoX-Wild pour une évaluation rigoureuse.
3. Généralisabilité : Les auteurs postulent que l'approche SAR est applicable à tout cadre RLVR où un solveur renvoie un vecteur de résidus multidimensionnel, comme la simulation physique, l'aménagement de scènes ou la manipulation robotique.

Les auteurs restent modestes quant à la portée du travail, notant que les résultats actuels sont limités à la géométrie statique en 2D et que l'approche nécessite un modèle de base doté de solides capacités mathématiques et de codage (car les modèles plus petits n'ont pas réussi à converger). Ils ne prétendent pas avoir résolu la conception d'ingénierie générale, mais ont établi une voie viable pour que les LLM internalisent les lois géométriques dans des domaines de haute précision.