Résumé Technique : PPC, un LLM de Raisonnement Mathématique Renforcé par une Préplanification (PPC)

1. Énoncé du Problème

Les méthodes actuelles de raisonnement basées sur la planification pour les grands modèles de langage (LLM) ont établi un paradigme question → plan → Chaîne de Pensée (CoT). Bien qu'efficaces, les auteurs identifient un écart fondamental, au niveau du paradigme, dans cette approche : les étapes de planification et d'exécution sont toutes deux dédiées à décider comment résoudre un problème (organiser les étapes et les exécuter), tandis que la question préalable de quoi résoudre reste entièrement implicite.

L'étape « quoi résoudre » implique de reconnaître le type de problème, d'identifier les outils et concepts applicables, de signaler les conditions limites et d'anticiper les pièges. Les méthodes existantes supposent que cette compréhension émerge implicitement lors de la génération du plan. Cependant, l'analyse des erreurs (Figure 1) révèle qu'une part significative des échecs des méthodes actuelles basées sur la planification ne provient pas d'erreurs de calcul, mais d'une incapacité à comprendre correctement la nature du problème (par exemple, une mauvaise identification d'une équation quadratique homogène, conduisant à un chemin de résolution inefficace).

2. Méthodologie : Le Cadre PPC

Pour combler cet écart, les auteurs proposent PPC (Preplan-Plan-CoT), un cadre qui introduit une étape explicite de préplanification, créant ainsi un nouveau paradigme question → préplan → plan → chaîne de pensée. Le préplan est une analyse complète, non computationnelle, qui détermine quoi résoudre, laissant comment résoudre aux étapes ultérieures de planification et d'exécution.

Le cadre adresse deux défis principaux grâce à un pipeline spécifique :

Défi 1 : Construction des Données (Prévention des Fuites et des Spoilers)

Générer une supervision de préplan propre est difficile car les modèles ont tendance à revenir à des comportements de type « comment résoudre ».

• Échec de Fuite : Le préplan répète la séquence d'étapes du plan à venir.
• Échec de Spoiler : Le préplan effectue des calculs intermédiaires sous couvert d'analyse.

Solution : Les auteurs conçoivent un pipeline de synthèse en trois étapes protégé par un détecteur de score de spoiler.

1. Génération en Trois Étapes : Les trajectoires sont générées strictement de gauche à droite : $y_{pp} \sim \pi_{pp}(\cdot|q)$, $y_p \sim \pi_p(\cdot|q, y_{pp})$, et $y_e \sim \pi_e(\cdot|q, y_p)$. L'invite de préplan interdit explicitement les dérivations, les formules étendues et les valeurs calculées.
2. Filtrage par Score de Spoiler : Un score basé sur des règles $s(\cdot) \in \{0, \dots, 6\}$ agrège les signaux de dérivation et de révélation de la réponse (par exemple, des phrases comme « se simplifie en », une forte densité d'équations, de longs segments de mathématiques en ligne, des constantes à plusieurs chiffres). Les trajectoires sont conservées uniquement si $s(y_{pp}) \leq \tau_s$ (où $\tau_s=2$) ET si la réponse finale est correcte. Cela garantit que le préplan est une pure compréhension du problème, et non une solution déguisée.

Défi 2 : Adhérence pendant l'Entraînement (Assurance de l'Utilité)

Même avec des données propres, un modèle pourrait apprendre à générer un préplan superficiellement correct tout en l'ignorant lors de l'étape de planification.

Solution : Les auteurs étendent l'Optimisation de Politique Relative par Groupes (GRPO) avec une fonction de récompense composite $R(y)$ qui impose un alignement structurel et sémantique :
$$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$$

• $R_{out}$ (Récompense de Résultat) : Utilise un crédit partiel basé sur la proximité jugée par un LLM du chemin de résolution (pas seulement la justesse binaire) pour fournir des gradients aux trajectoires presque réussies.
• $R_{adh}$ (Récompense d'Adhérence) : Un critique LLM évalue l'alignement stratégique entre le préplan et le plan. Crucialement, un plan de haute qualité qui ignore le préplan reçoit un score faible, forçant le modèle à suivre véritablement les directives du préplan.
• $R_{fmt}$ (Garde-fou de Format) : Garantit que la sortie contient exactement une instance de chaque balise (<preplan>, <plan>, <execute>) dans l'ordre, avec une réponse encadrée.
• $R_{sty}$ (Pénalité de Style) : Réutilise le score de spoiler $s(\cdot)$ comme pénalité pendant l'apprentissage par renforcement. Si le préplan dérive vers un contenu computationnel pendant l'entraînement, la récompense est pénalisée, maintenant l'intégrité conceptuelle établie lors de la construction des données.

3. Contributions Clés

• Conceptuelle : L'article formalise un écart au niveau du paradigme dans les méthodes de raisonnement existantes : la modélisation explicite de comment résoudre par opposition à la gestion implicite de quoi résoudre. Il propose le paradigme question → préplan → plan → chaîne de pensée pour y remédier.
• Méthodologique :
  • Construction du premier jeu de données de raisonnement avec supervision explicite de préplan, protégé par un détecteur de score de spoiler contre les échecs de fuite et de spoiler.
  • Conception d'une récompense GRPO composite qui impose explicitement l'alignement plan-préplan, empêchant le modèle de traiter le préplan comme une étape décorative mais ignorée.
• Empirique : Évaluation extensive sur quatre architectures de base (Qwen3-4B, Qwen2.5-7B, Qwen2.5-Math-7B, Llama-3.1-8B) et cinq benchmarks mathématiques (AIME25, Minerva-Math, OlympiadBench, MATH-500, GSM8K).

4. Résultats Expérimentaux

• Performance : PPC obtient les meilleurs résultats sur 39 des 40 métriques à travers tous les benchmarks et architectures de base.
• Améliorations : Par rapport aux meilleures bases de comparaison (Plan-Tuning, PTA-GRPO), PPC améliore maj@16 de +2,23 et pass@16 de +3,06.
• Efficacité : Malgré l'ajout d'une étape supplémentaire, PPC génère moins de tokens que la CoT complète et significativement moins que PTA-GRPO. Le préplan et le plan contraignent l'exécution à un seul chemin de résolution, évitant les détours redondants courants dans la CoT non contrainte.
• Fidélité : Les interventions au moment de l'inférence (mélange des phrases du préplan, utilisation de préplans non correspondants ou de marqueurs génériques) entraînent des baisses sévères de performance (par exemple, maj@16 passant de 97,2 à 46,8 sur Qwen3-4B avec des préplans non correspondants). Cela confirme que le modèle repose véritablement sur le contenu du préplan plutôt que de simplement le produire.

5. Signification et Revendications

L'article revendique que la limitation principale des méthodes de raisonnement basées sur la planification actuelles n'est pas l'absence de planification, mais l'absence d'une étape dédiée à la compréhension du problème. En rendant explicite le « quoi résoudre » grâce au préplan, le modèle peut sélectionner les outils et stratégies appropriés avant de s'engager dans un chemin de résolution.

Les auteurs soulignent que cette amélioration ne provient pas simplement du prompting (comme le montre la base de comparaison « Prompt-Only » qui sous-performe), mais nécessite l'apprentissage du paradigme grâce à la construction spécifique des données et à l'entraînement par récompense composite. Le cadre démontre qu'une compréhension explicite du problème produit une précision plus élevée et une efficacité d'inférence accrue simultanément, sans introduire de surcharge de tokens supplémentaire par rapport à la CoT standard.