Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance

1. Problématique

L'utilisation de guidage basé sur des exemples (comme des solutions détaillées ou des indices) pour améliorer le raisonnement mathématique des grands modèles de langage (LLM) à l'inférence s'est révélée instable. Même lorsque le guidage est correct et pertinent pour le problème, il échoue souvent à améliorer, voire dégrade, les performances du modèle cible.

Les auteurs identifient une lacune fondamentale sous-exploitée : la distinction entre :

• L'utilisation de la stratégie (Strategy Usage) : La fréquence à laquelle une stratégie apparaît dans des solutions réussies (humaines ou modèles).
• L'exécutabilité de la stratégie (Strategy Executability) : La capacité effective d'un modèle cible à mettre en œuvre cette stratégie lorsqu'elle lui est fournie sous forme de guidage explicite.

Le problème central est que les stratégies présentes dans une solution correcte ne sont pas nécessairement exécutables par un autre modèle. Les solutions humaines privilégient souvent des insights structurels et conceptuels, tandis que les modèles génèrent des transformations procédurales et algébriques. Cette divergence crée un décalage où le guidage humain peut être trop abstrait pour un modèle, et le guidage modèle peut manquer de structure globale.

2. Méthodologie

Pour adresser ce problème, les auteurs proposent une approche en deux temps : une analyse diagnostique et un nouveau cadre d'inférence.

A. Analyse Diagnostique et Benchmark (HM-ReasoningBench)

• Construction du Dataset : Les auteurs ont créé HM-ReasoningBench, un ensemble de données apparié contenant 4 850 problèmes mathématiques de niveau compétition, chacun résolu par une solution humaine et une solution générée par un modèle.
• Abstraction des Stratégies : Chaque solution est décomposée en un ensemble de stratégies de haut niveau (ex: « construction auxiliaire », « analyse de cas », « factorisation première ») extraites et mappées sur une bibliothèque de 30 modèles canoniques.
• Découverte Clé : L'analyse révèle une dissociation systématique :
  • Les stratégies humaines (structurelles, géométriques) sont souvent moins exécutables par les modèles que les stratégies procédurales.
  • Les stratégies modèles (algébriques, coordonnées) sont plus exécutables mais peuvent échouer sur des problèmes nécessitant une structure globale.
  • L'efficacité du guidage dépend fortement du domaine du problème (ex: la géométrie montre les écarts les plus marqués).

B. Cadre Proposé : Récupération Sélective de Stratégies (SSR)

Pour surmonter ces limitations, les auteurs introduisent Selective Strategy Retrieval (SSR), un cadre léger fonctionnant uniquement à l'inférence (sans réentraînement du modèle).

1. Graphe de Connaissance des Stratégies :

   • Un graphe hétérogène relie les problèmes, les stratégies et les catégories mathématiques.
   • Un réseau de neurones à graphes (GNN) apprend des embeddings qui capturent les motifs d'exécutabilité empirique (quelles stratégies fonctionnent pour quels types de problèmes et sources).

2. Récupération Multi-Route :
   Pour un nouveau problème, SSR récupère des stratégies candidates via trois voies complémentaires :

   • Route A (Conditionnée par la catégorie) : Récupère des stratégies robustes pour la catégorie mathématique du problème.
   • Route B (Transfert de problème) : Récupère des stratégies qui ont été empiriquement efficaces pour des problèmes similaires (voisinage sémantique).
   • Route C (Fallback sémantique) : Récupère des stratégies sémantiquement similaires si les preuves d'exécutabilité sont rares.

3. Modélisation de l'Exécutabilité :

   • Un prédicteur paramétrique estime la probabilité qu'une stratégie $s$ soit exécutable pour un modèle $m$ sur un problème $x$ ($U(s|x)$).
   • L'apprentissage utilise une supervision basée sur des essais de décodage multiples sur un ensemble d'entraînement, modélisant l'incertitude via une distribution Beta-Binomial.
   • Le système sélectionne et combine les stratégies ayant les scores d'exécutabilité les plus élevés pour guider le modèle cible.

3. Contributions Clés

1. Identification du Décalage Usage/Exécutabilité : Démonstration qu'une stratégie fréquente dans les solutions correctes n'est pas garantie d'être efficace comme guidage, introduisant le concept opérationnel d'exécutabilité.
2. HM-ReasoningBench : Création d'un benchmark apparié (Humain/Modèle) permettant une analyse fine des différences de stratégies et de leur transférabilité.
3. Framework SSR : Développement d'une méthode de récupération qui modélise explicitement l'exécutabilité en combinant des signaux empiriques, structurels et sémantiques, sans modifier le modèle sous-jacent.
4. Preuve de Concept : Démonstration que l'adaptation du guidage aux capacités opérationnelles du modèle (plutôt qu'à la simple pertinence sémantique) améliore la robustesse du raisonnement.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks (HM-ReasoningBench, AIME25, Apex) et modèles (Qwen3-8B/14B, DeepSeek-R1-Distill-7B, ainsi que des modèles propriétaires comme GPT-4.1 et o3-mini).

• Améliorations de Précision :
  • SSR surpasse systématiquement le résolution directe (Direct Solving), l'apprentissage contextuel (ICL) et le guidage mono-source (Humain ou Modèle uniquement).
  • Gain sur AIME25 : Jusqu'à +13 points de précision pour les modèles compacts (ex: Qwen3-8B passant de ~67% à ~74%).
  • Gain sur Apex : Jusqu'à +5 points pour les modèles compacts, avec des gains encore plus marqués sur les problèmes les plus difficiles où l'erreur de guidage est critique.
• Analyse d'Ablation : La suppression de l'une des trois voies de récupération (Catégorie, Transfert, Sémantique) entraîne une baisse de performance, confirmant que chaque signal est nécessaire pour une couverture robuste.
• Efficacité : Contrairement aux méthodes coûteuses comme la Consistance de Soi (Self-Consistency) ou l'Arbre de Pensée (Tree-of-Thoughts) qui nécessitent de multiples inférences, SSR atteint de meilleures performances avec une seule génération guidée, réduisant également le nombre de tokens de raisonnement générés.
• Analyse des Échecs : SSR réduit à la fois les erreurs de manipulation algébrique (fortement réduites par le guidage modèle) et les échecs de raisonnement structurel (fortement réduits par le guidage humain), prouvant la complémentarité de la sélection.

5. Signification et Impact

Cet article remet en question l'hypothèse dominante selon laquelle le guidage par l'exemple est universellement transférable. Il démontre que l'efficacité du raisonnement assisté dépend de l'adéquation opérationnelle entre la stratégie proposée et les capacités d'exécution du modèle cible.

• Changement de Paradigme : Le guidage ne doit pas être évalué uniquement par sa justesse sémantique ou sa fréquence, mais par son exécutabilité empirique.
• Implications pour l'Entraînement : La divergence observée entre les stratégies humaines et modèles suggère que les données d'entraînement actuelles pourraient sous-représenter les stratégies structurelles abstraites, favorisant des patterns procéduraux.
• Applications Pratiques : SSR offre une méthode efficace et peu coûteuse pour améliorer les modèles de raisonnement compacts, cruciale pour le déploiement dans des applications éducatives ou scientifiques où la fiabilité et l'efficacité des ressources sont primordiales.

En résumé, ce travail établit que pour un guidage efficace, il ne suffit pas de donner la « bonne » stratégie, mais il faut donner la stratégie que le modèle est capable d'exécuter dans le contexte donné.