Résumé Technique : Poser les Bonnes Questions (ARQ)

Énoncé du Problème

Bien que les modèles de langage de grande taille (LLM) aient réalisé des progrès significatifs dans la résolution de tâches de raisonnement complexes (mathématiques, codage) grâce au post-entraînement et à l'étayage au moment de l'inférence, les approches actuelles se concentrent principalement sur la génération de longues chaînes de pensée (CoT) pour résoudre directement un problème ou vérifier des solutions proposées. La capacité à poser des questions pertinentes et génératrices d'insights qui décomposent un problème difficile en étapes intermédiaires gérables — un composant central de l'intelligence humaine — a reçu moins d'attention. Les méthodes existantes au moment de l'inférence (par exemple, Self-Ask, Analogical Reasoners) reposent souvent sur l'ingénierie de prompts pour susciter des questions auxiliaires, mais ces méthodes montrent des rendements décroissants lorsqu'elles sont appliquées aux LLM de raisonnement modernes qui produisent déjà de longues chaînes de pensée. De plus, il manque une étude systématique pour déterminer si les LLM peuvent générer des « pierres de passage » (sous-problèmes plus simples et connexes) qui améliorent véritablement le taux de réussite de la résolution de la tâche cible originale, et si de telles capacités de génération peuvent être apprises via le post-entraînement.

Méthodologie : Le Cadre ARQ

Les auteurs proposent ARQ (Asking the Right Questions), un cadre comprenant deux modules distincts : un générateur de questions ($\phi$) et un résolveur de problèmes ($\pi$).

1. Procédure d'Inférence

Au lieu de résoudre directement un problème cible $x$ pour produire une solution $y \sim \pi(x)$, ARQ introduit un pipeline d'inférence multi-étapes :

1. Génération : Le générateur $\phi$ produit un problème « pierre de passage » $z$ conditionné par $x$ ($z \sim \phi(x)$). Une pierre de passage est définie comme un problème pertinent par rapport à $x$ mais plus facile à résoudre (par exemple, un cas particulier, une version simplifiée, ou un sous-problème connexe).
2. Résolution de la Pierre : Le résolveur $\pi$ génère une solution $y_z$ pour la pierre de passage ($y_z \sim \pi(z)$).
3. Résolution de la Cible : Le résolveur $\pi$ est sollicité avec le problème original $x$, la pierre de passage $z$ et sa solution $y_z$ pour générer la solution finale $y$ ($y \sim \pi(x; z, y_z)$).

Le cadre prend en charge deux stratégies pour les multiples pierres :

• Séquentielle : Génération de pierres $z_i$ conditionnées par $x$ et toutes les pierres précédentes ($z_1, \dots, z_{i-1}$).
• Récursive : Génération d'une nouvelle pierre $z_i$ pour aider à résoudre la pierre précédente $z_{i-1}$, construisant efficacement un curriculum à l'envers.

2. Post-Entraînement et Curation des Données

Reconnaissant que les LLM prêts à l'emploi génèrent un mélange de pierres de passage utiles et préjudiciables, les auteurs proposent un pipeline de post-entraînement pour améliorer le générateur $\phi$ :

• Fonction de Notation : La qualité d'une pierre de passage générée $z$ est évaluée par la récompense attendue du résolveur $\pi$ lors de la résolution de la cible $x$ conditionnée par $z$. Formellement : $S(z, x) = \mathbb{E}_{y_z, y} [R(x, y)]$, estimée via des simulations de Monte Carlo.
• Affinement Supervisé (SFT) : Le générateur est affiné sur les pierres les mieux notées générées pour un ensemble de problèmes cibles.
• Optimisation Directe des Préférences (DPO) : Un ensemble de données de préférences est construit en appariant des pierres bien notées avec des pierres mal notées pour la même cible. Le générateur est ensuite affiné en utilisant DPO pour maximiser la probabilité de générer des pierres bien notées plutôt que des pierres mal notées.
• Données Synthétiques : L'ensemble du pipeline repose sur la génération de données synthétiques utilisant des modèles de pointe (par exemple, GPT-120B) pour créer les paires d'entraînement, évitant ainsi le besoin d'une annotation humaine coûteuse des pierres de passage.

Contributions Clés

1. Existence et Transférabilité des Bonnes Pierres de Passage : L'article démontre que de « bonnes » pierres de passage existent et sont transférables. Des pierres de haute qualité générées par un modèle puissant améliorent considérablement le taux de réussite des résolveurs ayant des capacités variables (y compris des modèles plus petits), indiquant que le bénéfice ne provient pas d'un surajustement aux biais d'un résolveur spécifique.
2. Cadre ARQ : Un nouvel étayage au moment de l'inférence qui sépare la génération de questions de la résolution de problèmes, permettant l'étude de la génération de pierres de passage de manière isolée.
3. Recette de Post-Entraînement : Une méthode pour affiner les LLM afin qu'ils deviennent de meilleurs générateurs de pierres de passage en utilisant des données synthétiques et un signal de récompense dérivé des performances du résolveur. Cela montre que la capacité à poser les bonnes questions peut être apprise.
4. Extension Multi-Pierres : Le cadre est étendu pour générer plusieurs pierres de passage de manière séquentielle ou récursive, montrant que la génération séquentielle produit des gains de performance supplémentaires.

Résultats Expérimentaux

Les auteurs ont évalué ARQ sur trois benchmarks mathématiques exigeants : AIME 2024, AIME 2025 et BeyondAIME.

• Performance au Moment de l'Inférence : En utilisant un modèle prêt à l'emploi puissant (GPT-120B) comme générateur, ARQ a amélioré le taux de réussite du résolveur d'une moyenne de 13 % lors de la sélection de la meilleure pierre de passage parmi 20 candidats. Cependant, la performance moyenne sur les 20 pierres était inférieure en raison de la présence de pierres préjudiciables, soulignant le besoin d'une meilleure génération.
• Transférabilité : Les bonnes pierres de passage sélectionnées par un résolveur de référence (GPT-120B) ont amélioré la performance de résolveurs plus faibles (GPT-20B, Qwen3-4B) dans une mesure similaire à celle des pierres sélectionnées par les résolveurs eux-mêmes.
• Impact du Post-Entraînement : L'affinement de Qwen3-8B et Qwen2.5-32B sur l'ensemble de données synthétique de pierres de passage a entraîné des améliorations significatives. Les modèles affinés ont généré des pierres qui ont amélioré les performances des résolveurs de 3,1 % et 2,9 % en moyenne respectivement, surpassant la ligne de base « Résolveur Seulement » et les versions pré-entraînées.
• Mise à l'Échelle Multi-Pierres : L'extension d'ARQ pour générer 3 pierres de passage séquentielles a encore amélioré les performances. Pour GPT-120B, le score du meilleur cas a augmenté de 5,2 % et la moyenne de 3,9 % par rapport à l'utilisation d'une seule pierre. La génération récursive a montré des performances fluctuantes ou dégradées par rapport à l'approche séquentielle.
• Comparaison : ARQ a surpassé d'autres méthodes d'étapes intermédiaires comme le Raisonnement Analogique, Least-to-Most et Plan-and-Solve. Il a légèrement sous-performé Self-Refine (affinement itératif de la solution) sur les LLM existants, probablement parce que Self-Refine s'aligne plus directement sur les pipelines d'entraînement RLVR existants, mais ARQ reste complémentaire et peut être combiné avec Self-Refine pour des gains supplémentaires.

Signification et Revendications

L'article affirme qu'ARQ offre une étape encourageante vers une direction de recherche sous-explorée : identifier quelles questions valent la peine d'être posées et entraîner les LLM à les générer. Les auteurs soulignent que :

• Les pierres de passage sont une capacité de raisonnement distincte : Elles ne sont pas de simples chaînes de pensée plus longues, mais impliquent la construction de problèmes connexes et plus faciles pour développer l'intuition et vérifier les stratégies.
• La capacité générative est apprenable : La capacité à poser les bonnes questions n'est pas une propriété inhérente à tous les modèles de raisonnement, mais peut être considérablement améliorée grâce à un post-entraînement ciblé sur des données synthétiques.
• Évolutivité : L'approche est particulièrement prometteuse pour des domaines extrêmement difficiles (par exemple, mathématiques de niveau IMO, recherche scientifique) où la génération directe de solutions est difficile, et où les humains utilisent régulièrement des prototypes simplifiés pour valider des idées.

Les auteurs restent modestes concernant l'échelle actuelle de leurs expériences de post-entraînement (limitée par la puissance de calcul et les sources de données) et suggèrent un travail futur visant à passer à l'échelle sur des ensembles de données plus vastes, d'autres domaines comme le codage, et à explorer l'apprentissage par renforcement en ligne pour la génération de questions.