🤖 AI

HyPER: Bridging Exploration and Exploitation for Scalable LLM Reasoning with Hypothesis Path Expansion and Reduction

HyPER est une politique de contrôle en ligne sans entraînement pour les modèles de type mélange d'experts qui équilibre dynamiquement l'exploration et l'exploitation lors du raisonnement au moment du test en gérant un pool d'hypothèses par expansion, raffinement au niveau des jetons et agrégation consciente de la confiance, améliorant ainsi considérablement la précision tout en réduisant l'utilisation des jetons.

Auteurs originaux : Shengxuan Qiu, Haochen Huang, Shuzhang Zhong, Pengfei Zuo, Meng Li

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shengxuan Qiu, Haochen Huang, Shuzhang Zhong, Pengfei Zuo, Meng Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un problème mathématique très difficile ou une énigme logique complexe. Vous avez un assistant brillant mais légèrement nerveux (l'IA) capable de réfléchir au problème étape par étape.

Si vous demandez à votre assistant de le résoudre une seule fois, il pourrait se perdre dans une fausse direction et vous donner une mauvaise réponse. Pour corriger cela, vous pourriez lui demander d'essayer de nombreuses façons différentes de le résoudre en même temps. Cela s'appelle « l'augmentation du calcul au moment du test ».

Cependant, il y a un piège : vous n'avez qu'une quantité limitée de temps et d'énergie (un « budget de calcul »). Si vous demandez à l'assistant d'essayer 100 chemins différents, vous risquez de manquer d'énergie avant qu'il n'en termine un seul. Si vous ne demandez que 2 chemins, vous risquez de manquer complètement la bonne solution.

L'article présente un nouveau système appelé HyPER (Hypothesis Path Expansion and Reduction) pour résoudre ce compromis. Considérez HyPER comme un contrôleur de trafic intelligent pour les pensées de votre assistant.

Le problème avec les anciennes méthodes

Les anciennes façons de gérer cela ressemblaient à des règles de circulation rigides :

La méthode « Arbre » : Cela consistait à forcer l'assistant à s'arrêter et à se diviser en de nouveaux chemins tous les 5 pas, peu importe la situation. Parfois, il n'avait pas besoin de se diviser, et parfois il aurait dû le faire beaucoup plus tôt. C'était trop rigide et gaspillait de l'énergie.
La méthode « Parallèle » : Cela consistait à demander à l'assistant d'écrire 100 histoires complètes de début à la fin, puis de choisir la meilleure. Cela gaspillait beaucoup d'énergie à écrire 99 histoires presque identiques ou clairement fausses, et cela n'aiderait pas à améliorer la qualité des histoires pendant leur rédaction.

Comment HyPER fonctionne : le contrôleur de trafic intelligent

HyPER change la donne en traitant le processus de réflexion comme un pool dynamique d'idées qu'il peut étendre ou réduire en temps réel. Il utilise trois astuces principales :

1. Le commutateur « Dépendant de la phase » (Savoir quand agir)

HyPER observe le processus de réflexion de l'assistant comme un entraîneur regardant un match.

Début de partie (Exploration) : Au début, l'assistant commence tout juste. HyPER dit : « Essayons quelques points de départ différents ! » Il augmente le nombre de chemins pour s'assurer qu'ils ne manquent pas la bonne direction.
Fin de partie (Exploitation) : À mesure que l'assistant se rapproche de la réponse, HyPER remarque que les chemins commencent à se ressembler ou qu'un chemin semble très confiant. Il dit : « Arrêtez d'essayer de nouvelles choses ! Concentrez toute votre énergie à affiner ce chemin fort. »
La magie : Il n'utilise pas un calendrier fixe. Il décide sur le moment s'il faut s'étendre (explorer) ou se concentrer (exploiter) en fonction de la confiance et de la diversité des pensées actuelles.

2. L'astuce « Raffinement par expert » (Utilisant la diversité interne de l'IA)

Les modèles d'IA modernes ont souvent une architecture « Mixture of Experts » (MoE). Imaginez que l'IA est en fait une équipe de 100 petits spécialistes, mais seuls quelques-uns sont actifs à un moment donné.

L'ancienne façon : Pour obtenir une meilleure réponse, il fallait recommencer toute la phrase depuis le début.
La façon HyPER : Lorsque l'IA s'apprête à écrire le mot suivant, HyPER demande à l'équipe de spécialistes : « Hé, que pensez-vous que devrait être le mot suivant ? » Il rassemble les opinions de différents spécialistes pour ce seul mot, les moyenne, et choisit la meilleure.
Le bénéfice : Cela améliore instantanément la qualité de la réponse sans gaspiller de temps à réécrire toute l'histoire. C'est comme faire une réunion rapide avec votre équipe avant de faire le prochain mouvement, plutôt que de recommencer tout le jeu.

3. Le vote « Longueur et Confiance » (Choisir le gagnant)

À la fin, vous avez plusieurs solutions terminées. Comment choisir la bonne ?

Le piège : Parfois, une mauvaise réponse est très confiante et courte, tandis que la bonne réponse est longue et prudente. Un simple « vote majoritaire » pourrait choisir la courte et fausse.
L'intuition de HyPER : L'article a remarqué quelque chose d'intéressant : lorsque vous filtrez les chemins à faible confiance, les chemins corrects ont tendance à être plus longs que les incorrects. Les mauvais chemins s'effondrent généralement tôt parce que l'IA perd confiance.
La solution : HyPER ne compte pas seulement les voix. Il regarde deux choses : Quelle était la confiance du chemin ? et Combien de temps a-t-il fallu pour résoudre ? Il accorde un bonus aux réponses qui sont à la fois confiantes et qui ont pris le temps d'être complètes. Cela l'aide à choisir la bonne réponse même si elle n'était pas la plus courante.

Les résultats

L'article a testé ce système sur des problèmes mathématiques et logiques difficiles.

Précision : Il a trouvé la bonne réponse beaucoup plus souvent (environ 8 à 10 % de mieux) que les méthodes précédentes.
Efficacité : Il a utilisé significativement moins d'énergie (environ 25 à 40 % de « tokens » ou de mots générés en moins) pour y parvenir.

Analogie de résumé

Imaginez que vous naviguez dans un labyrinthe dans le noir avec une lampe torche dont la batterie est limitée.

Les anciennes méthodes soit éclairaient dans 100 directions aléatoires jusqu'à ce que la batterie soit morte, soit vous forçaient à tourner aux coins à des endroits spécifiques, peu importe ce que vous voyiez.
HyPER est un guide intelligent. Il vous dit de vous éparpiller et de regarder autour de vous lorsque vous êtes perdu (Exploration). Lorsque vous voyez un chemin prometteur, il vous dit de concentrer votre lumière là-bas et de marcher prudemment (Exploitation). Si vous trébuchez, il vous aide à ajuster votre pas immédiatement sans tout recommencer. Et lorsque vous trouvez la sortie, il vérifie si le chemin que vous avez pris était long et régulier, s'assurant que vous n'êtes pas simplement tombé dans une impasse qui ressemblait à une sortie.

Le résultat ? Vous trouvez la sortie plus vite, avec une lumière plus vive, et avec plus de batterie restante.

Résumé Technique : HyPER – Relier l'Exploration et l'Exploitation pour un Raisonnement Évolutif des LLM

1. Énoncé du Problème

L'augmentation de la puissance de calcul au moment de l'inférence via un raisonnement en chaîne de pensée (CoT) multi-chemins a démontré son efficacité pour améliorer la précision sur des tâches complexes, mais son succès repose sur un compromis efficace entre exploration (génération de trajectoires d'hypothèses diversifiées) et exploitation (affinement des trajectoires prometteuses). Les méthodes existantes peinent à maintenir cet équilibre de manière dynamique :

La recherche en arbre (par exemple, ToT, MCTS) impose des calendriers d'expansion rigides et fragiles qui perturbent souvent le flux de raisonnement continu natif des modèles post-entraînés et gaspillent des ressources de calcul dans une exploration inutile.
Le raisonnement parallèle (par exemple, Self-Consistency, Best-of-N) préserve la génération native mais tend à trop explorer des trajectoires redondantes et quasi-dupliquées tout en sous-utilisant les hypothèses prometteuses. Il repose sur des stratégies de sélection de réponses faibles et manque de mécanismes pour un raffinement efficace au moment de l'inférence.
Les variantes adaptatives se concentrent souvent sur l'élagage (soustractif) sans réallouer explicitement les ressources de calcul économisées vers une exploitation plus forte, laissant les hypothèses prometteuses insuffisamment affinées.

De plus, des observations récentes suggèrent que les trajectoires de raisonnement correctes et incorrectes divergent souvent uniquement à des stades tardifs, et que générer simplement un chemin correct ne garantit pas sa sélection en raison du « fossé existence-sélection », où des trajectoires bruyantes dominent les mécanismes de vote.

2. Méthodologie : Cadre HyPER

Les auteurs présentent HyPER (Hypothesis Path Expansion and Reduction), une politique de contrôle en ligne sans entraînement qui reconceptualise l'augmentation de la puissance de calcul au moment de l'inférence comme un problème de contrôle dynamique d'expansion-réduction sur un ensemble de trajectoires d'hypothèses. HyPER est conçu pour les modèles Mixture-of-Experts (MoE) mais se généralise aux architectures denses. Il fonctionne sous un budget de calcul fixe et se compose de trois composants principaux :

2.1. Contrôleur d'Expansion-Réduction en Ligne

Au lieu d'un calendrier statique, HyPER emploie un contrôleur en boucle fermée qui surveille des statistiques de trajectoire légères et en temps réel (confiance, entropie, consensus et diversité) pour sélectionner dynamiquement des actions tous les $T$ pas de décodage. Le contrôleur choisit parmi quatre actions pour l'ensemble des trajectoires survivantes $S_t$ :

NONE : Poursuit le décodage standard lorsque l'ensemble est fiable, confiant et diversifié.
BRANCH (Exploration) : Élargit explicitement l'ensemble en bifurquant les trajectoires survivantes en plusieurs enfants lorsque la diversité est faible ou le consensus faible.
SINGLETOKEN (Exploitation) : Applique une opération d'expansion-réduction au niveau du token pour affiner la décision du prochain token sans modifier le nombre de trajectoires. Cela cible l'instabilité locale (faible confiance, haute entropie).
MULTITOKEN (Hybride) : Effectue une expansion à court horizon (décodage de $m$ tokens) suivie d'une agrégation, sélectionnant l'enfant le plus confiant pour fusionner en retour. Cela est utilisé lorsque la diversité est faible mais que la dispersion de la confiance est élevée.

2.2. Primitive d'Expansion et d'Agrégation à Un Token

Pour permettre une exploitation efficace sans rééchantillonnage complet des trajectoires, HyPER exploite la diversité de routage inhérente aux architectures MoE. Pour l'action SINGLETOKEN :

Échantillonnage de route avec bruit Gumbel : Les logits du routeur MoE sont perturbés par un bruit Gumbel pour générer $K$ propositions stochastiques routées par expert pour le token actuel.
Échantillonnage d'experts en deux passes : Un schéma vectorisé en deux passes impose une diversité intra-token en pénalisant les collisions d'experts à travers les $K$ routes, garantissant que des sous-ensembles d'experts distincts sont échantillonnés.
Agrégation pondérée par la confiance : Les $K$ vecteurs de logits candidats sont agrégés en utilisant des poids de confiance dérivés de leurs distributions prédictives, stabilisant la confiance des queues et affinant la prédiction du token.
Optimisation de la mémoire : La méthode partage les états KV de préfixe à travers les $K$ propositions, garantissant que la mémoire évolue avec le nombre de trajectoires survivantes plutôt qu'avec le facteur d'expansion $K$ .

2.3. Vote Conscient de la Longueur et de la Confiance

Pour combler le fossé existence-sélection, HyPER introduit une règle d'agrégation novatrice pour la réponse finale. L'analyse empirique révèle que sous l'élagage par confiance, les trajectoires correctes tendent à être systématiquement plus longues que les incorrectes (car les trajectoires erronées sont terminées prématurément). La règle de vote sélectionne la réponse finale en agrégeant la longueur normalisée de la trajectoire et la confiance moyenne globale sur les trajectoires de soutien, plutôt que de se fier uniquement à la fréquence ou à un simple pondération par la confiance.

3. Contributions Clés

Politique de Contrôle Dynamique : Un contrôleur en ligne sans entraînement qui bascule de l'exploration vers l'exploitation en fonction de l'utilité dépendante de la phase, utilisant des signaux légers (confiance, diversité) pour réallouer le budget de calcul à la volée.
Raffinement Efficace au Niveau du Token : Une primitive basée sur MoE pour l'exploitation au moment de la génération qui affine la qualité des tokens via la diversité de routage des experts sans la surcharge du rééchantillonnage de trajectoires complètes.
Sélection Robuste de Réponses : Une règle de vote consciente de la longueur et de la confiance qui exploite le signal structurel de la longueur de la trajectoire (induit par l'élagage) pour sélectionner de manière fiable les réponses correctes, en s'attaquant aux modes de défaillance du vote majoritaire naïf.

4. Résultats Expérimentaux

Les auteurs ont évalué HyPER sur quatre modèles MoE (Qwen3-30B, Qwen3-Next-80B, OLMoE, DeepSeek-V2-Lite) et divers benchmarks (AIME24/25, HMMT25, HLE, GSM8K, MATH500, ARC).

Compromis Précision-Calcul : HyPER atteint constamment la frontière de Pareto précision-calcul. Sur les benchmarks, il surpasse les méthodes de l'état de l'art (Self-Consistency, DeepConf, RoE) de 8 à 10 points de pourcentage en précision tout en réduisant la consommation de tokens de 25 à 40 % sous des budgets de calcul comparables.
Études d'Ablation :
- Supprimer le contrôleur dynamique (en utilisant des calendriers manuels) conduit à des compromis sous-optimaux, confirmant la nécessité d'un contrôle adaptatif.
- La primitive SINGLETOKEN améliore la qualité locale des tokens mais nécessite le contrôleur pour empêcher l'effondrement prématuré de l'ensemble.
- La règle de vote consciente de la longueur surpasse constamment le vote majoritaire et le vote pondéré par la confiance, validant l'utilité de la longueur de la trajectoire comme signal de justesse sous élagage.
Généralité de l'Architecture : Les expériences sur des modèles denses (sans raffinement de token MoE) montrent que le contrôleur et la logique de vote seuls améliorent encore les performances par rapport aux bases, indiquant que le cadre ne dépend pas strictement des structures MoE.
Comparaison avec la Recherche en Arbre : Imposer une recherche en arbre au niveau des étapes sur des modèles post-entraînés « réfléchissants » a dégradé les performances par rapport à la Self-Consistency basée sur les trajectoires, motivant l'approche d'expansion-réduction basée sur les trajectoires de HyPER.

5. Signification et Revendications

L'article revendique que HyPER offre une avancée significative dans le raisonnement évolutif des LLM en s'éloignant des calendriers de recherche rigides vers un contrôle des ressources en boucle fermée. Sa signification principale réside dans :

Efficacité Sans Entraînement : Il atteint des résultats de pointe sans nécessiter de fine-tuning, de modèles de récompense spécialisés ou de données d'entraînement supplémentaires.
Adaptation Dynamique : Il s'attaque efficacement à la nature dépendante de la phase du raisonnement, allouant le calcul à l'exploration tôt et à l'exploitation tard, basé sur des observations empiriques de la divergence des trajectoires.
Combler le Fossé : Il fournit une solution fondée pour le fossé existence-sélection, garantissant que la présence d'un chemin correct se traduit par une réponse correcte sélectionnée.

Les auteurs positionnent HyPER comme orthogonal aux vérificateurs appris, suggérant que la combinaison de leur politique dynamique avec des Modèles de Récompense de Processus (PRM) reste une voie prometteuse pour les travaux futurs. Le code est disponible publiquement pour faciliter la recherche supplémentaire sur l'augmentation de la puissance de calcul au moment de l'inférence.