💬 NLP

InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning

InftyThink+ est un cadre d'apprentissage par renforcement de bout en bout qui optimise le raisonnement itératif grâce à une synthèse stratégique et des limites d'itération contrôlées par le modèle, améliorant considérablement la précision, l'efficacité et la généralisation par rapport aux méthodes conventionnelles de chaîne de pensée longue.

Auteurs originaux : Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle immense et incroyablement difficile. Vous avez un assistant brillant (l'IA) qui est très intelligent mais qui a une mémoire très courte et qui se fatigue s'il essaie de garder trop de pièces en tête à la fois.

Voici le problème que l'article traite :

L'ancienne méthode (Raisonnement classique) : Vous demandez à l'assistant de résoudre tout le puzzle d'un coup. Il commence à réfléchir : « Étape 1, Étape 2, Étape 3... » et continue ainsi. Mais comme sa mémoire est limitée, il finit par oublier ce qu'il a fait à l'Étape 1 alors qu'il travaille sur l'Étape 100. De plus, plus il réfléchit longtemps, plus cela devient lent et coûteux pour l'ordinateur pour traiter ses pensées. Il peut manquer de mémoire avant d'avoir terminé, ou il peut s'embrouiller dans sa propre longue liste de pensées.
La nouvelle méthode (InftyThink+) : Au lieu d'une pensée longue et ininterrompue, l'assistant divise le puzzle en petits chapitres. Après chaque quelques étapes, il s'arrête, écrit un résumé de ce qu'il a découvert jusqu'à présent, puis jette ses notes détaillées et désordonnées. Il commence ensuite le chapitre suivant en utilisant uniquement le résumé et le puzzle d'origine. Cela permet de garder sa mémoire fraîche et l'ordinateur rapide.

La grande innovation : Enseigner à l'assistant quand s'arrêter

Les tentatives précédentes de cette méthode de « chapitres » étaient comme un professeur qui forçait l'assistant à s'arrêter tous les 500 mots, peu importe la situation. Parfois, l'assistant était au milieu d'une idée brillante et se faisait interrompre ; d'autres fois, il s'arrêtait trop tôt. Ils ne savaient pas non plus comment écrire un bon résumé.

InftyThink+ utilise l'Apprentissage par Renforcement (RL) pour enseigner à l'assistant trois compétences critiques par essais et erreurs, comme on entraîne un chien avec des friandises :

Quand résumer : Dois-je m'arrêter maintenant pour écrire un résumé, ou continuer ? L'IA apprend à s'arrêter exactement au moment où elle a capturé les informations les plus importantes, et non pas simplement quand un minuteur se déclenche.
Quoi préserver : Quels détails sont importants pour l'étape suivante ? L'IA apprend à écrire un résumé qui conserve les indices cruciaux et élimine le superflu.
Comment continuer : Comment reprendre l'histoire à partir du résumé ? L'IA apprend à lire son propre résumé et à poursuivre la logique de manière fluide sans se perdre.

Comment cela fonctionne (Le processus d'entraînement)

L'article décrit une recette d'entraînement en deux étapes :

Le « Cold Start » (Apprendre le format) : D'abord, on enseigne à l'IA les règles de base du jeu. On lui montre des exemples de la façon d'écrire un puzzle, de s'arrêter, d'écrire un résumé, puis de recommencer. C'est comme enseigner à un étudiant le format d'une dissertation avant de lui demander d'écrire un chef-d'œuvre.
L'« Apprentissage par Renforcement » (Apprendre la stratégie) : Une fois que l'IA connaît le format, on la laisse faire.
- Si l'IA résout le puzzle correctement, elle reçoit une « friandise » (récompense).
- Si elle le résout rapidement et efficacement, elle reçoit une friandise supplémentaire.
- Si elle écrit un mauvais résumé ou s'arrête au mauvais moment, elle n'a aucune friandise.
- Au fil de milliers d'essais, l'IA comprend la stratégie parfaite : « Je devrais m'arrêter ici, écrire un résumé de cette façon, et ensuite continuer de cette manière pour obtenir le plus de friandises. »

Les résultats : Plus rapide, plus intelligent et plus fort

L'article a testé cela sur des problèmes mathématiques difficiles (comme la compétition AIME). Voici ce qu'ils ont trouvé :

Plus intelligent : L'IA est devenue nettement meilleure pour résoudre les problèmes. Sur un test difficile, la précision a bondi de 21 % par rapport à l'ancienne méthode. Elle a résolu des problèmes que l'ancienne méthode ne pouvait même pas terminer.
Plus rapide : Parce que l'IA n'essayait pas de se souvenir d'une histoire de 100 pages, elle a résolu les problèmes beaucoup plus rapidement. Dans certains cas, elle était 30 % à 40 % plus rapide que la méthode standard.
Plus efficace : L'entraînement lui-même était plus rapide. L'ordinateur n'a pas eu besoin de fournir autant d'efforts pour enseigner à l'IA, ce qui signifie que les chercheurs pouvaient entraîner de meilleurs modèles avec moins d'énergie et de temps.

L'essentiel

Considérez InftyThink+ comme l'apprentissage pour une IA à devenir un meilleur gestionnaire de projet. Au lieu d'essayer de garder toute l'histoire d'un projet dans sa tête (ce qui provoque des plantages ou des oublis), elle apprend à faire une pause, à rédiger un « rapport d'avancement » clair (résumé), puis à avancer en se basant sur ce rapport. En apprenant quand rédiger ce rapport et ce qu'il faut y mettre, l'IA devient à la fois un génie de la résolution de problèmes et un travailleur hautement efficace.

Résumé Technique : InftyThink+

1. Énoncé du Problème

Les grands modèles de raisonnement (LRM) ont démontré des performances supérieures en augmentant l'échelle du raisonnement par chaîne de pensée (CoT) au moment de l'inférence. Cependant, ce paradigme fait face à trois barrières fondamentales lorsque les traces de raisonnement deviennent exceptionnellement longues :

Coût Quadratique : Le mécanisme d'auto-attention dans les Transformers entraîne une complexité computationnelle de $O(L^2)$ , rendant les traces de raisonnement très longues prohibitives en termes de coût.
Limites de Contexte : Le raisonnement est limité par la fenêtre de contexte maximale du modèle. Si un problème nécessite une chaîne de pensée dépassant cette limite, la génération s'interrompt prématurément, laissant les problèmes complexes insolubles.
Perte au Milieu (Lost-in-the-Middle) : À mesure que les traces de raisonnement s'allongent, les modèles souffrent d'une dégradation des performances où les informations cruciales du début deviennent inaccessibles, même si la limite de contexte n'est pas atteinte.

Les solutions existantes, telles que le raisonnement itératif avec résumé périodique, tentent d'atténuer ces problèmes. Cependant, les méthodes actuelles reposent sur l'apprentissage supervisé (SFT) ou des heuristiques fixes pour déterminer quand résumer, ce qu'il faut préserver et comment reprendre le raisonnement. Ces approches ne parviennent pas à optimiser ces décisions séquentielles, qui ont des conséquences à long terme. Un mauvais résumé peut compromettre le raisonnement ultérieur, tandis que des itérations inutiles gaspillent de la puissance de calcul. L'article soutient que ces compromis nécessitent une optimisation au niveau de la trajectoire que le SFT ne peut fournir.

2. Méthodologie : InftyThink+

Les auteurs proposent InftyThink+, un cadre d'apprentissage par renforcement (RL) de bout en bout qui optimise l'ensemble de la trajectoire de raisonnement itérative. La méthode s'appuie sur le paradigme InftyThink, qui découple la profondeur du raisonnement de la longueur du contexte en décomposant le raisonnement en plusieurs cycles itératifs connectés par des résumés explicites générés par le modèle.

2.1. Le Paradigme InftyThink

Contrairement au paradigme « Vanilla » où un modèle génère une seule chaîne de pensée (CoT) continue et longue, InftyThink fonctionne par cycles :

Itération $i$ : Le modèle se conditionne sur la requête originale $q$ et le résumé $s_{i-1}$ de l'itération précédente.
Génération : Il génère un segment de raisonnement $r_i$ et un résumé mis à jour $s_i$ .
Terminaison : Le processus se répète jusqu'à ce que le modèle décide de manière autonome de générer une conclusion finale $c$ au lieu d'un résumé.
Contexte Borné : Chaque itération opère dans une fenêtre de contexte bornée (requête + dernier résumé), empêchant le dépassement du contexte et réduisant le coût computationnel par étape.

2.2. Schéma d'Entraînement en Deux Étapes

InftyThink+ emploie un processus d'entraînement en deux étapes pour séparer l'acquisition du format de l'optimisation de la stratégie :

Démarrage à Froid (Supervised Fine-Tuning - SFT) :
- Objectif : Enseigner au modèle le format de base d'InftyThink (génération de segments de raisonnement et de résumés).
- Transformation des Données : Les données de raisonnement vanilla existantes $(q, r, c)$ sont transformées en instances itératives. La trace de raisonnement $r$ est partitionnée en segments $\{r_1, \dots, r_n\}$ basés sur une limite de tokens $\eta$ . Un LLM généraliste génère les résumés $\{s_1, \dots, s_{n-1}\}$ conditionnés par le segment actuel et le résumé précédent.
- Entraînement : Le modèle est affiné sur ces instances transformées pour produire des sorties itératives syntaxiquement valides. Cette étape n'optimise pas quand résumer ou ce qu'il faut préserver ; elle établit uniquement le format procédural.
Apprentissage par Renforcement (Optimisation au Niveau de la Trajectoire) :
- Objectif : Optimiser les décisions stratégiques (moment de la compression, contenu des résumés, stratégies de continuation) via un feedback au niveau de la trajectoire.
- Rollout : Pour une requête $q$ , le modèle génère une trajectoire $O_i = \{o_1, \dots, o_{n_i}\}$ composée de plusieurs cycles de raisonnement. Le déroulement (rollout) se termine si le modèle produit une conclusion, échoue à produire un format valide, ou atteint une limite maximale d'itérations $\phi$ .
- Conception de la Récompense :
  - Récompense de Tâche ( $R_{task}$ ) : Récompense binaire basée sur la justesse de la réponse finale.
  - Récompense d'Efficacité ( $R_{eff}$ ) : Une fonction de décroissance quadratique $1 - (\frac{n_i-1}{\phi})^2$ qui pénalise les itérations excessives, encourageant le modèle à résoudre les problèmes en moins d'étapes lorsque cela est possible.
  - Récompense Totale : $R(O_i) = R_{task}(O_i) \cdot R_{eff}(O_i)$ . Cette formulation multiplicative garantit que l'efficacité n'est récompensée que pour les solutions correctes.
- Optimisation de la Politique : Les auteurs utilisent la Group Relative Policy Optimization (GRPO). Crucialement, les avantages sont calculés au niveau de la trajectoire et partagés entre tous les tokens d'une trajectoire. Cela garantit que les itérations précoces (par exemple, un premier résumé de haute qualité) reçoivent des signaux de gradient positifs s'ils contribuent à une réponse finale correcte, même si le résumé lui-même ne contient pas la réponse.
- Stabilité : Le cadre utilise IcePop, une technique de masquage de gradient au niveau du token, pour atténuer l'instabilité de l'entraînement causée par les décalages entre les moteurs d'inférence et d'entraînement.

3. Contributions Clés

RL de Bout en Bout pour le Raisonnement Itératif : L'article introduit le premier cadre appliquant l'apprentissage par renforcement directement au paradigme de raisonnement itératif, permettant au modèle d'apprendre des stratégies optimales de résumé et de continuation plutôt que de s'appuyer sur des heuristiques fixes ou l'imitation.
Cadre InftyThink+ : Une recette d'entraînement complète comprenant :
- Une phase de démarrage à froid pour établir le format itératif.
- Une optimisation au niveau de la trajectoire avec des avantages partagés pour créditer les décisions précoces.
- Un façonnage de récompense axé sur l'efficacité pour équilibrer précision et coût d'inférence.
Validation Empirique : Des expériences approfondies démontrent qu'InftyThink+ surpasse à la fois le raisonnement itératif basé sur le SFT et les lignes de base standard de RL à long contexte.

4. Résultats Expérimentaux

Les expériences ont été menées sur DeepSeek-R1-Distill-Qwen-1.5B et Qwen3-4B-Base.

Améliorations de la Précision :
- Sur AIME24, InftyThink+ a amélioré la précision de 21 % par rapport à la ligne de base, et a surpassé le RL classique à long CoT avec une marge claire (un gain supplémentaire de 9 %).
- Sur des benchmarks hors distribution comme GPQA Diamond, il a atteint une amélioration de précision de 5 % par rapport à la ligne de base et un gain de 4 % par rapport aux approches vanilla.
Gains d'Efficacité :
- Latence d'Inférence : Sur AIME25, InftyThink+ a réduit la latence de raisonnement de 32,8 % par rapport à l'approche vanilla.
- Vitesse d'Entraînement : Le cadre a produit une accélération de 18,2 % du temps d'entraînement RL grâce à la réduction de la charge computationnelle par étape.
Généralisation : La méthode s'est bien généralisée à des modèles plus grands (Qwen3-4B) et à des tâches hors distribution, incluant le code et le raisonnement scientifique.

5. Signification et Revendications

L'article affirme qu'InftyThink+ démontre que l'optimisation au niveau de la trajectoire est essentielle pour un raisonnement itératif efficace. L'idée clé est que l'efficacité du raisonnement itératif ne provient pas du format lui-même, mais de la capacité du modèle à prendre des décisions stratégiques optimales (quand compresser, quoi préserver, comment continuer) à chaque étape.

En séparant l'apprentissage du format (via SFT) de l'optimisation de la stratégie (via RL), InftyThink+ permet aux modèles d'apprendre des comportements adaptatifs qui :

Découplent la profondeur du raisonnement de la longueur du contexte : Permettant un raisonnement indéfini tout en maintenant un coût de calcul borné.
Optimisent le compromis précision-efficacité : Grâce à des récompenses axées sur l'efficacité, le modèle apprend à terminer le raisonnement plus tôt sans sacrifier la précision.
Améliorent la stabilité et la vitesse d'entraînement : En réduisant la complexité quadratique de l'attention lors des rollouts d'entraînement.

Les auteurs positionnent InftyThink+ comme une étape significative vers un raisonnement à long horizon, efficace et scalable pour les grands modèles de langage, dépassant les limitations des fenêtres de contexte statiques et de la compression basée sur des heuristiques.