🤖 AI

Recursive Language Models

Ce papier présente les modèles de langage récursifs (RLM), un paradigme de mise à l'échelle au moment de l'inférence qui permet aux grands modèles de langage de décomposer et de traiter de manière récursive des invites de longueur arbitraire, atteignant des performances nettement supérieures aux méthodes de contexte long existantes et aux modèles de pointe tout en maintenant des coûts comparables.

Auteurs originaux : Alex L. Zhang, Tim Kraska, Omar Khattab

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alex L. Zhang, Tim Kraska, Omar Khattab

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire brillant mais myope (le modèle d'IA). Ce bibliothécaire est incroyablement intelligent et peut répondre à presque n'importe quelle question, mais il suit une règle très stricte : il ne peut tenir dans ses mains qu'environ 272 000 pages de texte à la fois. Si vous essayez de lui remettre une bibliothèque entière (des millions de pages), il est submergé, laisse tomber les livres et commence à oublier le début de l'histoire d'ici qu'il atteint le milieu. C'est la limite actuelle de la plupart des modèles d'IA avancés, connue sous le nom de « fenêtre de contexte ».

L'article présente une nouvelle façon de travailler avec ce bibliothécaire, appelée Modèles de Langage Récursifs (RLM). Au lieu d'essayer de forcer le bibliothécaire à tenir toute la bibliothèque d'un coup, les RLM lui fournissent une boîte à outils et un classeur.

Voici comment cela fonctionne, en utilisant une analogie simple :

Le Problème : La Limite « One-Shot »

Normalement, si vous demandez à un bibliothécaire de trouver un fait spécifique dans une encyclopédie de 10 millions de pages, il essaie de tout lire d'un coup. Parce qu'il ne peut pas contenir autant, il se confond, manque des détails ou abandonne. C'est ce qu'on appelle la « dégradation du contexte » — plus le texte est long, plus la réponse devient stupide.

La Solution : Le « Manager » avec un Classeur

L'approche RLM change la description de poste du bibliothécaire. Au lieu d'être un lecteur, le bibliothécaire devient un chef de projet ayant accès à un immense classeur (un programme informatique appelé REPL).

L'invite est un Fichier, pas une Poignée de Papier : Lorsque vous donnez au bibliothécaire une invite massive (le livre de 10 millions de pages), le RLM ne l'enfonce pas dans ses mains. Au lieu de cela, il place le livre sur une étagère du classeur et remet au bibliothécaire une étiquette indiquant : « Le livre est dans la Boîte A ».
Écriture d'Instructions (Code) : Le bibliothécaire est autorisé à écrire de petites notes (du code) pour interagir avec cette boîte. Il peut dire : « Ouvrez la Boîte A, regardez les 50 premières pages et dites-moi ce qui s'y trouve ».
La Boucle Récursive (Le « Sous-Manager ») : Si le bibliothécaire doit vérifier tout le livre, il n'essaie pas de le lire d'un coup. Il écrit une boucle :
- « Lisez le premier bloc. Résumez-le. Enregistrez le résumé dans un nouveau dossier. »
- « Lisez le bloc suivant. Résumez-le. Enregistrez cela aussi. »
- « Maintenant, prenez tous ces résumés et combinez-les pour répondre à la question. »
Crucialement, le bibliothécaire peut même embaucher un bibliothécaire junior (un sous-appel) pour faire le gros œuvre sur des blocs spécifiques. Le bibliothécaire principal gère le processus, tandis que le bibliothécaire junior lit les pages spécifiques et fait son rapport.

Pourquoi C'est Important

L'article a testé cette idée sur des tâches très difficiles :

L'« Aiguille dans une Botte de Foin » : Trouver une phrase spécifique dans un million de pages.
Le « Rapport sur un Livre » : Lire un livre entier et répondre à des questions complexes sur l'intrigue.
Le « Détective du Code » : Comprendre un projet logiciel massif comportant des milliers de fichiers.

Les Résultats :

Échelle Surhumaine : Le système RLM pouvait gérer des entrées 10 fois plus grandes que la limite naturelle du bibliothécaire. Il a traité avec succès des millions de jetons (pages) là où le bibliothécaire standard échouait complètement.
Meilleure Qualité : Même sur des tâches plus courtes, l'approche RLM était plus intelligente. Elle ne se contentait pas de résumer ; elle pouvait creuser des détails spécifiques car elle pouvait « zoomer » sur des parties du texte de manière programmatique.
Coût : Étonnamment, cela ne coûtait pas beaucoup plus cher. Parce que le système est efficace pour décomposer le problème, il utilisait souvent moins de ressources que d'autres méthodes qui tentaient de forcer tout le texte dans la mémoire du modèle.

Un Astuce d'Entraînement Spéciale

Les chercheurs ont également essayé d'enseigner à un bibliothécaire plus petit et moins cher (un modèle de 8 milliards de paramètres) comment utiliser ce système de classeur. Ils lui ont montré 1 000 exemples de la façon dont un bibliothécaire super-intelligent utilisait le système.

Le Résultat : Le petit bibliothécaire a appris rapidement. Il est devenu 28 % meilleur pour résoudre des problèmes longs simplement en apprenant à utiliser le « classeur » et les « sous-managers », même s'il n'était pas à l'origine conçu pour cela.

La Conclusion

L'article soutient que nous n'avons pas besoin de construire des cerveaux plus grands et plus coûteux pour gérer d'énormes quantités de texte. Au lieu de cela, nous pouvons enseigner à nos cerveaux intelligents actuels à être de meilleurs gestionnaires. En traitant le texte comme un objet externe qu'ils peuvent ouvrir, lire et résumer pièce par pièce de manière programmatique, l'IA peut gérer efficacement des quantités « infinies » d'informations sans être submergée.

Ce que l'article NE prétend PAS :

Il ne prétend pas que cela fonctionne pour le diagnostic médical ou les conseils juridiques (bien qu'il utilise des tâches de codage et de recherche comme exemples).
Il ne dit pas que cela se produira automatiquement dans le futur ; cela nécessite cette configuration spécifique de « manager » pour fonctionner.
Il ne prétend pas que l'IA est « consciente » ou « pense » à la manière humaine ; c'est simplement une façon très intelligente d'organiser le traitement des données.

Résumé Technique : Modèles Linguistiques Récursifs (RLM)

Énoncé du Problème

Les modèles linguistiques de pointe (LLM) font face à des limitations significatives dans le traitement de prompts arbitrairement longs. Même dans les limites de leur fenêtre contextuelle, ces modèles présentent une « dégradation du contexte » (context rot), où les performances chutent brutalement à mesure que la longueur du prompt et la complexité de la tâche augmentent. Les approches existantes pour le traitement de contextes longs se divisent généralement en deux catégories :

Modifications de l'architecture/entraînement : Réentraînement des modèles pour gérer des séquences plus longues (par exemple, via une attention linéaire ou des espaces d'états).
Échafaudages au moment de l'inférence : Méthodes telles que la compaction du contexte (résumé) ou les agents de récupération. Cependant, la compaction est souvent insuffisante pour les tâches nécessitant un accès dense à l'ensemble du prompt, car elle suppose que les détails précoces peuvent être oubliés en toute sécurité. Les approches de récupération et de délégation à des sous-agents sont souvent handicapées par les longueurs de sortie limitées du modèle sous-jacent ou par l'absence de contrôle programmatique sur la récursion.

Les auteurs postulent que l'augmentation de la taille du contexte de plusieurs ordres de grandeur nécessite un changement de paradigme où le prompt n'est plus traité comme une entrée statique pour un réseau de neurones, mais comme une partie dynamique d'un environnement externe avec lequel le modèle peut interagir symboliquement.

Méthodologie : Modèles Linguistiques Récursifs (RLM)

L'article présente les Modèles Linguistiques Récursifs (RLM), un paradigme d'inférence général qui décharge le prompt utilisateur vers un environnement externe persistant (spécifiquement un REPL Python) plutôt que de l'alimenter directement dans la fenêtre contextuelle du modèle.

Mécanisme Central

Initialisation de l'environnement : Étant donné un prompt $P$ , le RLM initialise un environnement de boucle de lecture-évaluation-impression (REPL) où $P$ est stocké en tant que variable de chaîne de caractères.
Interaction symbolique : Le LLM de base ( $M$ ) est invité à écrire du code dans ce REPL. Il reçoit des métadonnées sur $P$ (par exemple, la longueur) mais ne reçoit pas le texte complet dans sa fenêtre contextuelle.
Décomposition programmatique : Le LLM écrit du code pour inspecter, décomposer et transformer $P$ . Crucialement, il peut invoquer un sous-LLM (ou un sous-RLM) de manière programmatique sur des tranches ou des blocs spécifiques de la variable de prompt.
Exécution récursive : Le système exécute le code généré. Les résultats intermédiaires sont stockés dans des variables REPL. Le LLM observe itérativement la sortie de ces exécutions (tronquée pour s'adapter au contexte) et génère davantage de code jusqu'à ce qu'une réponse finale soit produite.
Terminaison : Le processus s'arrête lorsque le LLM définit une variable Final dans le REPL, qui est renvoyée comme réponse.

Choix de Conception Clés

Les auteurs distinguent les RLM des échafaudages « inefficaces » (Algorithme 2 dans l'article) par trois choix de conception critiques :

Poignées symboliques : Le prompt est une variable dans l'environnement, et non du texte dans la fenêtre contextuelle, permettant une manipulation sans copie.
Sortie indirecte : Le modèle ne génère pas la réponse finale directement via une action « Finir » (ce qui serait limité par la taille de la fenêtre contextuelle), mais la construit via des variables dans le REPL.
Récursion symbolique : Le code s'exécutant dans l'environnement peut invoquer programmatiquement le LLM sur des transformations de $P$ dans des boucles, permettant un travail sémantique de $\Omega(|P|)$ ou même $\Omega(|P|^2)$ , plutôt que de simplement verbaliser quelques sous-tâches.

Configuration Expérimentale

Les auteurs ont évalué les RLM en utilisant des modèles fermés de pointe (GPT-5) et des modèles ouverts (Qwen3-Coder-480B-A35B) sur quatre tâches présentant des échelles de complexité variables :

S-NIAH (Aiguille unique dans une botte de foin) : Complexité constante par rapport à la longueur de l'entrée.
BrowseComp-Plus : Questions-réponses multi-sauts sur 1 000 documents (complexité linéaire).
OOLONG : Étiquetage sémantique et agrégation d'un ensemble de données (complexité linéaire).
OOLONG-Pairs : Agrégation de paires de blocs pour construire des réponses (complexité quadratique).
LongBench-v2 CodeQA : Compréhension de dépôts de code.

Les lignes de base comprenaient des appels directs à des LLM, des agents CodeAct (avec/sans sous-appels), des agents de compaction de contexte, des agents de récupération et des agents de codage (OpenCode, Claude Code).

Résultats Clés

Évolutivité : Les RLM ont traité avec succès des entrées dépassant 10 millions de jetons, bien au-delà des fenêtres contextuelles des modèles de base (par exemple, la limite de 272k de GPT-5).
Gains de performance :
- Sur OOLONG-Pairs (complexité quadratique), les modèles de base ont obtenu des performances proches de zéro ( $\le 0,1\%$ F1), tandis que les RLM ont atteint 58,0 % (GPT-5) et 23,1 % (Qwen3-Coder).
- Sur l'ensemble des benchmarks, les RLM ont surpassé les modèles de base et les échafaudages courants avec des marges significatives (par exemple, +26 % de médiane par rapport à la compaction, +130 % par rapport à CodeAct avec sous-appels sur GPT-5).
- Les RLM ont démontré une robustesse face à la « dégradation du contexte », maintenant leurs performances à mesure que la longueur de l'entrée augmentait, tandis que les performances des modèles de base se dégradaient fortement.
Efficacité des coûts : Les coûts d'inférence pour les RLM étaient comparables ou inférieurs à ceux des appels de modèles de base et d'autres échafaudages, malgré la surcharge des multiples sous-appels.
Affinage (Fine-Tuning) : Une expérience à petite échelle a affiné RLM-Qwen3-8B sur 1 000 trajectoires distillées à partir d'un modèle plus grand. Ce modèle a surpassé le Qwen3-8B de base d'une médiane de 28 % et s'est approché de la qualité du GPT-5 standard sur trois tâches de contexte long, démontrant que le comportement RLM peut être appris avec un minimum de données.
Capacités de raisonnement : Sur le benchmark LongCoT-mini, les RLM avec des indices de décomposition ont amélioré les taux de résolution de 69,5 % par rapport au modèle de base, orchestrant efficacement des graphes de raisonnement complexes.

Signification et Revendications

L'article revendique que les RLM représentent un nouvel axe de mise à l'échelle pour les modèles linguistiques, distinct de l'augmentation des paramètres du modèle ou des tailles de fenêtres contextuelles. En traitant le prompt comme un objet externe et en permettant la récursion symbolique, les RLM surmontent les limitations de puissance expressive des Transformers standards et des échafaudages d'agents existants.

Les revendications clés incluent :

Évolutivité agnostique de la tâche : Les RLM fournissent un cadre général pour gérer des entrées arbitrairement longues sans ingénierie spécifique à la tâche.
Efficacité : Le paradigme permet un traitement dense de contextes longs à des coûts comparables à l'inférence standard.
Apprenabilité : Les auteurs fournissent des preuves préliminaires que les modèles peuvent être explicitement entraînés à agir comme des RLM, suggérant que le « raisonnement en tant que RLM » pourrait être une capacité apprenable améliorant les performances générales et l'efficacité.
Limitations : Les auteurs reconnaissent les limitations actuelles, notamment le caractère séquentiel de leur mise en œuvre (entraînant une latence élevée), la fragilité de la distinction entre réponses finales et pensées dans les modèles non entraînés, et le potentiel de coûts de sous-appels « explosifs » s'ils ne sont pas gérés. Ils notent que l'exécution asynchrone et les REPL isolés (sandboxed) sont des pistes futures pour l'optimisation.

L'étude conclut que les RLM offrent une voie prometteuse vers des modèles linguistiques à usage général capables de gérer des tâches à long horizon impliquant des dizaines ou des centaines de millions de jetons.