💬 NLP

GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment

GoLongRL est un framework open-source qui améliore l'apprentissage par renforcement à contexte long grâce à un jeu de données orienté capacités composé de 23 000 échantillons RLVR diversifiés et à un nouvel algorithme TMN-Reweight pour l'optimisation hétérogène de tâches multiples, atteignant des performances comparables à celles des modèles propriétaires de premier plan.

Auteurs originaux : Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

Publié 2026-05-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un étudiant très intelligent mais ayant une courte durée d'attention comment lire et comprendre une immense bibliothèque de livres, et non pas simplement une seule page. C'est le défi de l'IA à « contexte long ». L'article GoLongRL présente une nouvelle recette pour entraîner ces modèles d'IA, en se concentrant sur deux problèmes principaux : quoi leur enseigner (les données) et comment noter leurs devoirs (l'algorithme).

Voici la décomposition utilisant des analogies simples :

1. Le Problème : L'Ancienne Méthode Était Trop Étroite

Les méthodes précédentes pour enseigner à l'IA à lire de longs livres étaient comme entraîner un étudiant uniquement sur des énigmes du type « Où est l'aiguille dans la botte de foin ? ».

Le Problème : Elles créaient des données en obligeant l'IA à chasser des faits spécifiques cachés dans de longs textes. Bien que cela ait aidé l'IA à trouver des aiguilles, cela ne lui a pas appris à résumer toute la botte de foin, à classer les parties les plus importantes ou à comprendre des histoires complexes.
Le Résultat : L'IA est devenue bonne pour trouver des faits spécifiques, mais mauvaise dans d'autres compétences comme résumer un roman ou organiser un rapport désordonné. C'était comme un étudiant capable de trouver un mot spécifique dans un dictionnaire mais incapable d'écrire une dissertation.

2. La Solution : Un Programme « Orienté Compétences »

Les auteurs de GoLongRL ont décidé d'arrêter de simplement créer des « chasses à l'aiguille » et ont plutôt construit un programme complet basé sur 9 compétences différentes dont un lecteur intelligent a besoin.

L'Ensemble de Données (Les Manuels) : Ils ont créé un nouvel ensemble de données de 23 000 exercices pratiques.
- Vrais Livres, Pas de Faux : Au lieu d'inventer des histoires fictives, ils ont utilisé de vrais livres, des articles académiques et des documents juridiques. Ils ont demandé à l'IA de générer des questions sur ces textes réels. Cela garantit que l'IA apprend à gérer la manière désordonnée et naturelle dont les humains écrivent.
- Les 9 Compétences : L'ensemble de données couvre des tâches diverses telles que :
  - Récupération Précise : Trouver un fait spécifique.
  - Résumé : Condenser un long chapitre en quelques phrases.
  - Classement : Décider quel résultat de recherche parmi plusieurs est le plus utile.
  - Raisonnement : Résoudre des problèmes mathématiques trouvés dans un rapport financier.
- L'Analogie : Imaginez qu'au lieu de donner à un étudiant 10 000 tests identiques du type « trouvez la balle rouge », vous lui donniez un mélange de 10 000 tests : certains lui demandent de trouver une balle rouge, d'autres de résumer le match, d'autres de classer les joueurs, et d'autres de résoudre un problème mathématique sur le score.

Le Résultat : Même sans nouvelles astuces mathématiques sophistiquées, l'utilisation de ce meilleur « programme » a permis à l'IA de surpasser un concurrent fermé de premier plan (QwenLong-L1.5).

3. L'Algorithme : Le Système de « Notation Équitable » (TMN-Reweight)

Une fois que vous avez un programme diversifié, vous avez besoin d'un moyen de noter l'étudiant équitablement. La méthode de notation standard (appelée GRPO) présentait un défaut lorsqu'elle traitait différents types de questions.

Le Problème : Imaginez un test de mathématiques où répondre correctement à une question vous donne 100 points, et un test de compréhension de lecture où répondre correctement vous donne 1 point. Si vous les mélangez, les questions de mathématiques domineront le cerveau de l'étudiant, et il ignorera la lecture. De plus, si une question est super difficile, la notation standard peut se tromper et accorder trop de crédit à une devinette heureuse ou trop peu de crédit à une quasi-réussite.
La Correction (TMN-Reweight) : Les auteurs ont inventé un nouveau système de notation en deux étapes :
1. Égaliser les Chances (Normalisation au Niveau des Tâches) : Ils ont ajusté les scores de sorte qu'un score « parfait » sur un problème de mathématiques soit ressenti de la même manière qu'un score « parfait » sur un problème de classement. Cela empêche l'IA d'ignorer les tâches difficiles simplement parce que les chiffres semblent plus petits.
2. Se Concentrer sur la Lutte (Répondération Adaptative à la Difficulté) :
  - Si l'étudiant répond correctement à une question facile, l'enseignant dit : « Bon travail, mais tu le savais déjà », et donne une récompense plus faible.
  - Si l'étudiant répond correctement à une question difficile (ce qui est rare), l'enseignant dit : « Wow, c'était dur ! Super travail de l'avoir résolu ! » et donne une énorme récompense.
  - Si l'étudiant répond incorrectement à une question difficile, l'enseignant ne se fâche pas ; il dit simplement : « Essayons encore », et réduit la pénalité pour que l'étudiant ne se décourage pas.

L'Analogie : C'est comme un entraîneur qui ne compte pas simplement les points. L'entraîneur ajuste le score en fonction de la difficulté de la manœuvre et concentre des éloges supplémentaires sur les manœuvres qui étaient difficiles à exécuter. Cela aide l'IA à apprendre plus vite et plus uniformément dans toutes les compétences.

4. Les Résultats : Un Étudiant Polyvalent

Lorsqu'ils ont testé cette nouvelle méthode :

Meilleur en Tout : L'IA s'est nettement améliorée sur les 9 compétences, et pas seulement sur celles de « recherche d'aiguille ».
Pas de Compromis : Habituellement, lorsque vous entraînez un étudiant à être excellent dans une chose (comme lire de longs livres), il devient moins bon dans d'autres (comme la logique générale ou la mémoire). Cette méthode a en réalité amélioré les compétences de raisonnement général et de mémoire de l'IA tout en lui enseignant la lecture à contexte long.
Open Source : Les auteurs ont publié l'ensemble du « programme » (ensemble de données), le « plan d'enseignement » (code) et la « grille d'évaluation » (algorithme) pour que tout le monde puisse les utiliser.

Résumé

GoLongRL revient à passer l'éducation d'une IA d'un exercice ennuyeux et répétitif (trouver des aiguilles) à un programme riche et diversifié (lire, résumer, classer et raisonner) combiné à un système de notation équitable et intelligent qui sait quand pousser l'étudiant plus fort et quand lui accorder une pause. Le résultat est une IA qui n'est pas seulement un chercheur de faits, mais un véritable penseur de longs textes.

Résumé Technique : GoLongRL

Énoncé du Problème

Alors que les modèles de langage de grande taille (LLM) ont rapidement élargi leurs fenêtres de contexte grâce au pré-entraînement et à l'entraînement intermédiaire, l'utilisation efficace de ces contextes étendus durant le post-entraînement reste un goulot d'étranglement. Les approches existantes d'apprentissage par renforcement (RL) pour le raisonnement en contexte long souffrent de deux limitations principales :

Couverture de données étroite : Les méthodes actuelles construisent souvent des données autour de parcours de récupération complexes (par exemple, chaînes d'UUID, questions-réponses par blocs), conduisant à une couverture de tâches homogène. Cela se traduit par une supervision inadéquate pour des capacités critiques telles que le résumé, le classement, l'agrégation et le raisonnement structuré.
Instabilité de l'optimisation dans les paramètres multitâches : L'optimisation de la politique relative par groupes (GRPO) standard rencontre des difficultés lorsqu'elle est appliquée à des tâches hétérogènes avec différentes métriques de récompense (par exemple, EM, F1, NDCG, ROUGE-L).
- Biais de difficulté : La normalisation par prompt (division par l'écart-type $\sigma_u$ ) peut gonfler les avantages pour les prompts faciles et difficiles tout en supprimant les échantillons de difficulté moyenne.
- Incohérence d'échelle inter-tâches : Différentes métriques de récompense présentent des profils de variance variables. Sans une normalisation appropriée, les tâches à forte variance peuvent dominer les mises à jour du gradient, faussant la trajectoire d'optimisation.

Méthodologie

1. Construction de Données Orientée Capacité

Les auteurs proposent un cadre de construction de données guidé par une taxonomie de 9 capacités fondamentales en contexte long, plutôt que d'injecter simplement de la longueur dans les invites.

Composition du jeu de données : Un jeu de données entièrement open-source de 22 965 échantillons RLVR (Apprentissage par Renforcement avec Récompenses Vérifiables).
- Sources : Environ 14 000 échantillons open-source curatés issus de corpus établis (par exemple, LongBench Pro, CLongEval) et 9 000 échantillons synthétiques où les paires questions-réponses sont générées à partir de documents réels (livres, articles académiques, dossiers juridiques).
- Taxonomie des tâches : Le jeu de données couvre 9 types de tâches (T1–T9), incluant la Récupération Précise, la Compréhension, la Récupération Exhaustive, le Raisonnement Numérique, l'Extraction Structurée, la Correspondance Structurée, le Classement Noté, l'Ordonnancement de Séquences et le Résumé.
- Alignement des récompenses : Chaque tâche est appariée à sa métrique d'évaluation naturelle (par exemple, NDCG pour le classement, F1 pour la récupération exhaustive, ROUGE-L pour le résumé) plutôt que d'être réduite à un signal binaire unique.
Pipeline de construction : Un processus en quatre phases impliquant la collecte de sources, le filtrage orienté tâche, la construction d'échantillons avec contrôle de qualité multi-étapes (utilisant des modèles tels que Gemini-2.5-Pro et DeepSeek-V3.2), et un raffinement itératif basé sur des diagnostics de référence.

2. Algorithme TMN-Reweight

Pour répondre aux défis d'optimisation découlant de récompenses hétérogènes, l'article introduit TMN-Reweight (Normalisation Moyenne au Niveau Tâche avec Recalibrage Adaptatif à la Difficulté).

Étape 1 : Normalisation Moyenne au Niveau Tâche : Au lieu de normaliser par l'écart-type par prompt ( $\sigma_u$ ), ce qui confond la correction d'échelle avec l'amplification de la difficulté, la méthode normalise par un écart-type agrégé au niveau tâche ( $\sigma_{task}$ ). Celui-ci est calculé comme la racine carrée de la moyenne des carrés des écarts-types par prompt au sein d'une tâche spécifique. Cela réduit les différences d'échelle inter-tâches tout en préservant les magnitudes d'avantage relatives au sein de chaque tâche.
Étape 2 : Recalibrage Adaptatif à la Difficulté : Pour corriger le biais de difficulté au sein des tâches, la méthode estime la difficulté du prompt en utilisant un taux de réussite lissé (interpolant entre les bases par prompt et par tâche).
- Réallocation Asymétrique du Gradient en Quatre Quadrants : Le poids de difficulté ( $w$ $w$ ) est appliqué de manière asymétrique :
  - Pour les prompts difficiles ( $w > 1$ ) : Les avantages positifs sont amplifiés pour renforcer les déroulements réussis rares ; les avantages négatifs sont réduits ( $1/w$ ) pour diminuer les gradients déstabilisants.
  - Pour les prompts faciles ( $w < 1$ ) : Les avantages positifs sont atténués pour éviter la concentration de probabilité ; les avantages négatifs sont amplifiés pour augmenter l'apprentissage à partir d'échecs inattendus.

Contributions Clés

Jeu de Données Open-Source Orienté Capacité : Publication d'un jeu de données de 23 000 échantillons couvrant 9 types de tâches diversifiés avec des fonctions de récompense hétérogènes. Les auteurs démontrent que l'entraînement sur ces données seules (utilisant GRPO standard) surpasse le jeu de données fermé QwenLong-L1.5 aux échelles 4B et 30B.
Algorithme TMN-Reweight : Une stratégie d'optimisation novatrice qui atténue conjointement l'incohérence d'échelle des récompenses inter-tâches et le biais d'avantage induit par la difficulté. Elle produit des gains de performance constants par rapport au GRPO standard sans nécessiter de réseau de valeur séparé.
Préservation de la Généralisation : Le cadre démontre que le RL en contexte long avec des données orientées capacités préserve ou améliore les capacités de raisonnement général et de mémoire, y compris le transfert vers des mémoires d'agents et des benchmarks de dialogue long terme non vus durant l'entraînement.

Résultats

Performance sur les Benchmarks :
- Sur le modèle Qwen3-4B-Thinking, l'entraînement avec le jeu de données orienté capacités et GRPO standard a élevé la moyenne des benchmarks en contexte long de 53,0 à 62,2, surpassant QwenLong-L1.5 (59,4). L'ajout de TMN-Reweight a amélioré la moyenne à 63,0.
- Sur le modèle Qwen3-30B-A3B, le jeu de données a amélioré la moyenne de 60,1 à 69,8 (contre 67,2 pour QwenLong-L1.5).
- Le modèle entraîné sur ces données atteint des performances comparables à des modèles fermés beaucoup plus grands comme DeepSeek-R1-0528 et Qwen3-235B-A22B-Thinking-2507 sur les benchmarks en contexte long.
Études d'Ablation :
- Le jeu de données lui-même est identifié comme le principal moteur des gains de performance, TMN-Reweight fournissant un supplément constant mais modeste (0,8 point sur le modèle 4B), en particulier sur les tâches intensives en agrégation comme CorpusQA.
- L'hyperparamètre $\alpha$ (contrôlant l'équilibre entre l'estimation de la difficulté au niveau prompt et au niveau tâche) fonctionne le mieux à 0,8.
Capacités Générales : Les évaluations sur MMLU-Pro, AIME24/25 et GPQA montrent que les capacités de raisonnement général sont préservées ou améliorées. Des gains significatifs sont observés dans la mémoire d'agent (Memory-Vec, Memory-Rec_Sum) et la mémoire de dialogue (LongMemEval).
Extrapolation de Longueur : Les modèles entraînés sur des contextes de 160K se généralisent efficacement à des séquences d'évaluation allant jusqu'à 1 million de tokens, montrant des gains constants à travers les échelles de modèles.

Importance et Revendications

L'article revendique que la couverture des données et la diversité des récompenses sont des goulets d'étranglement principaux dans le RL en contexte long, souvent plus critiques que les raffinements algorithmiques seuls. En passant d'une construction de données centrée sur la récupération à une taxonomie orientée capacités, les auteurs fournissent des signaux d'entraînement plus riches qui bénéficient à un large spectre de tâches en contexte long.

Le travail suggère qu'une couverture plus large et une plus grande diversité de récompenses bénéficient substantiellement à l'amélioration des capacités en contexte long, même avec des algorithmes RL standards. De plus, le TMN-Reweight proposé offre un mécanisme d'optimisation stable pour les paramètres multitâches hétérogènes, garantissant que les bénéfices de l'entraînement en contexte long ne se font pas au détriment du raisonnement général ou d'une dégradation de la mémoire. Toutes les ressources, y compris le jeu de données, le pipeline de construction et le code d'entraînement, sont publiées publiquement pour faciliter la recherche future.