💬 NLP

GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment

GoLongRL is een open-source framework dat long-context reinforcement learning verbetert via een op capaciteit gerichte dataset van 23K diverse RLVR-steekproeven en een nieuw TMN-Reweight-algoritme voor heterogene multitask-optimalisatie, waarmee prestaties worden behaald die vergelijkbaar zijn met toonaangevende gesloten bronmodellen.

Oorspronkelijke auteurs: Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer slimme, maar kortattentieve student te leren lezen en een enorme bibliotheek aan boeken te begrijpen, niet slechts één pagina. Dit is de uitdaging van "long-context" AI. Het paper GoLongRL presenteert een nieuw recept voor het trainen van deze AI-modellen, met de nadruk op twee hoofdproblemen: wat je ze moet leren (de data) en hoe je hun huiswerk moet beoordelen (het algoritme).

Hier is de uiteenzetting met behulp van eenvoudige analogieën:

1. Het Probleem: De Oude Manier Was Te Beperkt

Vorige methoden om AI te leren lange boeken te lezen, waren als het trainen van een student uitsluitend op "Waar zit de naald in de hooiberg?"-raadsels.

Het Probleem: Ze creëerden data door de AI te laten zoeken naar specifieke feiten die verborgen zaten in lange teksten. Hoewel dit de AI hielp om naalden te vinden, leerde het hen niet hoe ze de hele hooiberg moesten samenvatten, de belangrijkste delen moesten rangschikken of complexe verhalen moesten begrijpen.
Het Resultaat: De AI werd goed in het vinden van specifieke feiten, maar slecht in andere vaardigheden zoals het samenvatten van een roman of het ordenen van een rommelig rapport. Het was als een student die een specifiek woord in een woordenboek kon vinden, maar geen essay kon schrijven.

2. De Oplossing: Een "Vermogensgerichte" Syllabus

De auteurs van GoLongRL besloten om te stoppen met het maken van alleen "naaldzoeksels" en in plaats daarvan een omvattende syllabus op te bouwen, gebaseerd op 9 verschillende vaardigheden die een slimme lezer nodig heeft.

De Dataset (De Leerboeken): Ze bouwden een nieuwe dataset van 23.000 oefenvragen.
- Echte Boeken, Geen Verzonnen: In plaats van verzonnen verhalen te maken, gebruikten ze echte boeken, academische papers en juridische documenten. Ze vroegen de AI om vragen te genereren over deze echte teksten. Dit zorgt ervoor dat de AI leert omgaan met de rommelige, natuurlijke manier waarop mensen schrijven.
- De 9 Vaardigheden: De dataset dekt diverse taken zoals:
  - Precieze Retrieval: Een specifiek feit vinden.
  - Samenvatten: Een lang hoofdstuk samenvatten in een paar zinnen.
  - Rangschikken: Bepalen welke van meerdere zoekresultaten het meest nuttig is.
  - Redeneren: Wiskundeproblemen oplossen die in een financieel rapport staan.
- De Analogie: Stel je voor dat je in plaats van een student 10.000 identieke "vind de rode bal"-toetsen geeft, je hen een mix van 10.000 toetsen geeft: sommige vragen hen om een rode bal te vinden, anderen vragen hen het spel samen te vatten, weer anderen vragen hen de spelers te rangschikken, en anderen vragen hen een wiskundeprobleem over de score op te lossen.

Het Resultaat: Zelfs zonder nieuwe, ingewikkelde wiskundige trucs, zorgde het gebruik van deze betere "syllabus" ervoor dat de AI beter presteerde dan een toonaangevende gesloten concurrent (QwenLong-L1.5).

3. Het Algoritme: Het "Eerlijke Beoordelingssysteem" (TMN-Reweight)

Zodra je een diverse syllabus hebt, heb je een manier nodig om de student eerlijk te beoordelen. De standaardbeoordelingsmethode (GRPO genaamd) had een gebrek bij het omgaan met verschillende soorten vragen.

Het Probleem: Stel je een wiskundetoets voor waarbij het goed beantwoorden van een vraag je 100 punten oplevert, en een leesbegrijpentoets waarbij het goed beantwoorden ervan je 1 punt oplevert. Als je ze mengt, zullen de wiskundevragen het brein van de student domineren en zal hij het lezen negeren. Ook, als een vraag supermoeilijk is, kan de standaardbeoordeling in de war raken en de student te veel krediet geven voor een gelukkige gok of te weinig krediet voor een bijna-gelukte poging.
De Oplossing (TMN-Reweight): De auteurs bedachten een nieuw beoordelingssysteem met twee stappen:
1. Het Speelveld Gelijk Maken (Task-Level Normalization): Ze pasten de scores aan zodat een "perfecte" score op een wiskundeprobleem hetzelfde voelt als een "perfecte" score op een rangschikkingsprobleem. Dit voorkomt dat de AI moeilijke taken negeert alleen omdat de getallen kleiner lijken.
2. Focus op de Strijd (Difficulty-Adaptive Reweighting):
  - Als de student een makkelijke vraag goed beantwoordt, zegt de leraar: "Goed gedaan, maar je wist dit al", en geeft een kleinere beloning.
  - Als de student een moeilijke vraag goed beantwoordt (wat zeldzaam is), zegt de leraar: "Wow, dat was lastig! Geweldig dat je dat hebt opgelost!" en geeft een enorme beloning.
  - Als de student een moeilijke vraag fout beantwoordt, wordt de leraar niet boos; ze zeggen gewoon: "Laten we het opnieuw proberen", en verlagen de straf zodat de student niet ontmoedigd raakt.

De Analogie: Het is als een coach die niet alleen punten telt. De coach past de score aan op basis van hoe moeilijk de actie was en richt extra lof op de acties die moeilijk uit te voeren waren. Dit helpt de AI sneller en meer evenwichtig te leren over alle vaardigheden heen.

4. De Resultaten: Een Allround Student

Toen ze deze nieuwe methode testten:

Beter in Alles: De AI verbeterde aanzienlijk in alle 9 vaardigheden, niet alleen in de "naaldzoekende" taken.
Geen Afwegingen: Normaal gesproken, als je een student traint om geweldig te zijn in één ding (zoals lange boeken lezen), wordt hij slechter in andere dingen (zoals algemene logica of geheugen). Deze methode verbeterde daadwerkelijk de algemene redeneer- en geheugenvaardigheden van de AI terwijl hij lang-context lezen leerde.
Open Source: De auteurs hebben de volledige "syllabus" (dataset), het "onderwijsplan" (code) en de "beoordelingsrubriek" (algoritme) vrijgegeven voor iedereen om te gebruiken.

Samenvatting

GoLongRL is als het upgraden van het onderwijs van een AI van een saai, repetitief drillen (naalden zoeken) naar een rijk, divers curriculum (lezen, samenvatten, rangschikken en redeneren) in combinatie met een eerlijk, slim beoordelingssysteem dat weet wanneer het de student harder moet duwen en wanneer het hen een break moet geven. Het resultaat is een AI die niet alleen een feitenzoeker is, maar een echte denker voor lange teksten.

Technische Samenvatting: GoLongRL

Probleemstelling

Hoewel grote taalmodellen (LLMs) hun contextvensters door pretraining en mid-training snel hebben uitgebreid, blijft het effectief benutten van deze uitgebreide contexten tijdens post-training een knelpunt. Bestaande versterkende leerbenaderingen (RL) voor redeneren met lange contexten lijden onder twee primaire beperkingen:

Beperkte Data-dekking: Huidige methoden construeren data vaak rond complexe ophaalpaden (bijv. UUID-ketens, QA op basis van chunks), wat leidt tot homogene taakdekking. Dit resulteert in ontoereikende supervisie voor kritieke vaardigheden zoals samenvatten, rangschikken, aggregatie en gestructureerd redeneren.
Optimalisatie-instabiliteit in Multitask-omgevingen: Standaard Group Relative Policy Optimization (GRPO) ondervindt uitdagingen bij toepassing op heterogene taken met verschillende beloningsmetrieken (bijv. EM, F1, NDCG, ROUGE-L).
- Bias in Moeilijkheid: Normalisatie per prompt (delen door de standaardafwijking $\sigma_u$ ) kan voordelen voor gemakkelijke en moeilijke prompts opblazen, terwijl het steekproeven met gemiddelde moeilijkheidsgraad onderdrukt.
- Inconsistentie in Schaal tussen Taken: Verschillende beloningsmetrieken vertonen verschillende variantieprofielen. Zonder adequate normalisatie kunnen taken met hoge variantie de gradiëntupdates domineren, waardoor de optimalisatietrajecten worden vervormd.

Methodologie

1. Vaardigheidsgerichte Dataconstructie

De auteurs stellen een dataconstructieframework voor dat wordt geleid door een taxonomie van 9 kernvaardigheden voor lange context, in plaats van simpelweg lengte in prompts te injecteren.

Dataset-samenstelling: Een volledig open-source dataset van 22.965 RLVR-steekproeven (Reinforcement Learning with Verifiable Rewards).
- Bronnen: Ongeveer 14K gecureerde open-source steekproeven uit gevestigde corpora (bijv. LongBench Pro, CLongEval) en 9K synthetische steekproeven waarbij QA-paren worden gegenereerd uit echte documenten (boeken, academische papers, juridische stukken).
- Taak-taxonomie: De dataset omvat 9 taaktypes (T1–T9), waaronder Precies Ophalen, Begrip, Exhaustief Ophalen, Numeriek Redeneren, Gestructureerde Extractie, Gestructureerde Matching, Gegradeerde Rangschikking, Sequentieordening en Samenvatten.
- Beloningsuitlijning: Elke taak wordt gekoppeld aan zijn natuurlijke evaluatiemetriek (bijv. NDCG voor rangschikking, F1 voor exhaustief ophalen, ROUGE-L voor samenvatten) in plaats van ze te reduceren tot één enkel binair signaal.
Constructiepijplijn: Een vierfasenproces dat broncollectie, taakgerichte filtering, steekproefconstructie met multi-stadia kwaliteitscontrole (met modellen zoals Gemini-2.5-Pro en DeepSeek-V3.2) en iteratieve verfijning op basis van benchmarkdiagnostiek omvat.

2. TMN-Reweight-algoritme

Om optimalisatie-uitdagingen die voortvloeien uit heterogene beloningen aan te pakken, introduceert het artikel TMN-Reweight (Task-level Mean Normalization met moeilijkheidsadaptieve Herweging).

Stap 1: Normalisatie op Taakniveau: In plaats van te normaliseren op basis van de standaardafwijking per prompt ( $\sigma_u$ ), wat schaalcorrectie verengt met versterking van moeilijkheid, normaliseert de methode op basis van een geaggregeerde standaardafwijking op taakniveau ( $\sigma_{task}$ ). Dit wordt berekend als de wortel van het gemiddelde kwadraat van de standaardafwijkingen per prompt binnen een specifieke taak. Dit vermindert schaalverschillen tussen taken terwijl de relatieve grootte van voordelen binnen elke taak behouden blijft.
Stap 2: Moeilijkheidsadaptieve Herweging: Om bias in moeilijkheid binnen taken te corrigeren, schat de methode de moeilijkheid van een prompt met behulp van een gladgemaakte doorloopsnelheid (interpolatie tussen baselines per prompt en op taakniveau).
- Hervestiging van Gradiënten in Vier Kwartieren: De moeilijkheidswaarde ( $w$ $w$ ) wordt asymmetrisch toegepast:
  - Voor moeilijke prompts ( $w > 1$ ): Positieve voordelen worden versterkt om zeldzame succesvolle rollouts te versterken; negatieve voordelen worden afgeschaald ( $1/w$ ) om destabiliserende gradiënten te verminderen.
  - Voor gemakkelijke prompts ( $w < 1$ ): Positieve voordelen worden afgezwakt om concentratie van waarschijnlijkheid te voorkomen; negatieve voordelen worden versterkt om meer te leren van onverwachte mislukkingen.

Belangrijkste Bijdragen

Open-source Vaardigheidsgerichte Dataset: Publicatie van een dataset van 23.000 steekproeven die 9 diverse taaktypes met heterogene beloningsfuncties bestrijkt. De auteurs tonen aan dat training op deze data alleen (met vanilla GRPO) de gesloten-source QwenLong-L1.5-dataset overtreft op zowel de 4B- als de 30B-schaal.
TMN-Reweight-algoritme: Een nieuwe optimalisatiestrategie die gezamenlijk inconsistentie in beloningschaal tussen taken en door moeilijkheid veroorzaakte bias in voordelen mitigeert. Het levert consistente prestatiewinsten op ten opzichte van vanilla GRPO zonder een apart waardenetwerk te vereisen.
Behoud van Generalisatie: Het framework toont aan dat lange-context RL met vaardigheidsgerichte data algemene redeneer- en geheugencapaciteiten behoudt of verbetert, inclusief transfer naar agent-geheugen en benchmarks voor lange-termijngesprekken die niet tijdens training zijn gezien.

Resultaten

Benchmarkprestaties:
- Op het Qwen3-4B-Thinking-model verhoogde training met de vaardigheidsgerichte dataset en vanilla GRPO het gemiddelde op de lange-context-benchmarks van 53,0 naar 62,2, waarmee QwenLong-L1.5 (59,4) werd overtroffen. Het toevoegen van TMN-Reweight verbeterde het gemiddelde verder naar 63,0.
- Op het Qwen3-30B-A3B-model verbeterde de dataset het gemiddelde van 60,1 naar 69,8 (tegenover 67,2 voor QwenLong-L1.5).
- Het model dat op deze data is getraind, bereikt prestaties die vergelijkbaar zijn met veel grotere gesloten-source modellen zoals DeepSeek-R1-0528 en Qwen3-235B-A22B-Thinking-2507 op lange-context-benchmarks.
Ablatiestudies:
- De dataset zelf wordt geïdentificeerd als de primaire drijver van prestatiewinsten, waarbij TMN-Reweight een consistente maar bescheiden extra impuls biedt (0,8 punten op het 4B-model), met name op taken met veel aggregatie zoals CorpusQA.
- De hyperparameter $\alpha$ (die de balans regelt tussen schatting van moeilijkheid op promptniveau en taakniveau) presteert het beste bij 0,8.
Algemene Capaciteiten: Evaluaties op MMLU-Pro, AIME24/25 en GPQA tonen aan dat algemene redeneercapaciteiten behouden of verbeterd worden. Significante winsten worden waargenomen in agent-geheugen (Memory-Vec, Memory-Rec_Sum) en gespreksgeheugen (LongMemEval).
Lengte-extrapolatie: Modellen getraind op 160K contexten generaliseren effectief naar evaluatieseries tot 1 miljoen tokens, met consistente winsten over verschillende modelschalen.

Betekenis en Claims

Het artikel claimt dat data-dekking en diversiteit in beloningen primaire knelpunten zijn in lange-context RL, vaak kritischer dan alleen algoritmische verfijningen. Door over te schakelen van dataconstructie die draait om ophalen naar een vaardigheidsgerichte taxonomie, bieden de auteurs rijkere trainingsignalen die een breed spectrum aan lange-context-taken ten goede komen.

Het werk suggereert dat bredere dekking en grotere diversiteit in beloningen de verbetering van lange-contextcapaciteiten aanzienlijk ten goede komen, zelfs met standaard RL-algoritmen. Bovendien biedt het voorgestelde TMN-Reweight een stabiel optimalisatiemechanisme voor heterogene multitask-omgevingen, zodat de voordelen van lange-contexttraining niet ten koste gaan van algemeen redeneren of verslechtering van het geheugen. Alle bronnen, inclusief de dataset, constructiepijplijn en trainingscode, zijn publiek vrijgegeven om verder onderzoek te faciliteren.