💬 NLP

GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment

GoLongRL ist ein Open-Source-Framework, das das Reinforcement Learning mit langen Kontexten durch einen kompetenzorientierten Datensatz mit 23.000 diversen RLVR-Stichproben und einen neuartigen TMN-Reweight-Algorithmus für heterogene Multitask-Optimierung verbessert und dabei eine Leistung erzielt, die mit führenden Closed-Source-Modellen vergleichbar ist.

Ursprüngliche Autoren: Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber leicht ablenkbaren Schüler beizubringen, eine riesige Bibliothek von Büchern zu lesen und zu verstehen, nicht nur eine einzelne Seite. Dies ist die Herausforderung der „Long-Context"-KI. Die Arbeit GoLongRL präsentiert ein neues Rezept zum Trainieren dieser KI-Modelle mit Fokus auf zwei Hauptprobleme: was man ihnen beibringt (die Daten) und wie man ihre Hausaufgaben bewertet (der Algorithmus).

Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Das Problem: Der alte Weg war zu eng

Frühere Methoden, um KI das Lesen langer Bücher beizubringen, waren wie das Trainieren eines Schülers nur auf Rätseln vom Typ „Wo ist die Nadel im Heuhaufen?".

Das Problem: Sie erstellten Daten, indem sie die KI dazu brachten, nach spezifischen Fakten in langen Texten zu suchen. Während dies der KI half, Nadeln zu finden, lehrte es sie nicht, den gesamten Heuhaufen zusammenzufassen, die wichtigsten Teile zu priorisieren oder komplexe Geschichten zu verstehen.
Das Ergebnis: Die KI wurde gut darin, spezifische Fakten zu finden, war aber schlecht in anderen Fähigkeiten wie dem Zusammenfassen eines Romans oder dem Ordnen eines unübersichtlichen Berichts. Es war wie ein Schüler, der ein bestimmtes Wort im Wörterbuch finden, aber keinen Aufsatz schreiben konnte.

2. Die Lösung: Ein „fähigkeitsorientierter" Lehrplan

Die Autoren von GoLongRL beschlossen, aufhören, nur „Nadelsuche"-Aufgaben zu erstellen, und stattdessen einen umfassenden Lehrplan aufzubauen, der auf neun verschiedenen Fähigkeiten basiert, die ein intelligenter Leser benötigt.

Der Datensatz (Die Lehrbücher): Sie bauten einen neuen Datensatz mit 23.000 Übungsaufgaben.
- Echte Bücher, keine Fälschungen: Anstatt erfundener Geschichten zu verwenden, nutzten sie echte Bücher, wissenschaftliche Arbeiten und juristische Dokumente. Sie forderten die KI auf, Fragen über diese echten Texte zu generieren. Dies stellt sicher, dass die KI lernt, die unordentliche, natürliche Art zu handhaben, wie Menschen schreiben.
- Die 9 Fähigkeiten: Der Datensatz deckt vielfältige Aufgaben ab, wie zum Beispiel:
  - Präzises Abrufen: Finden eines spezifischen Faktums.
  - Zusammenfassung: Verdichten eines langen Kapitels in ein paar Sätze.
  - Priorisierung: Entscheiden, welches von mehreren Suchergebnissen am nützlichsten ist.
  - Schlussfolgern: Lösen von Matheaufgaben, die in einem Finanzbericht versteckt sind.
- Die Analogie: Stellen Sie sich vor, statt einem Schüler 10.000 identische Tests „Finde den roten Ball" zu geben, erhalten sie eine Mischung aus 10.000 Tests: Manche bitten sie, einen roten Ball zu finden, andere bitten sie, das Spiel zusammenzufassen, wieder andere bitten sie, die Spieler zu priorisieren, und andere bitten sie, eine Matheaufgabe über den Spielstand zu lösen.

Das Ergebnis: Selbst ohne ausgeklügelte neue mathematische Tricks führte die Verwendung dieses besseren „Lehrplans" dazu, dass die KI besser abschnitt als ein hochrangiger Konkurrent mit geschlossenem Quellcode (QwenLong-L1.5).

3. Der Algorithmus: Das System „Faire Bewertung" (TMN-Reweight)

Sobald Sie einen vielfältigen Lehrplan haben, benötigen Sie eine Möglichkeit, den Schüler fair zu bewerten. Die Standardbewertungsmethode (genannt GRPO) hatte einen Fehler beim Umgang mit verschiedenen Fragetypen.

Das Problem: Stellen Sie sich einen Mathe-Test vor, bei dem eine richtige Antwort 100 Punkte bringt, und einen Leseverstehens-Test, bei dem eine richtige Antwort nur 1 Punkt bringt. Wenn Sie diese mischen, dominieren die Mathefragen das Gehirn des Schülers, und er ignoriert das Lesen. Außerdem kann es sein, dass bei einer extrem schwierigen Frage die Standardbewertung verwirrt ist und dem Schüler zu viel Gutschrift für einen glücklichen Treffer gibt oder zu wenig für eine knappe Verfehlung.
Die Lösung (TMN-Reweight): Die Autoren entwickelten ein neues Bewertungssystem mit zwei Schritten:
1. Chancengleichheit herstellen (Task-Level Normalization): Sie passten die Punktzahlen so an, dass eine „perfekte" Punktzahl bei einer Matheaufgabe sich genauso anfühlt wie eine „perfekte" Punktzahl bei einer Priorisierungsaufgabe. Dies verhindert, dass die KI schwierige Aufgaben ignoriert, nur weil die Zahlen kleiner aussehen.
2. Auf die Anstrengung fokussieren (Difficulty-Adaptive Reweighting):
  - Wenn der Schüler eine einfache Frage richtig beantwortet, sagt der Lehrer: „Gut gemacht, aber das wussten Sie bereits", und gibt eine kleinere Belohnung.
  - Wenn der Schüler eine schwierige Frage richtig beantwortet (was selten ist), sagt der Lehrer: „Wow, das war hart! Tolle Arbeit, das herauszufinden!", und gibt eine riesige Belohnung.
  - Wenn der Schüler eine schwierige Frage falsch beantwortet, wird der Lehrer nicht wütend; er sagt einfach: „Versuchen wir es noch einmal", und reduziert die Strafe, damit der Schüler nicht entmutigt wird.

Die Analogie: Es ist wie ein Trainer, der nicht nur Punkte zählt. Der Trainer passt die Punktzahl basierend darauf an, wie schwer der Spielzug war, und konzentriert übermäßiges Lob auf die Spielzüge, die schwer auszuführen waren. Dies hilft der KI, schneller und gleichmäßiger über alle Fähigkeiten hinweg zu lernen.

4. Die Ergebnisse: Ein vielseitiger Schüler

Als sie diese neue Methode testeten:

Besser in allem: Die KI verbesserte sich signifikant bei allen 9 Fähigkeiten, nicht nur bei den „Nadelsuche"-Aufgaben.
Keine Kompromisse: Normalerweise wird ein Schüler, den man darin trainiert, in einer Sache großartig zu sein (wie dem Lesen langer Bücher), in anderen Dingen schlechter (wie allgemeine Logik oder Gedächtnis). Diese Methode verbesserte tatsächlich die allgemeinen Schlussfolgerungs- und Gedächtnisfähigkeiten der KI, während sie ihr das Lesen im Langkontext beibrachte.
Open Source: Die Autoren veröffentlichten den gesamten „Lehrplan" (Datensatz), den „Unterrichtsplan" (Code) und die „Bewertungsrichtlinie" (Algorithmus) für jedermann zur Nutzung.

Zusammenfassung

GoLongRL ist wie die Aufwertung der Bildung einer KI von einem langweiligen, repetitiven Drill (Nadeln finden) zu einem reichen, vielfältigen Lehrplan (Lesen, Zusammenfassen, Priorisieren und Schlussfolgern), kombiniert mit einem fairen, intelligenten Bewertungssystem, das weiß, wann es den Schüler stärker fordern und wann es ihm eine Pause gönnen soll. Das Ergebnis ist eine KI, die nicht nur ein Faktenfinder ist, sondern ein echter Denker für lange Texte.

Technischer Zusammenfassung: GoLongRL

Problemstellung

Während große Sprachmodelle (LLMs) ihre Kontextfenster durch Pretraining und Mid-Training rasch erweitert haben, bleibt die effektive Nutzung dieser erweiterten Kontexte während des Post-Trainings ein Engpass. Bestehende Reinforcement-Learning-Ansätze (RL) für das Schlussfolgern in langen Kontexten leiden unter zwei Hauptbeschränkungen:

Eingeschränkte Datenabdeckung: Aktuelle Methoden konstruieren Daten häufig um komplexe Abrufpfade herum (z. B. UUID-Ketten, chunk-basierte QA), was zu einer homogenen Aufgabenabdeckung führt. Dies resultiert in unzureichender Supervision für kritische Fähigkeiten wie Zusammenfassung, Ranking, Aggregation und strukturiertes Schlussfolgern.
Optimierungsinstabilität in Multitask-Szenarien: Standard-Group Relative Policy Optimization (GRPO) steht vor Herausforderungen, wenn sie auf heterogene Aufgaben mit unterschiedlichen Reward-Metriken angewendet wird (z. B. EM, F1, NDCG, ROUGE-L).
- Verzerrung durch Schwierigkeitsgrad: Die Normalisierung pro Prompt (Division durch die Standardabweichung $\sigma_u$ ) kann Vorteile für einfache und schwierige Prompts aufblähen, während sie Proben mittlerer Schwierigkeit unterdrückt.
- Inkonsistenz der Skalenübergänge zwischen Aufgaben: Unterschiedliche Reward-Metriken weisen unterschiedliche Varianzprofile auf. Ohne ordnungsgemäße Normalisierung können Aufgaben mit hoher Varianz die Gradienten-Updates dominieren und die Optimierungs-Trajektorie verzerren.

Methodik

1. Fähigkeit orientierte Datenkonstruktion

Die Autoren schlagen einen Rahmen für die Datenkonstruktion vor, der von einer Taxonomie von 9 Kernfähigkeiten für lange Kontexte geleitet wird, anstatt lediglich Länge in Prompts einzuspeisen.

Datensatz-Zusammensetzung: Ein vollständig quelloffener Datensatz mit 22.965 RLVR-Proben (Reinforcement Learning with Verifiable Rewards).
- Quellen: Etwa 14.000 kuratierte quelloffene Proben aus etablierten Korpora (z. B. LongBench Pro, CLongEval) und 9.000 synthetische Proben, bei denen QA-Paare aus echten Dokumenten (Bücher, wissenschaftliche Arbeiten, rechtliche Einreichungen) generiert wurden.
- Aufgaben-Taxonomie: Der Datensatz umfasst 9 Aufgabentypen (T1–T9), darunter Präziser Abruf, Verständnis, Exhaustiver Abruf, Numerisches Schlussfolgern, Strukturierte Extraktion, Strukturiertes Matching, Graduierter Ranking, Sequenzordnung und Zusammenfassung.
- Reward-Ausrichtung: Jede Aufgabe wird mit ihrer natürlichen Evaluationsmetrik gepaart (z. B. NDCG für Ranking, F1 für exhaustiven Abruf, ROUGE-L für Zusammenfassung), anstatt sie in ein einziges binäres Signal zu kollabieren.
Konstruktions-Pipeline: Ein vierstufiger Prozess, der die Quellensammlung, aufgabenorientierte Filterung, Probenkonstruktion mit mehrstufiger Qualitätskontrolle (unter Verwendung von Modellen wie Gemini-2.5-Pro und DeepSeek-V3.2) sowie iterative Verfeinerung basierend auf Benchmark-Diagnosen umfasst.

2. TMN-Reweight-Algorithmus

Um Optimierungsprobleme zu adressieren, die aus heterogenen Rewards entstehen, führt die Arbeit TMN-Reweight ein (Task-Level Mean Normalization mit schwierigkeitsadaptiver Gewichtung).

Schritt 1: Task-Level Mean Normalization: Anstatt durch die pro-Prompt-Standardabweichung ( $\sigma_u$ ) zu normalisieren, was Skaleneinordnung mit Schwierigkeitsverstärkung vermischt, normalisiert die Methode durch eine aufgabenaggregierte Standardabweichung ( $\sigma_{task}$ ). Diese wird als quadratischer Mittelwert der pro-Prompt-Standardabweichungen innerhalb einer spezifischen Aufgabe berechnet. Dies reduziert Skalendifferenzen zwischen Aufgaben, während relative Vorteilsmagnituden innerhalb jeder Aufgabe erhalten bleiben.
Schritt 2: Schwierigkeitsadaptive Gewichtung: Um die Verzerrung durch Schwierigkeitsgrad innerhalb von Aufgaben zu korrigieren, schätzt die Methode die Prompt-Schwierigkeit unter Verwendung einer geglätteten Durchlassrate (Interpolation zwischen pro-Prompt- und aufgabenweiten Baselines).
- Vier-Quadranten-Gradienten-Neuzuweisung: Das Schwierigkeitsgewicht ( $w$ $w$ ) wird asymmetrisch angewendet:
  - Für schwierige Prompts ( $w > 1$ ): Positive Vorteile werden verstärkt, um seltene erfolgreiche Rollouts zu festigen; negative Vorteile werden skaliert ( $1/w$ ), um destabilisierende Gradienten zu reduzieren.
  - Für einfache Prompts ( $w < 1$ ): Positive Vorteile werden abgeschwächt, um eine Wahrscheinlichkeitskonzentration zu verhindern; negative Vorteile werden verstärkt, um das Lernen aus unerwarteten Fehlern zu erhöhen.

Hauptbeiträge

Quelloffener, fähigkeitsorientierter Datensatz: Veröffentlichung eines 23.000-Proben-Datensatzes, der 9 diverse Aufgabentypen mit heterogenen Reward-Funktionen abdeckt. Die Autoren zeigen, dass das Training nur mit diesen Daten (unter Verwendung von Vanilla GRPO) sowohl im 4B- als auch im 30B-Maßstab den geschlossenen QwenLong-L1.5-Datensatz übertrifft.
TMN-Reweight-Algorithmus: Eine neuartige Optimierungsstrategie, die sowohl Inkonsistenzen der Reward-Skalen zwischen Aufgaben als auch durch Schwierigkeit verursachte Vorteil-Verzerrungen gemeinsam mindert. Sie liefert konsistente Leistungssteigerungen gegenüber Vanilla GRPO, ohne ein separates Wertnetzwerk zu benötigen.
Erhaltung der Generalisierung: Der Rahmen zeigt, dass Long-Context-RL mit fähigkeitsorientierten Daten allgemeine Schlussfolgerungs- und Speicherkapazitäten erhält oder verbessert, einschließlich der Übertragung auf agentische Speicher- und Langzeitdialog-Benchmarks, die während des Trainings nicht gesehen wurden.

Ergebnisse

Benchmark-Leistung:
- Beim Modell Qwen3-4B-Thinking erhöhte das Training mit dem fähigkeitsorientierten Datensatz und Vanilla GRPO den Durchschnitt der Long-Context-Benchmarks von 53,0 auf 62,2 und übertraf damit QwenLong-L1.5 (59,4). Die Hinzunahme von TMN-Reweight verbesserte den Durchschnitt weiter auf 63,0.
- Beim Modell Qwen3-30B-A3B verbesserte der Datensatz den Durchschnitt von 60,1 auf 69,8 (verglichen mit 67,2 für QwenLong-L1.5).
- Das auf diesen Daten trainierte Modell erreicht eine Leistung, die mit deutlich größeren geschlossenen Modellen wie DeepSeek-R1-0528 und Qwen3-235B-A22B-Thinking-2507 auf Long-Context-Benchmarks vergleichbar ist.
Ablationsstudien:
- Der Datensatz selbst wird als primärer Treiber der Leistungssteigerungen identifiziert, wobei TMN-Reweight eine konsistente, aber moderate zusätzliche Steigerung bietet (0,8 Punkte beim 4B-Modell), insbesondere bei Aggregations-intensiven Aufgaben wie CorpusQA.
- Der Hyperparameter $\alpha$ (der das Gleichgewicht zwischen Prompt-Level- und Task-Level-Schätzung der Schwierigkeit steuert) erzielt bei 0,8 die besten Ergebnisse.
Allgemeine Fähigkeiten: Evaluierungen auf MMLU-Pro, AIME24/25 und GPQA zeigen, dass allgemeine Schlussfolgerungsfähigkeiten erhalten oder verbessert werden. Signifikante Steigerungen werden bei agentischem Speicher (Memory-Vec, Memory-Rec_Sum) und Dialogspeicher (LongMemEval) beobachtet.
Längsextrapolation: Modelle, die auf 160K-Kontexten trainiert wurden, generalisieren effektiv auf Evaluierungssequenzen von bis zu 1M Tokens und zeigen konsistente Steigerungen über alle Modellmaße hinweg.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Datenabdeckung und Reward-Vielfalt primäre Engpässe im Long-Context-RL sind, die oft kritischer sind als algorithmische Verfeinerungen allein. Durch den Wechsel von einer abruzzentrierten Datenkonstruktion zu einer fähigkeitsorientierten Taxonomie bieten die Autoren reichhaltigere Trainings-Signale, die einem breiten Spektrum von Long-Context-Aufgaben zugutekommen.

Die Arbeit legt nahe, dass eine breitere Abdeckung und größere Reward-Vielfalt die Verbesserung von Long-Context-Fähigkeiten erheblich fördern, selbst mit Standard-RL-Algorithmen. Darüber hinaus bietet der vorgeschlagene TMN-Reweight einen stabilen Optimierungsmechanismus für heterogene Multitask-Szenarien und stellt sicher, dass die Vorteile des Long-Context-Trainings nicht auf Kosten der allgemeinen Schlussfolgerung oder einer Verschlechterung des Speichers gehen. Alle Ressourcen, einschließlich des Datensatzes, der Konstruktionspipeline und des Trainingscodes, werden öffentlich veröffentlicht, um weitere Forschung zu erleichtern.