💬 NLP

Native Parallel Reasoner: Reasoning in Parallelism via Self-Distilled Reinforcement Learning

Het artikel introduceert de Native Parallel Reasoner (NPR), een lerarenvrij kader dat het mogelijk maakt voor grote taalmodellen om via zelfgedistilleerde progressieve training, parallel-bewuste beleidsoptimalisatie en een hervormde uitvoeringsengine echte parallelle redeneercapaciteiten te laten ontwikkelen, wat aanzienlijke prestatiewinst en tot 4,6 keer snellere inferentie oplevert zonder terug te vallen op autoregressieve decoding.

Oorspronkelijke auteurs: Tong Wu, Yang Liu, Jun Bai, Zixia Jia, Shuyi Zhang, Ziyong Lin, Yanting Wang, Song-Chun Zhu, Zilong Zheng

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tong Wu, Yang Liu, Jun Bai, Zixia Jia, Shuyi Zhang, Ziyong Lin, Yanting Wang, Song-Chun Zhu, Zilong Zheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een briljante maar zeer traditionele student voor. Deze student is uitstekend in het oplossen van problemen, maar doet dat stap voor stap, zoals het lezen van een boek van links naar rechts. Ze slaan nooit iets over en proberen nooit twee verschillende oplossingen tegelijkertijd. Zo werken de meeste huidige AI-modellen: ze denken in een rechte lijn.

Het artikel introduceert een nieuw systeem genaamd Native Parallel Reasoner (NPR). Denk aan NPR niet als een student die een boek leest, maar als een team van detectives dat in één kamer werkt. In plaats van te wachten tot Detective A zijn aanwijzing heeft afgerond voordat Detective B begint, werken ze allemaal gelijktijdig aan verschillende delen van het mysterie en komen dan samen om de zaak op te lossen.

Hieronder wordt uitgelegd hoe het artikel beschrijft dat dit "team" in drie hoofdstappen is geleerd om samen te werken:

1. Het probleem met huidige AI

De auteurs stellen dat huidige AI drie grote hoofdpijndrukken heeft bij het proberen om parallel te denken:

De verkeerde gereedschappen: De software-engine's die worden gebruikt om AI aan te sturen, zijn gebouwd voor rechte lijnen. Ze proberen ze te dwingen om vertakkingen te maken, is alsof je probeert een auto op een spoorweg te rijden; het breekt of blijft steken.
Verspilde moeite: Vroege pogingen tot parallel denken waren onhandig. Het was alsof je vijf mensen vraagt om een wiskundeprobleem op te lossen, maar in plaats van hun kladpapier te delen, moest iedereen het hele probleem opnieuw van scratch herschrijven. Dit maakte hen trager, niet sneller.
De "leraar"-valstrik: Eerdere methoden maakten gebruik van een super-intelligente "leraar"-AI om de student te laten zien hoe ze parallel moeten denken. Maar de student kopieerde gewoon het lineaire denken van de leraar en probeerde dit in een parallel formaat te persen. Het was alsof je iemand die alleen loopt vraagt om een marathon te rennen door ze te vertellen "sneller te lopen". Ze konden geen nieuwe manier van bewegen bedenken.

2. De oplossing: Een drie-fasen trainingskamp

Het NPR-systeem leert de AI om een echte parallel denker te worden zonder een leraar nodig te hebben. Ze maken gebruik van een "zelf-gedistilleerde" aanpak, wat betekent dat de AI zichzelf leert.

Fase 1: De regels leren (De "formaat"-fase)
Stel je voor dat de AI een chaotische kunstenaar is. In deze fase geven de onderzoekers een beloningssysteem: "Als je je tekening in een specifiek, georganiseerd raster tekent, krijg je een gouden ster. Als je willekeurig krabbel, krijg je een straf." De AI weet nog niet hoe ze het probleem moet oplossen; ze leert alleen om haar gedachten te organiseren in een gestructureerd "Map-Process-Reduce"-formaat (Plannen -> Doen -> Samenvatten). Ze leert de vorm van parallel denken.
Fase 2: De warming-up (De "oefen"-fase)
Nu de AI de regels kent, begint ze te oefenen. De onderzoekers laten de AI duizenden antwoorden genereren, maar ze gooien de slechte weg (degenen die fout zijn of niet aan de regels voldoen). Ze houden alleen de perfecte, gestructureerde antwoorden en gebruiken deze om de AI te "fine-tunen". Dit is alsof een coach het team alleen de beste plays uit een oefensessie laat zien zodat ze de perfecte formatie kunnen memoriseren.
Fase 3: Het echte spel (De "versterking"-fase)
Dit is de grote sprong. De AI wordt nu in een echt spel geplaatst waar ze moeilijke problemen moet oplossen. Ze probeert verschillende parallelle strategieën. Als ze snel een oplossing vindt, krijgt ze een beloning. Als ze vastloopt, leert ze een andere tak te proberen. Cruciaal hebben de onderzoekers een speciale "NPR Engine" (een nieuw type software) gebouwd die fungeert als scheidsrechter. Deze zorgt ervoor dat de AI niet cheat door terug te vallen in "één-voor-een" denken en beheert het geheugen zodat het team niet zonder ruimte komt te zitten.

3. De resultaten: Sneller en slimmer

Het artikel testte dit nieuwe "team van detectives" op acht verschillende soorten moeilijke redeneertoetsen (zoals wiskundewedstrijden en logische puzzels).

Echte parallelisme: In tegenstelling tot andere modellen die soms doen alsof ze parallel zijn, maar eigenlijk gewoon in een lijn denken (een "fake-out"), deed NPR 100% echt parallel denken. Ze bedroog nooit.
Snelheid: Omdat ze daadwerkelijk parallel dacht, was ze veel sneller. Bij de moeilijkste problemen was ze 4,6 keer sneller dan de oude lineaire modellen. Het is het verschil tussen een enkele persoon die naar een bestemming loopt versus een konvooi auto's dat tegelijkertijd daarheen rijdt.
Nauwkeurigheid: Ze loste meer problemen correct op dan modellen die door menselijke leraren of andere parallelle methoden waren getraind.

De grote conclusie

Het artikel beweert dat we door de AI zichzelf te laten leren hoe ze haar aandacht moet splitsen en tegelijkertijd aan meerdere paden kan werken, AI kunnen creëren die niet alleen slimmer is in het oplossen van complexe puzzels, maar ook aanzienlijk sneller. Ze hebben de AI niet gewoon gedwongen om er parallel uit te zien; ze hebben haar geholpen een native vermogen te ontwikkelen om parallel te denken, zoals een spier die eindelijk op de juiste manier is getraind.

Technische Samenvatting: Native Parallel Reasoner (NPR)

1. Probleemstelling

De evolutie van Large Language Models (LLM's) heeft de focus verschoven van semantische vloeiendheid naar diepgaand, multi-staps agentic redeneren. Hoewel "test-time scaling" modellen in staat stelt complexe problemen op te lossen via langere sequentiële ketens, blijft het vermogen om diverse redeneertrajecten parallel te verkennen een kritiek gat. Bestaande aanpakken kampen met drie primaire tekortkomingen:

Algoritmische en Architecturale Incompatibiliteit: Standaard inferentie-engines en Reinforcement Learning (RL)-algoritmen zijn slecht toegerust voor native vertakking. Inferentie-engines falen vaak in het controleren van parallelle aggregatie, terwijl RL-algoritmes frequent gradiënten afsnijden voor speciale tokens die vertakking triggeren, waardoor het leren van strikte structurele beperkingen wordt verhinderd.
Inefficiënte Handgemaakte Parallelisme: Vroege pogingen om parallelisme te internaliseren vertrouwen op handgemaakte verdeel-en-heers regels via onafhankelijke steekproeven. Deze methoden maken geen gebruik van gedeelde Key-Value (KV)-toestanden, wat leidt tot redundante herberekeningen en prohibitieve lineaire latentiekosten.
Afhankelijkheid van Supervised Distillatie: Frameworks zoals Multiverse operationaliseren parallelisme maar zijn sterk afhankelijk van data die is gedistilleerd uit sterkere "leraar"-modellen. Dit dwingt studentmodellen om de sequentiële topologie van een leraar na te bootsen binnen een parallel formaat, wat een "Intelligentieplafond" oplegt dat de ontdekking van nieuwe, model-intrinsieke parallelle strategieën verhindert.

2. Methodologie: Native Parallel Reasoner (NPR)

NPR is een leraar-vrij framework ontworpen om LLM's in staat te stellen echte parallelle redeneercapaciteiten zelf te laten evolueren. Het brengt modellen over van sequentiële emulatie naar native parallelle cognitie via een drietraps progressief trainingsparadigma en een gespecialiseerde inferentie-engine.

2.1. Drietraps Trainingsparadigma

Het framework beweegt van formatontdekking naar strikte topologische beperkingen zonder externe supervisie:

Fase 1: Format-Volgende Reinforcement Learning (NPR-ZERO)
- Doel: Een gestructureerd parallel formaat induceren vanuit een seed instructie-getuned model (bijv. Qwen3-4B-Instruct) zonder externe annotaties.
- Mechanisme: Gebruikt standaard DAPO (Group Relative Policy Optimization) met een beloningsfunctie die formatconformiteit combineert (0.0 voor pass, -2.0 voor fail) en nauwkeurigheid (+1.0 voor correct, -1.0 voor incorrect).
- Output: Een generator (NPR-ZERO) die outputs in parallel formaat produceert, maar nog steeds afhankelijk is van sequentiële zichtbaarheid (gesimuleerd parallelisme).
Fase 2: Rejection Sampling en Parallel Warmup (NPR-BETA)
- Doel: De kloof overbruggen naar native parallelle architectuur en parallelle primitieven stabiliseren.
- Mechanisme:
  - Rejection Sampling: Genereert $K$ kandidaat-trajecten per vraag. Filtert deze op Outcome Correctheid (overeenkomst met ground truth) en Gestructureerd Parallelisme (naleving van het schema).
  - Parallel SFT: Traineert het model op het gedistilleerde dataset met standaard negatieve log-waarschijnlijkheid.
  - Architectuur: Implementeert Parallelle Attention Masks en Positionele Encoding (geïnspireerd door Multiverse) om meerdere redeneerpaden in één forward pass te laten coëxisteren, terwijl efficiënt KV-cache-hergebruik mogelijk wordt. Speciale tokens voor structurele tags worden geïnitieerd en blootgelegd.
Fase 3: Native-Parallel RL (NPR)
- Doel: Capaciteiten generaliseren en adaptieve decompositiestrategieën leren via trial and error.
- Mechanisme: Implementeert Parallel-Aware Policy Optimization (PAPO).
  - Parallel Rollouts: Gebruikt de NPR Engine om te garanderen dat trajecten de "Map–Process–Reduce"-stroom volgen.
  - Structurele Filtering: Gebruikt attention-mask en position-id encoding om misvormde sequenties te filteren vóór optimalisatie, waardoor het beloningssignaal wordt gereduceerd tot alleen nauwkeurigheid.
  - Batch-Level Advantage Normalization: Vervangt groepsniveau-variatie door batch-niveau-variatie om het instorten van variatie veroorzaakt door strikte filtering te hanteren.
  - Gradiëntbehoud: Verwijdert gradiëntafsnijding voor speciale tokens (kritiek voor structuur) en elimineert importance sampling om stabiliteit te waarborgen, waarbij een strikt on-policy doel wordt aangenomen.

2.2. De NPR Engine

Om grootschalig parallel RL te ondersteunen, hebben de auteurs de rollout-infrastructuur (gebaseerd op SGLang) opnieuw ontworpen om stabiliteitsproblemen aan te pakken:

Geheugenveiligheid: Vervangt opportunistisch KV-cache-recycling door expliciete, budgetbewuste terugvordering om dubbele vrijgaves en geheugenlekken te voorkomen.
Token Budgettering: Breidt lengte-administratie uit om branch-bewust te zijn, waarbij het globale token-ledger over alle takken wordt bijgehouden in plaats van alleen de langste enkele tak.
State Validatie: Voegt een lichtgewicht pre-branch validator toe om structurele invarianten af te dwingen en ongedefinieerde toestanden te voorkomen.
Herhalingsstraf: Past een selectieve herhalingsstraf (1.02) toe binnen <step>-blokken om lokale herhaling te voorkomen terwijl controle-tags neutraal blijven.

2.3. Output Schema

Het model genereert redenering met behulp van een vereenvoudigd "Map–Process–Reduce"-schema:

<guideline>: Bevat <plan>-items die onafhankelijke strategieën definiëren (Map).
<step>: Voert subtaken onafhankelijk en parallel uit (Process).
<takeaway>: Synthetiseert bevindingen en bepaalt de volgende actie of het definitieve antwoord (Reduce).

3. Belangrijkste Bijdragen

Zelf-gedistilleerde Progressieve Training: Een leraar-vrije pijplijn die modellen overbrengt van "cold-start" formatontdekking naar strikte topologische beperkingen, waardoor de behoefte aan externe leraarmodellen wordt geëlimineerd.
Parallel-Aware Policy Optimization (PAPO): Een nieuw algoritme dat vertakkingsbeleid direct optimaliseert binnen het uitvoeringsgraf, gradiënten behoudt voor structurele tokens en batch-niveau advantage normalisatie gebruikt.
Robuuste NPR Engine: Een gefactorde inferentie-backend die stabiele, grootschalige parallelle RL-training mogelijk maakt door geheugenlekken, token-budgetfouten en ongedefinieerde toestanden op te lossen.
100% Echte Parallelisme: In tegenstelling tot eerdere baselines die vaak terugvallen op autoregressieve (AR) decoding, demonstreert NPR consistente, echte parallelle uitvoering.

4. Experimentele Resultaten

Het framework werd geëvalueerd op Qwen3-4B (zowel Instruct als Non-Thinking varianten) over acht redeneringsbenchmarks (AIME24/25, HMMT25, OlympiadBench, Minerva-Math, ZebraLogic, AMC23, MATH500).

Prestatieverbeteringen: NPR getraind op Qwen3-4B behaalde prestatiewinsten tot 24,5% ten opzichte van baselines.
- In vergelijking met Multiverse-4B verbeterde NPR-BETA (Parallel SFT) de gemiddelde scores met +8,9 punten (50,1 $\to$ 59,0).
- In vergelijking met Sequentieel RL (SR) verbeterde NPR (Parallel RL) de gemiddelde scores met +3,0 punten (62,0 $\to$ 65,0).
Inferentieversnelling: NPR behaalde inferentieversnellingen tot 4,6× ten opzichte van autoregressieve decoding. Versnellingen schaalden mee met taakmoeilijkheid (bijv. 4,6× op AIME25 versus 2,9× op AMC23).
Parallelle Trigger Rate: NPR behaalde een 100% parallelle redeneer-trigger rate over alle acht datasets, terwijl de Multiverse-baseline aanzienlijke variabiliteit vertoonde (bijv. dalend tot 45,8% op ZebraLogic).
Data-efficiëntie: De zelf-gedistilleerde dataset presteerde met een gemiddelde van 10,1 punten beter dan door leraars gegenereerde trajecten (van Multiverse), wat de hypothese valideert dat leren vanuit native distributies superieur is.

5. Betekenis en Claims

Het paper claimt dat NPR een nieuwe standaard vestigt voor zelf-evoluerend, efficiënt en schaalbaar agentic redeneren.

Echte Parallelisme: Het framework bewijst dat LLM's collaboratieve breedte direct kunnen internaliseren in een native parallelle architectuur zonder sequentiële topologieën na te bootsen die in parallelle formaten worden gedwongen.
Schaalbaarheid: Door de afhankelijkheid van externe leraarmodellen te verwijderen en stabiele grootschalige parallelle RL mogelijk te maken, biedt de aanpak een schaalbaar pad naar super-intelligentie waarbij modellen taken adaptief kunnen decomponeren.
Efficiëntie: Het werk toont aan dat parallel redeneren niet alleen robuuster is, maar ook aanzienlijk sneller dan sequentiële decoding bij het verkennen van meerdere oplossingspaden, wat de opvatting uitdaagt dat parallelisme inherent kostbaar is.

De auteurs concluderen dat native parallel redeneren een veelbelovende richting is voor meer algemene en schaalbare intelligentie, die verder gaat dan de beperkingen van huidige sequentiële chain-of-thought paradigma's.