💬 NLP

Triplet-Block Diffusion RWKV

Het artikel introduceert $B^3D-RWKV$ , een nieuwe architectuur die de $O(L)$ -inference-efficiëntie van causale RWKV-modellen verenigt met parallelle bidirectionele discrete diffusie via een triplet-bloklay-out, waarbij vergelijkbare nauwkeurigheid wordt bereikt ten opzichte van bestaande modellen terwijl een 1,6x versnelling in de doorvoer van decodering wordt gerealiseerd.

Oorspronkelijke auteurs: Ke Lin, Yiyang Luo, Zhaolong Su, Yunya Song, Anyi Rao

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ke Lin, Yiyang Luo, Zhaolong Su, Yunya Song, Anyi Rao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Eenrichtingsstraat" versus het "Groepsproject"

Stel je twee verschillende manieren voor om een verhaal te schrijven:

Het Strikt Causale Model (De "Eenrichtingsstraat"):
Denk aan een traditionele AI als een schrijver die alleen naar de woorden kan kijken die hij al heeft getypt. Hij schrijft woord voor woord, van links naar rechts. Hij kan niet zien wat er als volgt komt.
- Het Goede: Ze zijn zeer snel in het lezen van lange documenten omdat ze niet alles hoeven opnieuw te lezen elke keer als ze een nieuw woord toevoegen.
- Het Slechte: Ze zijn traag in het genereren van tekst omdat ze niet twee woorden tegelijk kunnen schrijven. Ze moeten woord #1 afmaken voordat ze beginnen met woord #2.
Het Diffusiemodel (Het "Groepsproject"):
Denk aan een andere AI die begint met een blanco pagina vol "onzin" of "maskers" (zoals [MASK]). In plaats van woord voor woord te schrijven, kijkt het naar de hele pagina tegelijk, raadt het wat de ontbrekende woorden zouden moeten zijn, corrigeert er een paar, en herhaalt dit tot het verhaal zinvol is.
- Het Goede: Het kan veel woorden tegelijk corrigeren (parallelle verwerking), waardoor het potentieel veel sneller is.
- Het Slechte: Om dit te doen, moet het de hele context zien (wat er voorafging en wat er volgt) gelijktijdig. Dit vereist meestal een zeer dure, trage computerarchitectuur.

Het Conflict: Je kunt deze twee niet makkelijk mengen. De schrijver van de "Eenrichtingsstraat" kan niet vooruitkijken, maar het "Groepsproject" moet naar alles tegelijk kijken.

De Oplossing: De "Triplet-Block" Truc

De auteurs, Ke Lin en collega's, bedachten een slimme trainingstruc genaamd de Triplet-Block Lay-out. Ze bedachten hoe ze de schrijver van de "Eenrichtingsstraat" konden leren zich te gedragen als een "Groepsproject" team zonder het brein van de schrijver te veranderen.

Hier is hoe de truc werkt, gebruikmakend van een Repetitie-analogie:

Stel je voor dat je een acteur bent (de AI) die alleen een script van links naar rechts kan lezen. Je moet een scène leren waarbij je ontbrekende regels moet raden, maar je moet de regels kennen die na je huidige plek komen om correct te raden.

De auteurs hebben een driedelige repetitie opgezet voor elke scène:

Deel 1 (Het Gemaskerde Kopie): Je leest de scène, maar de helft van de regels is bedekt met zwarte tape ([MASK]). Je leest dit van links naar rechts.
Deel 2 (De Verliesbare Gemaskerde Kopie): Je leest exact dezelfde scène opnieuw, met dezelfde zwarte tape. Hier word je getoetst. Je moet de ontbrekende regels raden.
- De Magie: Omdat je net Deel 1 hebt gelezen, heeft je brein (het interne geheugen van de AI) alle zichtbare regels uit Deel 1 al opgeslagen. Hoewel je Deel 2 strikt van links naar rechts leest, "weet" je brein al de context van de rechterkant van de scène omdat deze in Deel 1 was opgeslagen.
- Resultaat: Je mag de ontbrekende regels raden met "pseudo-bidirectionele" kennis (je kent het verleden en de toekomst) terwijl je toch van links naar rechts leest.
Deel 3 (Het Schone Kopie): Je leest de volledige, perfecte scène nog één keer. Dit reset je brein zodat je klaar bent voor de volgende scène.

Door dit Triplet-patroon te herhalen (Gemaskerd -> Gemaskerd/Getoetst -> Schoon), leert de AI ontbrekende woorden te voorspellen met informatie uit "de toekomst" (wat eigenlijk gewoon het vorige blok in de trainingssequentie was), terwijl het zijn oorspronkelijke "Eenrichtingsstraat"-snelheid behoudt.

De Resultaten: Snel en Accuraat

Het team bouwde een model genaamd B3D-RWKV-7.2B met deze methode. Hier is wat ze ontdekten:

Snelheid: Omdat ze de "Eenrichtingsstraat"-architectuur (RWKV) behielden, is het model ongelooflijk snel in het decoderen. Ze beweren dat het 1,6 keer sneller is dan de standaardversie van hetzelfde model.
Slimheid: Het presteert even goed als andere topmodellen op algemene taken (zoals het beantwoorden van vragen of het schrijven van verhalen).
De Ruil: Het artikel merkt op dat voor zeer complexe wiskundeproblemen die perfecte, stap-voor-stap logica vereisen, de "gokker"-aard van diffusie soms kleine fouten kan maken. Voor de meeste taken houdt het echter stand.

Samenvatting in het Kort

Het artikel lost een paradox op: Hoe maak je een snelle, van links naar rechts schrijvende schrijver tot een slimme, allesziende redacteur?

Ze deden dit door de schrijver te leren de scène drie keer achter elkaar te repeteren. De eerste repetitie vult het geheugen van de schrijver met context, de tweede laat hen oefenen met het raden van ontbrekende delen met behulp van dat geheugen, en de derde veegt het bord schoon voor de volgende scène. Hierdoor kunnen ze de snelheid van een lineaire schrijver behouden terwijl ze de parallelle kracht van een diffusiemodel winnen.

Wat ze niet beweren:

Ze beweren niet dat dit werkt voor medische diagnose of klinisch gebruik.
Ze beweren niet dat dit een wondermiddel is voor alle AI-problemen; ze erkennen dat het iets moeite heeft met complexe wiskundestructuren.
Ze stellen expliciet dat ze de veiligheidsfuncties van het model niet hebben veranderd, dus het erft alle vooroordelen over van het oorspronkelijke model.

Technische Samenvatting: Triplet-Block Diffusion RWKV (B3D-RWKV)

Probleemstelling

Causale Transformer-taalmodellen staan voor twee primaire structurele beperkingen: strikt sequentiële decoding, wat parallelisatie verhindert, en kwadratische attentiekosten per stap, wat inferentie met lange context computatiewerkzaam maakt. Hoewel lineaire causale modellen (bijv. RWKV) en discrete diffusiemodellen deze zwakke punten elk afzonderlijk aanpakken, is hun integratie inherent inconsistent. Diffusiemodellen vereisen bidirectionele attentie om tokenblokken parallel te ontdoen van ruis, terwijl causale modellen strikt unidirectioneel zijn. Bestaande pogingen om ze te combineren vereisen vaak architecturale wijzigingen die de efficiëntie van de lineaire tijd-ruggengraat compromitteren of training vanaf nul noodzakelijk maken.

Methodologie

De auteurs stellen B3D-RWKV voor, een diffusiestijl RWKV-variant die $O(L)$ inferentie-efficiëntie verenigt met parallelle, bidirectionele discrete diffusie zonder de onderliggende causale ruggengraat te wijzigen. De kerninnovatie is de Triplet-Block Layout, een trainings- en inferentiestrategie die is ontworpen om bidirectionele toegang te simuleren binnen een strikt causale architectuur.

1. Triplet-Block Layout (Training)

Om diffusie op een causaal model mogelijk te maken, wordt elk logisch generatieblok van grootte $B$ uitgebreid tot drie aaneengesloten fysieke blokken binnen het trainingsvoorbeeld:

$b_1$ (Gemaskeerde Kopie): Een gemaskeerde versie van het logische blok.
$b_2$ (Verliesbare Gemaskeerde Kopie): Een identieke gemaskeerde kopie waarbij de ontdooiingsverlies wordt berekend.
$b_3$ (Schoon Ground-Truth Kopie): Een niet-gemaskeerde versie die de recurrente toestand ververst voor het volgende blok.

Pseudo-Bidirectionele Toegang:
Omdat de causale ruggengraat tokens strikt van links naar rechts verwerkt, heeft de verborgen toestand die bij een gemaskeerde positie in $b_2$ aankomt, reeds de volledige $b_1$ verwerkt. Aangezien $b_1$ en $b_2$ hetzelfde maskerpatroon delen, worden de niet-gemaskeerde tokens in $b_1$ effectief "geabsorbeerd" in de verborgen toestand voordat het model probeert de gemaskeerde tokens in $b_2$ te voorspellen. Dit verleent het model pseudo-bidirectionele toegang tot zijn eigen niet-gemaskeerde context binnen het logische blok, waardoor aan de bidirectionele eisen van diffusie wordt voldaan terwijl het unidirectionele karakter van de RNN/SSM-ruggengraat behouden blijft.

Trainingsdoel:
Het model wordt getraind met een masker-voorspellingdoel. Het verlies bestaat uit:

Cross-Entropy Verlies ( $L_{CE}$ ): Berekend op gesuperviseerde posities waar tokens gemaskeerd zijn.
Vertrouwensbewuste Parallel Verlies ( $L_{CAP}$ ): Volgend op LLaDA-2.0, scherpt dit item de kansverdeling op posities die al correct zijn voorspeld, waardoor de inferentiestemmer wordt aangemoedigd om meer tokens per stap te bevestigen.

2. Inferentie: Bloksgewijze Iteratieve Ontdooiing

Tijdens inferentie genereert het model één logisch blok per keer. Het proces omvat:

Initialiseren van een blok met alle tokens gemaskeerd.
Uitvoeren van iteratieve ontdooiingsstappen waarbij het model top-1-kansen voorspelt voor gemaskeerde posities.
Bevestigen van tokens waarvan de top-1-kans een drempel $\tau$ overschrijdt.
Een fallbackmechanisme zorgt voor voortgang door de top- $k_{min}$ meest betrouwbare tokens te bevestigen als minder dan $k_{min}$ de drempel halen.
Zodra alle posities zijn bevestigd, wordt het schone blok aan het voorvoegsel toegevoegd en begint het volgende logische blok.

Belangrijkste Bijdragen

B3D-RWKV-7.2B: Het eerste diffusiestijl, lineaire tijd RNN-taalmodel dat op de 7B-schaal is getraind met een masker-voorspellingdoel. Het integreert parallelle tokenselectie in de RWKV-7-ruggengraat zonder de oorspronkelijke parameters te wijzigen.
Triplet-Block Framework: Een universeel trainingsrecept dat strikt causale ruggengraten (die strikte causaliteit en voorwaarts-propagerende eigenschappen van de toestand voldoen) omzet in blok-diffusiemodellen. Deze aanpak vermijdt de architecturale complexiteit van het wijzigen van de ruggengraat in een bidirectioneel blok.
Efficiëntie en Prestaties: De methode bereikt aanzienlijke doorvoerverbeteringen ten opzichte van standaard causale decoding, terwijl concurrerende redeneercapaciteiten behouden blijven.

Experimentele Resultaten

Het model is geëvalueerd op een 8-takenpakket, waaronder algemene kennis (MMLU, ARC, PIQA, RACE) en redeneren/wiskundetaakken (GSM8K, MATH, GPQA).

Nauwkeurigheid: B3D-RWKV-7.2B bereikt een nauwkeurigheid die vergelijkbaar is met de RWKV-7-basislijn en andere diffusiemodellen van vergelijkbare schaal (bijv. LLaDA-8B, Dream-7B). Het presteert opvallend beter dan baselines op redeneertaken zoals ARC-Challenge en RACE, wat wordt toegeschreven aan de pseudo-bidirectionele perceptie die redeneren verbetert.
Doorvoer: Het model toont een gemiddelde snelheidswinst van 1,6× in decoding-doorvoer ten opzichte van de RWKV-7-basislijn over contextlengten variërend van 1K tot 512K tokens. Met aangepaste steekproefparameters is een snelheidswinst van 2,02× haalbaar met een lichte kwaliteitsafweging.
Wiskundig Redeneren: Het artikel merkt een lichte daling in prestaties op complexe wiskundetaakken (bijv. MATH) op ten opzichte van de causale baseline. De auteurs schrijven dit toe aan de aard van parallelle decoding, die worstelt met de sterk gestructureerde, stap-voor-stap verificatie die vereist is voor symbolische wiskundeproblemen waarbij geen gedeeltelijke punten worden toegekend.

Betekenis en Beweringen

Het artikel claimt een efficiënt pad te bieden om voorgeprogrammeerde causale taalmodellen om te vormen tot diffusietaalmodellen zonder architecturale wijzigingen. Door gebruik te maken van de triplet-block layout, slaagt B3D-RWKV erin de $O(L)$ inferentie-efficiëntie van lineaire tijd-modellen te verenigen met de parallelle decodingcapaciteiten van diffusie.

De auteurs positioneren het werk als een structurele oplossing voor de incompatibiliteit tussen causale en diffusieparadigma's. Ze erkennen beperkingen, waaronder de huidige validatie op één enkele ruggengraat (RWKV-7), de 3× fysieke sequentielengtekost tijdens training, en het gebruik van een relatief klein SFT-dataset zonder RL-uitlijning, wat kan bijdragen aan nauwkeurigheidsregressies op specifieke taken. De kernbijdrage blijft echter de demonstratie dat hoog-doorvoer, parallelle diffusiegeneratie haalbaar is op strikt causale, lineaire tijd-ruggengraten via datalayout in plaats van architecturale herontwikkeling.