💬 NLP

Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising

Dit artikel stelt Neuromorphic Diffusion Language Models (N-MDLMs) voor, die blokdiffusie en spike-gebaseerde ijverheid combineren om de inferentie-doorvoersnelheid en energie-efficiëntie aanzienlijk te verbeteren door het genereren van meerdere tokens per parametertoegang mogelijk te maken terwijl de effectieve berekening wordt verminderd door inactieve kanaaloverslag.

Oorspronkelijke auteurs: Dengyu Wu, Clement Ruah, Jiechen Chen, Bipin Rajendran, Osvaldo Simeone

Gepubliceerd 2026-07-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dengyu Wu, Clement Ruah, Jiechen Chen, Bipin Rajendran, Osvaldo Simeone

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van kunstmatige intelligentie voor als een enorme, razendsnelle bibliotheek waar een robot-bibliothecaris de taak heeft om een verhaal te schrijven, één woord tegelijk. In de huidige generatie van deze "Large Language Models" (LLM's) is de bibliothecaris ongelooflijk grondig, maar ook ongelooflijk onhandig. Om elk nieuw woord te schrijven, moet de bibliothecaris helemaal naar de achterkant van de bibliotheek rennen, de volledige encyclopedie met regels (de parameters van het model) erbij pakken, deze doorlezen en dan terugkeren naar de balie om slechts één woord te schrijven. Dit constante heen en weer rennen is uitputtend; het verbruikt een enorme hoeveelheid energie en kost veel tijd, waardoor de bibliothecaris traag en duur is in het onderhoud.

Wetenschappers hebben geprobeerd dit op te lossen door de bibliothecaris te leren om een hele paragraaf in één keer te schrijven in plaats van slechts één woord. Dit wordt "diffusie" genoemd, en het helpt omdat de bibliothecaris dan slechts één keer die lange reis naar de achterkant van de bibliotheek hoeft te maken om veel woorden te schrijven. Maar er is een addertje onder het gras: zelfs wanneer hij een paragraaf schrijft, moet de bibliothecaris nog steeds elke pagina van de encyclopedie lezen, zelfs de pagina's die niet nodig zijn voor die specifieke zin. Het is alsof je een heel kookboek leest om erachter te komen dat je alleen zout nodig hebt. Dit artikel introduceert een nieuwe, superintelligente bibliothecaris die niet alleen in paragrafen schrijft, maar ook leert om de pagina's van het boek te negeren die er niet toe doen. Door de "schrijf veel woorden tegelijk"-truc te combineren met de "sla de nutteloze pagina's over"-truc, belooft dit nieuwe systeem veel sneller en minder energie te verbruiken, zelfs op de krachtige computers die we vandaag de dag hebben.

Het Papier: Een Nieuw Soort Slimme Bibliothecaris

De onderzoekers achter deze studie, werkend met instellingen in Londen, pakken een groot hoofdpijndossier aan in de wereld van AI: hoe maken we deze gigantische taalmodellen sneller en goedkoper zonder hun intelligentie te verliezen. Ze stellen een nieuw systeem voor genaamd Neuromorphic Masked Diffusion Language Models, of kortweg N-MDLMs.

Om te begrijpen hoe N-MDLMs werken, kijken we naar de twee trucs die ze combineren. Ten eerste is er het Diffusie-gedeelte. Stel je voor dat je probeert een geheim woord te raden. In plaats van één letter tegelijk te raden, begin je met een blok lege ruimtes en vul je deze langzaam in, waarbij je je gok in verschillende rondes verfijnt. Hierdoor kan het model een heel blok woorden genereren (bijvoorbeeld 4 of 8 tegelijk) met dezelfde hoeveelheid "bibliotheekbezoek" (geheugentoegang) die een standaardmodel gebruikt voor slechts één woord. Dit is geweldig voor de snelheid, maar het heeft nog steeds een probleem: het model controleert nog steeds elk deel van zijn brein voor elk woord dat het genereert, zelfs als het grootste deel van dat brein stil is.

Hier komt de tweede truc, Neuromorphic Sparsity, in beeld. Denk aan een standaardcomputer als een gloeilamp die altijd aan staat en elektriciteit verbruikt, of hij nu een kamer verlicht of gewoon in het donker staat. Een "neuromorf" systeem is meer als een lamp met een bewegingssensor. Het gaat alleen aan (vuurt een "spike" af) wanneer er daadwerkelijk iets gebeurt. In de N-MDLM doet het model alleen het zware werk van het lezen en rekenen wanneer dat absoluut noodzakelijk is. Als een deel van het model niet actief is, blijft het stil, wat energie bespaart en onnodig werk overslaat.

De auteurs hebben een wiskundig model gebouwd om te voorspellen hoe goed deze combinatie zou werken. Ze hebben een "roofline"-kaart gemaakt — een manier om te meten of een computer beperkt wordt door hoe snel hij kan denken (compute-bound) of hoe snel hij gegevens uit het geheugen kan ophalen (memory-bound). Hun analyse suggereert dat hoewel de "schrijf veel woorden tegelijk"-truc goed werkt op oudere computers die traag zijn in het ophalen van gegevens, dit niet veel helpt op moderne, supersnelle computers die beperkt worden door hoe snel ze kunnen denken. Echter, wanneer je de "bewegingssensor"-schaarsheid (sparsity) toevoegt, verandert dat de spelregels. Het vermindert de hoeveelheid denkwerk zo sterk dat het nieuwe model, zelfs op deze moderne, snelle computers, ongelooflijk efficiënt wordt.

Wat Ze Hebben Gevonden

Om hun ideeën te testen, hebben de onderzoekers geen volledig nieuw robotbrein vanaf nul opgebouwd. In plaats daarvan hebben ze een bestaand, goed getraind model dat al Duits naar Engels kan vertalen, omgezet naar hun nieuwe N-MDLM-stijl. Ze hebben gesimuleerd hoe dit nieuwe model draait op een krachtige grafische kaart (een NVIDIA DGX Spark) om te zien hoe het zou presteren.

De resultaten waren veelbelovend. Wanneer ze simulaties draaiden op een systeem dat een moderne, hogesnelheid-computerchip nabootst (die ze een "in-chip memory system" noemen), werd het standaard "veel woorden tegelijk schrijven"-model (MDLM) niet veel sneller dan het oude "één woord tegelijk"-model. Het zat vast omdat het te veel aan het denken was. Maar de nieuwe N-MDLM, met zijn vermogen om inactieve delen over te slaan, schoot er met kop en schouders bovenuit.

In deze simulaties slaagde de N-MDLM erin om tokens (woorden) veel sneller te genereren en gebruikte het aanzienlijk minder energie per woord dan de standaardmodellen. De onderzoekers vonden een "sweet spot": als ze de blokken woorden te groot maakten, raakte het systeem vertraagd door de enorme hoeveelheid denkwerk die vereist was. Maar als ze de blokken op een matige grootte hielden (zoals 4 woorden) en de "schaarsheid" (sparsity) verhoogden (het model selectiever maken in waar het op let), kregen ze het beste van beide werelden.

Specifiek observeerden ze dat door een parameter genaamd K te gebruiken om te controleren hoe schaars het model is, ze de hoogste energie-efficiëntie konden bereiken wanneer K = 1 (de meest schaarse instelling). In deze modus bespaarde het model energie door alleen zijn "neuronen" te laten vuren wanneer dat nodig was. De afruil was een kleine, bijna onzichtbare daling in de vertaalkwaliteit (gemeten met een score genaamd BLEU), maar de winst in snelheid en energie was aanzienlijk.

De Kern van het Verhaal

Het artikel suggereert dat door de mogelijkheid om in blokken te schrijven te mengen met het vermogen om nutteloze informatie te negeren, we AI-modellen kunnen maken die niet alleen sneller, maar ook veel groener zijn. De auteurs merken er voorzichtig bij op dat deze resultaten voortkomen uit simulaties op een standaard grafische kaart, en niet op een speciale neuromorfische chip (die voor deze specifieke taak nog niet bestaat). Echter, de wiskunde en de simulatiegegevens wijzen er sterk op dat deze aanpak de energie- en snelheids-bottlenecks kan oplossen die momenteel de volgende generatie AI tegenhouden. Het is een slimme manier om tegen de computer te zeggen: "Werk niet alleen harder; werk slimmer door te weten wanneer je een pauze moet nemen."

Technische Samenvatting: Neuromorfische Diffusie-Taalmodellen (N-MDLM's)

1. Probleemstelling

Autoregressieve (AR) Large Language Models (LLM's) lijden aan inherente inefficiënties tijdens de inferentie. Omdat AR-modellen één token per parametertoegang genereren, vertonen ze een lage operationele intensiteit en een hoog energieverbruik, met name in geheugen-gebonden settings. Hoewel Masked Diffusion Language Models (MDLM's) dit aanpakken door meerdere tokens per parametertoegang te genereren (waardoor de geheugenkosten worden geamortiseerd), vertrouwen zij nog steeds op standaard transformer-architecturen voor de denoising-stappen. Bijgevolg blijven MDLM's beperkt door energie-efficiëntie en kunnen zij de doorvoer niet verbeteren ten opzichte van AR-LLM's op moderne platforms met substantiële in-chip geheugens (compute-gebonden regimes), waar de bottleneck verschuift van geheugentransport naar computationele snelheid.

2. Methodologie

Het artikel stelt Neuromorfische Masked Diffusion Language Models (N-MDLM's) voor, die blokdiffusie integreren met spike-gebaseerde neuromorfische berekeningen om gezamenlijk de doorvoer en energie-efficiëntie te verbeteren.

Architectuur: De N-MDLM volgt een encoder-decoder blokdiffusie-paradigma. De encoder verwerkt de context om latente representaties te produceren, terwijl de decoder iteratief een blok gemaskeerde tokens verfijnt via $S$ denoising-stappen. In tegenstelling tot AR-modellen die één token tegelijk genereren, genereert de decoder een blok van $B$ tokens parallel.
Neuromorfische Conversie: Het model wordt geconstrueerd door een vooraf getraind conventioneel MDLM te converteren met behulp van een kwantiseringsmethodologie. Dit omvat:
- Kwantisering: Activaties worden gekwantiseerd naar integer-waarden met behulp van een adaptieve stapgrootte afgeleid van de gemiddelde magnitude van de activatievector.
- Spike-encoding: Gekwantiseerde integers worden gerepresenteerd via bitwise codering met ternaire spikes ( $\{-1, 0, 1\}$ over $T$ tijdstappen.
- Integrate-and-Fire (IF) Dynamiek: De lineaire transformaties worden benaderd met gemodificeerde IF-neuronen. De berekening is event-gestuurd: synaptische operaties worden alleen getriggerd wanneer spikes voorkomen. Dit introduceert dynamische sparsity, waarbij inactieve kanalen (geen spikes) noch berekeningen noch geheugentoegang vereisen.
Analytisch Kader: De auteurs ontwikkelen een op token-niveau gebaseerd, roofline-geïnspireerd model om de synergetische effecten van blokgrootte ( $B$ $B$ ) en sparsity ( $\sigma$ $σ$ , gecontroleerd door hyperparameter $K$ $K$ ) te analyseren. Dit kader schat het volgende in:
- Computationele Last: Verminderd door sparsity, aangezien alleen actieve spikes bijdragen aan operaties.
- Geheugentransport-last: Verminderd omdat gewichtsrijen alleen worden geladen als er ten minste één spike voorkomt in het corresponderende kanaal.
- Doorvoer: Gemodelleerd als het maximum van de compute-gebonden en memory-gebonden latenties, wat de analyse mogelijk maakt van hoe $B$ en $\sigma$ het systeem tussen deze regimes verschuiven.

3. Belangrijkste Bijdragen

Nieuwe Modelklasse: Introductie van N-MDLM's, verkregen door conventionele MDLM's te converteren via kwantisering en IF spiking-modellen, wat parallelle blokgeneratie met event-gestuurde sparsity mogelijk maakt.
Analytisch Kader: Ontwikkeling van een theoretisch model dat de decoding-efficiëntie karakteriseert als een functie van blokgrootte en activatie-sparsity. Dit model legt de gezamenlijke impact vast van blok-parallelle generatie en event-gestuurde computation op zowel de berekening als de geheugentoegang.
Experimentele Validatie: Validatie op de WMT 14 DE-EN vertaaltaak, waarbij wordt aangetoond dat N-MDLM's superieure token-doorvoer en energie-efficiëntie bereiken vergeleken met AR-LLM's en conventionele MDLM's, terwijl ze competitieve taakprestaties (BLEU-scores) behouden.

4. Resultaten

Experimenten werden uitgevoerd op een NVIDIA DGX Spark GPU om zowel Off-Chip Memory Systems (OCMS, representatief voor standaard GPU's) als In-Chip Memory Systems (ICMS, representatief voor neuromorfische hardware) te simuleren.

Doorvoer in Compute-Gebonden Regimes: Op ICMS (compute-gebonden) vertoonden conventionele MDLM's geen doorvoerwinst ten opzichte van AR-LLM's omdat de bottleneck de computationele snelheid is, niet de geheugentoegang. Echter, N-MDLM's behaalden substantiële verbeteringen in doorvoer. De door spikes geïnduceerde sparsity verminderde de effectieve computationele last, waardoor het systeem zelfs in de compute-gebonden fase de parallelliteit van blokdiffusie kon benutten.
Energie-efficiëntie: N-MDLM's vertoonden significante reducties in energie per token. Aangezien geheugentoegang doorgaans energie-intensiever is dan computation, dreven de reductie in parameterverkeer (door sparsity) en de amortisatie van geheugentoegang (door blokdiffusie) deze winsten aan. De laagste energieconsumptie werd waargenomen bij de hoogste sparsity-niveaus ( $K=1$ ).
Trade-offs: De resultaten benadrukken een trade-off tussen blokgrootte $B$ en sparsity. Het vergroten van $B$ verbetert de doorvoer in memory-gebonden systemen totdat het systeem compute-gebonden wordt. In het compute-gebonden regime wordt sparsity de primaire drijfveer voor verdere doorvoerwinsten.
Nauwkeurigheid: De efficiëntiewinsten werden behaald met slechts een lichte daling in BLEU-scores vergeleken met de baseline-modellen, wat aangeeft dat de vertaalkwaliteit competitief blijft.

5. Betekenis en Claims

Het artikel claimt dat N-MDLM's een synergetische oplossing bieden voor de efficiëntie-bottlenecks van moderne LLM-inferentie. Door blokdiffusie (om geheugentransport-beperkingen te verzachten) te combineren met spike-geïnduceerde sparsity (om computationele beperkingen te verzachten), maakt het voorgestelde framework efficiënte inferentie mogelijk, zelfs op hardware waar standaard diffusiemodellen de autoregressieve modellen niet overtreffen.

De auteurs benadrukken dat deze aanpak bijzonder significant is voor compute-gebonden platforms (zoals die met een hoge in-chip geheugenbandbreedte), waar traditionele MDLM's beperkte verbetering bieden. Het werk suggereert dat neuromorfische principes de operationele regime van diffusiemodellen effectief kunnen verschuiven, waardoor ze levensvatbaar worden voor energie-beperkte en latency-gevoelige toepassingen. Toekomstig werk is geïdentificeerd als gericht op validatie op daadwerkelijke neuromorfische hardware en het ontwikkelen van adaptieve strategieën om blokgrootte en sparsity gezamenlijk te optimaliseren onder variërende systeembeperkingen.