🤖 AI

COREY: A Prototype Study of Entropy-Guided Operator Fusion with Hadamard Reparameterization for Selective State Space Models

Het paper introduceert COREY, een prototypeframework dat geheugenbewuste operatorfusie combineert met Hadamard-reparameterisatie en entropie-gestuurde planning om de prestaties en het geheugentransport van Selective State Space Models te optimaliseren.

Oorspronkelijke auteurs: Bo Ma, Jinsong Wu, Hongjiang Wei, Weiqi Yan

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bo Ma, Jinsong Wu, Hongjiang Wei, Weiqi Yan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🚀 COREY: De Slimme Verkeersregelaar voor AI

Stel je voor dat een kunstmatige intelligentie (zoals een slimme chatbot) een heel lang verhaal moet lezen of schrijven. Om dit te doen, gebruikt de computer een speciaal type hersenmodel genaamd een State Space Model (SSM). Dit model is geweldig omdat het snel is, zelfs bij heel lange teksten.

Maar er is een probleem: terwijl de computer "denkt", moet het constant informatie opslaan en ophalen uit zijn geheugen. Het is alsof een kok die een groot diner bereidt, constant de koelkast in en uit moet rennen om ingrediënten te halen, in plaats van ze op het aanrecht te houden. Dit kost veel tijd en energie.

Het paper introduceert COREY, een nieuwe manier om dit proces te versnellen. Het doet dit met twee slimme trucjes:

1. De "Groepschef" (Operator Fusion)

Normaal gesproken behandelt de computer elke stap in het rekenproces als een losse taak. Eerst doet hij stap A, slaat hij het resultaat op, dan stap B, slaat hij dat op, enzovoort.

Het probleem: Dit is als een postbode die elke brief apart bezorgt in plaats van een heel pakket in één keer. Er is veel "verkeersdrukte" op de weg (het geheugen).
De oplossing van COREY: COREY groepeert deze taken. Het zegt: "Oké, stap A, B en C horen bij elkaar, laten we ze in één keer doen zonder tussentijds op te slaan." Dit noemen ze Operator Fusion.
De uitdaging: Als je te veel stappen in één groep doet, wordt de groep te zwaar en crasht het systeem. Als je te weinig doet, ben je weer te traag. Waar moet je de grens trekken?

2. De "Sfeer-meter" (Entropy)

Hier komt de genialiteit van COREY naar voren. In plaats van een vaste regel te gebruiken (bijvoorbeeld: "doe altijd 3 stappen samen"), kijkt COREY naar de sfeer van de data.

De metafoor: Stel je voor dat de data een feestje is. Soms is het feestje chaotisch en druk (veel verschillende geluiden, iedereen praat tegelijk). Soms is het stil en voorspelbaar (iedereen luistert naar één spreker).
Entropy: Dit is een maatstaf voor die "chaos" of "onvoorspelbaarheid".
- Hoge Entropy (Druk feestje): De data is verspreid. Hier kan COREY veilig grote groepen taken samenvoegen, omdat het risico op fouten klein is.
- Lage Entropy (Stille kamer): De data is heel specifiek en voorspelbaar. Hier moet COREY voorzichtig zijn en kleinere groepen maken om geen fouten te maken.
Het resultaat: COREY past zijn strategie dynamisch aan, net als een slimme verkeersregelaar die de groene golven aanpast op basis van hoe druk het op de weg is.

3. De "Draaiende Spiegel" (Hadamard Reparameterization)

Soms heeft de data "uitlopers": een paar waarden zijn extreem groot, terwijl de rest klein is. Dit is als een feestje waar één persoon zo luid schreeuwt dat niemand anders meer gehoord wordt. Dit maakt het moeilijk om de computer te versnellen (vooral als je probeert om de rekenkracht te "knijpen" om energie te besparen).

De truc: COREY gebruikt een wiskundige techniek (Hadamard-transformatie) die werkt als een draaiende spiegel.
Het effect: Door de data te draaien, wordt de "luid schreeuwer" minder luid en worden de andere geluiden iets harder. De energie wordt eerlijker verdeeld over alle deelnemers.
Waarom helpt dit? Omdat de uiterste waarden minder extreem zijn, kan de computer de taken veiliger samenvoegen (fusion) zonder dat de rekenresultaten "kapot" gaan. Het maakt het feestje rustiger en voorspelbaarder.

🏆 Wat levert dit op?

In hun proefopstelling (een prototype) hebben de onderzoekers getoond dat COREY:

Sneller is: De AI moet minder vaak naar het geheugen rennen, dus het antwoord komt sneller.
Efficiënter is: Er wordt minder energie verbruikt per woord dat wordt gegenereerd.
Stabiel blijft: Zelfs als ze proberen om de rekenkracht te verminderen (om het goedkoper te maken), blijft de kwaliteit van het antwoord goed, dankzij die "draaiende spiegel".

🎯 Conclusie voor de leek

COREY is als een super-slimme manager voor een fabriek.

De oude manier was: "Doe altijd precies 3 taken per beurt, ongeacht wat er gebeurt."
De COREY-methode is: "Kijk naar de chaos in de fabriek. Is het druk? Dan doen we 5 taken tegelijk. Is het rustig? Dan doen we 2. En als er een machine te hard piept (uitlopers), draaien we de machines even om zodat ze rustiger werken."

Hierdoor werkt de fabriek (de AI) sneller, goedkoper en betrouwbaarder, vooral als er heel veel werk (lange teksten) moet worden verwerkt. Het paper is nog een prototype, maar het bewijst dat deze aanpak veelbelovend is voor de toekomst van snelle en slimme AI.

1. Het Probleem

Selectieve State Space Models (SSM's), zoals de Mamba-familie, bieden lineaire complexiteit ( $O(L)$ ) voor sequentiemodeling, wat ze aantrekkelijk maakt voor lange contexten en streaming-workloads. Echter, de praktische implementatie op hardware (zoals GPU's) stuit op twee belangrijke beperkingen:

Geheugenbandbreedte als bottleneck: Selectieve state-updates worden vaak uitgevoerd als meerdere gescheiden kernels (puntsgewijze bewerkingen en reducties). Dit leidt tot frequente toegang tot het globale geheugen voor tussenliggende tensor-materiealisatie. Hierdoor wordt de kritieke pad geheugen-gebonden (memory-bound) in plaats van reken-gebonden, wat de efficiëntie beperkt.
Activatie-outliers en kwantisatie: SSM-interne activaties vertonen vaak zware staarten (heavy-tailed statistics), wat leidt tot extreme uitbijters (outliers). Deze destabiliseren lage-bit kwantisatie (bijv. W8A8, W4A8) en beperken de diepte van operator-fusie, omdat numerieke gevoeligheid toeneemt bij het samenvoegen van operatoren.

Bestaande oplossingen behandelen operator-fusie en outlier-onderdrukking vaak als gescheiden problemen, zonder de onderlinge relatie te benutten.

2. Methodologie: COREY

COREY is een prototype-framework dat twee technieken combineert om de bovenstaande problemen aan te pakken: entropy-gestuurde operator-fusie en Hadamard-herparameterisatie.

A. Entropy-Gestuurde Fusie (Entropy-Guided Operator Fusion)

In plaats van statische fusie-regels of vaste dieptes, gebruikt COREY de Shannon-entropie van activatietensors als een runtime-schedulingsstatistiek.

Schattingsmethode: De entropie wordt geschat met behulp van vaste histogrammen (binned empirical probabilities).
Fusie-score: Voor een kandidaat-fusiegebied $R$ wordt een score berekend:
$S(R) = \alpha \hat{H}(R) + \beta \widehat{AI}(R) - \gamma \hat{M}(R)$
Waarbij $\hat{H}$ de genormaliseerde entropie is, $\widehat{AI}$ de arithmetische intensiteit, en $\hat{M}$ de geschatte geheugentrafiek.
Dynamische grenzen: Als de score een drempelwaarde ( $\tau$ ) overschrijdt en hardware-beperkingen (registers, gedeeld geheugen) toestaan, worden operatoren samengevoegd.
Tiling: Entropie modereert ook de tile-grootte. Hoge entropie (gelijkmatige verdeling) staat grotere tiles toe voor betere data-reuse, terwijl lage entropie kleinere tiles vereist om registerdruk te beperken en over-fusie te voorkomen.

B. Hadamard-herparameterisatie (Hadamard Reparameterization)

Om de zware staarten van activaties te reguleren, wordt een genormaliseerde Hadamard-transformatie ( $H$ ) geïntegreerd in de lineaire projecties.

Transformatie: In plaats van $y = Wx$, wordt de operatie herschreven als $y = W' \hat{x}$ , waarbij $\hat{x} = Hx$ en $W' = WH^\top$ .
Fusie: De Hadamard-transformatie, de projectie en aangrenzende elementsgewijze operatoren worden in één enkele kernel gefuseerd om extra geheugenpasses te vermijden.
Effect: Deze rotatie verspreidt de energie van zware staarten over de kanalen, verhoogt de empirische entropie en vermindert de concentratie van piek-coördinaten. Dit creëert een "veiligere" zone voor agressieve fusie en lage-precisie uitvoering.

3. Belangrijkste Bijdragen

Entropie-gedreven criterium: Introductie van een dynamisch criterium voor het selecteren van fusiegrenzen in SSM-kernels, gebaseerd op de statistische verdeling van activaties in plaats van statische grafen.
Gefuseerde Hadamard-laag: Ontwerp van een laag die voorwaartse en inverse transformaties in projectieblokken integreert, waarbij functionele equivalentie wordt behouden maar de activatiedistributie wordt gladgestreken.
Theoretisch verband: Een expliciete koppeling tussen entropiewinst en outlier-onderdrukking. Het paper toont aan dat Hadamard-mixing de piek-magnitude contracteert (theorema over variance preservation en $\ell_\infty$ -bound), wat direct relevant is voor clipping-limited kwantisatie.
Gereproduceerbaar prototype: Een controleerde studie die de interactie tussen scheduling, smoothing en geheugentrafiek isoleert, met duidelijke scheiding tussen prototype-resultaten en productiekwaliteit.

4. Resultaten

De evaluatie werd uitgevoerd als een gecontroleerd prototype (geen volledige Triton-kernel-implementatie voor productie) op synthetische en zware-tail activaties, met validatie op bestaande Mamba-checkpoints.

Performance (Latentie en Throughput): COREY toont consistent lagere latentie en hogere throughput vergeleken met "No Fusion" en "Static Fusion" baselines. De verbeteringen nemen toe met de sequentielengte (van 1k tot 64k tokens), wat bevestigt dat de methode de geheugen-gebonden bottlenecks effectief aanpakt.
- Voorbeeld: Bij ultra-lange contexten (64k) steeg de throughput van ~751 tok/s (Static Fusion) naar ~840 tok/s (COREY) in FP16.
Geheugentrafiek: Er is een significante reductie in DRAM-gebruik per token (bijv. van 123 B/token naar 90,6 B/token in de ultra-lange bucket), wat de claim ondersteunt dat de methode werkt door materiaaliseringskosten te verlagen.
Kwantisatie-stabiliteit: In lage-bit instellingen (W8A8, W4A8) resulteert de Hadamard-herparameterisatie in een lagere "diagnostische proxy" voor kwaliteitsdaling. Dit suggereert dat entropie-bewuste grenzen over-fusie in risicovolle gebieden voorkomen.
Validatie: De resultaten op checkpoints (Mamba-370M, Mamba-1.4B) op LongBench en WikiText-103 tonen aan dat de evaluatie-pijplijn correct werkt en dat de kwaliteit platform-onafhankelijk is, hoewel de paper expliciet vermeldt dat de huidige resultaten nog geen volledige "deployment-grade" prestaties claimen.

5. Betekenis en Toekomst

Dit werk biedt een nieuw perspectief op het optimaliseren van SSM's door systeemoptimalisatie (fusie/scheduling) te koppelen aan distributie-modellering (entropie/outliers).

Significantie: Het bewijst dat het begrijpen van de geometrie van activaties (via entropie) direct kan worden gebruikt om hardware-efficiëntie te maximaliseren. Het biedt een theoretische basis voor waarom Hadamard-rotaties niet alleen nuttig zijn voor kwantisatie, maar ook voor het mogelijk maken van diepere kernel-fusie.
Beperkingen: De huidige resultaten zijn gebaseerd op een prototype-scheduler in Python/PyTorch en niet op geoptimaliseerde GPU-kernels. De "low-bit" resultaten zijn diagnostisch en niet gebaseerd op volledige perplexiteitsmetingen op echte taken.
Toekomst: De volgende stap is de implementatie van native Triton-kernels met deze logica, uitbreiding naar bredere benchmarksets, en het testen op echte hardware met volledige kwantisatie-pipelines.

Samenvattend introduceert COREY een gestructureerde, niet-heuristische aanpak voor het optimaliseren van SSM-inferentie, waarbij entropie fungeert als de brug tussen activatie-geometrie en systeem-efficiëntie.