🤖 machine learning

MoECa: Aligning Feature Reuse with Expert Decomposition in Diffusion Transformers

Het artikel stelt MoECa voor, een fijnmazig caching-framework dat Diffusion Transformers versnelt met Mixture-of-Experts door feature-hergebruik uit te voeren op het niveau van de expert-tak in plaats van op het niveau van de token, waarbij tot 2,93× versnelling wordt bereikt terwijl de kwaliteit van de generatie behouden blijft.

Oorspronkelijke auteurs: Maoliang Li, Haojing Chen, Jiayu Chen, Zihao Zheng, Xinhao Sun, Hailong Zou, Xiang Chen

Gepubliceerd 2026-08-05

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maoliang Li, Haojing Chen, Jiayu Chen, Zihao Zheng, Xinhao Sun, Hailong Zou, Xiang Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterwerk probeert te schilderen, maar in plaats van één penseel te gebruiken, heb je een magisch team van honderden kleine kunstenaars, die elk gespecialiseerd zijn in een verschillende stijl—sommigen zijn meesters in textuur, anderen in kleur, en weer anderen in lichtinval. Dit is hoe moderne AI-beeldgeneratoren, bekend als Diffusion Transformers, werken. Ze beginnen met een scherm vol statische ruis en "ontruisen" dit stap voor stap, totdat er een helder beeld verschijnt. Om deze afbeeldingen er geweldig uit te laten zien, gebruikt de AI een slimme truc genaamd "Mixture-of-Experts" (MoE). Denk hierbij aan een slimme manager die, voor elk klein deel van de afbeelding, alleen het specifieke team van kunstenaars wakker maakt dat het best geschikt is voor die klus, in plaats van iedereen tegelijk te vragen te werken. Dit bespaart energie en zorgt ervoor dat de AI ongelooflijk slim kan zijn.

Er zit echter een addertje onder het gras. Het creëren van een afbeelding kost honderden van deze "ontruisingsstappen", en de AI moet voor elke stap een enorme hoeveelheid wiskunde uitvoeren. Het is alsof je het hele canvas telkens opnieuw moet schilderen wanneer je een nieuwe laag detail toevoegt. Om dit te versnellen, hebben wetenschappers een techniek geprobeerd genaamd "feature caching". Dit is alsof je zegt: "Hé, dit deel van het schilderij is sinds de vorige stap niet veel veranderd, dus laten we de oude verf gewoon hergebruiken in plaats van nieuwe kleuren te mengen." Het probleem was dat de oude manier van doen te lomp was. Het behandelde het hele kleine deel van de afbeelding als één enkele eenheid. Als zelfs één klein detail in dat deel een nieuwe laag verf nodig had, dwong de oude methode de AI om het gehele deel opnieuw te schilderen, wat tijd verspilde. Als de methode te conservatief was, hergebruikte de AI het hele deel zelfs wanneer delen ervan wel veranderd waren, wat leidde tot een wazige bende.

Dit is waar een nieuwe studie genaamd MoECa om de hoek komt kijken. De onderzoekers realiseerden zich dat omdat de AI gespecialiseerde "expert"-kunstenaars gebruikt, de caching-strategie net zo gespecialiseerd moet zijn. In plaats van een deel van de afbeelding als één blok te behandelen, kijkt MoECa ín het blok en ziet de individuele expert-teams die eraan werken. Ze ontdekten dat terwijl één expert misschien druk bezig is met het veranderen van de textuur van een blad, een andere expert die aan hetzelfde deel werkt, het perfect vindt om het oude werk aan de lucht te hergebruiken. Door de afbeelding af te breken tot op het niveau van deze individuele expert-takken, kan MoECa precies beslissen welke delen ze opnieuw moeten schilderen en welke ze kunnen hergebruiken.

Het artikel laat zien dat deze "fijnmazige" aanpak een gamechanger is. Door de caching-strategie af te stemmen op hoe de experts daadwerkelijk werken, kan de AI redundante berekeningen overslaan zonder kwaliteitsverlies. In hun tests maakte de nieuwe methode het generatieproces van afbeeldingen tot wel 2,93 keer sneller, terwijl de afbeeldingen net zo scherp en gedetailleerd bleven als de trage, originele versie. Het is alsof je een upgrade krijgt van een bouwploeg die het hele huis overschildert telkens wanneer er een raam gerepareerd moet worden, naar een team dat alleen dat specifieke raam schildert dat nodig is, en de rest van het huis onaangeroerd laat.

Het Probleem: De "Alles-of-Niets"-fout

Om te begrijpen waarom MoECa nodig is, moeten we kijken naar hoe deze AI-modellen denken. In het verleden, wanneer men probeerde de beeldgeneratie te versnellen, gebruikten onderzoekers een "token-level" caching-methode. Stel je een token voor als een klein vierkantje op je canvas. De oude regel was simpel: "Als dit vierkantje zelfs maar een klein beetje veranderde, schilder het hele vierkantje opnieuw. Als het niet veranderde, laat het hele vierkantje dan met rust."

Maar in modellen met "Mixture-of-Experts" is een enkel vierkantje niet zomaar één ding; het is een samenwerking tussen verschillende "expert"-takken. De analyse in het artikel onthulde een fout in de oude regel: deze experts veranderen niet allemaal tegelijkertijd. Eén expert werkt misschien aan de ruwe textuur van een boomschors, die snel verandert terwijl de afbeelding vorm krijgt. Een andere expert op hetzelfde vierkantje werkt misschien aan de gladde groene bladeren, die heel stabiel blijven.

Als je de oude "alles-of-niets"-regel gebruikt, sta je voor een dilemma. Als je besluit het hele vierkantje opnieuw te schilderen omdat de schors veranderde, verspil je tijd aan het opnieuw schilderen van de stabiele bladeren. Als je besluit het hele vierkantje te hergebruiken om tijd te besparen, eindig je met wazige, verkeerde bladeren omdat de schors niet is bijgewerkt. Het artikel stelt dat deze mismatch tussen de "gehele vierkant"-caching en de "gesplitste expert"-realiteit de belangrijkste reden is waarom huidige versnellingsmethoden niet zo goed werken als ze zouden kunnen.

De Oplossing: MoECa's "Expert-Niveau" Strategie

De auteurs stellen MoECa (Mixture-of-Experts Caching) voor, een systeem dat de regels van het spel verandert. In plaats van te vragen: "Moeten we dit hele vierkantje opnieuw schilderen?", vra vraagt MoECa: "Moeten we het werk van deze specifieke expert op dit vierkantje opnieuw schilderen?"

Zo werkt MoECa in de praktijk:

Branch-Level Caching: Het behandelt elke expert-tak als zijn eigen kleine eenheid. Het onthoudt de output van de "schors-expert" en de "blad-expert" apart van elkaar.
Slimme Matching: Wanneer de AI naar de volgende stap gaat, controleert MoECa welke experts actief zijn. Als de "schors-expert" nog steeds dezelfde is als voorheen, controleert het of het werk van deze expert genoeg is veranderd om ertoe te doen. Als de "blad-expert" ook hetzelfde is, wordt die ook gecontroleerd.
Adaptieve Controle: Het systeem is slim genoeg om te weten dat sommige experts gevoeliger zijn dan andere. Bijvoorbeeld, een expert die zich richt op fijne details (zoals de rand van een koffiepot) is zeer gevoelig voor veranderingen. MoECa geeft deze experts een lagere "reuse threshold" (hergebruik-drempel), wat betekent dat het waarschijnlijker is dat ze opnieuw worden geschilderd om de kwaliteit te waarborgen. Een expert die werkt aan een wazige achtergrond krijgt een hogere drempel, waardoor het werk vaker kan worden hergebruikt.
Gesynchroniseerde Updates: Een cruciaal onderdeel van MoECa is ervoor zorgen dat het "attention"-gedeelte van de AI (dat naar de hele afbeelding kijkt om context te begrijpen) synchroon blijft met het "expert"-gedeelte. Als de experts wel updaten maar de attention-sectie niet, raakt de afbeelding in de war. MoECa zorgt ervoor dat ze samen updaten, zodat de AI niet "dronken" wordt van oude informatie.

De Resultaten: Sneller Zonder de Wazigheid

De onderzoekers hebben MoECa getest op verschillende populaire AI-modellen, waaronder de DSMoE-familie en DiT-MoE. De resultaten waren indrukwekkend.

Snelheid: In de beste gevallen maakte MoECa de beeldgeneratie 2,93 keer sneller (specifiek op het HiDream-I1 model voor text-to-image taken). Op andere modellen behaalde het snelheidsverbeteringen van ongeveer 2,14x tot 2,83x.
Kwaliteit: Ondanks de enorme snelheidstoename bleef de kwaliteit van de afbeeldingen nagenoeg identiek aan de originele, trage methode. Het artikel mat dit met metrieken zoals FID (die meet hoe realistisch de afbeeldingen eruitzien) en PSNR (die meet hoe dicht de versnelde afbeelding bij het origineel ligt). Zo behaalde MoECa op het DSMoE-L-E48 model bijvoorbeeld een versnelling van 2,83x terwijl de FID-score op 9,54 bleef, wat bijna gelijk is aan de 9,20 van het originele model.
Vergelijking: Wanneer het werd vergeleken met andere versnellingsmethoden zoals ToCa, DuCa en TeaCache, produceerde MoECa consequent de snelste resultaten met de laagste computationele kosten (FLOPs), terwijl de beeldkwaliteit gelijk bleef of zelfs verbeterde.

Het artikel onderzocht ook waarom dit zo goed werkt. Ze ontdekten dat in modellen met meer experts (zoals de E48-configuratie met 48 experts), er meer mogelijkheden zijn om "stabiele" takken te vinden om te hergebruiken. Dit is waarom de E48-modellen iets hogere versnellingen lieten zien (tot 2,83x) vergeleken met modellen met minder experts. Hoe gespecialiseerder het team, hoe meer je kunt kiezen wie er werkt en wie er rust.

Wat dit betekent voor de toekomst

Het artikel concludeert dat de sleutel tot het versnellen van deze krachtige AI-modellen niet alleen is om ze algemeen sneller te laten werken, maar om te begrijpen hoe ze intern werken. Door te beseffen dat de "experts" binnen de AI een ander ritme en andere behoeften hebben, kunnen we slimmere caching-systemen bouwen die die verschillen respecteren.

MoECa vereist geen hertraining van de AI-modellen; het werkt met de modellen zoals ze zijn, door simpelweg de manier waarop ze informatie verwerken tijdens het creëren van de afbeelding te veranderen. Hoewel de huidige studie zich richt op beeldgeneratie op een enkele computer, suggereren de auteurs dat deze "fijnmazige" aanpak de sleutel kan zijn tot het ontsluiten van nog snellere generatie voor video en complexere taken in de toekomst. Voor nu bewijst het dat de snelste manier om een meesterwerk te schilderen soms is om de juiste kunstenaars te laten rusten terwijl de anderen doorgaan met werken.

Technische Samenvatting: MoECa – Afstemming van Feature Reuse op Expert Decompositie in Diffusion Transformers

1. Probleemstelling

Diffusion Transformers (DiTs) zijn het dominante paradigma geworden voor visuele generatie, en de integratie van Mixture-of-Experts (MoE) architecturen (DiT-MoE) heeft de modelcapaciteit verder versterkt door middel van sparse activatie. Echter, de efficiëntie tijdens de inferentie blijft een knelpunt vanwege het iteratieve denoising-proces. Hoewel feature caching is ontstaan als een primaire versnellingsstrategie door tussenliggende features over tijdstappen heen te hergebruiken, opereren bestaande methoden primair op het token-niveau.

De auteurs identificeren een fundamentele structurele mismatch bij het toepassen van token-level caching op DiT-MoE modellen:

Interne Decompositie: In DiT-MoE wordt de feature-update van een enkel token gedecomponeerd in meerdere gerouteerde expert-branches.
Heterogeniteit: Verschillende expert-branches binnen hetzelfde token vertonen verschillende temporele evolutiepatronen. Sommige branches blijven stabiel over tijdstappen, terwijl andere snel veranderen.
Suboptimaliteit: Het behandelen van het gehele token als een atomaire caching-unit dwingt een "alles-of-niets"-beslissing af. Dit leidt ofwel tot onnodige herberekening van stabiele branches (redundantie), ofwel tot excessief hergebruik van snel veranderende branches (kwaliteitsdegradatie).

Consequentelijk is de granulariteit van bestaande caching-mechanismen niet afgestemd op de intrinsieke feature-evolutiestructuur van MoE-modellen.

2. Methodologie: MoECa

Om deze mismatch aan te pakken, stellen de auteurs MoECa voor, een fijnmazig, feature- en structuurbewust caching-framework dat de caching-unit verschuift van het token-niveau naar het expert-branch-niveau.

2.1 Expert Cache Architectuur

MoECa houdt een cache bij van tussenliggende staten voor elke expert-branch in plaats van het hele token.

Staat-definitie: Voor een token $i$ op tijdstap $t$ volgt het systeem de huidige routing-resultaten (geselecteerde experts en gewichten) en vergelijkt deze met de gecachte referentietoestand van de laatste refresh-stap $t_0$ .
Partitionering: De huidige branches worden verdeeld in twee sets:
1. Herberekeningsset ( $R_i^t$ ): Branches die een frisse berekening vereisen.
2. Hergebruikset: Branches die veilig gecachte features kunnen hergebruiken.
Synchronisatie: Om representatie-drift te voorkomen, synchroniseert MoECa de updates tussen het MoE-pad en het Attention-pad. Als een branch wordt her berekend, wordt de attention-output in dezelfde stap ook bijgewerkt; anders hergebruiken beide paden hun gecachte staten.

2.2 Expert-Level Hergebruiksbeslissing

De beslissing om een specifieke branch te hergebruiken of opnieuw te berekenen is gebaseerd op een branch-wise scoring mechanisme dat drie signalen evalueert:

Routing Gewicht ( $w$ ): De huidige bijdrage van de branch aan de token-representatie.
Temporele Drift ( $\Delta$ ): De verandering in routinggewicht tussen de huidige stap en de gecachte stap.
Historische Bijdrage ( $o$ ): De relatieve grootte van de output-feature van de branch in de gecachte staat.

De herberekeningsscore $s_{i,p}^t$ wordt berekend als:
$s_{i,p}^t = w_{i,p}^t + \lambda_1 \Delta_{i,p}^t + \lambda_2 o_{i,p}^{t_0}$
Branches die een drempelwaarde $\tau$ overschrijden, worden geselecteerd voor herberekening.

2.3 Expert-Aware Adaptieve Controle

In het besef dat verschillende experts variërende ruimtelijke respons-patronen vertonen (specialisatie), introduceert MoECa een mechanisme voor adaptieve drempelwaarden:

Ruimtelijke Entropie: Het systeem schat de ruimtelijke respons-entropie van elke expert online in via een Exponential Moving Average (EMA) van activatie-statistieken.
Adaptieve Drempelwaarde: Experts met een lage entropie (geconcentreerde, detailgeoriënteerde responsen) krijgen lagere drempelwaarden toegewezen, waardoor ze waarschijnlijker worden her berekend om lokale details te behouden. Experts met een hoge entropie (brede, achtergrond-responsen) krijgen hogere drempelwaarden toegewezen, wat hergebruik bevordert.
Formule: $\tau_e^t = \tau_0 (1 + \alpha(2\bar{H}_e^t - 1))$ , waarbij $\bar{H}$ de genormaliseerde entropie is.

3. Belangrijkste Bijdragen

Structurele Analyse: Het artikel biedt een analyse die aantoont dat cross-timestep redundantie in DiT-MoE beter wordt gekarakteriseerd op het expert-branch-niveau dan op het token-niveau, wat de structurele mismatch van bestaande token-level caching benadrukt.
MoECa Framework: De voorstel van een fijnmazig caching-framework dat feature-hergebruik afstemt op de MoE-decompositiestructuur, wat onafhankelijke hergebruiksbeslissingen mogelijk maakt voor verschillende branches binnen hetzelfde token.
بالفعل.
Adaptieve Controle: De introductie van een expert-bewuste adaptieve drempelwaarde-mechanisme dat rekening houdt met de heterogeniteit van expert-specialisatie, waarbij een balans wordt gezocht tussen versnelling en generatiekwaliteit.
Empirische Validatie: Uitgebreide evaluatie over meerdere DiT-MoE modellen (DSMoE, DiT-MoE, HiDream-I1) die gunstige snelheid-kwaliteit trade-offs aantonen.

4. Experimentele Resultaten

De auteurs hebben MoECa geëvalueerd op class-conditional generatie (ImageNet) en text-to-image generatie (DrawBench200) met modellen variërend van DSMoE-S-E16 tot DSMoE-L-E48.

Versnelling: MoECa bereikt significante versnellingen vergeleken met dense baselines en andere caching-methoden.
- Op DSMoE-L-E48 bereikt het een 2.14× latentie-versnelling en een 2.83× FLOPs-versnelling terwijl een FID van 9.54 behouden blijft.
- Op HiDream-I1 (1024px) bereikt het een 2.93× FLOPs-versnelling (5.61s latentie versus 14.29s baseline).
Behoud van Kwaliteit: MoECa presteert consistent beter dan of gelijk aan andere caching-baselines (ToCa, DuCa, TeaCache) op het gebied van FID, Inception Score, PSNR en SSIM.
- In kwalitatieve vergelijkingen behoudt MoECa hoogfrequente details (bijv. texturen, randen) beter dan token-level methoden, die de neiging hebben tot structurele vervaging.
Efficiëntie: De methode reduceert FLOPs effectiever dan step-reduction strategieën (bijv. 33% stappen) die vaak lijden onder significante kwaliteitsdegradatie.
Overhead: De controlelogica (scoring, routing, cache-updates) voegt minimale overhead toe, wat slechts 4.8% van de end-to-end inferentietijd op DSMoE-S-E16 bedraagt. De geheugenoverhead is gematigd; het slaat branch-staten op zonder de memory footprint van andere token-level caching-methoden aanzienlijk te overschrijden.

5. Betekenis en Claims

Het artikel claimt dat MoECa een noodzakelijke evolutie vormt in strategieën voor de versnelling van diffusie bij MoE-architecturen. Door de granulariteit van caching te verschuiven om af te stemmen op de expert-decompositie, lost MoECa de suboptimaliteit op die inherent is aan token-level hergebruik.

De auteurs benadrukken dat hun aanpak training-free is, wat geen wijzigingen aan de getrainde modelgewichten of de routing-graph vereist. De betekenis ligt in het aantonen dat fijnmazig, structuurbewust hergebruik aanzienlijke computationele besparingen (tot 2.93×) kan ontsluiten zonder de generatiekwaliteit in gevaar te brengen, een trade-off waar grovere methoden (step reduction) of misafgestemde fijnmazige methoden (token-level caching) niet gelijktijdig in slagen.

De studie concludeert dat hoewel het huidige werk zich richt op single-GPU beeldgeneratie, de principes van het afstemmen van de caching-granulariteit op de interne modeldecompositie toepasbaar zijn op bredere contexten, hoewel video-generatie en expert-parallel serving toekomstig werk blijven.