🤖 machine learning

VisMMOE: Exploiting Visual-Expert Affinity for Efficient Visual-Language MoE Offloading

VisMMoE is een efficiënt uitwaaieringssysteem voor grootschalige vision-language mixture-of-experts-modellen dat gebruikmaakt van affiniteit tussen visuele experts via token-pruning en voorspellende orchestration om de inferentieprestaties op platformen met beperkt geheugen aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Cheng Xu, Xiaofeng Hou, Jiacheng Liu, Chao Li

Gepubliceerd 2026-05-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Cheng Xu, Xiaofeng Hou, Jiacheng Liu, Chao Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek van kennis hebt (een groot AI-model) die te groot is om op één boekenplank (de grafische kaart van je computer) te passen. Om het te gebruiken, moet je de belangrijkste boeken op de plank houden en constant naar de kelder (het hoofdgeheugen van je computer) rennen om anderen op te halen naarmate ze nodig zijn. Dit heen en weer rennen is traag en kost tijd.

Dit is het probleem met Vision-Language MoE-modellen. Dit zijn superslimme AI-systemen die afbeeldingen kunnen "zien" en tekst kunnen "lezen". Ze werken door duizenden kleine specialisten (zogenaamde "experts") in zich te hebben. Wanneer de AI naar een afbeelding kijkt, vraagt het verschillende specialisten om hulp.

Het probleem: de "chaotische menigte"

Het artikel legt uit dat wanneer deze AI's naar tekst kijken, ze een kleine, voorspelbare groep specialisten om hulp vragen. Het is alsof een bibliothecaris precies weet welke 5 boeken van het plankje moeten worden gehaald voor een specifiek verzoek.

Wanneer de AI echter naar afbeeldingen kijkt, raakt het overweldigd. Hoogresolutie-afbeeldingen bestaan uit duizenden kleine pixels (tokens). Het artikel ontdekte dat ruwe afbeeldingen de AI ertoe brengen een enorme, verspreide groep specialisten om hulp te vragen. Het is alsof de bibliothecaris plotseling voor elke zin 100 verschillende willekeurige boeken uit de kelder moet halen. Deze "chaotische menigte" aan verzoeken maakt het systeem traag, omdat de computer meer tijd besteedt aan heen en weer rennen dan aan het daadwerkelijk denken.

De oplossing: VisMMOE (de slimme organisator)

De auteurs hebben een systeem ontwikkeld dat VisMMOE heet. Hun grote idee is simpel: Gooi niet zomaar de "saaiere" delen van de afbeelding weg; gooi de delen weg die de meeste chaos veroorzaken.

Ze noemen dit "Visual-Expert Affinity". Denk aan het opruimen van een rommelige kamer voordat een gast aankomt. In plaats van alleen de vloer op te ruimen, verplaats je het meubilair zodat de gast slechts naar drie specifieke plekken hoeft te lopen, in plaats van tien.

Zo werkt VisMMOE in drie stappen:

De slimme filter (Affinity-Aware Token Compressor):
Normaal gesproken proberen systemen de "belangrijkste" delen van een afbeelding te behouden (zoals een gezicht of een auto). VisMMOE doet dit ook, maar het controleert ook: "Als ik dit deel van de afbeelding behoud, zal het de computer dan dwingen om naar de kelder te rennen voor een hoop nieuwe, willekeurige boeken?"
Als een pixel iets minder belangrijk is maar wel een enorme rommel aan verzoeken veroorzaakt, snijdt VisMMOE het eruit. Dit houdt de afbeelding begrijpelijk, maar maakt de lijst met benodigde specialisten veel korter en beter georganiseerd.
De kristallen bol (Compression-Guided Lookahead Predictor):
Omdat de lijst met benodigde specialisten nu kleiner en beter georganiseerd is, kan het systeem met veel hogere nauwkeurigheid voorspellen wat het als volgende nodig zal hebben. Het is alsof je een kristallen bol hebt die de bibliothecaris vertelt: "De volgende 5 verzoeken zullen absoluut boeken A, B en C nodig hebben."
Hierdoor kan de computer beginnen met het ophalen van die boeken terwijl het nog steeds aan de huidige taak werkt, waardoor de wachttijd wordt verborgen.
De verkeersregelaar (Pipeline Orchestrator):
Dit onderdeel beheert het verkeer tussen de plank (GPU) en de kelder (CPU). Het zorgt ervoor dat de computer altijd iets nuttigs doet – of het nu denken is of ophalen – zodat het nooit stilzit en wacht op een boek dat moet arriveren.

De resultaten

Het artikel testte dit systeem op krachtige AI-modellen met standaard computerhardware.

Snelheid: Het maakte de AI in sommige gevallen 2,68 keer sneller en in andere gevallen 1,61 keer sneller in vergelijking met bestaande methoden.
Slimheid: Hoewel het wat afbeeldingsgegevens weggooide, begreep de AI de afbeeldingen nog steeds net zo goed als voorheen. Het verloor niet zijn "hersencapaciteit", het stopte alleen met tijd verspillen door rond te rennen.

De bottom line

VisMMOE is als een slim verkeersmanager voor AI. Het beseft dat afbeeldingen rommelig zijn en file veroorzaken. Door de afbeeldingsdata op een specifieke manier op te schonen die helpt bij het beter samenwerken van de interne specialisten van de AI, laat het het hele systeem veel sneller draaien zonder dat er duurdere hardware nodig is.

Technische Samenvatting: VisMMOE

Probleemstelling

Grootschalige Vision-Language Mixture-of-Experts (VL-MoE) modellen bieden krachtige multimodale capaciteiten, maar staan voor aanzienlijke uitdagingen bij implementatie op platformen met geheugenbeperkingen en een enkele GPU. Bestaande MoE-offloading-systemen handelen tekstgerichte workloads effectief door te vertrouwen op expert-caching en voorspellende prefetching, maar presteren aanzienlijk slechter bij het verwerken van visueel zware inputs.

Het kernprobleem is een mismatch in expert-toegangspatronen. Teksttokens activeren doorgaans een compacte, voorspelbare subset van experts, waardoor offloading-systemen hoge cache-hitpercentages en effectieve prefetching kunnen handhaven. Daarentegen veroorzaken ruwe visuele tokens gefragmenteerde en brede expert-activaties over de lagen heen. Deze fragmentatie vergroot het effectieve expert-werkset, vermindert cache-lokalisatie en maakt de toekomstige expert-vraag moeilijk te voorspellen. Bijgevolg blijft de verplaatsing van experts (CPU-naar-GPU-overdrachten) vaak op het kritieke pad en domineert dit de runtime-latentie.

Methodologie

De auteurs stellen VisMMOE voor, een VL-MoE offloading-systeem gebaseerd op het inzicht van Visual-Expert Affinity. De centrale hypothese is dat het verwijderen van redundante visuele tokens niet alleen de berekening (FLOPs) vermindert, maar ook de expert-vraag herschikt, waardoor deze geconcentreerder en voorspelbaarder wordt. VisMMOE integreert drie nauw gekoppelde componenten om deze affiniteit te benutten:

1. Affiniteitsbewuste Token-compressor

In tegenstelling tot standaard compressiemethoden die prioriteit geven aan semantische relevantie of FLOPs-reductie, is de compressor van VisMMOE ontworpen om de uitbreiding van het expert-werkset te minimaliseren.

Salient Core: Het identificeert eerst een kleine set visueel onmisbare tokens (gebaseerd op attentiekaarten) om de semantische betrouwbaarheid te verankeren.
Marginal Expansion Score: Voor de overige tokens berekent het een score die de semantische waarde afweegt tegen de "marginale uitbreiding" van het expert-set. Het straft tokens af die nieuwe experts activeren die niet al door de salient core worden gedekt.
Resultaat: Dit levert een gecomprimeerde token-set op die de noodzakelijke visuele bewijzen behoudt, terwijl het ervoor zorgt dat expert-activaties ruimtelijk geconcentreerd blijven binnen lagen en temporair stabiel over de lagen heen.

2. Compressie-gestuurde Lookahead Predictor

Deze module voorspelt de schaarse set experts die in toekomstige lagen nodig is om effectieve prefetching mogelijk te maken.

Feature Constructie: Het maakt gebruik van een compact feature-vektor afgeleid van drie bronnen: (i) een gecomprimeerde histogram van recente routinggeschiedenis, (ii) een gepoolde hidden-state samenvatting van de behouden visuele tokens, en (iii) een statische visuele samenvatting.
Windowed Prediction: Het voorspelt expert-prioriteiten voor een begrensd lookahead-venster (bijvoorbeeld de volgende $W$ lagen) met behulp van een lichtgewicht MLP.
Decayed Supervision: De trainingsdoelstelling gebruikt een afstand-afnemende factor, waarbij experts die in dichterbijgelegen lagen nodig zijn, prioriteit krijgen boven die in verdere lagen, in lijn met de beperkingen van beperkt VRAM en bandbreedte.

3. Expert Caching en Pipeline Orchestrator

Deze component beheert de fysieke verplaatsing van experts tussen CPU- en GPU-geheugen.

Structured Residency: Het GPU-geheugen is verdeeld in een Static Resident Region (bevat niet-expert parameters, gedeelde experts en een "gepind prefix" van vroege MoE-lagen) en een Dynamic Slab-Based Expert Cache voor diepere lagen.
Pipeline Orchestration: Het systeem ontkoppelt de uitvoering in een compute-stroom en een transfer-stroom. De predictor stuurt de transfer-stroom aan om hoog-prioriteit experts asynchroon te prefetchen.
Safety-Guarded Eviction: Tijdens autoregressieve decoding verwijdert de cache-manager alleen "verlopen" experts (die waarvan de lagen de uitvoering hebben voltooid) op basis van predictor-prioriteit, waardoor veiligheid wordt gewaarborgd terwijl hergebruik wordt gemaximaliseerd.

Belangrijkste Bijdragen

Identificatie van VL-specifieke Mismatch: Het artikel karakteriseert hoe ruwe visuele inputs de aannames van lokaliteit en voorspelbaarheid van eerdere MoE-offloading-systemen doorbreken, wat leidt tot gefragmenteerde expert-vragen.
Visual-Expert Affinity: Het toont aan dat visuele token-compressie dient als een systeemmechanisme voor offloading, niet alleen als een rekenoptimalisatie. Het verwijderen van redundante tokens verbetert expert-lokalisatie en routing-regelmaat.
Systeemontwerp: VisMMOE is een compressie-gestuurd offloading-systeem dat token-retentie, expert-voorspelling en runtime cache/pipeline-beheer co-ontwerpt om de blootgestelde transfer-overhead te verminderen.
Implementatie en Evaluatie: Het systeem is geïmplementeerd op commodity GPU-platforms (NVIDIA A100, RTX 3090) en een embedded platform (Jetson AGX Orin), geïntegreerd met bestaande frameworks (Hugging Face Accelerate, KTransformers).

Resultaten

VisMMOE werd geëvalueerd op representatieve VL-MoE-modellen (Qwen3-VL-30B-A3B en DeepSeek-VL2) over meerdere benchmarks (MME, MMBench, POPE, OCRBench).

Prestatiewinst: VisMMOE verbetert de end-to-end inferentieprestaties met tot 2,68× in decode-snelheid en vermindert de prefill-latentie aanzienlijk in vergelijking met sterke baselines (Hugging Face Accelerate, SGLang, KTransformers). Op de RTX 3090 wordt een snelheidswinst van tot 1,61× bereikt.
Nauwkeurigheid: Het systeem behoudt concurrerende nauwkeurigheid. Bijvoorbeeld, op Qwen3-VL met 70% token-retentie is de nauwkeurigheidsdegradatie minimaal (bijv. <2% op MME en MMBench), wat beter presteert dan willekeurige pruning en gelijkstaat aan SOTA token-compressiemethoden.
Voorspellingseffectiviteit: De lookahead predictor bereikt een Hot Recall van 64,1% tot 89,8% (afhankelijk van buffergrootte), wat een verbetering van 3,8× tot 8,2× vertegenwoordigt ten opzichte van willekeurige baselines.
Overhead: De predictor introduceert verwaarloosbare overhead (~2,72 ms gemiddelde latentie), en de compressiekosten worden strategisch gemaskeerd tijdens de uitvoering van resident lagen.

Betekenis en Claims

Het artikel beweert dat VisMMOE een kritieke bottleneck aanpakt bij het implementeren van grote multimodale modellen op single GPUs met beperkt geheugen. Door expliciet in te spelen op de relatie tussen visuele token-redundantie en expert-routingpatronen, transformeert VisMMOE token-compressie van een puur algoritmische optimalisatie naar een systeemniveau hefboom voor het verbeteren van offloading-efficiëntie.

De auteurs benadrukken dat hun aanpak geen architecturale wijzigingen vereist in de onderliggende modellen, maar de runtime-uitvoeringsstroom optimaliseert. De resultaten suggereren dat co-optimalisatie van modelinputs (via affiniteitsbewuste compressie) en systeemuitvoering (via voorspelling en orchestration) een haalbare en effectieve strategie is voor praktische VL-MoE-implementatie onder strakke geheugenbudgetten. Het werk onderstreept dat voor visueel zware workloads het simpelweg toepassen van tekstgerichte offloading-strategieën onvoldoende is; het systeem moet actief de expert-vraag herschikken om lokaliteit en voorspelbaarheid te herstellen.