Technische Samenvatting: VEN-VL

Probleemstelling

Recente vooruitgang in Grote Visueel-Taalmodellen (LVLM's) heeft aanzienlijk potentieel aangetoond voor complexe visuele begrijping, vooral bij het benutten van Mixture of Experts (MoE)-architecturen. Echter, bestaande efficiënte methoden voor het versnellen van LVLM's staan voor een kritieke knelpunt: prestatieverlies veroorzaakt door beperkingen in informatiecapaciteit en informatiedichtheid.

Huidige benaderingen vallen over het algemeen in twee categorieën, die beide lijden aan inherente gebreken:

1. Input-gebaseerde Pruning: Methoden die visuele features van een enkele stroom comprimeren tot een compacte representatie voor de LLM. Deze leggen vaak te veel nadruk op hoge compressieverhoudingen, falen in het tot stand brengen van complete semantische modellering en verminderen aanzienlijk de informatiecapaciteit en diversiteit.
2. Layer-gebaseerde Pruning: Methoden die tokens binnen de LLM verwijderen op basis van attentiekaarten. Deze vertrouwen op grove visueel-tekstuele uitlijning in vroege lagen, waardoor ze vaak ten onrechte tokens verwijderen die gecondenseerde informatie bevatten (bijvoorbeeld kleine objecten of subtiele texturen) die noodzakelijk zijn voor fijnmazige semantiek in latere lagen.

De kernuitdaging is om LVLM's in staat te stellen superieure prestaties te leveren met minder, maar toch hoogst gecondenseerde, visuele tokens.

Methodologie: VEN-VL

De auteurs stellen VEN-VL (Visual Ensemble MoE) voor, een raamwerk ontworpen om de kloof tussen prestaties en efficiëntie te overbruggen door te volgen een "verrijken en dan comprimeren" principe. De architectuur bestaat uit drie primaire componenten:

1. Multi-Aspect Knowledge Ensemble (MKE)

Doel: Informatiecapaciteit verrijken.
In plaats van een enkele visuele stroom te comprimeren, verenigt MKE visuele representaties uit verschillende perspectieven om semantische diversiteit te verhogen terwijl redundantie wordt onderdrukt.

• Dual-Stream Extractie: Het maakt gebruik van een primaire encoder (bijvoorbeeld CLIP) voor semantisch uitgelijnde features ($F_{main}$) en een secundaire encoder voor fijnmazige, detail-versterkte features ($F_{extra}$).
• Structuurbewuste Compressie: In plaats van eenvoudige concatenatie, hanteert MKE een sequentiële samenvoegstrategie:
  • Ruimtelijke Samenvoeging: Comprimeert de ruimtelijke as van beide stromen om localiteit om te zetten in kanaaldimensies, waarbij de 2D-roostertopologie behouden blijft.
  • Zelf-/Kruis-Samenvoeging: Gebruikt een bipartiete samenvoegoperator om de top-$k$ cosinus-achtigheden te identificeren tussen disjuncte featuresets, waarbij gematchte paren worden geaggregeerd via gewogen gemiddelde. Dit onderdrukt redundantie en vult semantiek globaal aan.
• Resultaat: Een geünificeerde, compacte visuele ruimte ($V$) die hoge informatiecapaciteit en diversiteit behoudt.

2. Hiërarchische Token Ensemble (HTE)

Doel: Informatiedichtheid verhogen.
HTE opereert binnen de diepe lagen van de LLM, waarbij het gebruik maakt van de inherente specificiteit van MoE om de visuele verdeling progressief te verfijnen.

• Gespecialiseerde Visuele MoE: Het raamwerk introduceert een bank van lichtgewicht experts die uitsluitend worden geactiveerd voor visuele tokens om specifieke visuele semantiek te vangen, naast een Global Expert ($E_{global}$) die algemene redeneercapaciteiten behoudt.
• Adaptieve Routing: Een Top-$k$ gating-mechanisme routeert visuele tokens dynamisch naar de meest geschikte experts op basis van hun semantische inhoud.
• Reductie-Gated Mechanisme: In tegenstelling tot methoden die vertrouwen op grove attentiekaarten, gebruikt HTE de routing-activeringscores als maatstaf voor token-salientie. Tokens met hoge salientie (die gerichte verwerking vereisen) worden behouden, terwijl die met lage scores (triviaal/redundant) worden verwijderd.
• Resultaat: Een progressieve toename van informatiedichtheid over de lagen, waardoor berekening in diepe lagen zich uitsluitend richt op hoogst gecondenseerde tokens.

3. Structuurinformatiebehoud (SIP)

Doel: Inductieve begeleiding bieden.
Om het verlies van structurele informatie tijdens token-pruning te voorkomen, voorziet SIP het model in reconstructievermogens.

• Semantische Propagatie: Verwijderde token-embeddings worden herinitialiseerd met structurele eigenschappen (RoPE). Overgebleven gecondenseerde tokens propagëren iteratief holistische semantiek naar deze verwijderde tokens in een gedeelde ruimte tot convergentie.
• Expliciete Visuele Supervisie: Een reconstructieverlies ($\mathcal{L}_{qrec}$) wordt toegepast tussen de gereconstrueerde representatie en de originele invoer. Cruciaal maakt dit gebruik van kwantisatie om exacte waarden af te beelden op laag-niveau representaties, waardoor te grote afhankelijkheid van het regresseren van exacte pixelwaarden wordt vermeden (wat kan leiden tot focus op triviale patronen).
• Resultaat: Zorgt ervoor dat behouden tokens de standaard gecondenseerde informatie grotendeels herstellen, waardoor het selectieproces wordt begeleid.

Belangrijkste Bijdragen

1. Verrijken-En-Dan-Comprimeren Principe: Het paper introduceert een ontwerpphilosophie die eerst de visuele ruimte verrijkt via MKE en deze vervolgens progressief comprimeert via HTE, waarbij gezamenlijk informatiecapaciteit en -dichtheid worden aangepakt.
2. VEN-VL Raamwerk: Een nieuw Visual Ensemble MoE-raamwerk dat MKE, HTE en SIP integreert, wat effectief de kloof tussen prestaties en efficiëntie in LVLM's overbrugt.
3. Structuurinformatiebehoud (SIP): Een mechanisme dat inductieve begeleiding biedt voor token-selectie door het model reconstructievermogens toe te kennen, zodat structurele integriteit behouden blijft tijdens reductie.
4. State-of-the-Art Prestaties: Het raamwerk bereikt superieure resultaten in complexe multi-modale taken met aanzienlijk minder tokens (slechts ongeveer 7,5% tot 10% van de visuele tokens behoudend).

Experimentele Resultaten

De auteurs hebben VEN-VL geëvalueerd op meerdere benchmarks, waaronder MMBench, TextVQA, MME en MMMU, met verschillende LLM-backbones (bijvoorbeeld Qwen2.5, Qwen3).

• Prestatiewinst: In vergelijking met de sterke baseline TinyLLaVA (Qwen2.5-1.5B) behaalde VEN-VL aanzienlijke verbeteringen: +8,1% op TextVQA, +5,2% op MMB en +6,8% op MMBCN, ondanks het behouden van slechts ongeveer 10% van de visuele tokens.
• Efficiëntie: In vergelijkingen met andere token-pruning methoden (bijvoorbeeld PruMerge, FastV) onder eerlijke instellingen (Qwen3-0.6B backbone) presteerde VEN-VL significant beter terwijl het slechts 7,5% van de tokens behield. Bijvoorbeeld, het behaalde een gemiddelde score van 50,1 vergeleken met 40,9 voor PruMerge, met een beheersbare toename in FLOPs ten opzichte van de prestatiewinst.
• Schaalbaarheid: Het ontwerp toonde sterke compatibiliteit met bestaande MoE-raamwerken (bijvoorbeeld Kimi-VL), wat potentieel aantoont voor schaling naar grotere modellen met een minimaal prestatiekloof en aanzienlijke versnelling van de inferentie.
• Ablatiestudies:
  • Het verwijderen van MKE verlaagde de gemiddelde prestaties, wat de noodzaak van multi-aspect verrijking bevestigt.
  • Het toepassen van HTE alleen in ondiepe lagen of over alle lagen (Dense) leverde suboptimale resultaten op; de toepassing in de "Tweede Helft" (diepe lagen) was het meest effectief.
  • Het verwijderen van SIP of het gebruik van standaard MSE reconstructieverlies ($\mathcal{L}_{rec}$) in plaats van gekwantiseerd verlies ($\mathcal{L}_{qrec}$) leidde tot prestatiedalingen, wat de noodzaak van topologie-gebaseerde begeleiding bevestigt.

Betekenis en Claims

Het paper beweert dat VEN-VL effectief het knelpunt van informatiecapaciteit en -dichtheid in huidige efficiënte LVLM's aanpakt. Door visuele representaties uit meerdere perspectieven te verenigen en adaptieve MoE-routers te gebruiken voor dynamische token-selectie, stelt het raamwerk modellen in staat complexe visuele begrijpingstaken uit te voeren met een fractie van de visuele tokens die door standaardbenaderingen worden vereist.

De auteurs positioneren VEN-VL als een belangrijke stap richting schaalbare, efficiënte multi-modale begrijping, en tonen aan dat hoge prestaties geen hoge token-aantallen vereisen als de informatiedichtheid en structurele integriteit worden behouden via gespecialiseerde ensemble- en pruning-mechanismen. Zij erkennen dat hoewel de algoritmische optimalisatie robuust is, het vertalen van theoretische FLOPs-reducties naar real-world end-to-end versnelling verdere systeemniveau-inspanningen vereist (bijvoorbeeld kernel-optimalisaties).