SpikeMLLM: Spike-based Multimodal Large Language Models via Modality-Specific Temporal Scales and Temporal Compression

Probleemstelling

Multimodale Large Language Models (MLLMs) hebben aanzienlijke vooruitgang geboekt in het begrijpen en redeneren over tekst en beelden, maar hun inferentie vereist enorme rekenkracht en energie. Dit beperkt hun inzetbaarheid in hulpbronnenbeperkte omgevingen.
Spiking Neural Networks (SNNs) bieden een oplossing door hun energie-efficiëntie en event-gedreven, spaarzame berekeningen op neuromorfe hardware. Het toepassen van SNNs op MLLMs stuit echter op twee fundamentele uitdagingen:

1. Heterogeniteit van modaliteiten: Beeld- en teksttokens verschillen sterk in informatiedichtheid en activatieverdeling. Een uniforme spike-codering faalt hierin: het is onvoldoende voor de precisie-eisen van tekst en creëert onnodige redundantie voor beelden.
2. Tijdsstap-overhead: In het bestaande "integer-to-spike" paradigma worden discrete activaties met $L$ kwantisatieniveaus omgezet in $T = L-1$ tijdstappen. Bij MLLMs, waar hoge resolutie beelden leiden tot een groot aantal tokens, explodeert deze tijdsstap-ontvouwing (temporal unfolding), wat een ernstig efficiëntieknelpunt vormt.

Methodologie: SpikeMLLM

De auteurs introduceren SpikeMLLM, het eerste spike-gebaseerde framework voor MLLMs. Dit framework verenigt bestaande ANN-kwantiseringsmethoden binnen de spiking-representatieruimte en lost de bovengenoemde uitdagingen op met twee kernmechanismen:

1. Modality-Specific Temporal Scales (MSTS)

Om de heterogeniteit tussen modaliteiten aan te pakken, gebruiken de auteurs Modality Evolution Discrepancy (MED). MED meet de cross-layer representatieve veranderingen van tokens.

• Inzicht: Teksttokens vertonen over het algemeen grotere cross-layer veranderingen (hoge MED) en zijn gevoeliger voor grove tijdsdiscretisatie dan beeldtokens, die vaak meer ruimtelijke redundantie vertonen (lagere MED).
• Implementatie: In plaats van een uniforme tijdstapverdeling, past MSTS adaptieve verdeling toe. Meer tijdstappen worden toegewezen aan de tekstmodaliteit (die dynamischer evolueert) en minder aan de beeldmodaliteit. Dit gebeurt zonder de totale effectieve inferentiekost te verhogen, maar wel de representatieve nauwkeurigheid te optimaliseren.

2. Temporally Compressed LIF (TC-LIF)

Om de lineaire groei van tijdstappen ($T = L-1$) te doorbreken, introduceren de auteurs TC-LIF.

• Principe: TC-LIF comprimeert het aantal tijdstappen van $T = L-1$ naar $T = \log_2(L) - 1$ (bijvoorbeeld van 15 naar 3 voor INT4 kwantisatie).
• Techniek: Dit wordt bereikt door temporale gewogen vuurpatronen. In plaats van een eenheidsspike per tijdstap, worden spikes gewogen met machten van 2 ($2^{t-1}$). De tekeninformatie wordt overgedragen via de polariteit van de spike (excitatorisch of inhibitorisch).
• Voordeel: Hierdoor wordt de representatieve capaciteit behouden terwijl het aantal tijdstappen exponentieel wordt gereduceerd. De berekening blijft puur "spike-driven" (spaarse optelling) en vereist geen zware vermenigvuldigingen.

Hardware Co-Design

De auteurs hebben een dedicated RTL-versneller ontworpen die specifiek is afgestemd op het spike-gedreven datapad van TC-LIF en MSTS. Deze versneller maakt gebruik van shift-gebaseerde temporale weging en gate-gecontroleerde accumulatie, wat ideaal is voor neuromorfe implementatie.

Belangrijkste Resultaten

De methode is geëvalueerd op vier representatieve MLLMs (o.a. Qwen2VL-7B/72B, InternVL2-8B) over diverse benchmarks (OCRBench, MME, TextVQA, DocVQA, ScienceQA).

• Prestaties: SpikeMLLM behoudt bijna verliesloze prestaties onder agressieve tijdstapcompressie. Bij een verhouding $T_v/T_t = 3/4$ (beeld/tekst) bedraagt het gemiddelde prestatieverschil ten opzichte van de FP16-baseline slechts 0,72% (InternVL2-8B) en 1,19% (Qwen2VL-72B).
• Efficiëntie:
  • FLOPs: Er is een reductie van 4,4x in FLOPs vergeleken met standaard spike-ontvouwing.
  • Hardware: Op een FPGA-achtige RTL-architectuur (SMIC 28nm) toont de versneller een 9,06x hogere doorvoer (tokens per seconde) en een 25,8x betere energie-efficiëntie vergeleken met een FP16 GPU-baseline (NVIDIA A800).
• Schaalbaarheid: De methode werkt effectief tot modelgroottes van 72B parameters, wat aantoont dat het schaalbaar is voor grote modellen.

Bijdragen

1. Eerste Spike-MLLM: Introductie van SNNs in multimodale grote taalmodellen, met een framework dat bestaande ANN-kwantiseringsmethoden (zoals QuaRot, GPTQ) integreert in de spiking-ruimte.
2. MSTS: Een methode voor modaliteits- en laag-specifieke tijdstaptoewijzing gebaseerd op evolutionaire discrepantie, wat prestaties verbetert zonder extra overhead.
3. TC-LIF: Een innovatieve compressietechniek die de tijdstapcomplexiteit reduceert van lineair ($L-1$) naar logaritmisch ($\log_2(L)-1$) zonder representatieve capaciteit te verliezen.
4. Hardware-Software Co-Design: Validatie van de energie-efficiëntie via een dedicated RTL-versneller, wat aantoont dat algoritmische vereenvoudigingen direct vertaalbaar zijn naar systeemvoordelen.

Significantie

Dit paper is een doorbraak in de richting van energie-efficiënte multimodale intelligentie. Het bewijst dat SNNs niet alleen geschikt zijn voor eenvoudige visuele taken, maar ook voor complexe multimodale redenering. Door de combinatie van algoritmische innovatie (MSTS en TC-LIF) en hardware-specialisatie, opent SpikeMLLM de weg voor het deployen van krachtige multimodale AI op randapparatuur en neuromorfe chips, waar energie en rekenkracht beperkt zijn. Het legt een brug tussen de theoretische efficiëntie van spiking networks en de praktische eisen van moderne generatieve AI.