Modality Inflation: Energy Characterization and Optimization Opportunities for MLLM Inference

Dit artikel analyseert voor het eerst de energie-efficiëntie van multimodale grote taalmodellen (MLLM's) door 'modality inflation' te onderzoeken, waarbij het verschillende energieknelpunten identificeert en aantoont dat dynamische spannings- en frequentieschaling (DVFS) aanzienlijke energiebesparingen mogelijk maakt met slechts een beperkte impact op de prestaties.

De kern

Stel je voor dat een Grote Taalmodel (LLM) een slimme, alleen op tekst gespecialiseerde kok is. Deze kok kan recepten lezen, verhalen schrijven en vragen beantwoorden, maar hij kan alleen met woorden werken.

Multimodale Modellen (MLLMs) zijn de nieuwe versie van deze kok: ze hebben een bril opgezet waarmee ze ook foto's en video's kunnen zien. Ze kunnen nu vragen beantwoorden over een plaatje, een kaartje beschrijven of een recept maken op basis van een foto van ingrediënten.

Dit klinkt geweldig, maar de onderzoekers van Virginia Tech ontdekken een groot probleem: het is veel te energievretend. Ze noemen dit fenomeen "Modality Inflation" (Modale Inflatie).

Hier is wat ze hebben ontdekt, vertaald in alledaagse termen:

1. Het Probleem: De "Extra Bagage"

Wanneer je een tekst vraagt, moet de kok alleen de woorden verwerken. Maar als je een foto toevoegt, gebeurt er iets vreemds:

• De foto moet eerst door een speciale bril (de Vision Encoder) worden bekeken.
• Deze bril breekt de foto op in duizenden kleine stukjes (tokens).
• Plotseling heeft de kok niet meer te maken met één zin, maar met duizenden extra woorden die hij allemaal moet onthouden voordat hij überhaupt kan beginnen met antwoorden.

De Analogie:
Stel je voor dat je een brief schrijft.

• Alleen tekst: Je loopt naar de postkantoor, schrijft een brief en stopt hem in een klein envelopje.
• Met foto's: Je moet eerst een hele foto in duizenden kleine papiertjes knippen, die papiertjes in een enorme koffer stoppen, en die koffer dan pas naar de postkantoor brengen.
• Het resultaat: De koffer is zwaar, hij kost veel meer energie om te dragen, en de postbode (de computer) moet veel meer tijd besteden aan het sjouwen met die koffer voordat hij de brief daadwerkelijk kan bezorgen.

2. De Kosten: Niet alle koks zijn hetzelfde

De onderzoekers keken naar vier verschillende soorten "koks" (modellen) en ontdekten dat de energiekosten enorm verschillen, afhankelijk van hoe de bril en de koffer zijn ontworpen:

• Sommige modellen zijn erg traag bij het kijken naar de foto (de bril is zwaar). Ze verbruiken 94% meer energie dan alleen tekst.
• Andere modellen kijken snel, maar maken de koffer zo groot dat het sjouwen ernaar (het verwerken van de tekst) de energie opslorpt.
• Conclusie: Er is geen "één maat die voor iedereen past". Wat voor de ene machine werkt, is rampzalig voor de andere.

3. Het Verborgen Probleem: De "Halve Slapende" Computer

Tijdens het kijken naar de foto's (de encoder-fase) werkt de computer niet op volle toeren. Het is alsof je een Formule 1-auto gebruikt om een bakje koffie te halen: de motor draait, maar je rijdt niet hard.

• De computer verbruikt toch veel energie, maar presteert niet optimaal.
• De onderzoekers zagen dat de computer vaak in een "middenstand" zit: niet helemaal slapend, maar ook niet voluit aan het werk. Dit is inefficiënt.

4. De Oplossing: Slim Schakelen (DVFS)

De oplossing die ze voorstellen, is slim schakelen, vergelijkbaar met de versnellingen in een auto of de stand van een dimlicht.

• Tijdens het kijken naar de foto: Zet de computer op een lagere snelheid (een lagere versnelling). Het kost iets langer om de foto te bekijken, maar het bespaart enorm veel stroom.
• Tijdens het schrijven van het antwoord: Zet de computer weer op volle snelheid als snelheid belangrijk is.

De Metafoor:
Stel je voor dat je een berg op moet lopen.

• De oude manier: Je rent de hele weg met een zware rugzak, of je loopt de hele weg in slow motion.
• De nieuwe manier (Stage-wise DVFS): Je loopt de steile, zware helling (het kijken naar de foto) rustig en zuinig. Zodra je de top bereikt en het pad vlak wordt (het schrijven van tekst), zet je pas je volle kracht in.

Waarom is dit belangrijk?

Vandaag de dag draaien deze slimme modellen op enorme datacenters die net zoveel stroom verbruiken als kleine steden. Als we niet oppassen, wordt het gebruik van AI met foto's en video's onbetaalbaar en slecht voor het klimaat.

De kernboodschap:
We moeten stoppen met het behandelen van deze slimme modellen als "zwarte dozen". We moeten begrijpen waar ze energie verbruiken (bij het kijken of bij het schrijven) en daarop inspelen. Door slim te schakelen tussen snelheid en energiebesparing, kunnen we deze toekomstige technologie veel duurzamer maken.

Kortom: We moeten de computer leren om niet altijd op "race-modus" te staan, maar slim te schakelen afhankelijk van wat hij op dat moment moet doen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Modality Inflation: Energy Characterization and Optimization Opportunities for MLLM Inference" in het Nederlands.

Titel: Modality Inflation: Energiekarakterisering en Optimalisatiemogelijkheden voor MLLM-Inferentie

1. Het Probleem: Modality Inflation

Multimodale Large Language Models (MLLMs) breiden de mogelijkheden van tekst-only LLMs uit door integratie van visuele modaliteiten (zoals afbeeldingen en video's). Echter, deze uitbreiding introduceert een nieuw, onvoldoende begrepen energiekostenprobleem, door de auteurs "modality inflation" genoemd.

• Oorzaak: Multimodale invoer vereist extra verwerkingsstappen (visuele encodering) en leidt tot een explosieve toename van het aantal tokens (visuele tokens) die door het model moeten worden verwerkt.
• Gevolg: Dit creëert een aanzienlijke en variabele energiekost die niet lineair schaalt met de modelgrootte, maar sterk afhankelijk is van de architectuur en de complexiteit van de invoer (resolutie, aantal afbeeldingen).
• Huidige lacune: Bestaand onderzoek richt zich voornamelijk op tekst-only modellen of op doorvoeroptimalisatie, zonder inzicht te geven in hoe energie wordt verdeeld over de verschillende inferentiestadia of hoe visuele invoer de energiekosten specifiek beïnvloedt.

2. Methodologie

De auteurs hebben een grondige empirische studie uitgevoerd om het energieverbruik van MLLM-inferentie te karakteriseren.

• Experimenteel Opzet:
  • Hardware: NVIDIA A100 GPU (80GB).
  • Modellen: Vier representatieve MLLMs met verschillende visuele encoder-architecturen en tokenisatiestrategieën:
    • InternVL3-8B (gecomprimeerde ViT).
    • LLaVA-1.5 (vast aantal patches/CLIP).
    • LLaVA-OneVision (any-resolution tiling).
    • Qwen2.5-VL (query-based tokenreductie).
  • Workload: Gecontroleerde vergelijkingen waarbij de totale tokenlengte (tekst + visueel) werd gematcht met tekst-only baselines om de pure overhead van multimodaliteit te isoleren.
  • Metrieken: Energie per verzoek (Joule), eind-tot-eind latentie, GPU-energieverbruik (via NVML met 5ms sampling), en doorvoer.
• Analyse-aanpak:
  • Stadium-gewijze decompositie: De inferentiepijplijn werd opgesplitst in drie fasen: Vision Encoding, Prefill, en Decoding.
  • Complexiteitsanalyse: Variatie in invoercomplexiteit (afbeeldingsresolutie en aantal afbeeldingen) om schaalgedrag te testen.
  • Optimalisatie-evaluatie: Toepassing van Dynamic Voltage and Frequency Scaling (DVFS) per stadium om te testen of frequentie-aanpassing energie kan besparen zonder de prestaties te veel te schaden.

3. Belangrijkste Bijdragen

1. Eerste gedetailleerde energieanalyse: Een stadium-gewijze karakterisering van energieverbruik in MLLMs, in tegenstelling tot de gebruikelijke "black-box" benadering.
2. Kwantificering van Modality Inflation: Het meten van de extra energiekost voor multimodale inferentie ten opzichte van tekst-only baselines.
3. Inzicht in schaalgedrag: Analyse van hoe invoercomplexiteit (resolutie/aantal afbeeldingen) leidt tot fundamenteel verschillende schaalgedragingen per modelarchitectuur.
4. Optimalisatiestrategie: Evaluatie van stadium-gewijze DVFS als een praktische methode om energie-efficiëntie te verbeteren.

4. Resultaten en Observaties

• Enorme Variatie in Energie-Overhead:

  • Multimodale inferentie kost 17% tot 94% meer energie dan tekst-only inferentie voor identieke tokenhoeveelheden.
  • Qwen2.5-VL toonde de hoogste overhead (94% meer energie), terwijl LLaVA-OneVision het laagste percentage had (17%), ondanks een zeer groot aantal tokens. Dit toont aan dat het aantal tokens niet de enige determinant is; de architectuur van de visuele encoder is cruciaal.

• Verschillende Energie-Flessenhalsen per Architectuur:

  • Reken-intensieve Encoders: Bij modellen zoals Qwen2.5-VL domineert de visuele encoder het energieverbruik (20,81 J, 6x hoger dan bij LLaVA-1.5).
  • Token-expansie in Prefill: Bij LLaVA-OneVision is de encoder efficiënt, maar de "tiling"-strategie genereert duizenden visuele tokens. Dit zorgt voor een enorme energiepiek in de prefill-fase (95,78 J), wat 12x meer energie kost dan bij een gebalanceerd model.
  • Conclusie: Er is geen "one-size-fits-all" oplossing; elke architectuur heeft een ander bottleneck-probleem.

• GPU-Gebruik en Power Traces:

  • Multimodale inferentie vertoont langdurige fasen met gemiddeld vermogen (100-250 W) tijdens het encoderen, in plaats van direct naar het maximale vermogen (400 W) te gaan zoals bij tekst-only inferentie.
  • Dit suggereert dat standaard GPU-frequentiebeleid (vaak gericht op "race-to-idle" of maximale snelheid) inefficiënt is voor deze specifieke werkbelastingen.

• Invloed van Invoercomplexiteit:

  • Modellen reageren verschillend op resolutie en aantal afbeeldingen. Sommige modellen (zoals LLaVA-1.5) schalen nauwelijks met resolutie (door vaste patch-grootte), terwijl anderen (zoals Qwen2.5-VL) een scherpe toename in tokens en energie vertonen bij hoge resoluties (>1024x1024).

• Optimalisatie via DVFS:

  • Stadium-gewijze DVFS bleek effectief. Het verlagen van de frequentie tijdens de encoding-fase (waar latentie vaak minder kritiek is) kan de energie per verzoek aanzienlijk verlagen met slechts een beperkte impact op de totale latentie.
  • Voor InternVL3 kon de encoder-frequentie worden verlaagd voor energiebesparing, terwijl de prefill-fase juist gevoelig was voor frequentie-aanpassing om latentie-doelen te halen.

5. Betekenis en Conclusie

Dit onderzoek biedt essentiële inzichten voor het ontwerpen van duurzame en energie-efficiënte MLLM-servingsystemen:

• Architectuur-bewust Scheduling: Omdat energie-overhead sterk varieert per model, moeten servingsystemen specifieke beleidsregels hanteren per modeltype in plaats van generieke instellingen.
• Stadium-gewijze Optimalisatie: Het is cruciaal om de inferentiepijplijn te behandelen als een reeks verschillende taken met verschillende energie- en latentie-eisen. Dynamische frequentie-aanpassing (DVFS) per stadium is een veelbelovende techniek.
• Toekomstige Richting: De auteurs pleiten voor SLO-aware (Service Level Objective) frequentiecontrollers die adaptief reageren op de actieve inferentiestap en de complexiteit van de invoer, en voor onderzoek naar deze principes in gedistribueerde (disaggregated) systemen en voor andere modaliteiten (audio, video).

Kortom, de paper waarschuwt dat de "modality inflation" een aanzienlijke, maar beheersbare, bron van inefficiëntie is die kan worden opgelost door architectuur-specifieke en stadium-gewijze energiebeheerstrategieën.