Modality Inflation: Energy Characterization and Optimization Opportunities for MLLM Inference

Diese Arbeit analysiert erstmals den Energieverbrauch von multimodalen Large Language Models (MLLMs) auf GPU-Basis, identifiziert „Modality Inflation" als wesentliche Ineffizienzquelle, die je nach Modell zu einem Energieoverhead von 17 % bis 94 % führt, und demonstriert, dass eine stufenweise dynamische Spannungs- und Frequenzregelung (DVFS) erhebliche Energieeinsparungen bei nur geringen Leistungseinbußen ermöglicht.

Das Wesentliche

Titel: Warum Multimodale KI mehr Strom frisst – und wie wir sie schlauer machen können

Stellen Sie sich vor, Sie haben einen sehr klugen, aber hungrigen Koch (die Künstliche Intelligenz), der Ihnen Rezepte (Antworten) schreibt.

In der Vergangenheit hat dieser Koch nur Text gelesen. Wenn Sie ihm sagten: „Schreib mir ein Gedicht über einen Hund", hat er das schnell erledigt und dabei nicht viel Energie verbraucht.

Aber heute wollen wir mehr. Wir wollen, dass er Bilder sieht, bevor er schreibt. Sie schicken ihm ein Foto eines Hundes und fragen: „Was macht dieser Hund?" Das ist wie bei einem Multimodalen Large Language Model (MLLM).

Das Problem, das die Forscher in diesem Papier untersucht haben, nennen sie „Modality Inflation" (auf Deutsch etwa: Modus-Aufblähung). Hier ist die einfache Erklärung, was dabei passiert und warum es Strom kostet:

1. Das Problem: Der „Vorbereitungs-Koch" und der riesige Teller

Wenn Sie dem Koch nur Text geben, ist es einfach. Aber wenn Sie ein Bild schicken, passiert Folgendes:

• Der Bild-Übersetzer (Vision Encoder): Der Koch kann Bilder nicht direkt verstehen. Er braucht einen speziellen Assistenten (den Vision Encoder), der das Bild in eine Sprache übersetzt, die der Koch versteht. Dieser Assistent muss das Bild in viele kleine Puzzleteile zerlegen. Das kostet extra Zeit und Strom.
• Der riesige Teller (Token-Explosion): Das ist der wichtigste Teil. Ein Text ist wie eine kurze Einkaufsliste. Ein Bild wird aber von dem Assistenten in Hunderte oder sogar Tausende von kleinen Wörtern (Tokens) zerlegt, die das Bild beschreiben.
  • Die Analogie: Stellen Sie sich vor, Sie bestellen ein Sandwich. Bei Text ist es wie eine kurze Bestellung: „Brot, Käse, Wurst". Bei einem Bild ist es, als würde der Assistent das Bild in 3.000 einzelne Krümel zerlegen und dem Koch sagen: „Hier sind 3.000 Krümel, aus denen das Bild besteht."
  • Der Koch muss nun nicht nur das Sandwich machen, sondern erst diese 3.000 Krümel sortieren und auf einen riesigen Teller legen, bevor er überhaupt anfangen kann zu kochen. Dieser riesige Teller braucht mehr Platz (Speicher) und mehr Kraft, um ihn zu bewegen.

2. Was die Forscher herausgefunden haben

Die Forscher haben vier verschiedene KI-Modelle getestet und gemessen, wie viel Strom sie verbrauchen.

• Der enorme Unterschied: Je nachdem, wie der KI-Koch aufgebaut ist, kann das Hinzufügen eines Bildes den Stromverbrauch um 17 % bis 94 % erhöhen! Das ist wie der Unterschied zwischen einem sparsamen Elektroauto und einem alten Geländewagen.
• Zwei Arten von „Stromfressern":
  1. Der schwere Assistent: Bei manchen Modellen ist der Bild-Übersetzer so schwer und langsam, dass er den meisten Strom frisst, noch bevor der Koch überhaupt anfängt.
  2. Der riesige Teller: Bei anderen Modellen ist der Übersetzer schnell, aber er erzeugt so viele Puzzleteile (Tokens), dass das Sortieren dieser Teile (die Prefill-Phase) den Koch völlig erschöpft.

3. Der Stromverbrauch ist nicht gleichmäßig

Ein wichtiger Punkt: Der Stromverbrauch ist nicht konstant.

• Wenn der Koch nur Text liest, läuft er auf Hochtouren (hoher Stromverbrauch), aber sehr schnell.
• Bei Bildern gibt es eine Phase, in der der Assistent das Bild verarbeitet. Dabei läuft der Koch oft nur im „Schleichgang" (mittlere Stromlast), aber für eine sehr lange Zeit.
• Die Metapher: Es ist wie beim Autofahren. Text ist wie eine Autobahnfahrt: schnell und mit konstantem Tempo. Bilder sind wie eine Fahrt durch eine Stadt mit vielen Stoppschildern und langen Wartezeiten an Ampeln. Das Auto läuft zwar nicht immer auf Vollgas, aber der Motor läuft lange im Leerlauf oder im niedrigen Gang, was ineffizient ist.

4. Die Lösung: Intelligente Geschwindigkeitsregelung (DVFS)

Die Forscher haben eine clevere Idee gefunden, um Strom zu sparen: Dynamische Geschwindigkeitsanpassung.

Stellen Sie sich vor, der Koch hat einen Regler für seine Arbeitsgeschwindigkeit.

• Wenn er nur Text liest, dreht er die Geschwindigkeit hoch, um schnell fertig zu werden.
• Wenn er aber die 3.000 Bild-Krümel sortiert (die Prefill-Phase), muss er nicht so schnell sein. Er kann die Geschwindigkeit etwas herunterdrehen.
• Wenn er dann das eigentliche Rezept schreibt (die Decoding-Phase), kann er wieder schneller werden.

Das Ergebnis: Wenn man die Geschwindigkeit des Kochs intelligent anpasst (je nach Aufgabe), spart man viel Strom, ohne dass der Gast (der Nutzer) einen großen Unterschied in der Wartezeit merkt.

Zusammenfassung für den Alltag

Dieses Papier sagt uns im Grunde:

1. KI mit Bildern ist viel teurer in der Stromrechnung als reine Text-KI.
2. Nicht alle KI-Modelle sind gleich ineffizient. Manche verschwenden mehr Energie als andere, je nachdem, wie sie Bilder verarbeiten.
3. Wir müssen die KI nicht immer auf „Vollgas" laufen lassen. Wenn wir ihr erlauben, in bestimmten Phasen langsamer zu arbeiten, können wir enorme Mengen an Energie sparen.

Das Ziel ist es, in Zukunft KI-Systeme zu bauen, die nicht nur schlau sind, sondern auch „grün" und effizient, damit wir sie ohne riesige Stromrechnungen nutzen können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Modality Inflation: Energy Characterization and Optimization Opportunities for MLLM Inference" auf Deutsch:

Titel: Modality Inflation: Energiecharakterisierung und Optimierungsmöglichkeiten für MLLM-Inferenz

1. Problemstellung

Multimodale Large Language Models (MLLMs) erweitern textbasierte LLMs um zusätzliche Modalitäten wie Bilder und Videos. Obwohl dies die Anwendungsmöglichkeiten erweitert, führt dies zu einem bisher wenig erforschten Energie-Overhead, der als „Modality Inflation" bezeichnet wird.

• Herausforderung: MLLMs führen zusätzliche Kodierungsstufen (Vision Encoder) ein und erzeugen durch visuelle Eingaben stark verlängerte Token-Sequenzen. Dies erhöht den Rechenaufwand und den Speicherbedarf erheblich im Vergleich zu rein textbasierten Modellen.
• Lücken im aktuellen Stand: Bisherige Arbeiten konzentrieren sich entweder auf reine Text-LLMs oder optimieren nur den Durchsatz und die Latenz. Es fehlt an einem detaillierten Verständnis, wie sich der Energieverbrauch über die verschiedenen Inferenzstufen verteilt und wie Eingabekomplexität (Auflösung, Bildanzahl) die Energieeffizienz beeinflusst.

2. Methodik

Die Autoren führten eine umfassende experimentelle Charakterisierung auf einer NVIDIA A100 (80 GB) GPU durch.

• Evaluierte Modelle: Vier repräsentative MLLMs mit unterschiedlichen Vision-Encoder-Architekturen und Tokenisierungsstrategien wurden untersucht:
  • InternVL3-8B (komprimierte ViT-basierte Kodierung)
  • LLaVA-1.5-7B (CLIP ViT-L/14, feste Patch-Größe)
  • LLaVA-OneVision-Qwen2-7B (SigLIP ViT, „Any-Resolution"-Tiling)
  • Qwen2.5-VL-7B (QwenViT, query-basierte Token-Reduktion)
• Experimentelles Design:
  • Iso-Token-Vergleich: Der Energieverbrauch multimodaler Anfragen wurde mit textbasierten Baselines verglichen, wobei die Gesamtlänge der Eingabetoken (Text + visuelle Tokens) gleichgesetzt wurde, um den reinen Overhead der Multimodalität zu isolieren.
  • Stufenweise Analyse: Die Inferenz-Pipeline wurde in drei Phasen zerlegt: Vision Encoding, Prefill und Decoding.
  • Messgrößen: Energie pro Anfrage (Joule), Latenz (Sekunden), GPU-Leistungsaufnahme (Watt) via NVML (5 ms Abtastrate) und Durchsatz.
  • Variablen: Untersuchung des Einflusses von Bildauflösung und Bildanzahl auf das Skalierungsverhalten.
  • Optimierungstest: Evaluation von Dynamic Voltage and Frequency Scaling (DVFS) auf GPU-Ebene, um die Energieeffizienz in Abhängigkeit von der Frequenz zu testen.

3. Wichtige Beiträge

1. Stufenweise Energiecharakterisierung: Erste detaillierte Aufschlüsselung des Energieverbrauchs in MLLMs nach Encoder, Prefill und Decoding.
2. Quantifizierung der „Modality Inflation": Messung des zusätzlichen Energiebedarfs multimodaler Eingaben im Vergleich zu textbasierten Baselines.
3. Analyse der Eingabekomplexität: Untersuchung, wie Auflösung und Bildanzahl das Energie-Skalierungsverhalten unterschiedlicher Architekturen beeinflussen.
4. Optimierungsstrategie: Demonstration, dass stufenweises DVFS (unterschiedliche Frequenzen für verschiedene Inferenzphasen) eine effektive Methode zur Energieeinsparung ist.

4. Ergebnisse und Erkenntnisse

• Signifikanter Energie-Overhead: Multimodale Inferenz verbraucht je nach Architektur 17 % bis 94 % mehr Energie als ein textbasiertes Basismodell mit gleicher Token-Anzahl.
  • Beispiel: Qwen2.5-VL zeigte den höchsten Overhead (+94 %), während LLaVA-OneVision den geringsten (+17 %) hatte, trotz hoher Token-Anzahl. Dies zeigt, dass die reine Token-Anzahl nicht der einzige Treiber ist, sondern die Architektur des Frontends entscheidend ist.
• Unterschiedliche Engpässe je nach Architektur:
  • Rechenintensive Encoder: Bei Modellen wie Qwen2.5-VL dominiert der Vision-Encoder den Energieverbrauch (bis zu 20,81 J, das 6-fache anderer Modelle).
  • Token-Explosion im Prefill: Bei Modellen wie LLaVA-OneVision führt die Tiling-Strategie zu extrem langen Token-Sequenzen (3.715 Tokens), was den Energieverbrauch im Prefill-Stadium massiv erhöht (bis zu 95,78 J, ca. 12-fach höher als bei ausgewogenen Modellen).
• GPU-Auslastung und Power-Profile:
  • Im Gegensatz zu textbasierten Inferenzen, die die GPU schnell in den Hochleistungsmodus (ca. 400 W) treiben, weisen MLLMs lange Phasen mit mittlerer Leistung (100–250 W) während des Encodings auf.
  • Dies deutet darauf hin, dass Standard-Frequenzsteuerungen (die oft auf „Race-to-Idle" ausgelegt sind) ineffizient sind, da die GPU in diesen Phasen nicht proportional von höheren Taktraten profitiert.
• Einfluss der Eingabekomplexität:
  • Modelle reagieren sehr unterschiedlich auf steigende Auflösungen und Bildanzahlen. Während LLaVA-1.5 (feste Auflösung) flach skaliert, zeigen Modelle mit dynamischer Tokenisierung (z. B. Qwen2.5-VL) bei hohen Auflösungen einen sprunghaften Anstieg von Energie und Latenz.
• Optimierung durch DVFS:
  • Eine globale Hochfrequenz ist nicht immer energieeffizient.
  • Ergebnis: Das Heruntertakten (Downclocking) des Encoders bei Modellen mit rechenintensivem Encoder (z. B. Qwen2.5-VL) spart signifikant Energie bei nur moderatem Latenzverlust.
  • Beim Prefill-Stadium (dominant bei LLaVA-OneVision) ist die Latenz empfindlicher gegenüber Frequenzänderungen; hier sollte die Frequenz eher auf Latenzanforderungen als auf reine Energieoptimierung ausgelegt werden.

5. Bedeutung und Ausblick

Das Paper liefert fundamentale Erkenntnisse für das Design energieeffizienter Systeme für multimodale KI:

• Kein „One-Size-Fits-All": Da die Energiebottlenecks stark von der Architektur abhängen, müssen Serving-Strategien modell-spezifisch angepasst werden.
• Stufenweises Management: Die Einführung von stufenweiser Frequenzsteuerung (Stage-wise DVFS) wird als vielversprechender Ansatz identifiziert, um Energie zu sparen, ohne die Service-Level-Objektive (SLOs) zu verletzen.
• Zukunftsperspektiven: Die Autoren schlagen vor, dynamische, Echtzeit-DVFS-Mechanismen zu entwickeln, die sich an die aktive Inferenzstufe und die Eingabemerkmale anpassen. Zudem sollte die Analyse auf disaggregierte Architekturen (Trennung von Encoder und LLM auf verschiedenen Beschleunigern) und weitere Modalitäten (Audio, Video) ausgeweitet werden.

Zusammenfassend zeigt die Arbeit, dass die „Modality Inflation" ein kritischer Faktor für die Nachhaltigkeit von KI-Systemen ist und dass gezielte, architekturbewusste Optimierungen erhebliche Energieeinsparungen ermöglichen.