🤖 AI

CIVIC: End-to-End Sequence Compactness for Efficient Vision-Language Models

CIVIC ist ein End-to-End-Framework, das durch die Aufrechterhaltung eines zusammenhängenden kompakten visuellen Pfads über alle Inferenzstufen hinweg echte Hardware-Effizienz in Vision-Language-Modellen erreicht und dabei Speicherbedarf sowie Latenz erheblich reduziert, ohne die Genauigkeit zu beeinträchtigen.

Ursprüngliche Autoren: Fengze Yang, Bo Yu, Xuewen Luo, Cathy Liu, Chenxi Liu

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fengze Yang, Bo Yu, Xuewen Luo, Cathy Liu, Chenxi Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine komplexe Filmszene einem Freund zu erklären.

Das Problem: Der „übermäßig beschreibende" Freund
Aktuelle KI-Modelle (sogenannte Vision-Language-Modelle) sind wie Freunde, die jedes einzelne Pixel eines Filmframes beschreiben. Wenn der Film eine 4K-Auflösung hat, versuchen sie möglicherweise, 1.000 winzige Details (Tokens) für nur eine Sekunde Videomaterial zu beschreiben. Obwohl dies detailliert ist, ist es ermüdend. Die KI muss alle 1.000 Details in ihrem Kurzzeitgedächtnis (dem „KV-Cache") behalten, während sie versucht, eine Geschichte zu schreiben. Dies macht die KI langsam, speicherhungrig und teuer im Betrieb, insbesondere auf kleineren Geräten.

Die alte Lösung: Der „Bearbeitungs-Button"-Fehler
Frühere Versuche, dies zu beheben, waren wie das zuerst vollständige Schreiben einer 1.000-Wörter-Beschreibung und das anschließende Beauftragen eines Redakteurs, die langweiligen Teile nachträglich zu streichen.

Der Fehler: Obwohl der Redakteur Wörter durchstrich, musste die KI sie dennoch zuerst niederschreiben, mit sich herumtragen und dann löschen. Es ist wie das Tragen eines schweren Rucksacks voller Steine, um erst am Ziel die Hälfte davon fallen zu lassen. Sie wurden trotzdem müde, indem Sie das Gewicht trugen, und der „Bearbeitungs"-Prozess selbst benötigte zusätzliche Zeit.

Die neue Lösung: CIVIC (Der „intelligente Zusammenfasser")
Die Studie führt CIVIC ein, eine neue Denkweise darüber, wie KI sieht und spricht. Anstatt die vollständige Beschreibung zu schreiben und sie dann zu bearbeiten, lehrt CIVIC die KI, von Anfang an nur die wichtigen Teile zu schreiben.

So funktioniert CIVIC, unter Verwendung einfacher Analogien:

Das „Anker"-System (Intelligentes Gruppieren):
Stellen Sie sich vor, Sie schauen in einen überfüllten Raum. Anstatt das Gesicht jedes einzelnen Menschen aufzulisten, wählt CIVIC einige „Anker" (wie das Zentrum einer Freundesgruppe) aus und sagt: „Diese ganze Gruppe repräsentiert eine Idee." Es gruppiert ähnliche visuelle Details bevor die KI überhaupt beginnt, sie zu verarbeiten. Dies verwandelt eine unordentliche Menge von 1.000 Objekten in eine übersichtliche Liste von 400 Schlüsselpunkten.
Der „kontinuierliche Pfad" (Keine Umwege):
Die meisten anderen Methoden sind wie eine Staffel, bei der der Läufer das Staffelholz übergibt, anhält, um es neu zu verpacken, und dann weiterläuft. CIVIC ist eine gerade Strecke. Es hält die „kompakte" (gekürzte) Liste von Informationen den ganzen Weg von der Kamera über den Projektor bis ins Gehirn der KI. Es wechselt niemals zurück zur „schweren" Version. Das bedeutet, dass die KI keine Energie verschwendet, um Modi zu wechseln oder Daten neu zu organisieren.
Der „Speicher-Sparer" (KV-Cache):
Da die KI nur 400 Schlüsselpunkte statt 1.000 merken muss, schrumpft ihr Kurzzeitgedächtnis (der KV-Cache) dramatisch. Die Studie ergab, dass CIVIC nur etwa ein Drittel des Speicherplatzes im Vergleich zur Standardmethode benötigt. Es ist wie der Wechsel vom Tragen eines schweren Koffers zum Tragen eines kleinen Rucksacks.
Die „Lehrer-Schüler"-Lektion (Training):
Um sicherzustellen, dass die KI durch weniger Details nicht verwirrt wird, verwendeten die Forscher eine „textausgerichtete" Lehrmethode. Stellen Sie sich einen Lehrer (die große, langsame KI) vor, der einem Schüler (der neuen, schnellen KI) zeigt, wie man ein Bild beschreibt. Der Lehrer sagt nicht nur „sei kürzer", sondern: „Beschreibe die Bedeutung des Bildes mit weniger Worten, aber stelle sicher, dass du die Geschichte trotzdem richtig wiedergibst." Dies stellt sicher, dass die KI ihre Fähigkeit nicht verliert, feine Details zu verstehen, wie zum Beispiel, wo sich ein Objekt in einem Bild befindet.

Die Ergebnisse
Als die Forscher dies an einem Modell namens Qwen3-VL testeten:

Geschwindigkeit: Die KI erledigte ihre Aufgabe viel schneller (von ca. 3,5 Sekunden auf ca. 2,5 Sekunden).
Speicher: Sie benötigte deutlich weniger Speicher (von ca. 122 MB auf ca. 44 MB).
Genauigkeit: Trotz Geschwindigkeit und geringerer Größe wurde sie nicht „dümmer". Sie beantwortete komplexe Fragen und lokalisierte Objekte in Bildern genauso gut wie die langsame, schwere Version.

Zusammenfassung
CIVIC verhindert, dass die KI unnötige Arbeit leistet. Anstatt eine massive Datenmenge zu generieren und dann zu versuchen, sie zu kürzen, lernt sie, von Anfang an eine kompakte, effiziente Zusammenfassung zu erstellen. Dies macht die KI schneller, kostengünstiger im Betrieb und einsatzbereit für die reale Welt, ohne ihre Intelligenz zu verlieren.

Technische Zusammenfassung: CIVIC – End-to-End Sequenzkomprimierung für effiziente Vision-Language-Modelle

1. Problemstellung

Vision-Language-Modelle (VLMs) stoßen bei der Verarbeitung hochauflösender Bilder oder langer Videos auf erhebliche Engpässe bei Speicher und Latenz, hauptsächlich aufgrund der massiven Anzahl generierter visueller Tokens. Während sich die bestehende Forschung auf Token-Verdünnung, -Merging und KV-Cache-Komprimierung konzentriert hat, um theoretische FLOPs zu reduzieren, schlagen diese Ansätze oft fehl, wenn es darum geht, in proportionale physische Hardware-Beschleunigung umgemünzt zu werden.

Das identifizierte Kernproblem ist die „Lücke zwischen Kompression und Realisierung" (compression-realization gap). Die meisten aktuellen Methoden wenden eine nachträgliche Laufzeitkomprimierung an, nachdem dichte visuelle Repräsentationen bereits konstruiert wurden. Dies führt zu strukturellen Overheads, darunter:

Nicht-kontinuierlicher Speicherzugriff: Operationen wie Token-Bewertung, Routing, Gather/Scatter und die Wiederherstellung dichter Schnittstellen unterbrechen die Speicherkontinuität der GPU.
Geometrische Desorientierung: Das Unterbrechen von 2D-Gittern während des Beschneidens kann zum Verlust feinkörniger Lokalisierung führen.
Ineffektive nachgelagerte Komprimierung: Selbst wenn visuelle Tokens im Encoder reduziert werden, setzen Downstream-Operationen des Sprachmodells (LLM) wie Prefill und KV-Cache oft die Verarbeitung unkomprimierter oder teilweise dichter Schnittstellen fort, wodurch Latenzgewinne zunichte gemacht werden.

Folglich führen theoretische FLOP-Reduktionen nicht zu einer echten Beschleunigung der Wandzeit, und ressourcenbeschränkte Bereitstellungen bleiben weiterhin durch Latenz und KV-Cache-Fußabdrücke gebremst.

2. Methodik: CIVIC-Framework

Um diese Barrieren zu überwinden, schlägt die Arbeit CIVIC (Compact Inference for Vision-Language Integrated Compression) vor, ein pfadkonsistentes Framework, das darauf ausgelegt ist, kompakte Sequenzrepräsentationen nahtlos über die gesamte Inferenzpipeline hinweg aufrechtzuerhalten: vom Vision-Encoder und der Projektionsschicht bis zum LLM-Prefill und KV-Cache.

Kernkomponenten

Gelernte ankerbasierte Aggregation:
Anstatt Tokens nach dem Encoding zu beschneiden, wandelt CIVIC dichte Patches vor der visuellen Kodierung in aufeinanderfolgende Tokens um. Es verwendet gelernte kompakte Anker ( $A$ ), um dichte Patch-Embeddings ( $X_0$ ) über einen softmax-gewichteten Mechanismus zu aggregieren. Dies bewahrt die räumliche Abbildung und wandelt die dichte Sequenz in eine kompakte latente Sequenz ( $Z_0$ ) um, ohne die 2D-Gitterstruktur zu stören.
Kompakte visuelle Kodierung mit KV-Komprimierung:
Der kompakte visuelle Encoder ( $E^c_v$ ) verarbeitet die aggregierte Sequenz. Entscheidend ist, dass die Query-Projektion standardmäßig bleibt, während Keys und Values in eine feste Anzahl von Speicherankern ( $S$ ) komprimiert werden. Dies reduziert die Komplexität der Attention-Interaktion von $O(T_e^2)$ auf $O(M_e \cdot S)$ , wobei $M_e$ die Anzahl der kompakten Tokens ist.
Adaptiver räumlicher Beibehaltungsboden:
Um zu verhindern, dass eine Überkomprimierung die feinkörnige Lokalisierung zerstört, setzt CIVIC einen adaptiven räumlichen Beibehaltungsboden ein. Dies stellt sicher, dass ein Mindestanteil räumlich relevanter Tokens erhalten bleibt und schützt die visuelle Genauigkeit während aggressiver Trunkierung.
Kompaktes multimodales Prefill:
Die kompakten visuellen Embeddings werden direkt in den versteckten Raum des Sprachmodells ( $\Pi_c$ ) projiziert und in den LLM-Kontext eingefügt. Im Gegensatz zu anderen Methoden, die dichte Platzhalter einfügen, ersetzt CIVIC diese Bereiche vollständig durch die kompakte Sequenz ( $V_c$ ), wodurch sichergestellt wird, dass der LLM-Prefill und die nachfolgende autoregressive Dekodierung auf einer verkürzten Sequenz ( $L + M_p$ ) statt auf der ursprünglichen dichten Länge ( $L + T_p$ ) operieren.
Textausgerichtete KL-Destillation:
Da sich die visuelle Token-Schnittstelle ändert, ist eine Standard-Destillation unzureichend. CIVIC nutzt ein textausgerichtetes KL-Destillationsschema. Es richtet die Logits des kompakten Schülermodells nur an nicht-visuellen Textpositionen mit dem dichten Lehrermodell aus. Dies ermöglicht es den kompakten Embeddings, dichte Bereiche direkt zu ersetzen, ohne dass eine strukturelle Nachschulung der eingefrorenen Sprachmodellparameter erforderlich ist.

3. Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

Identifizierung der Lücke: Die Autoren stellen fest, dass theoretische FLOP-Reduktionen in VLMs keine physische Beschleunigung liefern, es sei denn, die Sequenzkomprimiertheit wird end-to-end über den Vision-Encoder, den Projektor und den LLM-Prefill hinweg erhalten.
Pfadkonsistentes Framework: Der Vorschlag von CIVIC, das geometrische und Trainingsengpässe durch gelernte ankerbasierte Aggregation, einen adaptiven räumlichen Beibehaltungsboden und textausgerichtete KL-Destillation löst, um end-to-end kompakte latente Repräsentationen aufrechtzuerhalten.
Empirische Validierung: Die Evaluation auf der Qwen3-VL-Architektur zeigt, dass eine stabile kompakte Verarbeitung die Latenz und den KV-Cache-Fußabdruck drastisch reduziert, während die feinkörnige multimodale Genauigkeit erhalten bleibt, und eliminiert die Notwendigkeit für Laufzeit-Routing oder dichte Wiederherstellung.

4. Experimentelle Ergebnisse

Experimente wurden am Modell Qwen3-VL-2B-Instruct unter Verwendung einer NVIDIA RTX 4090 GPU durchgeführt, wobei CIVIC gegen fünf Baseline-Methoden zur Token-Reduktion (DyMU, DiffRate, DynamicViT, VisionTrim, ZOO-Prune) über fünf Benchmarks (MMMU, MathVision, ODinW-13, RealWorldQA, VideoMME) verglichen wurde.

Leistungsmetriken

Latenzreduktion: CIVIC erreichte eine gesamte Inferenzlatenz von 2514,9 ms, eine signifikante Reduktion gegenüber der Baseline von 3543,0 ms. Im Gegensatz dazu zeigten viele nachträgliche Methoden (z. B. ZOO-Prune, DynamicViT) Latenzrückgänge oder vernachlässigbare Verbesserungen aufgrund von Overheads.
KV-Cache-Optimierung: Die KV-Cache-Speichernutzung wurde von 122,7 MB (Baseline) auf 44,61 MB (CIVIC) reduziert, was etwa einem Drittel der Baseline entspricht.
Sequenzkomprimierung: Die Anzahl der Prefill-Tokens wurde von 1122,2 auf 407,9 reduziert.
Erhalt der Genauigkeit: Im Gegensatz zu nachträglichen Beschneidungsmethoden, die bei stark auf Schlussfolgerung ausgerichteten Aufgaben (MathVision) und feinkörniger Lokalisierung (ODinW-13) unter schwerer Verschlechterung litten, behielt CIVIC stabile Leistungsgrenzen bei und verbesserte in einigen Fällen sogar die Lokalisierungsgenauigkeit.
Overhead: Der Kompressionsoverhead für CIVIC war vernachlässigbar (0,49 ms), wohingegen Baselines signifikante Overheads aufwiesen (z. B. 18,45 ms für ZOO-Prune) aufgrund von Laufzeit-Buchhaltung.

Erkenntnisse aus der Ablationsstudie

Token-Budget: Mittlere Token-Budgets (z. B. C=256) boten den besten Kompromiss zwischen visueller Dichte und Downstream-Arbeitslast; extreme Komprimierung (C=64) verschlechterte die Dekodierungsleistung aufgrund von Informationsverarmung.
Beibehaltungsboden: Ein adaptiver Mindestbeibehaltungsanteil war kritisch; unbegrenzte Entfernung (Min=0,0) zerstörte die visuelle Genauigkeit.
End-to-End-Konsistenz: Das Wiederherstellen dichter Platzhalter vor dem LLM machte alle Geschwindigkeitssteigerungen zunichte und bestätigte, dass mittlere Kompaktheit zwecklos ist, es sei denn, sie persistiert bis in das LLM hinein.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CIVIC theoretische Komprimierung erfolgreich in physische Hardware-Effizienz übersetzt. Durch die Erzwingung eines kontinuierlichen kompakten Pfades vermeidet das Framework den nicht-kontinuierlichen Speicherzugriff und die Overheads der lokalen Wiedervereinigung, die aktuelle Methoden plagen.

Die Bedeutung liegt darin, zu demonstrieren, dass holistische Sequenzkomprimiertheit der entscheidende Treiber für greifbare VLM-Beschleunigung ist. Die Ergebnisse deuten darauf hin, dass für eine effiziente VLM-Bereitstellung der gesamte Inferenzgraph auf Kompaktheit optimiert werden muss, anstatt Komprimierung als nachträglichen Zusatz zu behandeln. Dieser Ansatz ermöglicht größere Batch-Größen und erweiterte Kontextfenster in ressourcenbeschränkten Szenarien, ohne die feinkörnigen multimodalen Schlussfolgerungsfähigkeiten zu opfern, die für praktische Anwendungen wie Robotik und autonomes Fahren erforderlich sind.

Die Autoren bleiben bezüglich des Umfangs bescheiden und stellen fest, dass die aktuellen Evaluierungen auf statische Token-Budgets, einzelne Bilder und die Qwen3-VL-2B-Architektur beschränkt sind, wobei zukünftige Arbeiten erforderlich sind, um die Skalierbarkeit über größere Modelle und dynamische, instanzadaptive Kontexte hinweg zu validieren.