🤖 AI

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

Dieses Paper schlägt Decoupled Visual Processing (DVP) vor, ein effizientes Trainingsframework für die Parameteroptimierung, das die oberen Decoder-Schichten eines multimodalen Large Language Models durch einen einzelnen, leichtgewichtigen Transformer-Block ersetzt, der speziell für visuelle Token ausgelegt ist, und dabei eine wettbewerbsfähige Leistung auf Benchmarks erzielt, während nur ein Bruchteil der gesamten Parameter aktualisiert wird.

Ursprüngliche Autoren: Mingkuan Feng, Zhengqi Wen, Jianhua Tao

Veröffentlicht 2026-07-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mingkuan Feng, Zhengqi Wen, Jianhua Tao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer gleichzeitig „sehen“ und „lesen“ können, wie ein superintelligenter Freund, der ein Bild einer Katze betrachten und Ihnen dazu eine lustige Geschichte erzählen kann. Dies ist das Reich der Multimodalen Großen Sprachmodelle (MLLMs). Um diese Modelle zum Laufen zu bringen, nehmen Wissenschaftler normalerweise zwei leistungsstarke Werkzeuge und kleben sie zusammen: einen „Vision Encoder“ (ein Gehirn, das darauf trainiert ist, Bilder zu verstehen) und ein „Large Language Model“ (ein Gehirn, das darauf trainiert ist, Wörter zu verstehen). Der knifflige Teil ist, dass sie miteinander kommunizieren müssen. Normalerweise, wenn man dem Computer ein Bild zeigt und eine Frage stellt, schiebt der Computer sowohl die Bildteile als auch die Wortteile in dieselbe riesige Fabrikstraße der Verarbeitungsschritte. Jeder einzelne Schritt in dieser Linie wird angepasst und optimiert, um die perfekte Antwort zu erhalten. Aber hier liegt der Haken: Diese Fabrikstraße ist gewaltig, und jeden einzelnen Prozess in dieser Linie anzupassen, kostet eine enorme Menge an Zeit, Geld und Elektrizität. Es ist, als würde man versuchen, das gesamte Verkehrssystem einer Stadt zu reparieren, nur damit ein einziger Lieferwagen schneller vorankommt.

Die große Frage, die sich Wissenschaftler gestellt haben, lautet: Müssen die Bildteile und die Wortteile wirklich durch dieselbe tiefe, komplexe Fabrikstraße gehen? Vielleicht brauchen die Bildteile nur eine schnelle, spezialisierte Abkürzung, während die Wörter die volle, tiefe Verarbeitung benötigen. Wenn wir herausfinden könnten, wie man den Bildern eine Abkürzung ermöglicht, ohne das gesamte System zu beschädigen, könnten wir diese intelligenten Computer viel günstiger und schneller trainieren. Dies ist genau das Rätsel, das ein Forscherteam der Tsinghua Universität lösen wollte.

Das Paper: Den Bildern eine VIP-Abkürzung geben

Die Forscher Mingkuan Feng, Zhengqi Wen und Jianhua Tao schlagen eine neue Art des Trainings dieser Modelle vor, die Decoupled Visual Processing (DVP) genannt wird. Stellen Sie sich das Standardmodell wie eine lange, gewundene Rutsche auf einem Spielplatz vor. Alle – egal ob sie ein Bild oder ein Wort halten – müssen gemeinsam die gesamte 32-stufige Rutsche hinuntergleiten. Die Forscher fragten: „Was wäre, wenn wir die Bildträger erlauben würden, die Rutsche auf der Hälfte zu verlassen, durch einen winzigen, superschnellen Tunnel zu gehen und sich dann mit den Wortträgern am Ende wieder zu treffen?“

So funktioniert ihr „Decoupled Visual Processing“ Schritt für Schritt:

Der gemeinsame Start: Zuerst gleiten sowohl die Bildstücke (visuelle Token) als auch die Wortstücke (Text-Token) gemeinsam durch die erste Hälfte der Rutsche (Layer 0 bis 16). Dies ist wichtig, weil es den Bild- und den Wortteilen ermöglicht, sich kennenzulernen und den Kontext zu verstehen.
Die Trennung: Am Mittelpunkt teilt sich die Menge auf. Die Wortstücke setzen ihren Weg auf der ursprünglichen, langen, eingefrorenen Rutsche fort (Layer 17 bis 31). Diese Rutsche ist „eingefroren“, was bedeutet, dass sie bereits perfekt darin ist, Sätze zu bilden, also rührt man sie nicht an.
Der VIP-Tunnel: Die Bildstücke hingegen gehen nicht die lange Rutsche hinunter. Stattdessen werden sie durch einen brandneuen, winzigen, einstufigen Tunnel (einen einzelnen Transformer-Block) geleitet. Dieser Tunnel ist der einzige Teil des gesamten Systems, der trainiert und angepasst wird.
Das Wiedersehen: Ganz unten werden die Bildstücke (jetzt durch den winzigen Tunnel verarbeitet) und die Wortstücke (durch die lange Rutsche verarbeitet) wieder zusammengesetzt, um die endgültige Antwort zu generieren.

Was sie herausfanden

Das Team testete diese Idee mit einem populären Modell namens LLaVA-1.5 mit einem 7-Milliarden-Parameter-Backbone (Vicuna-7B). Sie verglichen ihre „VIP-Tunnel“-Methode mit zwei anderen Ansätzen: dem Standardverfahren, bei dem sie das gesamte Modell trainieren, und einer „Normalen Trainingsmethode“, bei der sie zwar ihre getrennte Architektur verwenden, aber dennoch alles trainieren.

Die Ergebnisse waren überraschend effektiv:

Massive Einsparungen: Durch die Verwendung von DVP mussten sie nur etwa 3,1 % der gesamten Parameter trainieren. Das ist so, als würde man den Verkehr einer ganzen Stadt regeln, indem man nur die Ampeln an einer einzigen Straßenecke anpasst.
Klares Sehen: In einem Test namens MME (der prüft, ob das Modell Dinge wie das Zählen von Objekten oder das Lesen von Schildern tatsächlich „sieht“) erreichte ihre Methode einen Wert von 1440. Das ist unglaublich nah an dem Wert des voll trainierten Modells von 1496, und tatsächlich viel besser als die „Normale Trainingsmethode“ der getrennten Architektur, die nur 1225 erreichte. Dies deutet darauf, dass das Einfrieren des Hauptmodells dem Computer tatsächlich dabei hilft, besser zu „sehen“, indem es verhindert, dass er verwirrt wird.
Weniger Halluzinationen: In einem Test namens POPE (der prüft, ob das Modell Dinge erfindet, die nicht da sind, wie etwa einen Hund in einem Bild einer Katze zu sehen) erreichte DVP einen Wert von 0,8619. Dies war der höchste Wert aller, womit es das voll trainierte Modell mit 0,8577 schlug. Dies deutet darauf hin, dass der Weg, den die Bilder über einen eigenen Pfad nehmen, das Modell möglicherweise daran hindert, „verträumt“ zu sein und Dinge zu erfinden.
Der Kompromiss: Die Methode war nicht in allem perfekt. Bei ChartQA (einem Test für das Lesen von Grafiken und Diagrammen) erreichte DVP 0,2356. Obwohl dies besser als das voll trainierte Modell (0,1776) war, lag es unter dem Wert der „Normalen Trainingsmethode“ von 0,432. Die Autoren vermuten, dass dies daran liegt, dass das Lesen von Diagrammen ein sehr feines, hin und her gehendes Abgleichen zwischen den Bilddetails und den Textbeschriftungen erfordert, was schwieriger ist, wenn die beiden Pfade frühzeitig getrennt werden.

Warum das wichtig ist

Das Paper legt nahe, dass die tiefen, komplexen Schichten am oberen Ende dieser KI-Modelle tatsächlich viel Arbeit leisten, aber für Bilder vielleicht übertrieben sind. Die Forscher fanden heraus, dass ein einziger, winziger Transformer-Block ausreicht, um die Bildverarbeitung zu bewältigen, wenn das Bild und der Text sich bereits auf der Hälfte getroffen haben.

Dieser Ansatz stellt die alte Vorstellung infrage, dass jedes Datensegment durch das gesamte tiefe Netzwerk reisen muss. Er legt nahe, dass wir intelligentere, effizientere KIs bauen können, indem wir erkennen, dass Bilder und Wörter unterschiedlich sind und unterschiedliche Arten der Unterstützung benötigen könnten. Während die Methode bei allgemeinem Sehen und dem Erkennen falscher Objekte gut funktioniert, merken die Autoren an, dass sie für Aufgaben, die eine super-detaillierte Argumentation erfordern, wie das Lesen komplexer Diagramme, noch etwas Arbeit benötigt. Insgesamt deuten sie jedoch darauf hin, dass dieser „entkoppelte“ Pfad ein leistungsstarker, energiesparender Weg ist, um Computern das Sehen beizubringen, ohne jedes Mal das ganze Gehirn neu bauen zu müssen.

Technisches Resümee: Decoupled Visual Processing (DVP)

Problemstellung

Multimodale Large Language Models (MLLMs), wie beispielsweise LLaVA, haben signifikante Erfolge durch die Integration von visueller und textueller Verständniss innerhalb einer einheitlichen Transformer-Architektur erzielt. Das vorherrschende Paradigma sieht vor, visuelle Merkmale in den Embedding-Raum des LLM zu projizieren und alle Token (sowohl visuelle als auch textuelle) durch den gesamten Stapel von Decoder-Schichten zu verarbeiten. Während dieser Ansatz effektiv ist, erfordert er entweder das vollständige Fine-Tuning von Milliarden von Parametern oder die Anwendung von parametereffizienten Methoden (z. B. LoRA) über jede Schicht hinweg, was beides rechenintensiv ist.

Eine kritische, bisher wenig untersuchte Frage, der diese Arbeit nachgeht, ist, ob visuelle und textuelle Token tatsächlich denselben tiefen Repräsentationspfad benötigen. Vorherige Forschungsergebnisse legen nahe, dass untere Transformer-Schichten allgemeine, modalitätsagnostische Merkmale erfassen, während obere Schichten zunehmend spezialisiert werden. Bei MLLMs wird die Hypothese aufgestellt, dass visuelle Token in den oberen Schichten von einem spezialisierten Verarbeitungspfad profitieren könnten, der sich von der textorientierten Verarbeitung des ursprünglichen LLM unterscheidet, wodurch die Verarbeitung der vollen Tiefe der visuellen Token unnötig und ineffizient wird.

Methodik: Decoupled Visual Processing (DVP)

Die Autoren schlagen Decoupled Visual Processing (DVP) vor, ein effizientes Trainingsframework, das den Decoder-Stapel eines vortrainierten LLM modifiziert, um visuelle und textuelle Verarbeitungspfade nach einer initialen gemeinsamen Phase zu trennen.

Architektur

Gegeben sei ein vortrainiertes LLM mit $L$ Decoder-Schichten; DVP implementiert ein Split-Process-Concatenate-Paradigma:

Gemeinsame Verarbeitung (Schichten $0$ bis $K-1$ ): Alle Token (visuell und textuell) werden gemeinsam durch die ersten $K$ Decoder-Schichten verarbeitet. Diese Phase erleichtert die Cross-Modal-Attention, wodurch das Modell eine Ausrichtung (Alignment) und kontextuelle Fundierung zwischen den Modalitäten herstellen kann.
Modalitäts-Split: Nach Schicht $K$ werden die Hidden States nach Modalität in visuelle Token ( $X_v$ ) und textuelle Token ( $X_t$ ) aufgeteilt.
Entkoppelte Verarbeitung:
- Visueller Pfad: Visuelle Token werden durch einen einzelnen, neu initialisierten Transformer-Block geleitet. Dieser Block ist die einzige trainierbare Komponente während der Fine-Tuning-Phase.
- Textueller Pfad: Textuelle Token werden weiterhin durch die verbleibenden $L-K$ Decoder-Schichten geleitet, welche eingefroren bleiben (um die vortrainierte Sprachmodellierungsfähigkeit zu bewahren).
Konkatenation und Prädiktion: Die verarbeiteten visuellen und textuellen Repräsentationen werden konkateniert und an den Language Modeling Head zur Next-Token-Prädiktion übergeben.

Design-Rationale

Split-Punkt ( $K$ ): In Experimenten mit Vicuna-7B (32 Schichten) erfolgt der Split nach Schicht 16 ( $K=17$ ). Diese Wahl wird durch die Beobachtung motiviert, dass die erste Hälfte der Transformer-Schichten niedrigschwellige und cross-modale Merkmale erfasst, während die zweite Hälfte auf aufgabenspezifische Argumentation spezialisiert ist.
Extreme Kompression: Der visuelle Pfad ersetzt 15 Decoder-Schichten durch einen einzigen Transformer-Block. Dies zwingt das Modell dazu, eine kompakte Transformationsabbildung zu lernen, die die visuellen Repräsentationen der gemeinsamen Schichten direkt auf den Output-Raum abbildet.
Parametereffizienz: Nur der einzelne Transformer-Block wird während des Instruction Tunings aktualisiert. In der Vicuna-7B-Konfiguration entspricht dies etwa 3,1 % der Gesamtparameter des Modells, während die restlichen 96,9 % (einschließlich der gemeinsamen unteren Schichten und der oberen textuellen Schichten) eingefroren bleiben.

Zentrale Beiträge

Architektonische Innovation: DVP führt eine strukturelle Modifikation ein, die die visuelle Verarbeitung vom tiefen Decoder-Stapel entkoppelt, und stellt damit die Annahme infrage, dass visuelle Token die gesamte Tiefe des LLM durchlaufen müssen.
Parametereffizienz: Die Methode erreicht eine konkurrenzfähige Leistung bei der Ausbildung von nur einem Bruchteil der Parameter (ca. 3,1 %) im Vergleich zum Full Fine-Tuning.
Validierung der Hypothese: Die Arbeit validiert zwei Hypothesen: (1) untere LLM-Schichten sind ausreichend für die Cross-Modal-Ausrichtung, und (2) visuelle Token in oberen Schichten erfordern andere, kompaktere Transformationen als textuelle Token.

Experimentelle Ergebnisse

Die Autoren evaluierten DVP unter Verwendung des LLaVA-1.5-Frameworks mit einem Vicuna-7B-Backbone auf drei Benchmarks: MME (Perzeption und Kognition), POPE (Objekt-Halluzination) und ChartQA.

Perzeption (MME): DVP erreichte einen Perzeptionswert von 1440, was 96,3 % des voll feinabgestimmten LLaVA-1.5-7B-Baselines (1496) entspricht. Bemerkenswerterweise übertraf DVP eine „Normal Training“-Baseline (die die Split-Architektur nutzte, aber alle Parameter trainierte) bei der Perzeption (1440 vs. 1225), was darauf hindeutet, dass das Einfrieren von Parametern hilft, die visuelle Wahrnehmungsfähigkeit zu bewahren.
Halluzination (POPE): DVP erreichte einen Wert von 0,8619 und übertraf damit den LLaVA-1.5-7B-Baseline (0,8577) sowie die Normal Training-Baseline (0,8381). Dies deutet darauf hin, dass die entkoppelte Architektur Objekt-Halluzinationen reduzieren kann, indem sie verhindert, dass die visuelle Verarbeitung durch text-verzerrte obere Schichten beeinflusst wird.
Kognition und Chart-Verständnis: DVP performte vergleichbar mit dem Baseline-Modell bei MME Kognition (327 vs. 324). Es schnitt jedoch schlechter ab bei ChartQA (0,2356) im Vergleich zur Normal Training-Baseline (0,432). Die Autoren führen dies auf die Notwendigkeit einer feingliedrigen, iterativen Kreuzreferenzierung zwischen visuellen Details und textuellen Labels in den oberen Schichten zurück, die in der Split-Architektur begrenzt ist.
Effizienz: DVP behält eine konkurrenzfähige Leistung bei, während nur ~3,1 % der Parameter trainiert werden, was einer Reduktion der trainierbaren Parameter um den Faktor ~32 gegenüber dem Full Fine-Tuning entspricht.

Bedeutung und Behauptungen

Das Paper behauptet, dass visuelle Repräsentationen in MLLMs effektiv durch einen entkoppelten, parametereffizienten Pfad gelernt werden können. Die wesentlichen Implikationen umfassen:

Redundanz in der visuellen Verarbeitung: Der Erfolg eines einzelnen Transformer-Blocks, der 15 Decoder-Schichten ersetzt, deutet auf eine erhebliche Redundanz in der Art und Weise hin, wie aktuelle MLLMs visuelle Informationen in den oberen Schichten verarbeiten.
Modalitätsspezifische Induktions-Bias: Die Architektur führt eine explizite Trennung zwischen „Verständnis“ (was visuelle Token tragen) und „Generierung“ (wie Informationen für Text verwendet werden) ein, was potenziell zu interpretierbareren und steuerbareren Systemen führt.
Bereitstellung und Anpassung: Die extreme Parametereffizienz macht DVP attraktiv für ressourcenbeschränkte Bereitstellungen, die Anpassung an neue visuelle Domänen (wo nur der visuelle Block aktualisiert werden muss) und Szenarien des kontinuierlichen Lernens.
Perspektive der Wissensdestillation: Der einzelne Block komprimiert effektiv das „Wissen“ von 15 Schichten, was darauf hindeutet, dass der effektive Rang der auf visuelle Token angewendeten Transformation wesentlich niedriger ist als die volle parametrische Kapazität dieser Schichten.

Die Autoren räumen Einschränkungen ein, darunter die Evaluierung auf einem begrenzten Satz von Benchmarks, der heuristische Charakter des festen Split-Punkts und das Fehlen von Cross-Modal-Attention nach dem Split, was Aufgaben, die eine iterative visuell-textuelle Argumentation erfordern, behindern kann. Sie schlagen vor, dass zukünftige Arbeiten adaptive Split-Punkte, mehrere leichtgewichtige visuelle Blöcke und Erweiterungen auf größere Modellskalen untersuchen könnten.