🤖 AI

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

Dit artikel stelt Decoupled Visual Processing (DVP) voor, een efficiënt trainingsframework voor parameters dat de bovenste decoderlagen van een multimodale groot taalmodel vervangt door een enkele, lichtgewicht transformer-blok gewijd aan visuele tokens, waarmee concurrerende prestaties op benchmarks wordt bereikt terwijl slechts een fractie van de totale parameters wordt bijgewerkt.

Oorspronkelijke auteurs: Mingkuan Feng, Zhengqi Wen, Jianhua Tao

Gepubliceerd 2026-07-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingkuan Feng, Zhengqi Wen, Jianhua Tao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers tegelijkertijd kunnen "zien" en "lezen", als een super slimme vriend die naar een foto van een kat kan kijken en je er een grappig verhaal over kan vertellen. Dit is het domein van Multimodale Large Language Models (MLLM's). Om deze modellen te laten werken, nemen wetenschappers meestal twee krachtige instrumenten en lijmen die aan elkaar: een "vision encoder" (een brein dat getraind is om afbeeldingen te begrijpen) en een "Large Language Model" (een brein dat getraind is om woorden te begrijpen). Het lastige deel is om ze met elkaar te laten praten. Meestal, wanneer je de computer een afbeelding laat zien en een vraag stelt, duwt de computer zowel de beeldonderdelen als de woordonderdelen in dezelfde gigantische fabriekslijn van verwerkingsstappen. Elke stap in die lijn wordt aangepast en bijgesteld om het antwoord perfect te maken. Maar hier zit de crux: die fabriekslijn is enorm, en het afstemmen van elke machine in die lijn kost een enorme hoeveelheid tijd, geld en elektriciteit. Het is alsof je een heel stedelijk verkeerssysteem probeert te repareren om één enkele bezorgwagen sneller te laten rijden.

De grote vraag die wetenschappers zich hebben gesteld is: moeten de beeldonderdelen en de woordonderdelen echt door exact dezelfde diepe, complexe fabriekslijn gaan? Missen de beeldonderdelen misschien een snelle, gespecialiseerde afkorting, terwijl de woorden de volledige, diepe verwerking nodig hebben? Als we erachter konden komen hoe we de plaatjes een afkorting kunnen geven zonder het hele systeem te breken, zouden we deze slimme computers veel goedkoper en sneller kunnen trainen. Dit is precies de puzzel die een team onderzoekers van de Tsinghua Universiteit besloot op te lossen.

Het Papier: Afbeeldingen een VIP-afkorting geven

De onderzoekers, Mingkuan Feng, Zhengqi Wen en Jianhua Tao, stellen een nieuwe manier voor om deze modellen te trainen, genaamd Decoupled Visual Processing (DVP). Denk aan het standaardmodel als een lange, kronkelende glijbaan op een speeltuin. Iedereen — of ze nu een plaatje of een woord vasthouden — moet samen de volledige 32-stappen glijbaan afglijden. De onderzoekers vroegen zich af: "Wat als we de mensen met de plaatjes halverwege de glijbaan laten afspringen, door een kleine, supersnelle tunnel laten gaan, en ze dan onderaan weer laten samenkomen met de mensen met de woorden?"

Zo werkt hun "Decoupled Visual Processing" stap voor stap:

De Gedeelde Start: Eerst glijden zowel de beeldstukjes (visuele tokens) als de woordstukjes (tekstuele tokens) samen door de eerste helft van de glijbaan (lagen 0 tot 16). Dit is belangrijk omdat het de afbeelding en de woorden de kans geeft om elkaar te leren kennen en de context te begrijpen.
De Splitsing: Op het halve punt splitst de menigte zich. De woordstukjes vervolgen hun weg over de originele, lange, bevroren glijbaan (lagen 17 tot 31). Deze glijbaan is "bevroren", wat betekent dat hij al perfect is in het maken van zinnen, dus ze passen hem niet aan.
De VIP-tunnel: De beeldstukjes worden echter niet door de lange glijbaan geleid. In plaats daarvan worden ze via een gloednieuwe, kleine, enkelvoudige tunnel (een enkele transformer block) gestuurd. Deze tunnel is het enige deel van het hele systeem dat getraind en bijgesteld wordt.
De Hereniging: Onderaan worden de beeldstukjes (nu verwerkt door de kleine tunnel) en de woordstukjes (verwerkt door de lange glijbaan) weer aan elkaar geknoopt om het uiteindelijke antwoord te genereren.

Wat Ze Vonden

Het team testte dit idee met behulp van een populair model genaamd LLaVA-1.5 met een 7-miljard parameter backbone (Vicuna-7B). Ze vergeleken hun "VIP-tunnel"-methode met twee andere benaderingen: de standaardmethode waarbij ze het gehele model trainen, en een "Normale Training"-methode waarbij ze wel hun gesplitste architectuur gebruiken, maar nog steeds alles trainen.

De resultaten waren verrassend effectief:

Enorme Besparingen: Door DVP te gebruiken, hoefden ze slechts ongeveer 3,1% van de totale parameters te trainen. Dat is alsof je het hele verkeer in een stad regelt door alleen de verkeerslichten op één enkele straathoek aan te passen.
Helder Zien: Op een test genaamd MME (die controleert of het model daadwerkelijk dingen kan "zien", zoals het tellen van objecten of het lezen van borden), scoorde hun methode 1440. Dit ligt ongelooflijk dicht bij de score van het volledig getrainde model van 1496, en is zelfs veel beter dan de "Normale Training"-gesplitste methode, die slechts 1225 scoorde. Dit suggereert dat het bevriezen van het hoofdmodel de computer daadwerkelijk beter laat "zien" door te voorkomen dat hij in de war raakt.
Minder Hallucinaties: Op een test genaamd POPE (die controleert of het model dingen verzint die er niet zijn, zoals een hond zien in een foto van een kat), scoorde DVP 0,8619. Dit was de hoogste score van allemaal, waarmee het de score van het volledig getrainde model van 0,8577 versloeg. Dit suggereert dat het geven van de afbeeldingen een eigen toegewezen pad kan helpen om het model minder "dromerig" te maken en dingen te laten verzinnen.
De Trade-off: De methode was niet overal perfect. Op ChartQA (een test voor het lezen van grafieken en diagrammen) scoorde DVP 0,2356. Hoewel dit beter was dan de score van het volledig getrainde model van 0,1776, was het lager dan de 0,432 van de "Normale Training"-methode. De auteurs suggereren dat dit komt omdat het lezen van grafieken zeer fijnmazige, heen-en-weer controle vereist tussen de details van de afbeelding en de tekstlabels, wat moeilijker is wanneer de twee paden vroegtijdig van elkaar gescheiden zijn.

Waarom Dit Belangrijk Is

Het artikel suggereert dat de diepe, complexe lagen aan de bovenkant van deze AI-modellen eigenlijk veel zwaar werk verrichten voor woorden, maar dat ze voor afbeeldingen wellicht overdreven zijn. De onderzoekers ontdekten dat een enkele, kleine transformer block voldoende is om de beeldverwerking te afhandelen als de afbeelding en de tekst elkaar halverwege al een kans hebben gegeven om elkaar te ontmoeten.

Deze aanpak daagt het oude idee uit dat elk stukje data door het gehele diepe netwerk moet reizen. Het suggereert dat we slimmere, efficiëntere AI kunnen bouwen door te erkennen dat afbeeldingen en woorden verschillend zijn en mogelijk ook een ander soort hulp nodig hebben. Hoewel de methode uitstekend werkt voor algemeen zien en het spotten van nepobjecten, merken de auteurs op dat het nog wat meer werk vereist voor taken die een super gedetailleerde redenering vereisen, zoals het lezen van complexe grafieken. Maar alles over het algemeen suggereren zij dat dit "ontkoppelde" pad een krachtige, energiebesparende manier is om computers te leren zien zonder dat we telkens het hele brein opnieuw hoeven te bouwen.

Technische Samenvatting: Decoupled Visual Processing (DVP)

Probleemstelling

Multimodale Large Language Models (MLLM's), zoals LLaVA, hebben aanzienlijk succes behaald door visueel en tekstueel begrip te integreren binnen een uniforme transformer-architectuur. Het heersende paradigma houdt in dat visuele kenmerken worden geprojecteerd in de embedding-ruimte van de LLM en dat alle tokens (zowel visueel als tekstueel) door de volledige stapel decoderlagen worden verwerkt. Hoewel dit effectief is, vereist deze aanpak ofwel volledige fine-tuning van miljarden parameters, of het toepassen van parameter-efficiënte methoden (bijv. LoRA) over elke laag, wat beide computationeel duur is.

Een kritische, onderbelichte vraag die in dit werk wordt geadresseerd, is of visuele en tekstuele tokens werkelijk dezelfde diepe representatie-route vereisen. Eerdere onderzoeken suggeries dat lagere transformer-lagen algemene, modus-agnostische kenmerken vastleggen, terwijl hogere lagen steeds meer gespecialiseerd raken. In MLLM's wordt verondersteld dat visuele tokens in de hogere lagen kunnen profiteren van een gespecialiseerd verwerkingspad, dat afwijkt van de tekstgerichte verwerking van de oorspronkelijke LLM, waardoor de verwerking met volledige diepte van visuele tokens onnodig en inefficiënt wordt gemaakt.

Methodologie: Decoupled Visual Processing (DVP)

De auteurs stellen Decoupled Visual Processing (DVP) voor, een efficiënt trainingsframework dat de decoderstack van een vooraf getrainde LLM modificeert om visuele en tekstuele verwerkingspaden te scheiden na een initiële gedeelde fase.

Architectuur

Gegeven een vooraf getrainde LLM met $L$ decoderlagen, implementeert DVP een split-process-concatenate paradigma:

Gedeelde Verwerking (lagen $0$ tot $K-1$ ): Alle tokens (visueel en tekstueel) worden gezamenlijk verwerkt door de eerste $K$ decoderlagen. Deze fase faciliteert cross-modale aandacht, waardoor het model in staat is om alignment en contextuele gronding tussen modaliteiten te vestigen.
Modus Splitsing: Na laag $K$ worden de verborgen toestanden (hidden states) gesplitst op basis van modus in visuele tokens ( $X_v$ ) en tekstuele tokens ( $X_t$ ).
Ontkoppelde Verwerking:
- Visueel Pad: Visuele tokens worden gerouteerd door een enkele, nieuw geïnitialiseerde transformer-block. Deze block is de enige trainbare component tijdens de fine-tuning fase.
- Tekstueel Pad: Tekstuele tokens gaan door de resterende $L-K$ decoderlagen, die bevroren blijven (ter behoud van de vooraf getrainde taalmodellering-capaciteit).
Concatenatie en Predictie: De verwerkte visuele en tekstuele representaties worden geconcateneerd en doorgegeven aan de taalmodellering-head voor next-token predictie.

Ontwerpratio

Splitspunt ( $K$ ): In experimenten met Vicuna-7B (32 lagen) vindt de splitsing plaats na laag 16 ( $K=17$ ). Deze keuze wordt gemotiveerd door de observatie dat de eerste helft van de transformer-lagen lagere en cross-modale kenmerken vastlegt, terwijl de tweede helft specialiseert in taakspecifieke redenering.
Extreme Compressie: Het visuele pad vervangt 15 decoderlagen door een enkele transformer-block. Dit dwingt het model om een compacte transformatie-mapping te leren die de visuele representaties uit de gedeelde lagen direct naar de output-ruimte mapt.
Parameter-efficiëntie: Alleen de enkele transformer-block wordt bij instructie-tuning bijgewerkt. In de Vicuna-7B configuratie vormt dit ongeveer 3,1% van de totale modelparameters, terwijl de overige 96,9% (inclusief de gedeelde lagere lagen en de bovenste tekstuele lagen) bevroren blijft.

Belangrijkste Bijdragen

Architecturale Innovatie: DVP introduceert een structurele modificatie die visuele verwerking ontkoppelt van de diepe decoderstack, waarmee de assumptie wordt uitgedaagd dat visuele tokens de volledige diepte van de LLM moeten doorlopen.
Parameter-efficiëntie: De methode bereikt concurrerende prestaties terwijl slechts een fractie van de parameters wordt getraind (ca. 3,1%) vergeleken met volledige fine-tuning.
Validatie van Hypothese: Het werk valideert twee hypothesen: (1) lagere LLM-lagen zijn voldoende voor cross-modale alignment, en (2) visuele tokens in hogere lagen vereisen andere, compactere transformaties dan tekstuele tokens.

Experimentele Resultaten

De auteurs evalueerden DVP met het LLaVA-1.5 framework met een Vicuna-7B backbone op drie benchmarks: MME (perceptie en cognitie), POPE (object hallucinatie), en ChartQA.

Perceptie (MME): DVP behaalde een perceptiescore van 1440, wat 96,3% is van de volledig gefinetunede LLaVA-1.5-7B baseline (1496). Opvallend genoeg presteerde DVP beter dan een "Normal Training" baseline (die de split-architectuur gebruikte maar alle parameters trainde) op perceptie (1440 vs. 1225), wat suggereert dat het bevriezen van parameters helpt om visuele perceptie-vaardigheden te behouden.
Hallucinatie (POPE): DVP behaalde een score van 0,8619, waarmee het de LLaVA-1.5-7B baseline (0,8577) en de Normal Training baseline (0,8381) overtrof. Dit geeft aan dat de ontkoppelde architectuur object-hallucinatie kan verminderen door te voorkomen dat visuele verwerking wordt beïnvloed door tekst-gebiaste hogere lagen.
Cognitie en Grafiekbegrip: DVP presteerde vergelijkbaar met de baseline op MME cognitie (327 vs. 324). Echter, het scoorde lager op ChartQA (0,2356) vergeleken met de Normal Training baseline (0,432). De auteurs schrijven dit toe aan de noodzaak voor fijnmazige, iteratieve cross-referencing tussen visuele details en tekstuele labels in de hogere lagen, wat beperkt is in de split-architectuur.
Efficiëntie: DVP behoudt concurrerende prestaties terwijl slechts ~3,1% van de parameters wordt getraind, wat een reductie van ~32x in trainbare parameters betekent vergeleken met volledige fine-tuning.

Betekenis en Claims

Het artikel claimt dat visuele representaties in MLLM's effectief geleerd kunnen worden via een ontkoppeld, parameter-efficiënt pad. De belangrijkste implicaties zijn onder meer:

Redundantie in Visuele Verwerking: Het succes van een enkele transformer-block die 15 decoderlagen vervangt, suggereert substantiële redundantie in hoe huidige MLLM's visuele informatie in de hogere lagen verwerken.
Modus-specifieke Inductieve Bias: De architectuur introduceert een expliciete scheiding tussen "begrip" (wat visuele tokens dragen) en "generatie" (hoe informatie wordt gebruikt voor tekst), wat potentieel kan leiden tot meer interpreteerbare en controleerbare systemen.
Deployment en Adaptatie: De extreme parameter-efficiëntie maakt DVP aantrekkelijk voor resource-beperkte deployment, adaptatie aan nieuwe visuele domeinen (waarbij alleen de visuele block bijgewerkt hoeft te worden), en scenario's voor continu leren.
Perspectief van Kennisdistillatie: De enkele block comprimeert effectief de "kennis" van 15 lagen, wat suggereert dat de effectieve rang van de transformatie die op visuele tokens wordt toegepast veel lager is dan de volledige parametrische capaciteit van die lagen.

De auteurs erkennen beperkingen, waaronder de evaluatie op een beperkte set benchmarks, de vaste heuristiek voor het splitsingspunt, en het gebrek aan cross-modale aandacht na de splitsing, wat taken die iteratieve visuele-tekstuele redenering vereisen, kan hinderen. Ze suggereren dat toekomstig werk adaptieve splitsingspunten, meerdere lichtgewicht visuele blocks en extensies naar grotere model-schalen kan verkennen.