Rethinking the Mixture of Vision Encoders Paradigm for Enhanced Visual Understanding in Multimodal LLMs

Dit paper introduceert LEO, een efficiënt architectuurontwerp dat een gestructureerde mix van visuele encoders combineert met een lichtgewicht fusiestrategie om multimodale taalmodellen te verbeteren voor diverse visuele taken en domeinen zoals autonoom rijden.

De kern

Leo: De Superheld van de Visuele Verstandhouding

Stel je voor dat je een slimme robot hebt die heel goed kan praten en redeneren, maar die eigenlijk een beetje "blind" is voor de details. Hij ziet een foto van een drukke straat, maar hij mist de kleine bordjes, de tekst op de winkels of de subtiele beweging van een voetganger. Dit is het probleem waar veel moderne kunstmatige intelligentie (AI) mee worstelt: ze zijn slim in het algemeen, maar verliezen de fijnere details als het beeld te groot of te complex wordt.

De auteurs van dit papier hebben een oplossing bedacht, een nieuw model genaamd Leo. Ze noemen hun aanpak een "Mixture of Vision Encoders" (een mengeling van visuele experts), maar laten het ons simpel uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Eén-Expert" Valstrik

Vroeger probeerden AI-modellen om alles te zien door één gigantische camera (een visuele encoder) te gebruiken. Het probleem? Als je een heel groot, gedetailleerd plaatje (zoals een hoge-resolutie foto van een stad) door die ene camera jaagt, wordt het beeld vaak vaag of moet je het in stukken knippen, waardoor details verloren gaan.

Het is alsof je probeert een heel groot schilderij te bekijken door een klein kijkgaatje. Je ziet wel iets, maar je mist de samenhang en de fijne details.

2. De Oplossing: Leo's "Drie-Hoofdige" Strategie

Leo lost dit op door niet één, maar twee experts tegelijk in te schakelen, en dat op een slimme manier. Het is alsof je een detective-team samenstelt:

• Expert A is goed in het begrijpen van de grote lijnen en de context (zoals een landschapsfotograaf).
• Expert B is een specialist in details, zoals tekst lezen of vormen herkennen (zoals een forensisch expert).

Maar Leo doet meer dan alleen twee experts hebben. Hij gebruikt drie slimme trucjes om hen samen te laten werken:

Truc 1: De "Puzzel" met een Globaal Overzicht (Dynamic Tiling)

In plaats van het hele grote plaatje in één keer te proberen te verwerken, knipt Leo het plaatje op in stukjes (zoals een puzzel).

• De slimme twist: Hij past de grootte en het aantal puzzelstukjes aan aan de vorm van de foto. Is het een lange, smalle foto? Dan maakt hij andere stukjes dan bij een vierkante foto.
• De "Globale Context": Naast de puzzelstukjes houdt Leo ook een klein "thumbnail" (een mini-versie) van het hele plaatje vast. Zo weet hij waar de puzzelstukjes passen.
• Vergelijking: Het is alsof je een grote kaart van Nederland bestudeert. Je kijkt niet alleen naar de hele kaart (te vaag), en niet alleen naar één dorpje (te beperkt). Je kijkt naar de kaart, en zoomt dan in op de steden die je nodig hebt, terwijl je altijd weet waar die steden in het land liggen.

Truc 2: De "Dansende" Samenwerking (Tile-Level Interleaving)

Nu hebben we twee experts die elk een stukje van de puzzel hebben bekeken. Hoe brengen we hun bevindingen samen?

• Oude methode: Je laat Expert A alles vertellen, en daarna Expert B. (Te langdradig, ze vergeten elkaar).
• Leo's methode: Ze dansen samen. Leo neemt één stukje van Expert A, dan één stukje van Expert B, dan weer A, dan weer B. Ze wisselen elkaar voortdurend af.
• Vergelijking: Stel je een gesprek voor tussen twee mensen. Als de ene persoon eerst een heel verhaal vertelt en dan de ander, is het saai. Maar als ze zinnen afwisselen ("Ik zag een rode auto" - "En die reed hard"), ontstaat er een levendig, compleet beeld. Leo zorgt ervoor dat de details van beide experts direct met elkaar verweven zijn.

Truc 3: De "Taalles" voor elke Expert (Post-Adaptation)

Voordat de twee experts hun bevindingen aan de "hoofd" (het taalmodel) doorgeven, krijgt elke expert zijn eigen persoonlijke vertaler.

• De oude manier: Ze praten eerst met elkaar in hun eigen jargon, en pas daarna vertaalt één persoon alles naar het taalmodel.
• Leo's manier: Elke expert krijgt zijn eigen vertaler die hem eerst uitlegt hoe hij moet praten in de taal van het hoofd. Pas daarna komen ze samen.
• Vergelijking: Stel je voor dat een Fransman en een Japanner een gesprek hebben met een Nederlander. Als ze eerst in het Frans en Japans met elkaar praten en dan pas vertalen, gaan details verloren. Maar als ze eerst een lesje krijgen in hoe ze het beste hun gedachten in het Nederlands kunnen verwoorden, en daarna praten, is het gesprek veel helderder. Leo zorgt ervoor dat elke expert zijn unieke kracht behoudt voordat ze samenkomen.

3. Wat levert dit op?

Leo is niet alleen slimmer, maar ook efficiënter.

• Resultaat: Leo is beter in het lezen van tekst op foto's (zoals borden of documenten), het begrijpen van complexe grafieken en het redeneren over wat er in een scène gebeurt.
• Autonoom rijden: Het papier toont aan dat Leo ook uitstekend werkt in auto's. Hij kan zien of het veilig is om een kruising over te steken, of er een fietser aankomt, of er een verkeersbord staat. En dit doet hij zonder dat de auto's hun hele "brein" hoeven te vervangen; Leo past zich gewoon aan.
• Snelheid: Omdat Leo slim werkt, is hij sneller en goedkoper te trainen dan de zware, complexe modellen die er nu zijn.

Conclusie

Kortom, Leo is geen nieuwe, gigantische robot die alles zelf moet leren. Het is een slimme regisseur die weet hoe hij de juiste experts moet inhuren, hoe hij hen moet laten samenwerken in een perfecte dans, en hoe hij ze moet voorbereiden op de taak.

Door deze eenvoudige maar krachtige aanpak (puzzelstukjes, dansende samenwerking en persoonlijke vertalingen) kan Leo zien wat andere modellen missen: de fijne details in een complexe wereld. Het bewijst dat je niet altijd groter en zwaarder hoeft te zijn om slimmer te zijn; soms is het gewoon een kwestie van de juiste samenwerking vinden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Rethinking the Mixture of Vision Encoders Paradigm for Enhanced Visual Understanding in Multimodal LLMs" in het Nederlands.

Probleemstelling

Multimodale Large Language Models (MLLMs) hebben aanzienlijke vooruitgang geboekt door visuele encoders (zoals CLIP) te aligneren met grote taalmodellen (LLMs). Echter, deze modellen kampen nog steeds met uitdagingen bij taken die fijnkorrelige perceptie vereisen, zoals complexe optische karakterherkenning (OCR), het begrijpen van grafieken en het verwerken van hoge-resolutie afbeeldingen.

Bestaande oplossingen proberen dit op te lossen door:

1. De schaal van visuele encoders te vergroten (meer parameters/data).
2. Beelden op te delen in tegels (tiling) voor hoge resolutie.
3. Een Mixture of Vision Encoders (MoVE) paradigma te gebruiken, waarbij meerdere gespecialiseerde visuele experts worden gecombineerd.

Hoewel MoVE veelbelovend is, blijft het een open uitdaging om deze diverse encoders en hun visuele tokens effectief te combineren, vooral bij schaling naar hoge resoluties. Bestaande methoden variëren van eenvoudige concatenatie tot complexe cross-attention mechanismen, maar er is geen systematisch inzicht in welke fusiestrategieën het meest effectief zijn, op welke granulariteit ze moeten plaatsvinden en wanneer ze moeten worden toegepast (voor of na adaptatie).

Methodologie: De Leo Architectuur

De auteurs voeren een systematische empirische studie uit om de optimale ontwerpprincipes voor MoVE-gebaseerde MLLMs te identificeren. Op basis van deze bevindingen presenteren ze Leo, een lichtgewicht en effectief model. De kern van de methodologie bestaat uit drie onderzochte pijlers:

1. Dynamische Tiling met Globale Context (Tiled MoVE):

   • In plaats van het hele beeld als één token te behandelen of een statisch rooster te gebruiken, past Leo dynamische tiling toe. Het beeld wordt opgedeeld in tegels op basis van het beeldverhouding (aspect ratio), terwijl er parallel een miniatuur (thumbnail) wordt gegenereerd om globale context te behouden.
   • Vindt: Dynamische tiling presteert significant beter dan geen tiling, vaste roosters of overlappende tiling, omdat het de ruimtelijke structuur behoudt zonder de token-limiet te overschrijden.

2. Token Merging Strategieën (Op tegel-niveau):

   • De auteurs vergelijken vier strategieën om tokens van twee verschillende encoders te combineren:
     • Sequence Appending: Tokens achter elkaar plakken.
     • Sequence Interleaving: Tokens afwisselend samenvoegen (bijv. token 1 van encoder A, token 1 van encoder B, enz.).
     • Channel Concatenation: Features samenvoegen langs de kanaal-dimensie.
     • Cross-Attention: Geavanceerde interactie tussen tokens.
   • Vindt: Tile-level sequence interleaving levert consistent de beste resultaten op. Dit behoudt de ruimtelijke relaties binnen een tegel en zorgt voor een betere integratie van informatie dan complexe cross-attention of eenvoudige concatenatie.

3. Timing van Fusie (Pre- vs. Post-adaptatie):

   • Pre-adaptatie: Tokens worden samengevoegd voordat ze worden gemapt naar de LLM-ruimte (één gedeelde projector).
   • Post-adaptatie: Elke encoder heeft zijn eigen dedicated projector die de tokens eerst onafhankelijk aligneert met de LLM-ruimte, waarna ze worden samengevoegd.
   • Vindt: Post-adaptatie fusie is superieur. Het behoudt de specifieke kenmerken van elke encoder en zorgt ervoor dat de fusie plaatsvindt op reeds genormaliseerde representaties, wat leidt tot betere multimodale redenering.

De Leo Architectuur:
Leo combineert deze drie principes:

• Gebruik van twee complementaire encoders (bijv. InternViT voor visueel-taal alignering en SAM voor segmentatie/regionale features).
• Dynamische tiling met globale context.
• Onafhankelijke projectors per encoder (post-adaptatie).
• Tile-level sequence interleaving voor token fusie.
• Een 7B LLM als backbone.

Belangrijkste Bijdragen

1. Systematische Studie: Een grondig onderzoek naar de interactie tussen visuele versterkingstechnieken (tiling), token-merging strategieën en het tijdstip van fusie in MoVE-modellen.
2. Leo Model: De introductie van een efficiënt MoVE-architectuur die de beste bevindingen integreert zonder de complexiteit van zware routing-mechanismen.
3. Generalisatie: Demonstreert dat Leo effectief kan worden toegepast in gespecialiseerde domeinen zoals autonoom rijden zonder de architectuur of trainingsrecept te wijzigen.
4. Efficiëntie: Toont aan dat slimme ontwerpkeuzes (lichtgewicht) betere resultaten kunnen opleveren dan modellen die vertrouwen op schaalvergroting van data of parameters.

Resultaten

Leo werd geëvalueerd op 11 verschillende vision-language benchmarks en vergeleken met bestaande MoVE-modellen (zoals Eagle, SPHINX, DeepSeek-VL) en andere state-of-the-art MLLMs.

• Algemene Prestaties: Leo behaalde de beste resultaten op 7 van de 11 taken, waaronder significante verbeteringen op DocVQA (80.1) en ScienceQA (78.5).
• Vergelijking met State-of-the-Art: Leo presteert beter dan modellen met complexere fusiemechanismen en meer trainingsdata (bijv. Eagle-X3 en SPHINX), ondanks dat Leo aanzienlijk minder vooraf getrainde data en instructie-tuning data gebruikt.
• Autonoom Rijden: Op de LingoQA benchmark (voor autonoom rijden) overtrof Leo alle open-source baselines en deed het het bijna even goed als gesloten systemen, wat de generalisatiekracht aantoont.
• Efficiëntie: Leo gebruikt slechts ~612M parameters voor de visuele encoders (minder dan de helft van Eagle-X3) en reduceert de FLOPs met 61,6% ten opzichte van concurrenten, terwijl het snellere generatietijden behaalt.
• Ablatie Studies: De studies bevestigen dat het bevriezen van de visuele backbones tijdens de tweede trainingsfase (SFT) beter werkt dan het finetunen ervan, wat aangeeft dat de vooraf getrainde representaties al zeer effectief zijn en dat de projectors de adaptatie moeten doen.

Significantie

Dit artikel is significant omdat het het paradigma van "meer is beter" (meer encoders, meer data, complexere fusie) uitdaagt. De auteurs tonen aan dat principiële ontwerpkeuzes (zoals post-adaptatie fusie en interleaving) een grotere impact hebben op de prestaties dan het simpelweg verhogen van de modelgrootte of het aantal experts.

Leo biedt een praktische, reproduceerbare "recept" voor het bouwen van krachtige, hoge-resolutie multimodale modellen die goed generaliseren naar niche-domeinen zoals autonoom rijden, zonder de noodzaak van zware domein-specifieke aanpassingen. Het stelt een nieuwe standaard voor efficiëntie en effectiviteit in de ontwikkeling van MoVE-based MLLMs.