CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning

Probleemstelling

Huidige Vision-Language Models (VLM's) vertrouwen doorgaans op een enkele visuele encoder (vaak getraind met contrastief leren zoals CLIP of SigLIP). Hoewel deze modellen goed zijn in cross-modale uitlijning en zoekopdrachten, vertonen ze beperkingen:

1. Gebrek aan fijnmazige grounding: Contrastieve encoders neigen naar globale semantische uitlijning en missen vaak precieze lokale cues, zoals objectlocatie, kleurattributen en subtiele ruimtelijke relaties.
2. Architectonische onbalans: De visuele encoder is vaak kleiner dan de taalbackbone (LLM), wat een bottleneck kan vormen voor generalisatie en domeinoverdracht.
3. Redundantie bij fusie: Eerdere pogingen om meerdere encoders te combineren (bijv. CLIP en DINO) leiden vaak tot redundante features en een onnodige toename van het aantal visuele tokens, wat de rekencost van de LLM verhoogt.

De kernvraag is: Is het gebruik van standaard CLIP-achtige features de beste visuele representatie voor multimodale LLM's, en hoe kunnen we complementaire visuele signalen efficiënt fusioneren?

Methodologie: CoME-VL

De auteurs stellen CoME-VL (Complementary Multi-Encoder Vision-Language) voor, een modulair fusiekader dat een contrastief getrainde encoder (SigLIP2) combineert met een zelftoezicht-encoder (DINOv3). Het doel is om zowel semantisch begrip als ruimtelijke grounding te maximaliseren.

Het kader bestaat uit drie kerncomponenten:

1. Entropie-gestuurde Laagselectie (Entropy-Guided Layer Selection):

   • In plaats van alleen de laatste laag te gebruiken, analyseren de auteurs de token-entropie over de diepte van de encoders.
   • SigLIP2: Toont hoge entropie in alle lagen, wat wijst op diverse semantische features. Alle lagen (0–27) worden gebruikt.
   • DINOv3: Toont een afname in entropie naarmate de lagen dieper worden. De auteurs selecteren specifiek de lagen 10–23 (lage entropie), omdat deze sterke ruimtelijke en geometrische features bevatten die essentieel zijn voor grounding.
   • Dit zorgt voor een data-gedreven selectie van de meest informatieve lagen per encoder.

2. Orthogonaliteit-geregulariseerde Multi-layer Mixing:

   • Om redundantie te verminderen tussen de vele geselecteerde lagen, wordt een Orthogonal Layer (OL) toegepast op de output van elke geselecteerde laag.
   • Deze laag projecteert de features met een orthogonale matrix (bijna isometrisch), wat ervoor zorgt dat de gemengde features in complementaire subspaces liggen en niet over elkaar heen lopen.
   • De features worden vervolgens gewogen en samengevoegd (aggregatie) binnen elke encoder.

3. RoPE-Versterkte Cross-Attention (Alignment):

   • Omdat SigLIP en DINO tokens op verschillende resoluties kunnen produceren, wordt directe concatenatie vermeden (wat de contextlengte van de LLM zou vergroten).
   • In plaats daarvan wordt een cross-attention mechanisme gebruikt waarbij SigLIP-tokens als queries fungeren en DINO-tokens als keys/values.
   • RoPE (Rotary Positional Embeddings) wordt geïntegreerd in deze cross-attention om ruimtelijke consistentie te behouden. Dit zorgt ervoor dat de attention scores afhankelijk zijn van relatieve ruimtelijke offsets, wat cruciaal is voor nauwkeurige grounding zonder de rekenlast van de LLM te verhogen.
   • De gefuseerde tokens worden vervolgens ingebracht in een decoder-only LLM (gebaseerd op Molmo/Qwen2).

Belangrijkste Bijdragen

1. CoME-VL Framework: Een nieuw paradigma voor multimodale learning dat contrastieve en zelftoezicht-encoders combineert om zowel begrip als grounding te verbeteren.
2. Entropie als criterium: Het introduceren van token-entropie als een principieel criterium om welke lagen van welke encoder het meest waardevol zijn voor fusie.
3. Efficiënte Fusie: Een ontwerp dat redundantie reduceert via orthogonaliteit en de contextlengte van de LLM beperkt via cross-attention in plaats van concatenatie.
4. State-of-the-Art Resultaten: Het bewijzen dat deze aanpak superieur is aan single-encoder baselines, met name op taken die ruimtelijk inzicht vereisen.

Resultaten

CoME-VL werd geëvalueerd op diverse benchmarks, waaronder PixMo (voor telling, wijzen en grafieken) en RefCOCO (voor objectlocatie).

• Algemene Prestaties: CoME-VL behaalde een gemiddelde verbetering van +4,9% op visuele begrijptaken en +5,4% op grounding-taken ten opzichte van de sterke Molmo-baseline.
• Grounding en Pointing: Op de PixMo "Pointing" taak (waarbij het model exacte coördinaten moet geven) behaalde CoME-VL 58,56% (bij 3px tolerantie) en 75,94% (bij 5px), wat significant beter is dan concurrenten zoals Qwen2-VL en LLaVA.
• RefCOCO: Het model behaalde 92,57% op de validatie-set, 95,36% op testA en 90,51% op testB, wat een nieuwe state-of-the-art is en de CLIP-to-DINO baseline overtreft.
• Efficiëntie: Hoewel er een kleine overhead is (inference tijd stijgt van 1,26s naar 1,52s per sample), is dit aanzienlijk efficiënter dan eerdere multi-encoder methoden (zoals COMM) die directe concatenatie gebruiken en tot 2,2s per sample nodig hebben.

Betekenis en Conclusie

Het paper demonstreert dat het combineren van de sterke semantische uitlijning van contrastieve encoders (SigLIP) met de rijke ruimtelijke details van zelftoezicht-encoders (DINO) een krachtige strategie is voor VLM's.

De belangrijkste inzichten zijn:

• Complementariteit: SigLIP levert de "wat" (semantiek) en DINO levert de "waar" (ruimtelijke precisie).
• Laagselectie is cruciaal: Niet alle lagen van een encoder zijn even nuttig; entropie-analyse helpt om de juiste lagen te selecteren.
• Efficiëntie: Door slimme fusietechnieken (orthogonaliteit en cross-attention) kan men de voordelen van meerdere encoders behouden zonder de LLM te overbelasten.

CoME-VL biedt een schaalbare en effectieve route naar betrouwbaardere, grondigere multimodale systemen die beter kunnen redeneren over visuele inhoud en nauwkeuriger kunnen lokaliseren, wat essentieel is voor toepassingen zoals robotica, medische beeldanalyse en geavanceerde visuele assistentie.