Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders

Probleemstelling

Recente Multimodale Grote Taalmodellen (MLLM's) integreren steeds vaker meerdere visuele encoders (bijv. CLIP, SAM, DINO) met de aanname dat diverse voortrainingsdoelen complementaire visuele signalen leveren die de prestaties verbeteren. De auteurs challenge deze heuristiek ("meer encoders is beter") en stellen dat dit in de praktijk vaak faalt.

Het kernprobleem is encoder-redundantie:

1. Encoders leveren overlappende of zelfs conflicterende visuele cues.
2. Dit leidt tot fusieproblemen, afleiding door irrelevante signalen en inefficiënt gebruik van rekenkracht.
3. Er is een gebrek aan kwantitatieve methoden om te bepalen welke encoders uniek zijn en welke overbodig of zelfs schadelijk zijn voor specifieke taken.

Methodologie

De auteurs introduceren een systematische aanpak om redundantie te diagnosticeren en te kwantificeren:

1. Systematische Encoder Maskering
Ze testen representatieve multi-encoder MLLMs (zoals Eagle en Cambrian-1) door individuele encoders te maskeren (vervanging van hun output door een nul-tensor). Hierdoor wordt de impact van elke encoder op de prestaties over diverse benchmarks gemeten.

2. Introductie van Nieuwe Metrieken
Om redundantie objectief te meten, stellen ze twee principes voor:

• Conditional Utilization Rate (CUR): Meet de marginale bijdrage van een encoder $E_i$ in aanwezigheid van de andere encoders.
  $$u(E_i) = \frac{acc(f_{E_n}) - acc(f_{E_n \setminus \{E_i\}})}{acc(f_{E_n})}$$
  • Een hoge positieve CUR wijst op een unieke, essentiële bijdrage.
  • Een CUR dicht bij nul wijst op redundantie.
  • Een negatieve CUR betekent dat de encoder schadelijk is (bijv. door ruis of conflicterende signalen).
• Information Gap (IG): Het verschil tussen de maximale en minimale CUR-waarden binnen een modelset.
  $$\Delta_{gap}(E_n) = \max(u(E_i)) - \min(u(E_j))$$
  • Een grote IG duidt op een slecht gebalanceerd systeem waar één of enkele encoders domineren en anderen onderbenut worden.

3. Analyse van Factoren
De studie onderzoekt de invloed van takensoorten (OCR vs. algemene VQA), modelgrootte (LLM-capaciteit) en het type encoder op de redundantie.

Belangrijkste Resultaten

1. Pervasive Redundantie en "Graceful Degradation"

• Het maskeren van specifieke encoders leidt vaak niet tot een catastrofale prestatiedaling, maar tot een "graceful degradation" (geleidelijke achteruitgang) of zelfs een verbetering van de prestaties.
• Voorbeeld: Bij Cambrian-1 8B levert het gebruik van een subset van 3 encoders een prestatieverbetering van 3,5% op ten opzichte van het volledige model. Bij Eagle-X5 7B blijft 96% van de prestatie behouden zelfs als twee encoders worden verwijderd.

2. Specialisatie vs. Uitwisselbaarheid

• OCR & Chart-taken: Hier is er sterke specialisatie. Een enkele encoder (bijv. EVA-02 of ConvNext) domineert vaak met een CUR > 90%. Andere encoders dragen hier weinig of niets bij.
• Algemene VQA & Kennis: Hier zijn encoders grotendeels uitwisselbaar (lage CUR, lage IG), wat wijst op hoge redundantie.
• Schadelijke Encoders: Sommige encoders hebben een negatieve CUR (bijv. SigLIP op Vision-Centric taken in Cambrian-1), wat betekent dat hun aanwezigheid de prestaties juist verlaagt.

3. Efficiëntie en Kostenbesparing

• Dual-encoder varianten: Door te focussen op de twee meest waardevolle encoders (geïdentificeerd via CUR/IG), kunnen modellen >90% van de volledige prestatie behalen.
• Trainingstijd: Het trainen van een dual-encoder variant is 1,53x sneller dan het volledige model (bij Eagle-X5 een reductie van 34,6% in trainingstijd) met slechts een minimale prestatieverlies (<4%).
• Inferentie: Het maskeren van redundante encoders verlaagt de end-to-end latentie met ongeveer 19,5% en vermindert de totale FLOPs aanzienlijk.

4. Invloed van Modelgrootte

• Grotere LLM's (bijv. 13B vs. 3B) vertonen een grotere Information Gap. Dit suggereert dat schaalvergroting de redundantie versterkt: grotere modellen worden robuuster tegen het verliezen van individuele encoders, maar zijn architectonisch inefficiënter.

Bijdragen

1. Eerste systematische studie: Het biedt het eerste kwantitatieve bewijs voor de wijdverbreide redundantie en praktische inefficiëntie in multi-encoder MLLMs.
2. Nieuwe diagnostische tools: Introductie van CUR en IG als model-onafhankelijke metrieken om encoder-gebruik en onbalans te kwantificeren.
3. Actiegericht kader: Demonstreert dat het selecteren van een optimale subset van encoders (vaak 1 of 2) leidt tot modellen met aanzienlijk lagere kosten en latency, zonder significante prestatieverliezen.

Significantie

Dit paper daagt fundamenteel de huidige trend uit om steeds meer visuele encoders toe te voegen aan MLLMs. De auteurs tonen aan dat "meer" vaak leidt tot afnemende meeropbrengsten (diminishing returns) en zelfs negatieve effecten.

De bevindingen hebben grote implicaties voor de toekomstige ontwikkeling van multimodale architecturen:

• Efficiëntie: Ontwikkelaars kunnen kosten en energieverbruik drastisch verlagen door redundantie te elimineren.
• Ontwerp: In plaats van blindelings encoders te stapelen, moet er een strategische selectie plaatsvinden op basis van taak-specifieke behoeften (bijv. één sterke encoder voor OCR, een andere voor semantiek).
• Toekomstig onderzoek: Het biedt een diagnoseframework om te bepalen welke encoders essentieel zijn, wat leidt tot slimmere, lichtere en effectievere multimodale modellen.

Kortom, de studie concludeert dat voor de meeste taken een enkelvoudige of dubbele encoder-set voldoende is, en dat de toevoeging van extra encoders vaak een onnodige last is voor de rekenkracht.