Vision Verification Enhanced Fusion of VLMs for Efficient Visual Reasoning

Probleemstelling

Hoewel Vision-Language Models (VLMs) indrukwekkende prestaties leveren op taken zoals visuele vraagbeantwoording (VQA) en visueel redeneren, vertonen ze aanzienlijke beperkingen:

1. Hallucinaties: VLMs kunnen antwoorden genereren over objecten die ze niet zien of vragen beantwoorden die ze niet kennen.
2. Heterogeniteit en Specialisatie: Verschillende VLMs hebben uiteenlopende architecturen, trainingsdata en specialisaties. Een model dat goed is in het extraheren van visuele informatie, kan falen in diep redeneren, en vice versa.
3. Beperkingen van bestaande ensemble-methoden: Bestaande methoden voor het combineren van modellen (zoals meerderheidsstemming of debat tussen agents) zijn vaak afhankelijk van prompts, kostbaar, en negeren de visuele modality. Ze kijken alleen naar de tekstuele output en niet naar de onderliggende visuele representaties of de onzekerheid van het model.
4. Combinatorische complexiteit: Het selecteren van de beste combinatie van modellen uit een grote pool is een exponentieel groeiend probleem.

Het paper stelt dat er een mechanisme nodig is dat niet alleen de tekstuele output, maar ook de visuele begripsdiversiteit analyseert om de beste ensemble te vormen, hallucinaties te detecteren en te corrigeren.

---

Methodologie: V3Fusion Framework

V3Fusion is een raamwerk voor het fuseren van heterogene VLMs dat vijf unieke componenten omvat:

1. Visuele en Taaldiversiteitsanalyse (Focal Diversity)

Om de beste sub-ensemble te selecteren, introduceert het paper twee nieuwe metrieken:

• Focal-CKA (Central Kernel Alignment): Deze metriek meet de visuele begripsdiversiteit. In plaats van alleen naar de output te kijken, worden de visuele embeddings (van de visuele encoder) van verschillende modellen vergeleken. Omdat modellen verschillende dimensies hebben, wordt CKA gebruikt om de relatieve gelijkenis tussen de embedding-ruimtes te kwantificeren. Een lage gelijkenis (hoge diversiteit) tussen modellen op visuele features is wenselijk.
• Focal-Diversity (Error Diversity): Deze metriek meet de diversiteit in fouten. Het berekent hoe vaak modellen samen falen op specifieke voorbeelden. De doelstelling is een ensemble te vinden waar modellen verschillende fouten maken (negatieve correlatie in fouten), zodat ze elkaars zwaktes compenseren.

2. Ensemble-Pruning met Genetisch Algorithm

Gegeven een pool van $N$ modellen is het aantal mogelijke combinaties enorm ($2^N - N - 1$).

• Het paper gebruikt een Genetisch Algorithm (GA) om efficiënt de optimale sub-ensemble te vinden die de combinatie van Focal-CKA en Focal-Diversity maximaliseert.
• Dit reduceert de reeks van duizenden combinaties naar een kleine, hoogpresterende groep (bijv. 3-4 modellen) zonder brute-force berekeningen.

3. Fusion Mechanismen

Afhankelijk van het type vraag worden twee verschillende fusiemodellen gebruikt:

• V3Fusion-MLP (voor Meerkeuzevragen - MCQ): Een Multi-Layer Perceptron die de kansverdelingen (logits) van de kandidaat-modellen voor elke optie analyseert. Het leert patronen te herkennen in de betrouwbaarheid van modellen, zelfs als de meerderheid van de modellen het verkeerd heeft.
• V3Fusion-LED (voor Open-ended vragen - OEQ): Gebaseerd op een Longformer Encoder-Decoder (LED) architectuur. Deze neemt de outputsequenties van de geselecteerde ensemble-modellen als input en genereert een geoptimaliseerd antwoord door de complementaire kennis van de bronmodellen te samenvatten.

4. Adaptieve Epistemische Onzekerheid & Rectificatie

Om hallucinaties te voorkomen, berekent het systeem de epistemische onzekerheid (onzekerheid door modelkennisgebrek) in plaats van alleen aleatorische onzekerheid.

• Dynamische Drempel: Het algoritme past een adaptieve drempel toe op basis van de waargenomen onzekerheidsverdeling (gebruikmakend van een Gaussian Mixture Model).
• Rectificatie: Als de onzekerheid boven de drempel ligt, wordt het antwoord verworpen en wordt een "rectified" antwoord gegenereerd door de logits van alle base-modellen te middelen. Dit maakt het systeem zelfstandig zonder externe supervisie.

---

Belangrijkste Bijdragen

1. Visuele Verificatie: Het is de eerste methode die visuele embeddings (via CKA) en foutdiversiteit combineert om een ensemble te bouwen, in plaats van alleen te vertrouwen op tekstuele output.
2. Focal-Diversity Metrics: Introductie van Focal-CKA en Focal-Diversity om complementaire redeneervermogens en visuele discrepanties tussen heterogene modellen te kwantificeren.
3. Efficiënte Pruning: Een Genetisch Algorithm dat de zoekruimte voor de beste ensemble-combinatie drastisch reduceert (tot wel 99,66% tijdsreductie vergeleken met brute force).
4. Zelfcorrigerend Systeem: Een mechanisme voor adaptieve onzekerheidsschatting dat hallucinaties detecteert en corrigeert zonder externe LLM's of menselijke tussenkomst.

---

Resultaten

V3Fusion is getest op vier populaire benchmarks: A-OKVQA, MMMU, MMMU-Pro en OCR-VQA.

• Prestaties:
  • Op MMMU (een complexe meerkeuzetest) overtreft V3Fusion de beste individuele VLM met 8,09% nauwkeurigheid.
  • Op MMMU-Pro (een robuustere versie) is de winst 4,87%.
  • Voor generatieve taken (OCR-VQA) overtreft V3Fusion-LED de top-modellen (Intern-VL2-8b en Qwen2.5-VL-7b) met een verbetering van 2,2% in F1-score.
• Robuustheid: Het systeem presteert zelfs goed wanneer de meerderheid van de individuele modellen een fout maakt (geen meerderheidsovereenkomst).
• Efficiëntie:
  • V3Fusion bereikt betere resultaten dan volledig gefinetuned base-modellen, maar met aanzienlijk minder trainingstijd (bijv. 35 minuten vs. 1,47 uur voor Qwen2.5).
  • Het vereist slechts een klein deel van de trainingsdata (5%) om effectief te fuseren.
• Vergelijking: Het presteert beter dan bestaande methoden zoals LLM-Blender, RouteLLM en Multi-Agent Debate, terwijl het een lagere inferentietijd heeft dan debat-methoden.

---

Betekenis en Impact

Dit paper biedt een paradigmaverschuiving in het ensemble-leren voor multimodale modellen. In plaats van te vertrouwen op "de slimste" model of simpele stemming, benadrukt V3Fusion het belang van diversiteit in visuele perceptie en foutpatronen.

De belangrijkste implicaties zijn:

• Betrouwbaarheid: Door hallucinaties dynamisch te detecteren en te corrigeren, wordt VLM-technologie veiliger en betrouwbaarder voor kritieke toepassingen.
• Kostenefficiëntie: Het selecteren van een kleine, geoptimaliseerde groep modellen is veel goedkoper dan het uitvoeren van alle modellen of het trainen van enorme nieuwe modellen.
• Generalisatie: De methode werkt effectief over verschillende domeinen (van medische beeldvorming tot OCR) en vraagtypen, wat aantoont dat heterogene ensembles superieur zijn aan homogene oplossingen.

Kortom, V3Fusion bewijst dat een slimme, visueel onderbouwde fusie van bestaande modellen superieure redeneercapaciteiten kan bieden zonder de noodzaak van het trainen van nieuwe, gigantische foundation-modellen.