FewMMBench: A Benchmark for Multimodal Few-Shot Learning

Probleemstelling

Multimodale Large Language Models (MLLMs) hebben aanzienlijke vooruitgang geboekt in het verwerken van verweven (interleaved) afbeelding-tekst data. Echter, het beoordelen van hun few-shot learning-capaciteiten (leren met weinig voorbeelden) blijft een uitdaging. Bestaande benchmarks focussen vaak op zero-shot evaluaties of geïsoleerde vaardigheden, en testen niet systematisch hoe MLLMs presteren in een few-shot, in-context setting met verweven data en Chain-of-Thought (CoT) prompting. Er is een gebrek aan inzicht in hoe deze modellen redeneerpatronen leren en toepassen wanneer ze worden blootgesteld aan demonstratievoorbeelden.

Methodologie: FEWMMBENCH

De auteurs introduceren FEWMMBENCH, een uitgebreid benchmark-ontwerp specifiek voor het evalueren van few-shot learning in MLLMs.

1. Dataset Constructie:

• Taken: De benchmark omvat 9 diverse taken, variërend van lage-niveau perceptie (attribuutherkenning, objecttelling) tot hoge-niveau redenering (ruimtelijke relaties, coreferentie-oplossing, commonsense, en temporele redenering).
• Selectie van Voorbeelden: In plaats van willekeurige selectie, gebruiken de auteurs een submodulaire selectiestrategie gebaseerd op een Graph Cut-functie. Hierbij worden visual en tekstuele features (via CLIP) geëxtraheerd en worden demonstratievoorbeelden geselecteerd die zowel diversiteit als semantische relevantie garanderen ten opzichte van de query.
• Chain-of-Thought (CoT): Voor de few-shot voorbeelden worden expliciete redeneringsketens (rationales) gegenereerd met behulp van het Qwen2.5-VL-7B-Instruct model. Fouten worden gecorrigeerd om de kwaliteit van de ground truth te waarborgen.

2. Evaluatie Setup:

• Modellen: Er zijn 26 open-weight MLLMs geëvalueerd uit 6 model-families (Qwen, InternVL, Idefics, Phi, LLaVA, xGen-MM), variërend van 0.5B tot 9B parameters.
• Settings: De modellen worden getest onder vier condities:
  1. Zero-shot (geen voorbeelden).
  2. Random few-shot (4 en 8 willekeurige voorbeelden).
  3. Retrieved few-shot (4 en 8 semantisch vergelijkbare voorbeelden).
  4. Few-shot met CoT prompting (inclusief redeneringsstappen).
• Metingen: Naast standaard nauwkeurigheid (accuracy) wordt ook perplexity-based pairwise ranking gebruikt om bias door antwoordvolgorde te minimaliseren, en onzekerheidskwantificatie om de betrouwbaarheid van de voorspellingen te analyseren.

Belangrijkste Bijdragen

1. Gestructureerd Framework: FEWMMBENCH biedt een gecontroleerd framework dat zowel willekeurige als semantisch vergelijkbare demonstraties ondersteunt, waarbij vergelijkbare voorbeelden worden geselecteerd via een graph-cut algoritme om relevantie en diversiteit in balans te brengen.
2. CoT Rationales: Het dataset bevat gedetailleerde Chain-of-Thought rationale binnen de demonstraties, wat een systematische analyse mogelijk maakt van redeneringsgeleid multimodaal inferentie.
3. Uitgebreid Evaluatieprotocol: De benchmark gaat verder dan alleen antwoordnauwkeurigheid door perplexity-gebaseerde vergelijkingen en onzekerheidsmetingen op te nemen, wat een robuustere diagnose van modelgedrag biedt.

Resultaten en Bevindingen

De experimentele resultaten tonen enkele verrassende en kritieke inzichten:

• Beperkte Winst voor Instruction-Tuned Modellen: Modellen die zijn afgestemd op instructies (instruction-tuned) presteren al sterk in zero-shot settings. Het toevoegen van few-shot voorbeelden (zowel random als retrieved) leidt vaak tot minimale verbetering of zelfs een daling in prestaties. Dit suggereert dat instruction tuning de modellen al voldoende strategieën heeft gegeven, waardoor extra voorbeelden overbodig of verstorend zijn.
• Geen Voordeel van Retrieval: Het gebruik van semantisch vergelijkbare voorbeelden (retrieval-based) levert geen consistent voordeel op ten opzichte van willekeurig geselecteerde voorbeelden. Dit impliceert dat huidige MLLMs geen gebruik maken van fijne-granulariteitsverdelingskaders in de retrieved voorbeelden.
• Meer Voorbeelden is Niet Beter: Het verhogen van het aantal voorbeelden van 4 naar 8 leidt niet tot betere prestaties en kan de nauwkeurigheid zelfs verlagen (context-dilutie).
• CoT Prompting Verslechtert Prestaties: In tegenstelling tot tekst-only LLMs, leidt Chain-of-Thought prompting bij alle geteste MLLMs tot een daling in prestaties. De auteurs vermoeden dat CoT onnodige elaboratie introduceert, hallucinaties veroorzaakt of afleidt van de visuele gronding (visual grounding).
• Modellen zonder Instruction Tuning: Basismodellen (zonder instruction tuning) tonen grotere winst bij few-shot prompting, wat aangeeft dat ze meer afhankelijk zijn van contextuele voorbeelden om taken te begrijpen.

Betekenis en Conclusie

FEWMMBENCH fungeert als een rigoureuze testomgeving die blootlegt dat de huidige state-of-the-art MLLMs moeite hebben om few-shot learning en CoT-strategieën effectief toe te passen in multimodale contexten.

De belangrijkste implicatie is dat de succesvolle prompting-technieken uit tekst-only modellen niet direct overdraagbaar zijn naar multimodale taken. De resultaten wijzen op de noodzaak van:

• Modale-bewuste CoT-strategieën.
• Betere integratie van context en demonstraties in de modelarchitectuur.
• Verbeterde training voor visueel-linguïstische redenering.

De benchmark biedt een diagnostisch hulpmiddel voor onderzoekers om de beperkingen van huidige modellen te identificeren en de ontwikkeling van betrouwbaardere, uitlegbare en instructievolgende multimodale systemen te sturen. De data en code zijn openbaar beschikbaar gesteld.