Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: A Comprehensive Evaluation

Probleemstelling

Hoewel Large Vision-Language Models (LVLMs) zoals GPT-4o, Qwen en InternVL indrukwekkende prestaties leveren op algemene multimodale taken, blijft hun vermogen om fijnkorrelige (fine-grained) beeldtaken uit te voeren onderbelicht. Fijnkorrelige taken, die gericht zijn op het onderscheiden van objecten op het niveau van ondergeschikte categorieën (bijv. specifieke diersoorten, auto-modellen of plantensoorten), zijn fundamenteel voor computer vision. Bestaande benchmarks evalueren LVLMs vaak holistisch of op gespecialiseerde taken zoals OCR of visueel redeneren, maar missen een systematische evaluatie op het gebied van fijnkorrelige discriminatie en semantische herkenning. Dit creëert een kennislacune over de grenzen van LVLMs in deze complexe domeinen.

Methodologie: FG-BMK Benchmark

Om deze lacune op te vullen, stellen de auteurs FG-BMK voor, een uitgebreid evaluatiekader bestaande uit 1,01 miljoen vragen en 0,28 miljoen afbeeldingen, afgeleid van 12 bestaande fijnkorrelige datasets (zoals CUB-200-2011, Stanford Dogs, Food-101, etc.).

De evaluatie omvat twee complementaire paradigma's:

1. Mensgerichte Evaluatie (Human-oriented):

   • Doel: Testen van het vermogen van het model om fijnkorrelige visuele queries te begrijpen en te beantwoorden in een dialogische context.
   • Taken:
     • Attribuutherkenning: Identificatie van visuele eigenschappen (kleur, patroon, vorm, lengte).
     • Kennisbias-schatting: Detectie van ongelijkmatige prestaties over verschillende subcategorieën.
     • Hiërarchische Granulariteitsherkenning: Vragen op verschillende taxonomische niveaus (Klasse, Geslacht, Soort).
   • Vraagtypes: Waar/onwaar, meerkeuze en korte antwoorden.

2. Machine-gerichte Evaluatie (Machine-oriented):

   • Doel: Directe meting van de kwaliteit van visuele feature-representaties, los van de taalgeneratie.
   • Taken:
     • Beeldretrieval: Meting van de gelijkenis tussen visuele features (gemeten met mAP).
     • Beeldclassificatie: Herkenning van afbeeldingen in fijnkorrelige categorieën, zowel binnen één meta-categorie als over meerdere meta-categorieën heen (gemeten met Top-1 nauwkeurigheid).
   • Robuustheidstest: Evaluatie van de gevoeligheid voor feature-perturbaties (via geprojecteerde gradiëntafdaal).

De studie evalueerde 12 representatieve modellen, waaronder open-source LVLMs (InternVL3, LLaVA-1.5, Qwen2.5-VL, BLIP-2), gesloten modellen (GPT-4o, Gemini-2.0-flash) en pure visuele modellen (DINOv2, EVA-CLIP).

Belangrijkste Bevindingen en Resultaten

De auteurs trekken vijf cruciale conclusies uit hun uitgebreide experimenten:

1. Invloed van Trainingsparadigma:

   • Modellen getraind met een contrastief paradigma (zoals EVA-CLIP, InternVL, DINOv2) tonen aanzienlijk betere fijnkorrelige discriminatievermogens dan modellen die gebaseerd zijn op generatieve of reconstructie-paradigma's (zoals Qwen en BEiT3).
   • Generatieve modellen hebben moeite om subtiele verschillen tussen nauw verwante categorieën te onderscheiden, terwijl ze binnen dezelfde categorie wel consistent zijn.

2. Negatief Effect van Visueel-Tekstuele Alignering:

   • Het aligneren van visuele features met tekstuele features kan de fijnkorrelige discriminatie verminderen.
   • Dit komt vooral door granulariteitsinconsistentie: in veel trainingsdata worden fijnkorrelige objecten gekoppeld aan grove, algemene tekstbeschrijvingen.
   • Experimenten tonen aan dat het hertrainen van het aligneringsmodule met data die granulariteit-gealigneerd is (fijnkorrelige tekst voor fijnkorrelige beelden), de prestaties significant verbetert, hoewel ze nog steeds onderdoen voor de originele, niet-gealigneerde visuele features.

3. Gevoeligheid voor Perturbaties:

   • LVLMs en pure visuele modellen zijn kwetsbaarder voor feature-perturbaties in fijnkorrelige taken dan in algemene visuele taken.
   • Bijvoorbeeld: De nauwkeurigheid van EVA-CLIP op CUB-200-2011 daalde van 88,95% naar 24,94% na perturbatie, terwijl de daling op CIFAR-100 (algemeen) minder drastisch was. Dit suggereert dat de features in LVLMs minder robuust zijn voor subtiele variaties.

4. Beperkingen in Redeneren en Attribuutherkenning:

   • LVLMs presteren goed in het waarnemen van algemene visuele verschijnselen, maar kampen met grote uitdagingen bij fijnkorrelige categorieredenering, die afhankelijk is van het herkennen van subtiele attributen.
   • Er is een duidelijke "kennisbias": modellen presteren zeer inconsistent over verschillende subcategorieën (bijv. 90% nauwkeurigheid voor de ene vogelsoort, maar slechts 30% voor een andere), wat voornamelijk wordt veroorzaakt door onevenwichtige representatie in de trainingsdata.

5. Prestatie ten opzichte van Gespecialiseerde Modellen:

   • Ondanks hun algemene geavanceerde capaciteiten, blijven LVLMs achter bij gespecialiseerde fijnkorrelige modellen (tailored models) op specifieke classificatietaken.
   • Het vergroten van de grootte van de visuele encoder of het gebruik van grotere datasets (zonder kwaliteitsverbetering) leidt tot slechts marginale verbeteringen in fijnkorrelige discriminatie.

Bijdrage en Significantie

• Nieuwe Benchmark: FG-BMK biedt de eerste uitgebreide, gestandaardiseerde testomgeving voor het evalueren van LVLMs op fijnkorrelige taken, zowel vanuit menselijke als machine-perspectieven.
• Inzicht in Beperkingen: Het paper identificeert kritieke beperkingen in de huidige architectuur van LVLMs, met name de schadelijke effecten van granulariteitsinconsistentie in aligneringsdata en de superioriteit van contrastief leren voor discriminatie.
• Richting voor Toekomstig Onderzoek: De bevindingen bieden een blauwdruk voor het verbeteren van LVLMs:
  • Adoptie van contrastieve trainingsdoelen tijdens de aligneringsfase.
  • Zorgvuldige constructie van trainingsdata met匹配的 (matching) granulariteit tussen beeld en tekst.
  • Focus op robuustheid tegen perturbaties en verbetering van redeneercapaciteiten voor subtiele attributen.

Samenvattend stelt dit werk dat LVLMs nog niet klaar zijn voor complexe fijnkorrelige visuele toepassingen zonder specifieke aanpassingen in hun trainingsparadigma en data-strategieën, en biedt het concrete richtlijnen om deze kloof te overbruggen.