Unlocking Few-Shot Capabilities in LVLMs via Prompt Conditioning and Head Selection

1. Het Probleem

Grote Visueel-Taalmodellen (LVLMs) presteren uitstekend in zero-shot taken zoals beeldbeschrijving, OCR en visuele vraag-antwoord (VQA). Echter, ze kampen met een opvallende zwakte bij beeldclassificatie, vooral in few-shot en zero-shot scenario's. Ze presteren vaak slechter dan gespecialiseerde CLIP-gebaseerde methoden, ondanks dat veel LVLMs een CLIP-gebaseerde visuele encoder gebruiken.

De auteurs identificeren twee hoofdredenen voor deze discrepantie:

1. Architecturale scheiding: Bij CLIP zijn de visuele en tekstuele encoders onafhankelijk, wat leidt tot classificatie die puur gebaseerd is op het matchen van klassenamen met beelden, zonder dieper visueel-tekstueel redeneren.
2. Mismatch in representaties: LVLMs hebben rijke interne representaties (vooral in de attention heads van de LLM-decoder), maar de uiteindelijke output (vaak gebaseerd op het 'summary token' of laatste token) benut deze niet optimaal voor classificatie. De interne features zijn vaak beter dan de modeloutput zelf.

2. Methodologie: Head Ensemble Classifiers (HEC)

De auteurs introduceren HEC, een training-vrije (training-free) methode om de few-shot en zero-shot classificatieprestaties van LVLMs te verbeteren zonder extra fine-tuning. De methode bestaat uit drie kerncomponenten:

A. Prompt Conditioning

In tegenstelling tot traditionele visuele modellen, kunnen LVLMs worden gestuurd via tekstprompts die context bieden. De auteurs gebruiken drie niveaus van conditioning:

• Task Conditioning: Een algemene taakbeschrijving (bijv. "Wat is het object in dit beeld?").
• Domain Conditioning: Een domeinspecifieke prompt (bijv. "Welk hondenras is dit?"). Dit helpt het model om domeinspecifieke features te extraheren.
• Class Conditioning: Het toevoegen van de lijst met mogelijke klassen aan de prompt.
  Deze prompts worden geconcateneerd met de visuele tokens en verwerkt door de gedeelde LLM-decoder, wat de class-separability van de interne representaties verbetert.

B. Head Selection (Selectie van Attention Heads)

In plaats van te vertrouwen op het samenvattende token (summary token), extraheren de auteurs features uit een spaarzame set van attention heads binnen de LLM-decoder.

• Vision-Heads: Voor few-shot taken (waarbij een gelabelde support-set beschikbaar is) worden heads geselecteerd die de beste class-separability tonen voor de gegeven ondersteunende beelden.
• Text-Heads: Voor zero-shot taken worden heads geselecteerd die goed presteren bij het matchen van tekstuele klassenamen met beelden.

De selectie gebeurt op basis van Gaussian Discriminant Analysis (GDA). De auteurs veronderstellen dat de features van een head een Gaussische verdeling volgen. Ze berekenen een score voor elke head op basis van hoe goed deze de klassen kan scheiden (gebaseerd op de gemiddelde waarschijnlijkheid op de support-set). De top-$k$ heads met de hoogste scores worden geselecteerd.

C. Head Ensemble Classifiers

De geselecteerde heads worden gecombineerd tot drie soorten classifiers:

1. HEC-V (Vision-Few-Shot): Een ensemble van de top vision-heads. Dit werkt zelfs als de klassenamen onbekend zijn, zolang er een support-set is.
2. HEC-T (Text-Zero-Shot): Een ensemble van de top text-heads. Dit verbetert de zero-shot prestaties van het model.
3. HEC-VT (Vision-Text-Few-Shot): Een combinatie van HEC-V en HEC-T, waarbij de waarschijnlijkheden worden opgeteld (optioneel gewogen met een parameter $\alpha$).

3. Belangrijkste Bijdragen

• Demonstratie van Prompt Conditioning: Het bewijs dat het toevoegen van contextuele prompts (domein- en klassespecifiek) de class-separability van interne LVLM-distributies aanzienlijk verbetert.
• Head Selection Mechanisme: Een nieuwe methode om de meest discriminatieve attention heads (zowel visueel als tekstueel) te identificeren en te ensemble-en zonder training.
• State-of-the-Art Prestaties: Het bereiken van nieuwe state-of-the-art resultaten in few-shot en zero-shot classificatie op 12 datasets, waarbij de prestatiekloof tussen CLIP-gebaseerde en LVLM-gebaseerde methoden wordt overbrugd.
• Training-vrije Adaptatie: De methode vereist geen fine-tuning, wat het een veelzijdige en efficiënte oplossing maakt.

4. Resultaten

De auteurs hebben hun methode getest op 12 datasets (waaronder EuroSAT, UCF101, OxfordPets, StanfordCars, Food101, CUB-200, etc.) in verschillende settings:

• Vision-Few-Shot (HEC-V): HEC-V behaalde een gemiddelde nauwkeurigheid van 82.4% op 4-shot taken, wat een verbetering is ten opzichte van alle andere LVLM-methoden (zoals SAVs) en zelfs de sterke visuele backbone (DFN) van het model. Het overtrof de backbone op 9 van de 12 datasets.
• Text-Zero-Shot (HEC-T): HEC-T verbeterde de zero-shot nauwkeurigheid van Qwen2-VL met +10.1% en LLaVA-OV met +2.4%. Het presteerde consistent beter dan de standaard 'summary token' output en benaderde de prestaties van de onderliggende CLIP-backbones.
• Vision-Text-Few-Shot (HEC-VT): De gecombineerde classifier (HEC-VT) overtrof alle bestaande CLIP- en LVLM-baselines op het gemiddelde, met name op fijnkorrelige en niet-objekt-gerichte datasets (zoals texturen en scènes).

Ablatie-studies toonden aan dat:

• Het stapsgewijs toevoegen van conditioning (Task -> Domain -> Class) de prestaties consistent verbetert.
• Het ensemble van heads robuust is en beter presteert dan het gebruik van het summary token alleen.
• De methode schaalbaar is en goed werkt over verschillende domeinen heen.

5. Betekenis en Conclusie

Deze paper is significant omdat het een fundamenteel inzicht biedt in hoe LVLMs intern werken: de beste classificatie-informatie zit vaak verstopt in specifieke attention heads en niet in de standaard output. Door deze heads te selecteren en te combineren met slimme prompt-engineering, kunnen LVLMs hun zwakke punt (classificatie) ombuigen naar een sterk punt.

De methode biedt een praktische, training-vrije route om LVLMs in te zetten voor classificatietaken, wat ze competitief maakt met gespecialiseerde modellen zoals CLIP. Dit opent de deur voor bredere toepassing van multimodale modellen in scenario's waar weinig data beschikbaar is (few-shot) en waar domeinspecifieke kennis cruciaal is. De auteurs merken wel op dat de berekening van attention vectors computatiever is dan bij pure CLIP-modellen, maar dat de prestatiewinst dit rechtvaardigt.