Boosting Visual Instruction Tuning with Self-Supervised Guidance

Probleemstelling

Multimodale Large Language Models (MLLM's), zoals de LLaVA-familie, presteren uitstekend op veel visueel-taaltaken, maar kampen vaak met tekortkomingen bij visie-gerichte taken die fijnmazig visueel redeneren vereisen (bijv. objecttelling, ruimtelijke posities, geometrische relaties).

De auteurs identificeren dat dit probleem niet voortkomt uit zwakke visuele representaties (moderne encoders zoals CLIP en DINOv2 zijn al krachtig), maar uit een onderbenutting van visuele informatie tijdens de instructie-tuning-fase.

• Het kernprobleem: Tijdens het trainen op image-instruction-response tripletten kunnen veel taken deels of volledig worden opgelost met sterke taalkundige priors (taalgebaseerde aannames) zonder dat het model daadwerkelijk naar de afbeelding hoeft te kijken.
• Gevolg: Het model leert "shortcut-strategieën" waarbij het taalgedomineerd is en visuele bewijslast negeert, zelfs wanneer deze essentieel is voor het antwoord.

Methodologie: V-GIFT

De auteurs stellen V-GIFT (Visually Grounded Instruction Fine-Tuning) voor. Dit is een eenvoudige, lichtgewicht aanpak die de instructie-tuning verrijkt met een klein aantal zelftoezichtende (self-supervised) taken die als natuurlijke taal-instructies zijn geformuleerd.

Kernprincipes:

1. Herformulering van SSL-taken: Klassieke self-supervised learning (SSL) pretext-taken worden vertaald naar image-instruction-response tripletten die compatibel zijn met standaard MLLM-pipelines.
2. Visueel Gegrond: De geselecteerde taken zijn zo ontworpen dat ze niet kunnen worden opgelost met taal-priors alleen; het model moet visuele bewijzen gebruiken.
3. Geen Architecturale Wijzigingen: De methode vereist geen extra verliesfuncties, geen aanpassingen aan de modelarchitectuur en geen extra trainingsfasen (voor- of nascholing).

De drie geïmplementeerde SSL-taken:

• Rotatievoorspelling: Het model moet de rotatiehoek (0°, 90°, 180°, 270°) van een afbeelding bepalen. Dit vereist het herkennen van objectoriëntatie ten opzichte van een canonieke positie.
• Puntsgewijze Kleurmatching: Een afbeelding wordt omgezet naar grijs, en specifieke punten krijgen labels. Het model moet de oorspronkelijke kleur van deze punten matchen met een lijst van kandidaat-kleuren. Dit vereist fijnmazige visuele discriminatie en ruimtelijke grounding.
• Puntcorrespondentie: Het model moet corresponderende punten identificeren tussen twee verschillende weergaven van hetzelfde object (gebaseerd op pseudo-segmentatie en DINOv2-features). Dit vereist cross-view feature matching.

Integratie:
Deze SSL-samples worden direct gemengd in de bestaande instructie-tuning dataset. De verhouding ($\rho$) van SSL-data tot standaard instructie-data wordt klein gehouden (3% tot 10%). Het model wordt getraind met de standaard autoregressieve cross-entropy loss, waarbij de distributie van de trainingsdata wordt aangepast om visueel gedwongen taken te omvatten.

Belangrijkste Bijdragen

1. Nieuw Kader: Een effectief framework om klassieke SSL-pretext-taken om te zetten naar visuele instructie-data, wat taalkundige shortcuts in MLLM's tegengaat.
2. Naadloze Integratie: De methode werkt met elke MLLM-architectuur zonder wijzigingen in de trainingsspecificaties, extra loss-functies of dure RLVR-pipelines (Reinforcement Learning with Verifiable Rewards).
3. Robuuste Verbeteringen: Uitgebreide experimenten tonen consistente prestatieverbeteringen op visie-gerichte benchmarks, ongeacht het model, de trainingsregime of de datasetgrootte.

Resultaten

De auteurs testen V-GIFT op verschillende modellen (LLaVA-1.5 met Vicuna en Qwen, en LLaVA-OneVision-1.5) en benchmarks.

• Prestatieverbetering: Het toevoegen van slechts 3-10% visueel gegrondde SSL-instructies leidt tot consistente winst op visie-gerichte benchmarks zoals CVB-2D, POPE, MMStar en BLINK.
  • Voorbeeld: LLaVA-1.5-Vicuna-7B zag een stijging van 53.6 naar 54.5 (gemiddeld), met specifieke winsten op CVB-2D (+2.6).
  • Voorbeeld: LLaVA-OneVision-1.5 verbeterde van 65.7 naar 66.9, met een sterke stijging op BLINK (+3.4).
• Parameter-efficiëntie: De verbeteringen gelden ook bij gebruik van LoRA (parameter-efficient fine-tuning).
• Controle voor Rekenkracht: Experimenten tonen aan dat de winst niet komt door simpelweg meer trainingstijd of data-omvang. Als men dezelfde hoeveelheid extra data toevoegt, maar dan zonder SSL-taken (alleen standaard instructies), verbetert de prestatie niet. De winst is specifiek het gevolg van de kwaliteit van de visuele supervisie.
• Tijdstip van Integratie: De SSL-taken moeten tijdens de instructie-tuning worden gemengd. Het toepassen ervan als een aparte fase vooraf of erna leidt tot geen verbetering of zelfs catastrofale vergeetvermogen (catastrophic forgetting).
• Bron van Data: Zelfs SSL-data gegenereerd vanuit één enkele afbeelding (via augmentatie) levert verbetering op, wat aantoont dat de schaal van het dataset minder belangrijk is dan de aanwezigheid van visueel gedwongen doelen.
• Analyse:
  • TVI (Text-Visual Interaction): Modellen getraind met V-GIFT vertonen een hogere TVI-score, wat aangeeft dat ze minder afhankelijk zijn van taalkundige priors.
  • Aandachtskaarten: Visuele analyse toont aan dat V-GIFT-modellen hun aandacht preciezer richten op de relevante objecten in de afbeelding in plaats van te gissen op basis van tekst.

Betekenis en Conclusie

Het paper demonstreert dat de beperkingen van MLLM's in visueel redeneren vaak een trainingsdynamisch probleem zijn en geen representatief probleem. Door de verdeling van trainingsdata zorgvuldig aan te passen en het model te dwingen visuele bewijslast te gebruiken via simpele, automatisch gegenereerde SSL-taken, kan het visuele redeneervermogen aanzienlijk worden verbeterd.

V-GIFT biedt een kostenefficiënte en schaalbare oplossing die geen ingewikkelde architecturale aanpassingen vereist. Het benadrukt dat het "forceren" van visuele grounding tijdens de instructie-tuning een krachtige hefboom is voor het verbeteren van multimodale redeneermodellen. Toekomstig werk richt zich op het uitbreiden van deze aanpak naar andere modaliteiten zoals 3D-puntenwolken en audio.