Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models

Probleemstelling

Visuele-taalmodellen (VLMs) hebben aanzienlijke vooruitgang geboekt door krachtige voorgeöefende Large Language Models (LLMs) als kernredeneringscomponenten te gebruiken. Met de snelle evolutie van LLMs (bijvoorbeeld van LLAMA-1 naar LLAMA-3) met verbeterde redeneervermogens en instructievolging, is er een dringende behoefte om bestaande VLMs efficiënt bij te werken.

Echter, de integratie van nieuwe LLMs in VLMs en de specifieke bijdrage van deze evoluerende backbones aan multimodale redenering en taalspecifieke prestaties blijft onderzocht. Bestaande studies vergelijken vaak verschillende VLM-architecturen die niet alleen verschillen in hun LLM-backbone, maar ook in visuele encoders, trainingsdata en hyperparameters. Dit maakt het onmogelijk om te isoleren wat precies de prestatieverschillen veroorzaakt. De centrale onderzoeksvraag is: Hoe beïnvloeden systematische verbeteringen in LLMs de downstream-prestaties van VLM-taken?

Methodologie

De auteurs voeren een gecontroleerde empirische studie uit om het effect van evoluerende LLM-backbones te isoleren.

• Experimenteel Ontwerp: De auteurs houden de visuele encoder, de trainingsdata en het post-training-algoritme constant, terwijl ze alleen de LLM-backbone variëren.
• Architectuur: Ze gebruiken de NeVA-architectuur (van NVIDIA NeMo), bestaande uit:
  1. Een visuele encoder (vastgehouden als CLIP-ViT-large-patch14).
  2. Een projector (neuraal netwerk) voor modale uitlijning.
  3. Een LLM-backbone als taaldecoder.
• LLM Variatie: Er worden drie generaties van Meta's LLAMA-serie gebruikt: LLAMA-1, LLAMA-2 en LLAMA-3.1.
• Trainingsproces:
  1. Warm-up/Alignement: Training op het SciCap-dataset (image captioning voor technische plots) om de visuele encoder en LLM te aligneren.
  2. Supervised Fine-Tuning (SFT): Training op specifieke visuele-taaltaken.
• Datasets: Drie domeinspecifieke datasets worden gebruikt om diversiteit te garanderen:
  • ScienceQA: Vereist redeneren over visuele en tekstuele informatie (sterk gericht op memorisatie van gestructureerde patronen).
  • Seismic: Een multimodaal dataset over seismische gebeurtenissen (geologische afbeeldingen en tekstuele beschrijvingen).
  • VQA-Scene: Visual Question Answering gericht op begrip van scènes (minimale taal-priors, sterke visuele focus).
• Evaluatiemetrics: Nauwkeurigheid (Accuracy), BLEU/ROUGE voor tekst, Haversine-afstand voor coördinaten, en menselijke evaluatie voor VQA.

Kernbijdragen en Resultaten

De studie levert vijf belangrijke inzichten op, samengevat in de "Takeaways" van de auteurs:

1. Nieuwere LLMs verbeteren VLM-prestaties niet uniform
Onder gecontroleerde omstandigheden leidt een nieuwere LLM niet altijd tot een betere VLM. De trend hangt volledig af van de downstream-taak:

• VQA-Scene: Prestaties verbeteren (+3,8% van LLAMA-1 naar LLAMA-3).
• ScienceQA: Prestaties dalen (-3,4% van LLAMA-1 naar LLAMA-3).
• Seismic (tekst): Prestaties blijven gemengd en stabiel.
• Conclusie: Sterkere taalmodellen garanderen geen betere multimodale prestaties voor elke taak.

2. Niet alle redeneertaken profiteren evenveel
Hoewel zowel ScienceQA als VQA-Scene redeneren vereisen, reageren ze tegengesteld op upgrades:

• ScienceQA is sterk afhankelijk van memorisatie van gestructureerde tekstpatronen. Nieuwere, sterkere taalmodellen neigen hier meer te vertrouwen op tekstuele "shortcuts" in plaats van visuele input, wat de prestaties kan verlagen.
• VQA-Scene vereist grondig visueel redeneren over alledaagse scènes, waarbij verbeterde taalbegrip direct vertaalt naar betere antwoorden.

3. Nieuwere LLMs lossen andere problemen op, niet alleen meer problemen
Een analyse op instance-niveau toont aan dat LLAMA-3 niet simpelweg dezelfde vragen beter beantwoordt, maar een ander subset van vragen oplost:

• Op VQA-Scene is de correlatie tussen LLAMA-1/2 en LLAMA-3 negatief ($r \approx -0.2$). Vragen die LLAMA-1/2 goed beantwoorden, worden vaak fout beantwoord door LLAMA-3 en vice versa.
• Dit suggereert dat LLAMA-3 visuele informatie op een fundamenteel andere manier verwerkt. Alleen het rapporteren van totale nauwkeurigheid verbergt deze significante gedragsverschuivingen.

4. Visuele beperkingen beperken de voordelen van LLM-upgrades
Op de Seismic-dataset (tekstuele beschrijvingen van geologische kenmerken) zijn de prestaties van alle drie de modellen bijna identiek ($r > 0.85$).

• Omdat de visuele encoder (CLIP) constant blijft, is de bottleneck de visuele feature-extractie.
• Zolang de visuele waarneming het beperkende factor is, biedt het upgraden van de LLM-backbone weinig meerwaarde. Voor deze taken is het verbeteren van de visuele encoder cruciaal.

5. Nieuwe VLM-capaciteiten kunnen plotseling ontstaan
Bij de taak om coördinaten (breedte- en lengtegraad) te voorspellen op basis van geologische afbeeldingen:

• LLAMA-1 en LLAMA-2: Scoren 0,0% (ze kunnen geen geldige coördinaten genereren, maar geven steden/staten).
• LLAMA-3: Scoren 76,5%.
• Conclusie: Nieuwere LLMs kunnen volledig nieuwe capaciteiten introduceren (zoals gestructureerde numerieke output of domeinspecifieke kennis) die in eerdere generaties ontbraken, in plaats van een geleidelijke verbetering.

6. Interne vertegenwoordigingen en vertrouwen (Confidence)

• Vertrouwen: LLAMA-3 is minder zelfverzekerd (gemiddelde confidence 0,73) maar nauwkeuriger dan LLAMA-1/2 (die een confidence van 1,0 hebben, ongeacht of het antwoord correct is). LLAMA-3 is beter gekalibreerd.
• Interne dynamiek: LLAMA-1 en LLAMA-2 vertonen grote activaties en significante verschuivingen in de contextuele representaties in de diepere lagen van het decoder. LLAMA-3 daarentegen gebruikt incrementele verfijningen met kleinere, stabielere activaties. Dit verklaart waarom ze tot verschillende antwoorden komen bij identieke inputs.

Significantie

Deze studie is cruciaal voor de ontwikkeling van VLMs omdat het aantoont dat de "grootte" of "nieuwigheid" van een LLM-backbone geen garantie is voor betere multimodale prestaties.

1. Selectiviteit: Ontwikkelaars moeten kiezen voor een LLM-backbone die specifiek past bij de aard van de downstream-taak (bijv. visueel redeneren vs. memorisatie).
2. Evalueren: Het is onvoldoende om alleen naar aggregaten van nauwkeurigheid te kijken; gedetailleerde analyses op instance-niveau en interne representaties zijn nodig om gedragsverschuivingen te begrijpen.
3. Bottlenecks: Als een taak visueel beperkt is, is investeren in een betere visuele encoder effectiever dan het upgraden van de taalcomponent.
4. Emergentie: Sommige complexe vaardigheden (zoals het genereren van gestructureerde numerieke data) kunnen alleen ontstaan in de nieuwste generaties LLMs, wat impliceert dat bepaalde toepassingen wachten op deze specifieke evoluties.

Kortom, de evolutie van VLMs is niet lineair; het is een complexe interactie tussen visuele waarneming, de aard van de redeneertaak en de specifieke interne dynamiek van de gebruikte taalmodel-generatie.