Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models

Titel: Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision-Language Models

Autoren: Sameera Horawalavithana et al. (Pacific Northwest National Laboratory)

1. Problemstellung

Vision-Language Models (VLMs) haben durch die Nutzung leistungsstarker vortrainierter Large Language Models (LLMs) als Kern-Reasoning-Backbones rapide Fortschritte gemacht. Mit dem Erscheinen neuerer und leistungsfähigerer LLMs (z. B. der LLAMA-Serie von Meta) besteht ein dringender Bedarf, bestehende VLMs effizient zu aktualisieren.

Das zentrale Problem liegt jedoch in der unklaren Beziehung zwischen der Evolution der LLM-Backbones und der Leistung multimodaler Modelle. Bisherige Studien, die den Einfluss von LLMs auf VLMs untersuchen, leiden unter erheblichen Störvariablen (Confounding Variables). Oft werden Modelle verglichen, die sich nicht nur im LLM-Backbone unterscheiden, sondern auch in den Vision-Encodern, den Trainingsdaten, den Hyperparametern und der Implementierung. Dies macht es unmöglich, isoliert zu bestimmen, welche Verbesserungen tatsächlich auf den LLM-Backbone zurückzuführen sind. Es fehlt an einer systematischen Untersuchung, wie sich Verbesserungen in LLMs (Architektur, Vor-Training, Größe) spezifisch auf die multimodalen Fähigkeiten auswirken.

2. Methodik

Die Autoren führen eine kontrollierte empirische Studie durch, um den Einfluss des LLM-Backbones isoliert zu untersuchen.

• Experimentelles Design:
  • Konstante Variablen: Der Vision-Encoder (CLIP-ViT-Large-Patch14), die Trainingsdaten (SciCap für Alignment, sowie ScienceQA, Seismic und VQA-Scene für SFT), der Fine-Tuning-Algorithmus (Supervised Fine-Tuning, SFT) und der Codebase (NVIDIA NeMo/NeVA Architektur) bleiben über alle Experimente hinweg identisch.
  • Variabler Faktor: Der LLM-Backbone wird systematisch von LLAMA-1 über LLAMA-2 bis hin zu LLAMA-3.1 gewechselt.
• Evaluierte Domänen:
  1. ScienceQA: Wissenschaftliche Fragen, die visuelles und textuelles Reasoning erfordern (stark memorisierungsgetrieben).
  2. Seismic: Multimodale Daten zu Erdbebenereignissen (geologische Bilder und Textbeschreibungen sowie Koordinatenvorhersage).
  3. VQA-Scene: Visuelle Fragebeantwortung zu alltäglichen Szenen (fokussiert auf visuelles Grounding).
• Analysemethoden:
  • Vergleich der Gesamtgenauigkeit (Accuracy).
  • Analyse der Instanz-Level-Korrelationen (welche spezifischen Fragen werden von welchen Modellen gelöst?).
  • Untersuchung interner Repräsentationen (Layer-wise Context Vectors, Magnitude der Aktivierungen, Kosinussimilarität zwischen Schichten).
  • Analyse des Konfidenzniveaus (Kalibrierung der Wahrscheinlichkeiten).

3. Wichtige Beiträge und Erkenntnisse

Die Studie liefert fünf zentrale Erkenntnisse (Takeaways), die das Verständnis von VLM-Entwicklung präzisieren:

1. Keine uniforme Verbesserung: Neuere LLMs führen nicht automatisch zu besseren VLMs. Die Leistungssteigerung hängt stark von der Art der Downstream-Aufgabe ab.
   • Beispiel: Bei VQA-Scene stieg die Genauigkeit von LLAMA-1 zu LLAMA-3 um 3,8 %. Bei ScienceQA sank sie jedoch um 3,4 %.
2. Unterschiedliche Reasoning-Typen: Nicht alle Reasoning-Aufgaben profitieren gleich.
   • ScienceQA testet stark memorisierungsgetriebenes Reasoning. Hier scheinen stärkere LLMs eher auf textuelle Abkürzungen zurückzugreifen als auf visuelle Eingaben, was zu Leistungsabfällen führen kann.
   • VQA-Scene erfordert verankertes visuelles Reasoning, wovon verbesserte Sprachverständnisse direkt profitieren.
3. Verhaltensverschiebungen auf Instanz-Ebene: Neuere LLMs lösen nicht einfach "mehr" der gleichen Fragen, sondern oft eine andere Menge an Fragen.
   • Auf VQA-Scene ist die Korrelation der gelösten Instanzen zwischen LLAMA-1/2 und LLAMA-3 sogar negativ ($r \approx -0.26$). LLAMA-3 löst Fragen, die ältere Modelle falsch beantworten, und umgekehrt. Eine reine Betrachtung der Gesamtgenauigkeit verschleiert diese fundamentalen Verhaltensänderungen.
4. Bottleneck bei der visuellen Wahrnehmung: Wenn die Aufgabe primär durch die visuelle Merkmalsextraktion limitiert ist (z. B. bei der Beschreibung geologischer Merkmale im Seismic-Datensatz), bringt ein Upgrade des LLM-Backbones kaum Vorteile. Alle drei Modelle zeigen hier fast identische Ergebnisse ($r > 0.85$).
5. Emergente Fähigkeiten: Bestimmte Fähigkeiten treten erst in neueren LLM-Generationen auf.
   • Im Seismic-Datensatz konnten LLAMA-1 und LLAMA-2 keine gültigen geografischen Koordinaten (Längen-/Breitengrade) vorhersagen (0,0 % Genauigkeit), da sie nur Städte und Bundesstaaten nannten. LLAMA-3 erreichte hier 76,5 % Genauigkeit, vermutlich aufgrund besserer Vor-Trainingsdaten für geospatiale Formate und strukturierter numerischer Inhalte.

4. Technische Analyse der Internen Mechanismen

Die Autoren gehen über reine Metriken hinaus und analysieren die internen Zustände der Modelle:

• Kalibrierung und Konfidenz:
  • LLAMA-1 und LLAMA-2 sind übermäßig selbstbewusst (Konfidenz $\approx 1,0$), unabhängig davon, ob die Antwort korrekt ist.
  • LLAMA-3 zeigt eine besser kalibrierte Unsicherheit (durchschnittliche Konfidenz 0,73), was zu einer höheren Gesamtgenauigkeit führt. Es "hedgt" seine Antworten, anstatt sich blind auf eine Option zu versteifen.
• Interne Repräsentationen (Layer-wise Analysis):
  • Aktivierungsmagnitude: LLAMA-1 zeigt stark wachsende Aktivierungen in tieferen Schichten (Peak bei 82,2), während LLAMA-3 kompakte, stabile Repräsentationen mit deutlich geringeren Magnituden (Peak bei 14,6) aufweist.
  • Schichtübergänge: LLAMA-1 und LLAMA-2 zeigen signifikante Transformationen der Kontextvektoren in den tieferen Schichten (negative Kosinussimilarität), was auf eine drastische Neuorganisation der Information vor der Antwortgenerierung hindeutet.
  • LLAMA-3 hingegen baut seine Antworten durch inkrementelle Verfeinerungen über die Schichten hinweg auf, ohne drastische Brüche. Dies erklärt mechanistisch, warum LLAMA-3 andere Fragen löst und stabilere Vorhersagen trifft.

5. Bedeutung und Fazit

Diese Arbeit widerlegt die naive Annahme, dass das bloße Ersetzen des LLM-Backbones durch eine neuere Generation immer zu besseren VLMs führt.

• Für die Forschung: Es ist entscheidend, VLMs unter kontrollierten Bedingungen zu evaluieren, um den wahren Wert von LLM-Updates zu messen. Die Leistung ist aufgabenabhängig.
• Für die Praxis:
  • Bei Aufgaben, die stark von der visuellen Wahrnehmung abhängen, sollte der Fokus auf der Verbesserung des Vision-Encoders liegen, nicht auf dem LLM.
  • Bei Aufgaben, die strukturierte numerische Ausgaben oder spezifisches Domänenwissen erfordern, können neuere LLMs völlig neue Fähigkeiten (Emergent Capabilities) entfalten.
  • Die Analyse interner Repräsentationen und Konfidenzniveaus ist essenziell, um zu verstehen, warum ein Modell besser performt, und nicht nur dass es besser performt.

Zusammenfassend zeigt die Studie, dass die Evolution von LLMs zu qualitativ unterschiedlichen internen Verarbeitungswegen führt, die sich nicht linear in der Gesamtleistung niederschlagen, sondern spezifische, teils emergente Fähigkeiten in multimodalen Systemen ermöglichen.