LaMI: Augmenting Large Language Models via Late Multi-Image Fusion

Die Arbeit stellt LaMI vor, eine Methode zur späten Fusion mehrerer aus Text generierter Bilder mit einem rein textbasierten Large Language Model, die das visuelle Common-Sense-Reasoning verbessert, ohne die textuelle Leistungsfähigkeit zu beeinträchtigen und dabei nur geringen Overhead verursacht.

Das Wesentliche

Das Problem: Der blinde Buchworm

Stell dir vor, du hast einen extrem intelligenten Bibliothekar (das ist der Large Language Model oder LLM). Dieser Bibliothekar hat Millionen von Büchern gelesen und kann Fragen zu fast allem beantworten. Er weiß, dass ein „Emperor-Pinguin" ein Vogel ist, der in der Antarktis lebt.

Aber wenn du ihn fragst: „Wie ist der Bauch eines Kaiserpinguins gefärbt?", macht er einen Fehler. Da er nur Texte gelesen hat, aber nie ein echtes Foto gesehen hat, rät er vielleicht „Gelb" oder „Schwarz". Ihm fehlt die visuelle Erfahrung. Er ist wie ein Buchworm, der die Welt nur durch Beschreibungen kennt, aber nie wirklich gesehen hat.

Andere Modelle (die Visuellen Sprachmodelle oder VLMs) haben Bilder gelernt. Sie können das Foto sehen und sagen „Weiß". Aber diese Modelle sind oft schwerfällig: Sie verlieren manchmal ihre Sprachkenntnisse, und es ist extrem teuer und aufwendig, sie zu trainieren.

Die Lösung: LaMI – Der „Traum-Generator"

Die Forscher von LaMI (Late Multi-Image Fusion) haben eine clevere Idee entwickelt, um dem Bibliothekar zu helfen, ohne ihn komplett umzubauen.

Stell dir vor, der Bibliothekar muss eine Frage beantworten, für die er ein Bild braucht. Anstatt ein echtes Foto zu suchen (was oft nicht geht), träumt er sich das Bild.

Hier ist der Ablauf, Schritt für Schritt:

1. Der schnelle Maler (Text-zu-Bild-Generator)

Wenn der Bibliothekar die Frage „Wie ist der Bauch des Pinguins?" bekommt, ruft er einen schnellen, kleinen Maler auf. Dieser Maler malt nicht ein einziges Bild, sondern mehrere verschiedene Versionen (z. B. 6 Bilder) von einem Pinguin, basierend nur auf dem Text.

• Der Vergleich: Es ist, als würdest du einen Freund bitten, dir 6 verschiedene Skizzen von einem Pinguin zu malen, weil du ihm nicht genau sagen kannst, wie er aussieht.

2. Der späte Zusammenbau (Late Fusion)

Frühere Methoden haben versucht, die Bilder während des Denkprozesses in den Kopf des Bibliothekars zu mischen. Das verwirrt ihn oft.
LaMI macht es anders: Der Bibliothekar denkt erst ganz normal weiter. Erst kurz bevor er die Antwort ausspricht, schaut er sich die 6 Skizzen an.

• Die Analogie: Stell dir vor, du bist beim Quiz. Du hast deine Antwort schon fast im Kopf. Dann wirft dir ein Freund 6 verschiedene Fotos zu. Du schaust sie kurz an, sagst: „Ah, auf fast allen Bildern ist der Bauch weiß!" und korrigierst deine Antwort kurz vor dem Abgeben.

3. Der Vertrauens-Check (CLIP-Fusion)

Nicht alle Skizzen sind gut. Vielleicht malt einer der Freunde aus Versehen einen gelben Pinguin.
LaMI hat einen cleveren Mechanismus: Ein „Gutachter" (ein KI-Modell namens CLIP) prüft, wie gut die Skizze zur Frage passt.

• Wenn die Skizze gut passt (hohe Übereinstimmung), vertraut der Bibliothekar dem Bild.
• Wenn die Skizze seltsam ist (z. B. ein gelber Pinguin), ignoriert er das Bild und bleibt bei seiner textbasierten Antwort.
• Das Ergebnis: Er kombiniert die Weisheit des Textes mit der Erfahrung der Bilder, aber nur, wenn die Bilder Sinn ergeben.

Warum ist das so genial?

1. Kein Umbau nötig: Der Bibliothekar (das Sprachmodell) bleibt fast unverändert. Man muss ihn nicht neu lernen lassen.
2. Vielfalt: Da er mehrere Bilder gleichzeitig betrachtet, deckt er verschiedene Möglichkeiten ab. Wenn 5 von 6 Bildern einen weißen Bauch zeigen, ist er sich sicher.
3. Schnell und effizient: Es kostet nur wenig extra Zeit, weil die Bilder parallel (gleichzeitig) generiert werden.
4. Besser als die Alternativen:
   • Besser als ein reiner Text-Experte (der keine Bilder kennt).
   • Besser als frühere Methoden, die nur ein Bild nutzten oder Bilder zu früh einmischten.
   • Fast so gut wie die schweren VLMs, aber ohne deren Nachteile für die Sprachfähigkeit.

Ein Beispiel aus dem Papier

• Frage: „Wie viele Höcker hat ein Kamel?"
• Reiner Text-Modell: Verwechselt es mit dem Dromedar und sagt „Einer".
• LaMI: Generiert Bilder von Kamelen. Die Bilder zeigen deutlich zwei Höcker. Der „Gutachter" bestätigt: „Ja, das passt zur Frage."
• Antwort: „Zwei." (Richtig!)

Fazit

LaMI ist wie ein Assistent, der dem Bibliothekar eine Brille aufsetzt, nur für den Moment, in dem er eine visuelle Frage beantwortet. Er lässt den Bibliothekar nicht blind raten, sondern gibt ihm kurzzeitig visuelle Beweise, damit er die richtige Antwort findet – und das, ohne den Bibliothekar zu verwirren oder ihn neu erziehen zu müssen.

Das ist ein großer Schritt, um KI nicht nur „klug" im Text, sondern auch „scharfsichtig" in der Welt zu machen.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs), die ausschließlich auf Text trainiert wurden, weisen oft Defizite im visuellen Common-Sense-Reasoning auf (z. B. die Frage nach der Farbe des Bauches eines Kaiserpinguins).

• Visuelle Sprachmodelle (VLMs) lösen dieses Problem durch multimodales Training, leiden jedoch unter zwei Hauptnachteilen:
  1. Sie zeigen oft eine reduzierte Leistung bei rein textbasierten Common-Sense-Aufgaben im Vergleich zu reinen LLMs.
  2. Die Anpassung neuer, leistungsstarker LLMs an visuelle Eingaben erfordert kostspieliges multimodales Neutrainieren.
• Bestehende Ansätze (Visually-Augmented LLMs - VaLMs): Diese versuchen, visuelle Signale in vortrainierte LLMs zu injizieren, ohne das gesamte Modell neu zu trainieren. Viele dieser Methoden nutzen jedoch eine frühe Fusion (Early Fusion) und verlassen sich auf ein einzelnes Bild. Dies kann das Verhalten des LLM stören, Rauschen einführen und zu suboptimalen Ergebnissen führen, da die visuelle Information zu früh in den Verarbeitungskanal integriert wird.

2. Methodik: LaMI (Late Multi-Image Fusion)

Das vorgeschlagene Framework LaMI adressiert diese Probleme durch zwei Kernkomponenten: eine späte Fusionsarchitektur und die Generierung multipler visueller Beweise.

A. Architektur (Training)

LaMI erweitert ein vortrainiertes LLM um visuelle Fähigkeiten, ohne dessen Textverarbeitungskapazitäten zu beeinträchtigen:

1. Komponenten:
   • Ein eingefrorenes (frozen) vortrainiertes LLM.
   • Ein eingefrorenes vortrainiertes Vision-Encoder-Modell (z. B. CLIP).
   • Ein trainierbarer Visual Token Projector (VTP), der Bildfeatures in Pseudo-Text-Embeddings ($z^v$) umwandelt.
   • Eine trainierbare Late Fusion Attention Layer (LFAL).
2. Fusionsmechanismus:
   • Im Gegensatz zu Early-Fusion-Ansätzen werden die visuellen Features nicht in den LLM-Stack eingespeist.
   • Stattdessen werden die Text-Embeddings ($z^x$) des LLMs und die projizierten visuellen Embeddings ($z^v$) erst kurz vor der finalen Vorhersage (am Ende des Decoders) kombiniert.
   • Ein Aufmerksamkeitsmechanismus (Attention) erlaubt es den Text-Tokens, einmalig auf die visuellen Tokens zu „achten", bevor die Logits für das Vokabular berechnet werden. Dies hält den Fokus des LLMs auf der Sprache, erlaubt aber den Zugriff auf visuelle Informationen, wenn sie hilfreich sind.

B. Inferenz (Testzeit)

Da bei der Inferenz keine gepaarten Bilder zum Text vorliegen, nutzt LaMI einen Generierungsansatz:

1. Multi-Image Generation: Aus dem Text-Prompt werden $k$ verschiedene Bilder mittels eines leichten, destillierten Text-zu-Bild-Generators (z. B. SDXL-turbo) parallel generiert.
2. Verarbeitung: Jedes der $k$ Bilder wird durch den Vision-Encoder und den Late-Fusion-Modul geleitet, um eine Wahrscheinlichkeitsverteilung zu erhalten.
3. Aggregation (CLIP-basiertes Weighting):
   • Es wird auch eine rein textbasierte Verteilung ($p_0$) berechnet.
   • Die Verteilungen der $k$ Bilder werden mit der textbasierten Verteilung gewichtet.
   • Das Gewicht basiert auf dem CLIP-Score (Übereinstimmung zwischen generiertem Bild und Text). Bilder mit hoher Übereinstimmung erhalten mehr Vertrauen; bei geringer Übereinstimmung (oder wenn das Bild irreführend ist) fällt das System auf den reinen Text-Pfad zurück.
   • Formel: $p_{final} = \sum f(\bar{x}_i, v_i) \cdot p_i + (1 - f(\bar{x}_i, v_i)) \cdot p_0$.

3. Wichtige Beiträge

• Late Fusion statt Early Fusion: Die Integration visueller Features erst am Ende des Inferenzprozesses verhindert, dass die Sprachverarbeitung des LLMs durch visuelle Eingaben gestört wird.
• Multi-Image Evidence: Statt sich auf ein einziges (möglicherweise fehlerhaftes) Bild zu verlassen, generiert das System mehrere Varianten. Dies erhöht die Robustheit und deckt diverse visuelle Interpretationen ab.
• Effiziente Anpassung: Das Verfahren erfordert kein Neutrainieren des gesamten LLMs, sondern nur das Training eines leichten Projektors und einer Fusions-Schicht.
• Testzeit-Scaling: Es nutzt Rechenleistung zur Laufzeit (Image Generation), um die Qualität der Antwort zu steigern, ähnlich wie „Chain-of-Thought"-Prompting, aber mit visuellem Fokus.

4. Ergebnisse

Die Evaluation erfolgte auf Benchmarks für Objekt-Common-Sense, visuelles Common-Sense und NLP-Aufgaben (z. B. Memory Color, ImageNetVC, PIQA, BoolQ).

• Überlegenheit gegenüber VaLMs: LaMI übertrifft bestehende visuell angereicherte Modelle (wie VaLM, Z-LaVI, LIVE) signifikant, insbesondere bei Aufgaben zu Farben, Formen und relativen Größen.
• Vergleich mit VLMs: Auf rein visuellen Aufgaben erreicht LaMI die Leistung von spezialisierten VLMs (wie InstructBLIP, LLaVA-Next).
• Erhalt der Textleistung: Im Gegensatz zu vielen VLMs, die bei reinen Textaufgaben an Leistung verlieren, verbessert LaMI bei starken LLMs (wie LLaMA 3) sogar die Text-only-Leistung, während es gleichzeitig visuelles Reasoning ermöglicht.
• Ablationsstudien:
  • Die Kombination aus Late Fusion und Multi-Image Generation ist entscheidend; das Entfernen einer Komponente führt zu einem Leistungsabfall auf das Niveau von Baseline-Methoden.
  • Die Generierung von Bildern ist effektiver als das Retrieval von Bildern oder die Nutzung reiner CLIP-Text-Embeddings.
  • Die CLIP-basierte Gewichtung ist überlegen gegenüber einfachen Mittelwertbildungen oder rein konfidenzbasierten Aggregationen.
• Skalierbarkeit: Die Methode funktioniert effektiv auf kleinen (GPT-2), mittleren (Gemma-2B) und großen Modellen (Llama-3-8B, Vicuna-7B).

5. Bedeutung und Fazit

LaMI stellt einen Paradigmenwechsel dar, wie visuelle Informationen in LLMs integriert werden sollten. Anstatt teure multimodale Trainingszyklen zu benötigen oder die Sprachfähigkeiten durch frühe Fusion zu opfern, demonstriert LaMI, dass späte Fusion kombiniert mit der Generierung multipler visueller Hypothesen eine effiziente und leistungsstarke Alternative ist.

• Praktische Relevanz: Es ermöglicht die schnelle Anpassung neuer, state-of-the-art LLMs an visuelle Aufgaben mit minimalem Overhead.
• Zukunftsperspektive: Das Paper argumentiert, dass visuell angereichertes Reasoning eine prinzipielle Form des „Test-Time-Scaling" darstellt, die in agentenbasierten Frameworks zunehmend wichtig werden wird, auch wenn sie einen gewissen Rechenaufwand für die Bildgenerierung erfordert.

Zusammenfassend bietet LaMI eine robuste Lösung, um die Lücke zwischen textbasierten LLMs und visuellem Verständnis zu schließen, ohne die Stärken der reinen Sprachmodelle zu kompromittieren.