Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

Die Studie zeigt, dass Multimodale Large Language Models (MLLMs) zwar durch Chain-of-Thought-Prompting und Feinabstimmung verbessert werden können, aber dennoch eine signifikante Lücke bei der optimalen Zusammensetzung von Fähigkeiten über verschiedene Modalitäten hinweg aufweisen.

Das Wesentliche

Titel: Warum Multimodale KI-Modelle noch nicht perfekt zusammenarbeiten – Eine einfache Erklärung

Stellen Sie sich vor, Sie haben einen sehr klugen Assistenten, der zwei verschiedene Gehirnteile hat:

1. Das „Seh-Gehirn": Es kann Bilder lesen, Objekte erkennen und Texte auf Bildern entziffern (wie ein sehr guter Fotograf oder ein Scanner).
2. Das „Denk-Gehirn": Es kann rechnen, logisch schlussfolgern und Fragen beantworten (wie ein Professor für Mathematik oder Philosophie).

In diesem Papier untersuchen die Forscher, wie gut diese beiden Gehirnteile zusammenarbeiten, wenn sie eine Aufgabe lösen müssen, die beides erfordert. Die gute Nachricht: Jeder Teil für sich ist oft sehr stark. Die schlechte Nachricht: Wenn sie zusammenarbeiten müssen, stolpern sie oft über die eigenen Füße.

Hier ist die Geschichte, wie sie es herausgefunden haben:

1. Das Experiment: Der „Zwei-Schritte-Test"

Die Forscher stellten drei einfache Aufgaben, die für einen Menschen kinderleicht wären, aber für die KI eine Herausforderung darstellen:

• Aufgabe A (Der Text-Rätsel-Krimi): Ein Mathe-Problem ist auf ein Bild gemalt (z. B. „Wie viel ist 7 + 5?"). Die KI muss erst den Text aus dem Bild „lesen" (Seh-Gehirn) und dann die Rechnung im Kopf machen (Denk-Gehirn).
• Aufgabe B (Der Zähler): Zeigen Sie der KI ein Bild mit vielen Orangen. Sie soll zählen, wie viele es sind. Zuerst muss sie die Orangen finden (Seh-Gehirn) und dann die Zahl im Kopf zusammenzählen (Denk-Gehirn).
• Aufgabe C (Das Kartenspiel): Zeigen Sie der KI vier Karten. Sie soll sie sortieren oder den Gesamtwert berechnen. Dazu muss sie die Karten erkennen (Seh-Gehirn) und dann die Regeln anwenden (Denk-Gehirn).

Der Trick des Experiments:
Die Forscher verglichen zwei Methoden:

1. Der direkte Weg: Die KI bekommt das Bild und die Frage und soll es einfach „auf einen Schlag" lösen.
2. Der gestaffelte Weg (Cascaded): Die Forscher zwingen die KI, Schritt für Schritt zu arbeiten. Zuerst sagt sie: „Ich sehe hier die Zahlen 7 und 5." Dann sagt sie: „Okay, 7 plus 5 ist 12."

Das Ergebnis:
Überraschenderweise war der gestaffelte Weg fast immer besser. Das bedeutet: Die KI kann die einzelnen Teile (Sehen und Rechnen) gut, aber sie scheitert daran, diese Teile nahtlos zu einer einzigen Lösung zu verbinden. Es ist, als ob ein Musiker das Klavier perfekt spielen kann und ein anderer die Geige, aber wenn sie ein Duett spielen sollen, passen sie nicht zusammen.

2. Warum ist das so? (Die Metapher vom Dolmetscher)

Stellen Sie sich vor, das „Seh-Gehirn" ist ein Dolmetscher, der eine Sprache spricht, die das „Denk-Gehirn" nicht versteht.

• Wenn die KI das Bild sieht, versucht sie, den Text zu lesen. Aber manchmal macht sie Fehler (z. B. liest sie eine „3" als eine „8").
• Im direkten Weg versucht die KI, den Text zu lesen und gleichzeitig zu rechnen. Wenn sie beim Lesen einen Fehler macht, führt das zu einem falschen Ergebnis, und sie merkt es nicht.
• Im gestaffelten Weg wird der Fehler isoliert. Die KI sagt zuerst: „Ich lese hier eine 3." (Fehler passiert). Dann rechnet sie: „3 + 5 = 8". Da der Fehler schon passiert ist, ist das Ergebnis falsch, aber wir wissen wenigstens, wo das Problem lag.

Die Forscher fanden heraus, dass die KI oft den „Seh-Teil" nicht so genau macht, wie sie es müsste, bevor sie mit dem „Denk-Teil" beginnt. Sie versucht, beides gleichzeitig zu tun, und dabei geht die Präzision verloren.

3. Versuche, es zu reparieren

Die Forscher wollten wissen: „Können wir die KI dazu bringen, besser zusammenzuarbeiten?" Sie probierten zwei Methoden aus:

• Methode 1: Der „Gedankenführer" (Chain-of-Thought):
  Sie gaben der KI eine spezielle Anweisung: „Zuerst lies den Text genau, schreibe ihn auf, und dann rechne."

  • Ergebnis: Das half etwas! Die KI wurde besser, weil sie gezwungen wurde, langsamer zu denken. Aber es war nicht perfekt. Es war wie ein Lehrer, der einem Schüler sagt: „Mach Schritt 1, dann Schritt 2." Der Schüler macht es besser, aber er ist immer noch nicht so gut wie jemand, der die Schritte von Hand getrennt macht. Außerdem muss man für jede neue Aufgabe einen neuen „Lehrer" (Prompt) erfinden, was sehr aufwendig ist.

• Methode 2: Das „Spezialtraining" (Fine-Tuning):
  Sie trainierten die KI extra auf Aufgaben, bei denen Sehen und Rechnen kombiniert werden müssen.

  • Ergebnis: Auch das half! Die KI wurde besser darin, die Kombination zu verstehen. Aber selbst nach dem Training gab es immer noch eine Lücke. Die KI konnte die Kombination nicht so perfekt beherrschen wie die getrennten Schritte.

4. Was bedeutet das für die Zukunft?

Die Botschaft des Papiers ist klar: Multimodale KI-Modelle sind noch nicht so schlau, wie sie scheinen.

Sie können Bilder sehen und Texte lesen, aber wenn sie beides gleichzeitig nutzen müssen, um ein neues Problem zu lösen, hakt es. Es ist, als hätte man ein Auto mit einem sehr starken Motor und sehr guten Reifen, aber die Kupplung ist noch nicht perfekt eingestellt. Das Auto fährt, aber es ruckelt, wenn man schaltet.

Zusammenfassung für den Alltag:
Wenn Sie heute eine KI fragen: „Wie viele Äpfel sind auf diesem Bild und wie viel kosten sie zusammen?", wird die KI wahrscheinlich raten oder einen Fehler machen, weil sie die Zählung und die Rechnung nicht perfekt verknüpft. Sie ist noch nicht in der Lage, ihre eigenen Fähigkeiten so geschickt zu mischen, wie ein Mensch es tun würde.

Die Forscher hoffen, dass zukünftige Modelle lernen, diese „Kupplung" zu verbessern, damit sie nicht nur sehen und denken können, sondern auch tatsächlich verstehen, was sie sehen, und das sofort in eine Lösung umsetzen. Bis dahin müssen wir uns vielleicht noch mit ein paar Fehlern abfinden, wenn die KI komplexe Bilder analysieren soll.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Multimodal LLMs Do Not Compose Skills Optimally Across Modalities" auf Deutsch:

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben in den letzten Jahren enorme Fortschritte gemacht und können zunehmend komplexe Aufgaben lösen. Dennoch ist unklar, wie gut diese Modelle in der Lage sind, bereits erlernte Fähigkeiten (Skills) zu kombinieren, um neue Aufgaben zu lösen.

Das zentrale Problem, das in diesem Paper untersucht wird, ist die inkompetente Zusammensetzung von Fähigkeiten über Modalitäten hinweg. MLLMs werden typischerweise durch Feinabstimmung (Fine-Tuning) eines vortrainierten Text-LLMs mit visuellen Encodern trainiert. Während die einzelnen Fähigkeiten (z. B. optische Zeichenerkennung oder mathematisches Schlussfolgern) oft vorhanden sind, zeigt sich, dass das Modell diese nicht optimal kombiniert, wenn eine Aufgabe sowohl visuelle als auch textliche Verarbeitung erfordert.

Die Autoren definieren die Skill-Komposition als die Fähigkeit, erlernte Fähigkeiten auf neue, während des Trainings nicht gesehene Weise zu kombinieren. Sie stellen die Hypothese auf, dass MLLMs hier eine signifikante Lücke aufweisen, selbst bei trivialen Kombinationen.

2. Methodik

Um dieses Phänomen zu quantifizieren, entwickelten die Autoren drei Evaluierungsaufgaben, die durch eine sequenzielle Kombination einer visuellen und einer textuellen Fähigkeit gelöst werden können:

1. Task 1: Reasoning über gerenderten Text (OCR + Reasoning):
   • Mathematische oder logische Probleme werden als Bilder (Text) dargestellt.
   • Fähigkeiten: Optische Zeichenerkennung (OCR) und textbasiertes Schlussfolgern.
   • Daten: GSM8K, MATH, ARC, MMLU (als Bilder gerendert).
2. Task 2: Objektzählung (Objekt-Detektion + Zählen):
   • Das Modell muss die Anzahl bestimmter Objekte in einem Bild zählen.
   • Fähigkeiten: Objekterkennung (visuell) und Zählen von Strings (textuell).
   • Daten: CV-Bench und ein neues Dataset namens COCO-Count.
3. Task 3: Kartenspiel (Bilderkennung + Numerisches Reasoning):
   • Das Modell muss Pokerkarten identifizieren und basierend auf Regeln sortieren oder summieren.
   • Fähigkeiten: Bilderkennung und numerisches Schlussfolgern.
   • Daten: Zwei selbst erstellte Kartenspiel-Datasets (Sort und Sum).

Evaluierte Modelle:
Es wurden mehrere Open-Source-MLLMs getestet, darunter LLaVA 1.6 (Vicuna/Mistral), Llama 3.2, Molmo und Qwen2.5-VL. Closed-Source-Modelle wurden ausgeschlossen, da deren Trainingsdaten und spezifische Fähigkeiten nicht transparent sind.

Inferenz-Setups zur Messung der Lücke:
Um die „Cross-Modality Skill Composition Gap" zu messen, verglichen die Autoren zwei Ansätze:

• Direct Inference: Das Modell erhält Bild und Frage direkt und muss die Aufgabe in einem Schritt lösen. Dies repräsentiert das natürliche Verhalten des Modells.
• Cascaded Inference (Kaskadierte Inferenz): Hier wird die Skill-Komposition manuell erzwungen. Der Prozess wird in zwei Schritte unterteilt:
  1. Das Modell wird aufgefordert, nur die visuelle Fähigkeit anzuwenden (z. B. Text aus dem Bild extrahieren oder Objekte detektieren).
  2. Das Ergebnis wird als Eingabe für den zweiten Schritt verwendet, in dem das Modell die textliche Fähigkeit anwendet (z. B. die Aufgabe lösen).
  • Ziel: Wenn die kaskadierte Inferenz deutlich besser abschneidet als die direkte, existiert eine Kompositions-Lücke.

Zusätzlich wurde eine Oracle-Inferenz als obere Grenze definiert, bei der das goldene (korrekte) Ergebnis der visuellen Fähigkeit als Eingabe für den textlichen Schritt verwendet wird, um Fehler in der visuellen Erkennung auszuschließen.

3. Wichtige Beiträge und Ergebnisse

Hauptergebnis: Signifikante Skill-Kompositions-Lücke

• Fast alle getesteten Modelle wiesen eine signifikante Lücke zwischen direkter und kaskadierter Inferenz auf.
• Selbst bei einfachen Aufgaben, die für Menschen trivial wären, versagten die Modelle darin, ihre eigenen Fähigkeiten optimal zu kombinieren.
• Beispiel Task 1: Bei LLaVA 1.6-Vicuna-13B betrug die Lücke bis zu 22,19 Punkte. Bei Qwen2.5-VL-72B war sie mit 0,39 Punkten minimal, was auf eine bessere Integration in neueren Modellen hindeutet.
• Beispiel Task 2 (Objektzählung): Modelle wie Molmo zeigten keine Lücke, aber nur, weil sie in den einzelnen Fähigkeiten (Objektdetektion und Zählen) selbst schwach waren. Qwen2.5-VL-Modelle zeigten hingegen eine klare Lücke, obwohl sie die Einzelskills beherrschten.

Analyse der Fehlerquellen:

• Bei Task 1 trugen OCR-Fehler (visuelle Erkennung) erheblich zum Leistungsabfall bei der direkten Inferenz bei.
• Bei Task 3 (Kartenspiel) war die Lücke auch bei Modellen vorhanden, die bei Task 1 gut abschnitten, was darauf hindeutet, dass die Kompositionsschwäche kontextabhängig und nicht nur auf OCR-Problemen beruht.

Mitigationsstrategien (Abmilderungsversuche):

1. Chain-of-Thought (CoT) Prompting:

   • Die Autoren erstellten spezielle Prompts, die das Modell explizit anweisen, die Fähigkeiten sequenziell zu nutzen (z. B. „Zuerst extrahiere den Text, dann löse das Problem").
   • Ergebnis: Dies verbesserte die Leistung bei den meisten Modellen im Vergleich zur direkten Inferenz, erreichte aber selten das Niveau der kaskadierten Inferenz. Zudem ist diese Methode nicht skalierbar, da sie manuell für jede Aufgabe angepasste Prompts erfordert.

2. Fine-Tuning auf cross-modale Aufgaben:

   • Ein Modell (Llama 3.2 11B) wurde auf Daten feinabgestimmt, bei denen die visuelle Eingabe mit den Lösungen der textuellen Aufgabe gepaart wurde.
   • Ergebnis: Das Fine-Tuning verbesserte die direkte Inferenzleistung und zeigte Generalisierung auf andere Datensätze. Dennoch wurde die Lücke zur kaskadierten Inferenz nur geschlossen, wenn Training und Evaluation auf demselben Datensatz stattfanden.

4. Bedeutung und Fazit

Das Paper liefert wichtige Erkenntnisse für die Forschung an Multimodalen KI-Modellen:

• Bestätigung einer fundamentalen Schwäche: Selbst hochmoderne MLLMs können ihre visuellen und textuellen Fähigkeiten nicht automatisch und optimal kombinieren, selbst wenn sie beide Einzelskills beherrschen.
• Unterscheidung von Training und Komposition: Die Ergebnisse zeigen, dass das bloße Vorhandensein von Fähigkeiten (z. B. durch Training auf OCR-Daten) nicht garantiert, dass das Modell diese in neuen Kombinationen anwenden kann.
• Limitationen aktueller Ansätze: Sowohl Prompt-Engineering (CoT) als auch Standard-Fine-Tuning können die Lücke nur teilweise schließen, aber nicht vollständig beseitigen.
• Ausblick: Es besteht dringender Forschungsbedarf, um die Ursachen dieser Kompositionsprobleme zu verstehen und neue Trainingsmethoden zu entwickeln, die eine robuste und generalisierbare Skill-Komposition über Modalitäten hinweg ermöglichen.

Zusammenfassend demonstriert die Arbeit, dass Multimodalität in aktuellen LLMs noch nicht die nahtlose Integration von Fähigkeiten bedeutet, sondern oft eine diskrete Aneinanderreihung von Fähigkeiten darstellt, deren Kombination ineffizient bleibt.