Analyzing Diffusion and Autoregressive Vision Language Models in Multimodal Embedding Space
Diese Arbeit präsentiert die erste systematische Untersuchung zum Vergleich von multimodalen Diffusions-Sprachmodellen und autoregressiven Vision-Language-Modellen als Embedding-Werkzeuge, wobei aufgezeigt wird, dass letztere zwar aufgrund unzureichender Bild-Text-Ausrichtung generell schlechter abschneiden, die Leistungslücke jedoch zwischen spezifischen Modellen signifikant variiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten eine riesige Bibliothek, in der jedes Buch, jedes Foto und jedes Video nicht in Regalen, sondern als ein einzigartiger „Vibe“ oder „Fingerabdruck“ gespeichert ist. In der Welt der KI werden diese Fingerabdrücke als Embeddings bezeichnet. Sie ermöglichen es Computern zu verstehen, dass das Bild eines Hundes und das Wort „Hund“ miteinander verwandt sind, obwohl das eine ein Bild und das andere Text ist.
Lange Zeit war der beste Weg, diese Fingerabdrücke zu erstellen, die Verwendung von Autoregressiven Modellen. Denken Sie an diese wie an eine Person, die eine Geschichte Wort für Wort liest, von links nach rechts. Sie sind sehr gut darin, Kontext zu verstehen, weil sie Bedeutung Schritt für Schritt aufbauen.
Vor kurzem ist ein neuer Typ von KI namens Diffusionsmodelle populär geworden. Stellen Sie sich diese wie einen Bildhauer vor, der mit einem Block Marmor beginnt, der mit Rauschen bedeckt ist, und dann langsam das Rauschen wegmeißelt, um die Statue zu enthüllen. Oder denken Sie an sie wie an eine Person, die einen ganzen Satz auf einmal betrachten und die fehlenden Wörter gleichzeitig ergänzen kann, anstatt sie nacheinander zu erraten. Diese Modelle sind großartig, weil sie das „große Ganze“ (bidirektionale Aufmerksamkeit) auf einmal sehen können.
Die große Frage
Die Forscher in dieser Arbeit stellten eine einfache Frage: Können diese neuen „Bildhauer“-Modelle (Diffusion) genauso gut darin sein, diese „Vibe“-Fingerabdrücke zu erstellen wie die alten „Leser“-Modelle (Autoregressiv)?
Das Experiment
Um dies herauszufinden, nahm das Team die zwei besten „Bildhauer“-Modelle (benannt als LaViDa und MMaDA) und die zwei besten „Leser“-Modelle (benannt als LLaVA-1.6 und Qwen2.5-VL). Sie brachten allen bei, diese Fingerabdrücke mit einer Standard-Trainingsmethode zu erstellen (wie zum Beispiel das Lehren, ein Bild mit seiner korrekten Beschreibung abzugleichen).
Dann stellten sie sie drei verschiedenen Szenarien gegenüber:
- Klassifizierung: „Was ist das für ein Bild?“ (z. B. Ist es eine Katze oder ein Hund?)
- Visuelle Fragenbeantwortung (VQA): „Was ist der höchste Wert in diesem Diagramm?“
- Abruf (Retrieval): „Finde mir ein Bild, das dieser spezifischen Beschreibung entspricht.“
Die Ergebnisse: Die „Bildhauer“ hatten zu kämpfen
Die Ergebnisse waren überraschend. Obwohl die „Bildhauer“-Modelle (Diffusion) eine Superkraft besitzen, alles auf einmal betrachten zu können, schnitten sie im Allgemeinen schlechter ab als die „Leser“-Modelle.
- Der „gute“ Bildhauer (LaViDa): Dieses Modell war ziemlich gut. Es lag nur knapp hinter den besten „Leser“-Modellen zurück (etwa 3 bis 4 Punkte niedriger auf einer 100-Punkte-Skala). Es war besonders gut darin, mit neuen, unbekannten Arten von Daten (Out-of-Domain) umzugehen, was darauf hindeutet, dass es etwas flexibler ist.
- Der „kämpfende“ Bildhauer (MMaDA): Dieses Modell hatte eine riesige Lücke. Es schnitt in allen Bereichen mehr als 20 Punkte schlechter ab als die „Leser“-Modelle. Es konnte einfach nicht mithalten.
Warum ist das passiert?
Die Forscher gruben tiefer, um zu verstehen, warum die „Bildhauer“ verloren. Sie fanden zwei Hauptgründe:
- Nicht übereinstimmende Fingerabdrücke: In den „Leser“-Modellen kommen das Bild und der Text im Fingerabdruck-Raum sehr nah zusammen (sie richten sich perfekt aus). In den „Bildhauer“-Modellen blieben der Bild-Fingerabdruck und der Text-Fingerabdruck oft weit voneinander entfernt, wie zwei Menschen, die versuchen, Händchen zu halten, aber auf gegenüberliegenden Seiten eines Raumes stehen. Die Modelle lernten einfach nicht, das Bild und den Text so eng miteinander zu verknüpfen.
- Falsche Trainingsziele: Das „kämpfende“ Modell (MMaDA) wurde trainiert, zwei Dinge gleichzeitig zu tun: Bilder zu verstehen und neue Bilder von Grund auf neu zu generieren. Die Forscher vermuten, dass der Versuch, gleichzeitig ein „Maler“ (Bilder generieren) zu sein, das Modell davon abgelenkt hat, ein guter „Bibliothekar“ (präzise Fingerabdrücke für die Suche zu erstellen) zu sein.
Das Fazit
Auch wenn Diffusionsmodelle spannend sind und coole Funktionen wie das gleichzeitige Betrachten des gesamten Bildes besitzen, sind sie noch nicht ganz bereit, die alten „Leser“-Modelle für die Erstellung suchfreundlicher Fingerabdrücke zu ersetzen. Die „Leser“-Modelle halten immer noch die Krone für Genauigkeit, hauptsächlich, weil sie besser darin sind, das Gesehene eng mit dem Gelesenen zu verknüpfen.
Die Arbeit kommt zu dem Schluss, dass Diffusionsmodelle zwar Potenzial haben (insbesondere das LaViDa-Modell), sie aber viel besser darin werden müssen, Bilder und Text aufeinander abzustimmen, bevor sie die erste Wahl für diese Aufgaben sein können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.