🤖 AI

MMLongEmbed: Benchmarking Multimodal Embedding Models in Long-Context Scenarios

Dieses Paper führt MMLongEmbed ein, den ersten umfassenden Benchmark, der darauf ausgelegt ist, multimodale Embedding-Modelle in Long-Context-Szenarien zu evaluieren, wobei aufgezeigt wird, dass aktuelle State-of-the-Art-Modelle Schwierigkeiten mit dem tiefen semantischen Verständnis haben und eine signifikante Leistungsdegradation aufweisen, wenn die Kontextlänge zunimmt.

Ursprüngliche Autoren: Haitian Wang, Ruoxi Sun, Quantong Qiu, Juntao Li, Junhui Li, Hua Chen, Jinxiong Chang, Min Zhang

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haitian Wang, Ruoxi Sun, Quantong Qiu, Juntao Li, Junhui Li, Hua Chen, Jinxiong Chang, Min Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine Bibliothek, die gleichzeitig eine ganze Enzyklopädie, tausend Filme und eine Million Webseiten beherbergen kann. Stellen Sie sich nun vor, Sie bitten einen Bibliothekar (eine KI), einen ganz bestimmten Satz über eine blaue Katze zu finden, der irgendwo in diesem riesigen Haufen versteckt ist.

Dieses Paper, MMLongEmbed, ist im Gruön ein Zeugnis für diese „Super-Bibliothekare“ (genannt Multimodale Embedding-Modelle), wenn sie gezwungen werden, mit diesen gigantischen, langen Stapeln an Informationen zu arbeiten.

Hier ist die Aufschlüsselung dessen, was die Forscher herausgefunden haben, unter Verwendung einfacher Analogien:

1. Das Problem: Große Bibliothek, kleines Gehirn?

In jüngster Zeit sind KI-Modelle in Bezug auf die Menge an Text und Bildern, die sie gleichzeitig lesen können (ihr „Kontextfenster“), „größer“ geworden. Es ist, als würde man einem Bibliothekar einen größeren Schreibtisch geben. Aber die Forscher fragten: Nur weil sie einen größeren Schreibtisch haben, bedeutet das auch, dass sie die Nadel im Heuhaufen finden können?

Sie fanden heraus, dass die Antwort oft nein lautet. Obwohl diese Modelle die ganze Bibliothek sehen können, haben sie oft Schwierigkeiten, die tiefen Verbindungen darin zu verstehen. Sie verlassen sich eher auf „oberflächliche“ Hinweise (wie das Abgleichen eines Wortes hier oder einer Farbe dort) anstatt die Geschichte wirklich zu verstehen.

2. Der Test: MMLongEmbed

Um dies zu testen, entwickelten die Autoren eine neue Prüfung namens MMLongEmbed. Betrachten Sie dies als einen „Survival of the Fittest“-Test für KI-Bibliothekare. Sie erstellten vier spezifische Herausforderungen:

Die „Nadel im Heuhaufen“ (Visuelle Verankerung/Visual Grounding): Sie versteckten eine spezifische Tatsache (eine „Nadel“) in einem massiven Dokument. Der Test prüft, ob die KI sie findet, egal ob sie am ganz am Anfang, am Ende oder mitten im Dokument versteckt ist.
- Das Ergebnis: Die KI ist gut darin, Dinge am Anfang oder Ende eines Dokuments zu finden, verliert sich aber oft in der Mitte – wie ein Leser, der sich nur an die erste und die letzte Seite eines Buches erinnert.
Das „Detektiv-Rätsel“ (Multi-Quellen-Schlussfolgerung): Sie gaben der KI eine Frage, die erforderte, Hinweise aus verschiedenen Dokumenten zu verknüpfen (z. B. „Wer hat in diesem Film mitgespielt und auch dieses Lied geschrieben?“).
- Das Ergebnis: Die KI wird verwirrt, wenn die Hinweise tief in langen Texten vergraben sind.
Der „Referenzbericht“ (Logische Zusammenfassung): Sie baten die KI, ein 30.000 Wörter umfassendes Dokument in einen kurzen Absatz zusammenzufassen.
- Das Ergebnis: Die KI ist darin eigentlich ziemlich gut! Da Zusammenfassungen auf allgemeinen Themen basieren, kann die KI die Hauptidee „erraten“, selbst wenn sie einige Details übersieht.
Der „Zeitreisende“ (Temporale Zusammenfassung): Sie zeigten der KI ein langes Video und fragten: „Was passierte zuerst und was passierte danach?“
- Das Ergebnis: Die KI hat hier große Schwierigkeiten. Wenn man die Reihenfolge der Ereignisse in dem Video vertauscht, bemerkt die KI oft nicht einmal, dass die zeitliche Abfolge unterbrochen wurde.

3. Der knifflige Teil: Die „Ablenkungsfalle“

Die Forscher machten den Test schwieriger, indem sie Ablenker hinzufügten. Stellen Sie sich vor, Sie suchen ein rotes Auto auf einem Parkplatz.

Einfacher Modus: Der Parkplatz hat ein rotes Auto und 100 blaue Autos. (Die KI findet es problemlos).
Schwieriger Modus: Der Parkplatz hat 100 rote Autos, die fast exakt gleich aussehen, aber eines hat eine etwas andere Stoßstange. (Die KI wird verwirrt und wählt das falsche aus).

Das Paper fand heraus, dass die Leistung der KI massiv einbricht, wenn sie mit diesen „Schwierigen Modus“-Ablenkern konfrontiert wird. Dies beweist, dass die KI oft nur Schlüsselwörter abgleicht (wie „rotes Auto“), anstatt die spezifischen Details (wie „das Auto mit der Delle an der Stoßstange“) zu verstehen.

4. Die überraschenden Erkenntnisse

Größer ist nicht immer besser: Das Modell größer zu machen (mehr Parameter) oder ihm ein größeres Gedächtnis zu geben (mehr Dimensionen), löste das Problem nicht konsistent. Ein etwas kleineres, klügeres Modell übertraf manchmal ein riesiges.
Die „Mitte“ ist die Gefahrenzone: Die KI hat eine starke Tendenz zum Anfang und zum Ende eines Dokuments. Wenn die Antwort in der Mitte eines 30.000-Token-Textes liegt, „vergisst“ die KI oft, dass sie existiert.
Video ist schwer: Die KI ist viel schlechter darin, die Reihenfolge der Ereignisse in einem Video zu verstehen, als nur zu erkennen, was in dem Video zu sehen ist.

5. Das Fazit

Das Paper kommt zu dem Schluss, dass wir zwar KIs gebaut haben, die massive Mengen an Daten lesen können, wir ihnen aber noch nicht beigebracht haben, wie sie tief über diese Daten nachdenken, wenn sie in einem langen Kontext verborgen sind.

Derzeit sind diese Modelle wie Schüler, die den ersten und den letzten Satz eines langen Aufsatzes perfekt auswendig lernen können, aber den roten Faden in der Mitte verlieren. Um sie für reale Aufgaben (wie das Finden spezifischer Beweise in einem Rechtsfall oder einer Krankenakte) wirklich nützlich zu machen, müssen wir ihnen beibringen, der tiefen Struktur der Informationen Aufmerksamkeit zu schenken und nicht nur den oberflächlichen Wörtern.

Kurz gesagt: Wir haben der KI eine größere Bibliothek gegeben, aber sie muss erst noch lernen, die Bücher richtig zu lesen und nicht nur die Cover zu überfliegen.

Technisches Resümee: MMLongEmbed

Problemstellung

Jüngste Fortschritte bei multimodalen Embedding-Modellen (MEMs) haben die theoretischen Kontextfenster signifikant auf 32K Token und darüber hinaus erweitert, was eine einheitliche Repräsentation von verschachtelten Texten, Dokumentenbildern und Videos ermöglicht. Das Paper argumentiert jedoch, dass größere Kontextfenster nicht zwangsläufig eine effektive Komprehension oder Repräsentation von langen multimodalen Kontexten bedeuten. Diese Lücke stellt einen kritischen Flaschenhals für den realen Einsatz in Anwendungen wie der multimodalen Retrieval-Augmented Generation (RAG) und autonomen Agenten-Workflows dar.

Derzeitige Evaluierungs-Frameworks leiden unter drei primären Defiziten:

Begrenzte Kontext-Diversität: Bestehende Benchmarks sind weitgehend auf textbasierte Daten beschränkt und versäumen es, die multimodalen Informationen abzudecken, die in realen Szenarien vorkommen.
Mangelnde Längen-Stratifizierung: Die Eingabelänge wird oft nicht als kontrollierte Variable behandelt, was eine systematische Analyse der Leistungsdegradation bei skalierenden Kontexten verhindert.
Unzureichende Aufgabenkomplexität: Viele Benchmarks verlassen sich auf einfache Erweiterungen von Kandidatenpools, bei denen Aufgaben durch oberflächliches Feature-Matching gelöst werden können, was die Tiefe vermissen lässt, die für echtes semantisches Verständnis erforderlich wäre.

Methodik: MMLongEmbed Benchmark

Um diese Lücken zu schließen, führen die Autoren MMLongEmbed ein, den ersten umfassenden Benchmark, der darauf ausgelegt ist, MEMs in Langkontext-Szenarien systematisch zu evaluieren.

Konstruktion des Benchmarks

Der Benchmark integriert acht diverse Datensätze, bestehend aus 8.460 Abfragen (Queries) und 20.880 Kandidaten, und unterstützt Kontextlängen von bis zu 32K Token. Er unterstützt drei Eingabeformate: rein bildbasiert, verschachteltes Bild-Text-Format sowie rein textbasiert. Die Evaluierung ist um vier distinkte Aufgaben strukturiert:

Visual Grounding (Synthetisch): Ein „Needle-in-a-Haystack“-Framework unter Verwendung von Daten aus NeedleBench und MMNIAH. Zielinstanzen („Needles“) werden in multimodale Heustapel eingebettet, die aus OBELICS stammen. Das Setup variiert die Einfügungstiefe (0 % bis 100 %) und die Kontextlängen (256 bis 32K Token) über acht Intervalle hinweg. Entscheidend ist, dass die Distraktoren so gestaltet sind, dass sie der Zielinstanz sehr ähnlich sind, um eine feingranulare Retrieval-Ambiguität zu erzeugen.
Multi-Source Reasoning (Real-World): Basierend auf HotpotQA und MMDocR-RAG bewertet diese Aufgabe die Fähigkeit, strukturierte Evidenzen über heterogene Kontexte hinweg zu erfassen. Der Benchmark erweitert die ursprünglichen Kontexte auf 16K und 32K Token, indem semantisch irrelevante, aber natürlich fließende Texte injiziert werden. „Harte“ Distraktoren werden generiert, indem kritische Evidenzspannen entfernt werden, was die Argumentationsketten bricht, während die oberflächliche thematische Ähnlichkeit erhalten bleibt.
Logische Zusammenfassung (Real-World): Unter Verwendung von GovReport und MMLongBench evaluiert diese Aufgabe die globale semantische Kompression. Harte Distraktoren werden erstellt, indem große zusammenhängende Spannen (z. B. die ersten 25 %, die letzten 25 % oder die mittleren 50 %) durch abfrageirrelevanten Inhalt ersetzt werden, der aus thematisch ähnlichen Dokumenten stammt. Dies zwingt die Modelle dazu, sich auf den logischen Fluss statt auf lokales Keyword-Matching zu verlassen.
Temporale Zusammenfassung (Real-World): Basierend auf ActivityNet Captions und YoukuDenseCaption bewertet diese Aufgabe das Verständnis langfristiger temporaler Strukturen in Videos. Harte Distraktoren beinhalten makrostrukturelle Transformationen wie chronologische Umkehrung oder Block-Permutationen, welche die globale narrative Ordnung stören, während die Ereignis-Semantik erhalten bleibt.

Standardisierung der Tokenisierung

Um konsistente Längenintervalle über Modelle mit unterschiedlichen visuellen Tokenisierungs-Schemata hinweg zu gewährleisten, nutzen die Autoren einen standardisierten Zählmechanismus:

Text-Token: Berechnet mittels des Qwen3-Tokenizers.
Visuelle Token: Bilder werden mit einem $16 \times 16$ Patch-Embedding und anschließendem $2 \times 2$ Spatial Merging verarbeitet, was zu einer effektiven Patch-Größe von $32 \times 32$ Pixeln pro Token führt. Die Token-Anzahl wird als $\lceil H/32 \rceil \times \lceil W/32 \rceil$ berechnet.

Evaluierungsprotokoll

Der Benchmark evaluiert 11 führende MEMs (10 Open-Source, 1 proprietär), die zwischen 2B und 8B Parametern liegen und Kontextfenster von mindestens 32K besitzen. Die Evaluierung kontrolliert strikt die Kandidatendichte (Durchschnittliche Kandidaten pro Query) über die Längenpools hinweg und verwendet eine „Middle Truncation“-Strategie, um Out-of-Memory-Fehler bei Eingaben zu verhindern, die spezifische Limits überschreiten.

Kernergebnisse

Umfangreiche Experimente zeigen signifikante Limitationen aktueller MEMs hinsichtlich des multimodalen Langkontext-Verständnisses auf:

Entkopplung von Skalierung und Kapazität: Eine Erhöhung der Modellgröße oder der Embedding-Dimensionalität führt nicht konsistent zu einer Verbesserung der Leistung. In einigen Fällen schneiden kleinere Modelle innerhalb derselben Familie besser ab als größere (z. B. Qwen3-2B vs. Qwen3-8B in spezifischen harten Subsets). Das Modellparadigma und die Trainingsstrategie scheinen entscheidender zu sein als die reine Skalierung.
Positionsbias und Informationsverlust: Die Leistung bei der feingranularen Retrieval-Aufgabe (Visual Grounding) zeigt eine starke Degradation bei Zielen, die sich in mittleren Positionen befinden, mit einem starken Bias hin zu den Sequenzgrenzen. Die meisten Modelle halten eine stabile Retrieval-Leistung nur bis etwa ~2K Token aufrecht, wonach die Leistung unabhängig von der Modellgröße rapide abfällt.
Abhängigkeit von oberflächlichem Matching: Modelle performen gut bei „Easy“-Aufgaben, erleiden aber bei der Unterdrückung oberflächlicher Matching-Hinweise durch hochgradig ähnliche Distraktoren („Hard“-Aufgaben einen scharfen Leistungsabfall. Dies deutet auf eine starke Abhängigkeit von globaler semantischer Ausrichtung statt tiefer feingranularer Diskriminierung hin.
Aufgabenspezifische Degradation:
- Zusammenfassungsaufgaben: Die Leistung bleibt über die Längen hinweg relativ stabil, was wahrscheinlich auf hohe Redundanz und verteilte Evidenzen zurückzuführen ist.
- Reasoning- und Temporale Aufgaben: Die Leistung zeigt einen konsistenten Rückgang mit zunehmender Kontextlänge. Die temporale Zusammenfassung ist besonders fragil und bricht unter harten Distraktoren auf ein Niveau nahe dem Zufall ein.
Modalitäts-Robustheit: Modelle weisen unterschiedliche Grade an Robustheit gegenüber heterogenen Hintergrundinterferenzen auf. Während einige Modelle einen Modality-Skew (ungleiche Leistung über Text-/Bild-Distraktoren) zeigen, demonstriert eine kleine Teilmenge ein modalitäts-robustes Verhalten und hält eine stabile Leistung über alle Interferenztypen hinweg.

Bedeutung und Behauptungen

Das Paper behauptet, dass MMLongEmbed eine kritische Lücke in der Evaluierung von multimodalen Embedding-Modellen schließt. Durch die systematische Variation von Kontextlänge, Modalität und Aufgabenkomplexität legt der Benchmark offen, dass aktuelle Architekturen stark auf oberflächliches Feature-Matching angewiesen sind und Schwierigkeiten haben, tiefe semantische und strukturelle Abhängigkeiten in langen Kontexten zu erfassen.

Die Autoren kommen zu dem Schluss, dass die bloße Skalierung von Kontextlänge, Modellgröße oder Embedding-Dimensionalität nicht ausreicht, um diese Limitationen zu adressen. Stattdessen unterstreichen die Ergebnisse die Notwendigkeit eines fundamental verbesserten semantischen Langkontext-Modellings, das in der Lage ist, die Beibehaltung feingranularer Informationen und tiefes strukturelles Reasoning über multimodale Eingaben hinweg effektiv zu handhaben. Der Benchmark und der Code sind zur Förderung der Reproduzierbarkeit und weiteren Forschung öffentlich zugänglich.