MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents

Das Paper stellt MultiHaystack vor, einen neuen Benchmark mit über 46.000 multimodalen Kandidaten und 747 Fragen, der zeigt, dass die Leistung von Multimodal Large Language Models bei der Kombination aus Retrieval und Reasoning in großen, heterogenen Korpora erheblich unter den Ergebnissen liegt, die bei Bereitstellung der korrekten Beweise erzielt werden.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein genialer Detektiv, der in einer riesigen, chaotischen Bibliothek arbeitet. Diese Bibliothek ist nicht nur mit Büchern gefüllt, sondern auch mit Millionen von Fotos, Stunden an Videomaterial und alten Dokumenten.

Das ist genau das Problem, das die Forscher in diesem Papier mit MultiHaystack untersuchen. Der Name kommt vom englischen Sprichwort „Needle in a haystack" (eine Nadel im Heuhaufen). Aber hier ist es noch schlimmer: Sie müssen nicht nur eine Nadel finden, sondern Sie müssen sie auch in einem Heuhaufen aus Heu, Stroh und Kartoffelsäcken finden, und dann müssen Sie erklären, warum diese Nadel wichtig ist.

Hier ist die einfache Erklärung der Studie:

1. Das Problem: Die „Fake"-Tests

Bisher haben Wissenschaftler KI-Modelle (die „Super-Detektive") getestet, indem sie ihnen eine Nadel zeigten und fragten: „Was ist das?"

• Das Problem: In der echten Welt muss die KI erst selbst die Nadel im riesigen Heuhaufen finden, bevor sie sie betrachten kann.
• Der Fehler: Die alten Tests waren wie ein Trick. Man gab der KI das richtige Buch oder das richtige Video direkt in die Hand. Die KI war dann sehr schlau und konnte die Frage beantworten. Aber das war wie ein Schüler, der die Antwort auf einem Zettel hat, bevor er die Matheaufgabe löst. Wir wussten nicht, ob er wirklich gut rechnen kann oder nur gut im Ablesen.

2. Die Lösung: MultiHaystack (Der riesige Heuhaufen)

Die Forscher haben einen neuen, extrem schwierigen Test gebaut, den sie MultiHaystack nennen.

• Die Bibliothek: Sie haben über 46.000 verschiedene Dinge gesammelt: Dokumente, Bilder und Videos.
• Die Aufgabe: Die KI bekommt eine Frage (z. B. „In welchem Jahr wurde dieses Foto gemacht?" oder „Welches Logo ist auf dem T-Shirt?").
• Die Herausforderung: Die KI muss zuerst durch den riesigen Heuhaufen wühlen, das eine richtige Bild oder Video finden (das ist die Suche) und dann die Frage beantworten (das ist das Denken).

3. Was sie herausfanden: Die KI ist gut im Denken, aber schlecht im Suchen

Die Ergebnisse waren überraschend und etwas enttäuschend für die aktuellen KI-Modelle:

• Wenn die KI die Antwort schon hat: Wenn man der KI das richtige Bild direkt zeigt, sind die besten Modelle (wie GPT-5) extrem schlau. Sie können die Frage fast immer richtig beantworten (über 80 % Erfolg).
• Wenn die KI suchen muss: Sobald sie aber selbst durch den riesigen Heuhaufen suchen muss, bricht die Leistung dramatisch ein. Die Erfolgsrate sinkt auf etwa 50 %.

Eine Analogie:
Stellen Sie sich vor, Sie haben einen Freund, der ein Genie in der Geschichte ist.

• Wenn Sie ihm ein altes Foto zeigen und fragen: „Wer ist das?", sagt er sofort: „Das ist Napoleon!" (Das ist das Denken).
• Aber wenn Sie ihn in eine riesige Bibliothek schicken und sagen: „Such mir das Foto von Napoleon heraus, damit ich es dir zeigen kann", dann sucht er vielleicht 10 Minuten lang, findet 5 falsche Fotos von anderen Männern mit Perücken und gibt dann auf. Er ist ein Genie, aber ein schlechter Bibliothekar.

4. Warum ist das so schwer?

Die Studie zeigt, dass das Suchen in einer Mischung aus verschiedenen Medien (Text, Video, Bild) viel schwieriger ist als nur in einem einzigen Bereich.

• Der „Modality-Bias" (Der Vorurteils-Effekt): Die KI sucht oft nach Dingen, die optisch ähnlich aussehen, aber inhaltlich falsch sind. Wenn Sie nach einem Video über eine Wettervorhersage suchen, findet die KI vielleicht ein Foto von einem Sonnenschein, weil es „hell" aussieht, aber es ist nicht das richtige Video.
• Die Größe zählt: Je größer der Heuhaufen wird (von 1.000 auf 46.000 Items), desto schlechter wird die Suche. Die KI verliert sich im Chaos.

5. Was bedeutet das für die Zukunft?

Die Forscher sagen: „Wir müssen aufhören, nur die Denkfähigkeit der KI zu testen."
Bisher haben wir KI-Modelle gebaut, die super gut darin sind, Informationen zu verarbeiten, wenn sie sie schon haben. Aber in der echten Welt (z. B. bei einer medizinischen Diagnose, bei der man Tausende von Patientenakten durchsuchen muss, oder bei einer juristischen Recherche) ist die Suche der wichtigste Schritt.

Die Botschaft:
Wenn wir KI wirklich nützlich machen wollen, müssen wir sie nicht nur „klüger" im Denken machen, sondern ihr beibringen, wie man in einem riesigen, chaotischen Heuhaufen die eine, richtige Nadel findet. Solange das Suchen schlecht ist, ist auch das Denken wertlos, weil die KI die falschen Informationen verarbeitet.

Zusammengefasst:
MultiHaystack ist wie ein neuer, fairer Test für KI. Er zeigt uns, dass unsere aktuellen Super-Intelligenzen eigentlich nur „Bücherwurm-Genies" sind, die aber im echten Leben, wo sie sich selbst zurechtfinden müssen, oft die Orientierung verlieren. Jetzt wissen wir, woran wir arbeiten müssen: Bessere Suchmaschinen für die KI!

Technische Zusammenfassung

1. Problemstellung

Multimodale Large Language Models (MLLMs) zeigen zwar starke Leistungen bei Benchmarks, die Text, Bilder oder Videos isoliert bewerten, versagen jedoch oft in realen Anwendungsszenarien. Das zentrale Problem liegt in der Diskrepanz zwischen aktuellen Evaluierungen und der Realität:

• Fehlende Retrieval-Komponente: Reale Aufgaben erfordern das Auffinden relevanter Beweise in großen, heterogenen Korpora vor dem eigentlichen Schlussfolgern (Reasoning).
• Vereinfachte Benchmarks: Bestehende Benchmarks beschränken sich oft auf kleine Kandidatenmengen (einzelne Bilder oder Dokumente) oder eine einzige Modalität. Dies vereinfacht die Suchaufgabe künstlich und überschätzt die Zuverlässigkeit der End-to-End-Systeme.
• Mehrdeutigkeit: Viele aktuelle Datensätze erlauben vage Antworten oder haben keine eindeutig zugeordneten Beweise, was die Reproduzierbarkeit und die Diagnose von Fehlern erschwert.

Das Paper identifiziert die multimodale Suche in heterogenen Pools als den primären Flaschenhals, der die Leistungsfähigkeit von MLLMs in der Praxis limitiert.

2. Methodik: MultiHaystack

Um diese Lücke zu schließen, stellen die Autoren MultiHaystack vor, den ersten Benchmark, der Retrieval und Reasoning unter großskaligen, cross-modalen Bedingungen bewertet.

Datensatz-Aufbau:

• Umfang: Der Datensatz umfasst 46.260 multimodale Kandidaten (25.652 Bilder, 10.419 Videos, 10.189 Dokumente) und 747 evidenzbasierte Fragen.
• Einzigartiges Beweismaterial: Jede Frage ist strikt an ein einziges, verifizierbares Beweisstück („Needle") im Korpus gebunden. Dies eliminiert Mehrdeutigkeiten und ermöglicht eine präzise Fehleranalyse.
• Aufbau-Pipeline: Der Datensatz wurde in vier Stufen erstellt:
  1. Datensammlung: Kombination aus bestehenden Quellen (z. B. DocHaystack, VideoVista, MINT1T).
  2. Fragengenerierung: Nutzung von LLMs (GPT-4o) zur Erstellung spezifischer Fragen basierend auf gerenderten PDF-Seiten, Bildern oder Videoframes.
  3. Filterung: Manuelle und automatische Prüfung auf Eindeutigkeit, Vermeidung von Fragen, die ohne Retrieval beantwortet werden können, und Sicherstellung der Verifizierbarkeit.
  4. Anreicherung (Enrichment): Hinzufügen von „Hard Negatives" (ablenkende Kandidaten) durch Web-Scraping und semantische Filterung, um die Suchschwierigkeit realistisch zu erhöhen.

Aufgabenkategorien:
Die Fragen decken sechs komplexe Reasoning-Typen ab:

1. Visuelles Parsen und Positionieren (räumliche Beziehungen).
2. Kontextuelles Verständnis (eingebetteter Text/Symbole).
3. Video-temporales Reasoning (Bewegung, zeitliche Abfolge).
4. Statistisches Reasoning (Diagramme, Tabellen).
5. Metadaten-Identifikation (Autoren, Zeitstempel).
6. Faktenbasierte Wissensretrieval.

3. Experimentelles Setup und Ergebnisse

Die Autoren evaluierten eine breite Palette von State-of-the-Art-Modellen, darunter Retrieval-Modelle (CLIP, SigLIP2, E5-V, MM-Embed) und MLLMs (InternVL-3, Qwen2-VL, GPT-5, Gemini-2.5-Flash).

Wichtige Ergebnisse:

• Der Retrieval-Flaschenhals: Während Modelle bei Bereitstellung des korrekten Beweismaterials („Gold in Top-1") hohe Reasoning-Genauigkeit zeigen (z. B. GPT-5 bei 80,86%), bricht die Leistung drastisch ein, wenn das Modell die Beweise selbst aus dem 46K-Korpus suchen muss. Unter Top-5-Retrieval sinkt GPT-5 auf 51,4%.
• Cross-Modal vs. Single-Modal: Die Leistung von Retrieval-Modellen ist in reinen Modalitäten (nur Bilder oder nur Dokumente) hoch (z. B. >90% Recall@5 für Videos bei SigLIP2). Sobald jedoch über Modalitäten hinweg gesucht werden muss (Cross-Modal), sinkt die Recall@1-Leistung der besten Modelle (E5-V, SigLIP2) drastisch auf ca. 40-41%.
• Skalierungseffekt: Die Leistung verschlechtert sich signifikant mit der Größe des Kandidatenpools. Modelle, die auf kleinen Pools (1K) gut abschneiden, scheitern bei 46K Kandidaten oft an der Unterscheidungsfähigkeit.
• Fehleranalyse:
  • Retrieval-Fehler: Oft bedingt durch „Saliency Bias" (Modelle suchen nach auffälligen Logos statt nach spezifischen Metadaten) und semantische Drift (Ignorieren von zeitlichen oder kontextuellen Constraints).
  • Reasoning-Fehler: Selbst bei korrektem Retrieval scheitern Modelle oft an visuellem Numeracy (falsches Ablesen von Zahlen in Diagrammen) oder der Integration von Informationen über Layout-Grenzen hinweg.

4. Hauptbeiträge

1. MultiHaystack Benchmark: Einführung des ersten großskaligen Benchmarks (46K+ Items) für cross-modales Retrieval und Reasoning, der reale Bedingungen (heterogene Pools, große Suchräume) simuliert.
2. Strikte Evidenz-Grounding: Jedes Problem ist an ein einziges, verifizierbares Beweisstück gebunden, was eine saubere Trennung von Retrieval-Fehlern und Reasoning-Fehlern ermöglicht.
3. Diagnostische Erkenntnisse: Die Studie zeigt auf, dass aktuelle MLLMs zwar starke Reasoning-Fähigkeiten besitzen, aber durch unzureichende Retrieval-Mechanismen in heterogenen Umgebungen limitiert werden. Sie entlarvt, dass kleine, unimodale Benchmarks diese Schwächen verschleiern.

5. Bedeutung und Ausblick

MultiHaystack etabliert einen neuen Standard für die Evaluierung von Retrieval-Augmented Generation (RAG) Systemen im multimodalen Kontext. Die Ergebnisse zeigen, dass die Weiterentwicklung von MLLMs nicht nur auf bessere Reasoning-Architekturen setzen darf, sondern zwingend robuste, modality-agnostische Retrieval-Systeme erfordert.

Der Benchmark dient als diagnostisches Werkzeug, um die Grenzen aktueller Modelle aufzuzeigen und zukünftige Forschungsrichtungen zu lenken, wie z. B.:

• Entwicklung von Embeddings, die feinere räumliche, zeitliche und strukturelle Details über Modalitäten hinweg abbilden.
• Engere Kopplung von Retrieval und Reasoning (z. B. durch iterative Abfrageverfeinerung).
• Architekturen, die Unsicherheiten und strukturelle Priors besser nutzen, um Beweise zu aggregieren.

Zusammenfassend liefert das Paper den Beweis, dass das „Finden der Nadel im Heuhaufen" in multimodalen, heterogenen Umgebungen die größte Herausforderung für die nächste Generation von KI-Systemen bleibt.