MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents

Het paper introduceert MultiHaystack, een nieuw benchmark met meer dan 46.000 multimodale documenten, afbeeldingen en video's om de prestaties van multimodale grote taalmodellen te evalueren bij het ophalen van relevante bewijsstukken uit grote verzamelingen en het redeneren daarover, waarbij blijkt dat de huidige modellen sterk presteren bij gegeven bewijs maar aanzienlijk falen bij het zelf vinden van dat bewijs.

De kern

De "MultiHaystack": Een Naald in een Hooiberg van 40.000 Foto's, Video's en Documenten

Stel je voor dat je op zoek bent naar een heel specifiek antwoord op een vraag, bijvoorbeeld: "Op welk exact moment in deze video wordt de motorolie vervangen?"

Vroeger kregen slimme computers (AI) alleen de video te zien die het antwoord bevatte. Het was alsof je een raadsel kreeg met de oplossing al in je hand. Maar in het echte leven is dat niet hoe het werkt. Je moet eerst die ene video vinden tussen duizenden andere video's, foto's en documenten, en dan pas het antwoord zoeken.

De auteurs van dit paper hebben een nieuwe test ontwikkeld, genaamd MultiHaystack (wat letterlijk "Multi-Hooiberg" betekent), om te zien of computers dit echte probleem kunnen oplossen.

Hier is hoe het werkt, vertaald in simpele taal:

1. Het Probleem: De "Gouden Kooi"

Tot nu toe werden slimme computers getest in een "gouden kooi". Ze kregen alleen de juiste foto of video te zien om een vraag te beantwoorden. Het was alsof je een spoorzoekersspel speelde, maar de spoorzoekers kregen de schat al in hun hand.

• Het resultaat: De computers leken super slim.
• De realiteit: In het echte leven moeten ze eerst zoeken in een enorme berg met 46.000 verschillende items (foto's, video's, PDF's). Als ze de verkeerde foto pakken, kunnen ze het antwoord nooit vinden, zelfs niet als ze heel slim zijn.

2. De Oplossing: De MultiHaystack Test

De onderzoekers hebben een enorme "hooiberg" gemaakt met 46.000 items.

• De Naald: Voor elke vraag is er precies één item in die berg dat het antwoord bevat (de "naald").
• De Taak: De computer moet eerst die ene naald vinden tussen de 46.000 hooistengels (zoeken) en daarna het antwoord geven (redeneren).
• De Mix: Het is niet alleen tekst of alleen foto's. Het is een mengelmoes van video's, documenten en afbeeldingen. De computer moet weten waar hij moet zoeken.

3. Wat hebben ze ontdekt? (De Verbluffende Resultaten)

Toen ze de slimste computers van vandaag (zoals GPT-5 en andere AI-modellen) op deze test zetten, zagen ze iets opvallends:

• Situatie A (De gouden kooi): Als je de computer het juiste antwoord-item direct geeft, presteert hij fantastisch (bijna 80% goed). Hij is slim genoeg om het antwoord te vinden als hij weet waar hij moet kijken.
• Situatie B (De echte hooiberg): Als je de computer laat zoeken in de hele berg van 46.000 items, stort de prestatie in. De beste modellen zakken naar ongeveer 50% goed.

De conclusie: Het probleem is niet dat de computers niet kunnen redeneren. Het probleem is dat ze niet goed kunnen zoeken in een grote, gemengde berg van verschillende soorten media. Ze raken de weg kwijt tussen de foto's, video's en teksten.

4. Waarom is dit belangrijk?

Stel je voor dat je een dokter bent die een diagnose moet stellen.

• Vroeger: De dokter kreeg alleen de röntgenfoto van de patiënt te zien.
• Nu: De dokter moet eerst zoeken in een archief van 40.000 patiëntdossiers, video's van operaties en oude medische artikelen om de juiste foto te vinden, en daarna de diagnose stellen.

Deze test laat zien dat AI nog niet klaar is voor die tweede stap. Ze zijn goed in het lezen van de foto, maar slecht in het vinden van de juiste foto in de grote berg.

Samenvattend in één zin:

De MultiHaystack is een nieuwe test die laat zien dat slimme computers nog steeds verdrinken in een zee van informatie; ze kunnen het antwoord vinden als je het hun geeft, maar ze vinden het niet als ze zelf moeten zoeken in een enorme, gemengde berg van video's, foto's en documenten.

De onderzoekers hopen dat deze test helpt om AI-systemen te verbeteren, zodat ze in de toekomst net zo goed kunnen zoeken als ze kunnen redeneren.

Technische samenvatting

Titel: MultiHaystack: Benchmarking Multimodaal Zoeken en Redeneren over 40.000 Afbeeldingen, Video's en Documenten

1. Het Probleem

Multimodale grote taalmodellen (MLLMs) presteren uitstekend op bestaande benchmarks die tekst, afbeeldingen of video's afzonderlijk evalueren. Echter, deze benchmarks missen een kritieke real-world vereiste: het vermogen om eerst relevante bewijsstukken te retrieven (opzoeken) uit een grote, heterogene multimodale corpus voordat er geredeneerd kan worden.

Bestaande benchmarks hebben drie fundamentele beperkingen:

1. Onrealistische schaal: Ze gebruiken vaak slechts enkele honderden of duizenden kandidaten, waardoor de zoekopdracht triviaal wordt en de prestaties van modellen worden overschat.
2. Beperkte modaliteit: Veel datasets zijn beperkt tot één modality (bijv. alleen tekst of alleen afbeeldingen), wat kruismodaliteit (cross-modal) zoeken en integreren niet toetst.
3. Ambigue bewijsvoering: Vaak is er geen unieke, verifieerbare bron voor een vraag, wat leidt tot meervoudige mogelijke antwoorden en het onduidelijk maakt of een fout in het zoeken of in het redeneren zit.

Dit resulteert in een situatie waarin modellen goed lijken te presteren omdat ze de juiste context al "krijgen", terwijl ze in de praktijk falen bij het vinden van die context in een grote, rommelige dataset.

2. Methodologie: MultiHaystack

Om deze kloof te dichten, introduceren de auteurs MultiHaystack, het eerste benchmark dat is ontworpen voor realistische kruismodaliteit zoeken en redeneren op grote schaal.

• Datasetsamenstelling:

  • Grootte: Meer dan 46.260 multimodale items (25.652 afbeeldingen, 10.419 video's, 10.189 documenten).
  • Vragen: 747 open vragen die zijn verankerd in unieke, verifieerbare bewijsstukken binnen de corpus.
  • Unieke Eigenschap: Elke vraag heeft precies één "needle" (het juiste antwoord) in een "haystack" (de grote dataset). Dit zorgt voor een eenduidige evaluatie.

• Opbouw van de Benchmark (4 Stadia):

  1. Data Collectie: Combinatie van bestaande bronnen voor afbeeldingen (bijv. DocHaystack), video's (bijv. VideoVista) en documenten (bijv. MINT1T).
  2. Vraaggeneratie: Gebruik van GPT-4o om specifieke vragen te genereren op basis van de items (PDF-pagina's, videoframes, afbeeldingen).
  3. Filtering: Drie-staps proces om ambiguïteit te verwijderen:
     • Verwijdering van vragen met meerdere geldige antwoorden.
     • Handmatige controle op expliciete ankers (objecten, locaties, tijdstippen).
     • Test op "retrieval-independence": vragen die zonder zoeken te beantwoorden zijn, worden verwijderd.
  4. Data Verrijking: Het toevoegen van "distractors" (irrelevante maar semantisch of visueel vergelijkbare items) om de zoekruimte te vergroten tot 46K+ items en de moeilijkheidsgraad te verhogen.

• Task Types: De vragen zijn onderverdeeld in zes categorieën die verschillende redeneervermogens testen:

  • Visuele parsing en positionering (ruimtelijke relaties).
  • Contextueel begrip (geïntegreerde tekst/symbolen).
  • Video temporeel redeneren (beweging/volgorde).
  • Statistisch redeneren (grafieken/tabellen).
  • Metadata identificatie (auteurschap, tijdstippen).
  • Feitelijke kennisretrieval (corpus-gebaseerde feiten).

• Evaluatie Protocol:

  • Retrieval: Gemeten met Recall@1/3/5. Het model moet het volledige item (document/video) vinden dat de pagina/frame bevat met het antwoord.
  • Redeneren: Zodra het juiste item is gevonden (of als "Gold" wordt gegeven), moet het MLLM het antwoord genereren.
  • Judge: GPT-4o-mini wordt gebruikt als automatische judge, gevalideerd door menselijke annotatie.

3. Belangrijkste Resultaten

De auteurs hebben diverse state-of-the-art modellen getest, waaronder VLMs voor retrieval (CLIP, SigLIP2, E5-V) en MLLMs voor redeneren (GPT-5, Gemini-2.5-Flash, InternVL-3, Qwen2-VL).

• Retrieval Prestaties:

  • Single-modality vs. Cross-modality: Modellen presteren sterk binnen één modality (bijv. >90% Recall@5 voor video's met SigLIP2), maar de prestaties dalen drastisch bij kruismodaliteit zoeken.
  • De "Cross-Modal Gap": Zelfs de sterkste retriever, E5-V, bereikt slechts 40,83% Recall@1 op de volledige 46K dataset, vergeleken met veel hogere scores op kleinere, single-modality sets. Dit toont aan dat heterogene pools een groot probleem blijven.
  • Pool Grootte: De prestaties dalen consistent naarmate de kandidaat-pool groeit van 1K naar 10K naar 46K items.

• Redeneer Prestaties:

  • Afhankelijkheid van Retrieval: Wanneer het juiste bewijs ("Gold") direct wordt gegeven, presteren sterke modellen zoals GPT-5 uitstekend (80,86% nauwkeurigheid).
  • Daling bij Retrieval: Zodra het model het bewijs moet vinden uit de volledige corpus (Top-5 retrieval), daalt de nauwkeurigheid van GPT-5 naar 51,4%.
  • Conclusie: De daling in prestatie komt voornamelijk door retrieval-fouten. Als het juiste item wordt gevonden, is het redeneren vaak succesvol; het vinden van dat item is de bottleneck.

• Foutanalyse:

  • Retrieval-fouten: Vaak veroorzaakt door "saliency bias" (modellen zoeken naar opvallende logo's of headlines in plaats van subtiele metadata of tijdstippen) en semantische drift.
  • Redeneer-fouten: Zelfs met het juiste item falen modellen bij visuele numeriteit (grafieken lezen) en layout-aware multi-stap redenering.

4. Bijdragen

1. MultiHaystack Benchmark: De eerste grote-scale benchmark (46K+ items) die kruismodaliteit zoeken en redeneren integreert, met unieke, verifieerbare bewijsstukken.
2. Strikte Verankering: Elke vraag is gebaseerd op één specifiek bewijsstuk, wat het mogelijk maakt om retrieval-fouten en redeneer-fouten strikt te scheiden.
3. Empirische Inzichten: Het paper demonstreert dat bestaande evaluaties de beperkingen van multimodale systemen maskeren. Het identificeert kruismodaliteit retrieval over heterogene pools als de primaire bottleneck voor MLLMs, niet het redeneervermogen zelf.

5. Betekenis en Toekomst

MultiHaystack biedt een waardevol testbed om de beperkingen van huidige multimodale RAG-systemen (Retrieval-Augmented Generation) bloot te leggen. De resultaten tonen aan dat het simpelweg vergroten van de contextwindow van modellen niet volstaat; er is een fundamentele verbetering nodig in:

• Embeddings: Representaties die beter omgaan met heterogene modaliteiten (tekst, beeld, video) zonder semantische interferentie.
• Architectuur: Modellen die retrieval en redeneren nauwer koppelen, waarbij tussenstappen in het redeneren de zoekopdracht kunnen verfijnen.
• Fijnkorrelige Grounding: Het vermogen om subtiele details (tijdstippen, metadata, numerieke waarden) te onderscheiden van visueel opvallende maar irrelevante elementen.

De benchmark is beschikbaar gemaakt voor de gemeenschap om de ontwikkeling van robuustere multimodale systemen te stimuleren die klaar zijn voor real-world toepassingen.