Reason to Contrast: A Cascaded Multimodal Retrieval Framework

Probleemstelling

Traditionele systemen voor multimodale retrieval (zoals het zoeken van video's of afbeeldingen op basis van tekst) vertrouwen voornamelijk op bi-encoder-architecturen. Hierbij worden query en kandidaat-onderwerpen onafhankelijk van elkaar omgezet in embeddings. Hoewel recent werk, zoals Think-Then-Embed (TTE), heeft aangetoond dat het toevoegen van een redeneerstap (reasoning) voorafgaand aan het embedden de prestaties verbetert, blijven er beperkingen bestaan:

1. Gebrek aan gezamenlijke interactie: Bestaande methoden genereren redeneringen (Embedding-Centric Reasoning of ECR) voor de query of de kandidaat afzonderlijk. Ze missen de mogelijkheid om een gezamenlijk begrip te vormen van het koppel query-kandidaat, wat essentieel is voor het onderscheiden van moeilijke negatieve voorbeelden (hard negatives).
2. Onvoldoende fijnmazigheid: Voor complexe taken, zoals video-retrieval waar de video veel meer informatie bevat dan de tekstuele query, zijn de ruwe embeddings vaak niet gedetailleerd genoeg om de meest relevante items correct te rangschikken.
3. Schaalbaarheid: Prestaties worden traditioneel geschaald door het vergroten van de embeddimensie of het model, wat kostbaar is. Er is behoefte aan een alternatieve schaalrichting.

Methodologie: TTE-v2 (Reason-to-Contrast)

De auteurs stellen TTE-v2 voor, een gecascadeerd multimodaal retrieval- en her-rangschikkingsframework. Dit framework breidt het TTE-paradigma uit door een tweede fase toe te voegen die gebaseerd is op "Reason-to-Contrast". Het proces verloopt in twee hoofdstadia:

Fase 1: Think, Embed, Retrieve (TTE)

• Net als in het originele TTE wordt er eerst een redeneerstap uitgevoerd om Embedding-Centric Reasoning (ECR) tokens te genereren.
• Deze ECR's dienen als context voor de embedder om een initiële embedding te maken.
• De embedder haalt een ruwe set van top-$k$ kandidaten op.

Fase 2: Reason-to-Contrast (Reranking)
In plaats van alleen te vertrouwen op de embeddings, wordt een tweede stap uitgevoerd om de rangschikking te verfijnen. Hierbij worden twee varianten gebruikt:

1. ECR-based Reranking (ECRR): De reeds gegenereerde ECR's (die tekstueel zijn) worden gebruikt voor een lichtgewicht, tekst-only her-rangschikking. Een MLLM (Multimodal Large Language Model) fungeert als een "judge" die de query en de ECR's van de kandidaten vergelijkt. Dit is veel efficiënter dan directe multimodale her-rangschikking.
2. Query-Aware Reasoning (QAR): Om de discriminatieve kracht te vergroten, wordt een MLLM ingezet om de ECR's van de kandidaten opnieuw te schrijven (rewriting) op basis van de specifieke query. Hierdoor worden details in de kandidaat-ECR benadrukt die relevant zijn voor de query, wat helpt bij het onderscheiden van zeer vergelijkbare negatieve voorbeelden.

Feedbacklus: Hard Negative Mining met Reranking (rHNM)
Een unieke innovatie is het gebruik van de reranker voor training:

• De reranker (die vaak een krachtiger model is dan de embedder) fungeert als een onbevooroordeelde leraar.
• Het identificeert harde negatieven (kandidaten die de embedder verkeerd rankt maar die de reranker correct identificeert) en filtert valse negatieven (items die als negatief werden gemarkeerd maar eigenlijk relevant zijn).
• Deze gezuiverde dataset wordt gebruikt om de upstream embedder verder te trainen, waardoor een positieve feedbacklus ontstaat.

Belangrijkste Bijdragen

1. TTE-v2 Framework: Een nieuw cascaded framework dat test-tijd schaling mogelijk maakt via het verhogen van het aantal redeneertokens (token-wise scaling) in plaats van het vergroten van modelgrootte of embeddimensie.
2. Query-Aware Reasoning (QAR) & ECRR: Methodes om gezamenlijke redenering tussen query en kandidaat toe te passen, wat leidt tot een significant betere rangschikking, vooral bij complexe taken.
3. rHNM (Reranker-based Hard Negative Mining): Een strategie die de kracht van de reranker gebruikt om de kwaliteit van de trainingsdata te verbeteren door valse negatieven te filteren en betere harde negatieven te selecteren.
4. Nieuwe State-of-the-Art (SOTA): Het bereiken van nieuwe records op de MMEB-V2-benchmark zonder gebruik te maken van extra private datasets.

Resultaten

De auteurs evalueren hun model op de MMEB-V2-benchmark, die 78 verschillende multimodale taken omvat (inclusief video, afbeelding en visuele documenten).

• Algemene Prestaties: TTE-v2-7B bereikt een overall score van 75.7%, wat een nieuwe state-of-the-art is en de vorige beste modellen (zoals IFM-TTE-7B met 75.1%) overtreft.
• Video Retrieval: Er is een verbetering van +6% ten opzichte van de vorige beste methoden.
• Efficiëntie en Schaalbaarheid:
  • Het kleinere TTE-v2-2B model presteert beter dan of gelijk aan toonaangevende 7B-modellen die op veel grotere datasets zijn getraind.
  • De methode toont aan dat het verhogen van het "token-budget" (meer redeneringstokens) een effectieve manier is om prestaties te schalen, zelfs met kleinere modellen.
• Ablatiestudies:
  • Het gebruik van QAR en ECRR levert een absolute verbetering van meer dan 10% op ten opzichte van de sterke TTE-baseline.
  • rHNM draagt bij aan een extra +1% verbetering op de MMEB-V2 score.
  • Traditionele zero-shot multimodale rerankers presteren vaak slechter dan de voorgestelde tekst-only ECRR-methode, vooral bij complexe video-taken.

Betekenis

Dit paper is significant omdat het een paradigmaverschuiving voorstelt in multimodale retrieval:

• Alternatieve Schaalrichting: Het beweert dat het verhogen van de rekenkracht tijdens de inferentie (via meer redeneertokens) een krachtig alternatief is voor het trainen van steeds grotere modellen of het verzamelen van enorme datasets.
• Coarse-to-Fine Strategie: Het combineert de snelheid van een embedder met de precisie van een krachtige MLLM-reranker, waarbij de kennis van de reranker terug wordt gedistilleerd naar de embedder.
• Efficiëntie: Door tekst-only reranking te gebruiken op basis van ECR's, wordt de hoge rekenkosten van directe multimodale vergelijkingen vermeden, terwijl toch superieure resultaten worden behaald.

Kortom, TTE-v2 bewijst dat "redeneren" (reasoning) niet alleen nuttig is voor het genereren van embeddings, maar ook als een cruciale component voor her-rangschikking en trainingsfeedback, wat leidt tot robuustere en nauwkeurigere multimodale zoeksystemen.