BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment

Probleemstelling

Multimodale ophaalsystemen (retrieval systems) worstelen om afbeelding-tekst queries te verwerken tegenover tekst-only corpora. Hoewel er grote vooruitgang is geboekt in visueel-taalmodellen (VLM's), presteren deze slechter dan geavanceerde tekst-only ophaalsystemen. Op de MM-BRIGHT-benchmark bereikt de beste visueel-taal-encoder slechts een nDCG@10 van 27,6, terwijl de beste tekst-only retriever 32,2 haalt.

De auteurs stellen dat de bottleneck niet ligt in de capaciteit van de ophaalmodellen zelf, maar in de kwaliteit van de query. Multimodale queries zijn vaak "ruis" (noise): ze verweven visuele beschrijvingen, conversatiecontext en de daadwerkelijke zoekintentie in één ongeordende input. Dit verwarrende entanglement degradeert de embedding-similariteit. Bestaande aanpakken proberen dit op te lossen door grotere modellen te trainen of de retriever te finetunen, maar ze negeren het fundamentele probleem: de query moet voor het ophalen worden gestructureerd en ontdaan van ruis.

Methodologie: Het BRIDGE Framework

BRIDGE is een tweecomponentensysteem dat het multimodale ophaalprobleem oplost door de query te transformeren, zonder dat er tijdens de inferentie multimodale encoders nodig zijn. Het systeem werkt volledig in de tekstmodus.

Het proces verloopt in drie fasen:

1. Visuele Captioning (GPT-4o):
   De invoerafbeelding ($q_v$) wordt eerst omgezet in een dichte tekstuele beschrijving ($\delta(q_v)$) met behulp van GPT-4o. Dit "groundt" de visuele inhoud in natuurlijke taal. De input voor de volgende stap is de combinatie van de originele tekstvraag ($q_t$) en deze afbeeldingsbeschrijving.

2. Query Alignment (FORGE - Focused Retrieval Query Generator):
   Dit is het kerncomponent. FORGE is een model dat is gefinetuned op Qwen2.5-7B-Instruct via Versterkingsleer (Reinforcement Learning - RL).

   • Doel: Het distilleren van de ruwe, multimodale input (vraag + afbeeldingbeschrijving) naar een compacte, geoptimaliseerde zoekstring.
   • Training: In plaats van te leren om menselijke herschrijvingen na te bootsen (supervised learning), wordt FORGE getraind om direct de kwaliteit van het ophalen te maximaliseren.
   • RL-mechanisme: Het model gebruikt Group Relative Policy Optimization (GRPO). De beloning (reward) is gebaseerd op de nDCG@10-score die wordt behaald wanneer de gegenereerde query wordt gebruikt door de LENS-retriever om de juiste documenten te vinden. Hierdoor leert het model om conversatie-ruis te verwijderen en de visuele context te absorberen in een efficiënte zoekopdracht.

3. Retrieval (LENS - Language-Enhanced Neural Search):
   LENS is een "dense retriever" (bi-encoder) gebaseerd op Qwen3-Embedding-4B.

   • Het is specifiek gefinetuned op "reasoning-intensive" ophaaldata (wiskunde, wetenschap, geneeskunde, etc.) om de complexe, intentie-rijke queries van FORGE te verwerken.
   • LENS encodeert de gealigneerde query en de documenten in een gedeelde vectorruimte en voert de zoekopdracht uit via cosine-similariteit.

Belangrijkste Bijdragen

• Identificatie van de Bottleneck: De auteurs tonen aan dat de kloof tussen multimodale en tekst-only ophalen voornamelijk een probleem van query-representatie is, niet van modelcapaciteit.
• FORGE: Een RL-getraind model dat multimodale queries distilleert tot schone zoekstrings, waardoor multimodale encoders tijdens de inferentie overbodig worden.
• LENS: Een reasoning-versterkte dense retriever die is geoptimaliseerd voor de specifieke output van FORGE.
• Plug-and-Play Architectuur: Het systeem is modulair. FORGE kan worden gebruikt als een "aligner" bovenop bestaande ophaalsystemen (zowel tekst- als multimodale).

Resultaten

Het systeem is geëvalueerd op de MM-BRIGHT benchmark (2.803 queries, 29 domeinen).

• Hoofdprestatie: BRIDGE bereikt een nDCG@10 van 29,7. Dit is een verbetering van +2,1 punten ten opzichte van de sterkste multimodale baseline (Nomic-Vision: 27,6) en presteert beter dan alle andere VLM-based retrievers.
• Vergelijking met Tekst-only: Hoewel BRIDGE nog steeds iets onder de beste tekst-only retriever (32,2) zit, verkleint het de "modality gap" met 46% (van 4,6 punten naar 2,5 punten).
• Plug-and-Play Effect: Wanneer FORGE wordt toegepast als aligner bovenop Nomic-Vision, stijgt de prestatie van 27,6 naar 33,3. Dit is hoger dan de beste tekst-only retriever, wat bewijst dat query-alignement de ontbrekende schakel is, ongeacht de onderliggende retriever.
• Ablatie-studies:
  • Het toevoegen van alleen de GPT-4o caption levert een winst op (+2,4), maar de RL-training van FORGE is cruciaal voor de definitieve winst (+1,2 bovenop supervised rewriting).
  • Verschillende LLM-backbones voor FORGE werden getest; Llama-3.2-11B presteerde het beste (31,0), gevolgd door het gebruikte Qwen2.5-7B (29,7). Grotere modellen (zoals Qwen2.5-72B) presteerden slechter, waarschijnlijk door hun neiging tot verbose output die de ruis opnieuw introduceert.

Significantie

De paper biedt een fundamentele verschuiving in hoe multimodale ophaling wordt benaderd:

1. Efficiëntie: Het elimineert de noodzaak van zware multimodale encoders tijdens de inferentie, wat het systeem lichter, sneller en schaalbaarder maakt.
2. Kwaliteit van Data: Het benadrukt dat de kwaliteit van de input (de query) belangrijker is dan de grootte van het model. Door de query te "ontwarren", kunnen bestaande sterke tekstmodellen multimodale taken veel beter aan.
3. Toekomstperspectief: Het resultaat suggereert dat de resterende kloof tussen multimodale en tekst-only ophalen volledig kan worden overbrugd door betere query-representatie, zonder dat er noodzakelijkerwijs complexere visuele encoders nodig zijn.

Kortom, BRIDGE bewijst dat het "vertalen" van een multimodale intentie naar een schone tekstuele zoekopdracht via versterkingsleer de meest effectieve strategie is voor reasoning-intensive multimodale retrieval.