LITTA: Late-Interaction and Test-Time Alignment for Visually-Grounded Multimodal Retrieval

Titel

LITTA: Late-Interaction and Test-Time Alignment for Visually-Grounded Multimodal Retrieval
(LITTA: Late-Interaction en Test-Tijd-Alignatie voor Visueel-Gegrond Multimodaal Retrieval)

---

1. Het Probleem

Het terugvinden van relevante bewijsstukken (evidence) in visueel rijke documenten, zoals handboeken, technische rapporten en handleidingen, is een complex probleem in multimodaal informatie-retrieval. De uitdagingen zijn:

• Complexe lay-outs: Documenten bevatten tabellen, diagrammen, schema's en lange contextuele afhankelijkheden. Het relevante bewijs zit vaak in visuele structuren in plaats van in platte tekst.
• Slechte lexische overlap: Gebruikersvragen hebben vaak een andere terminologie dan de interne documentterminologie (bijv. gebruik van afkortingen, onderdelennummers of jargon in handleidingen).
• Fragiliteit van single-query retrieval: Bestaande systemen gebruiken meestal één query-representatie. Als deze query niet exact overeenkomt met de terminologie of visuele cues in het document, faalt het retrieval, zelfs bij sterke modellen.
• Pagina-niveau retrieval: Het doel is niet alleen het juiste document te vinden, maar de specifieke pagina met de ondersteunende tabel of figuur. Dit is cruciaal voor downstream redenering.

2. Methodologie: LITTA

LITTA (Late-Interaction and Test-Time Alignment) is een framework dat de retrieval prestaties verbetert zonder het onderliggende retriever-model opnieuw te hoeven trainen. Het werkt volledig tijdens de testtijd (inference) via query-expansie.

De pijlers van het framework:

1. Query Expansie met LLM's:

   • Gegeven een gebruikersvraag ($q$), genereert een Large Language Model (LLM) een kleine set complementaire query-varianten ($Q$).
   • Deze varianten behouden de oorspronkelijke intentie maar introduceren diverse lexische en semantische uitdrukkingen (synoniemen, afkortingen, domeinspecifieke termen) die waarschijnlijk in de documenten voorkomen.
   • Formule: $\mathcal{Q}(q) = \{q^{(0)}, q^{(1)}, \dots, q^{(Q-1)}\}$, waarbij $q^{(0)}$ de originele query is.

2. Late-Interaction Retrieval (Frozen Retriever):

   • Documentpagina's worden offline gecodeerd tot een verzameling visuele token-embeddings (multi-vector representatie) met een bevroren vision-language encoder (in dit geval Nemotron ColEmbed V2).
   • Elke gegenereerde query-variant wordt onafhankelijk gebruikt om kandidaat-pagina's te zoeken via MaxSim-scoring (ColBERT-stijl). Dit houdt fijne granulaire interacties tussen query-tokens en visuele token-regio's (zoals tabelcellen of diagrammen) vast.

3. Aggregatie via Reciprocal Rank Fusion (RRF):

   • De gerankte lijsten van alle query-varianten worden samengevoegd.
   • LITTA gebruikt Reciprocal Rank Fusion (RRF) om pagina's die consistent hoog gerankt zijn in meerdere varianten te belonen.
   • De score wordt berekend als: $RRF(p) = \sum \frac{1}{k_{RRF} + r_i(p)}$.
   • Dit verhoogt de robuustheid en dekt de kans dat ten minste één query-variant goed aansluit bij het bewijs.

4. Answer Generation:

   • De gefuseerde top-$K$ pagina's worden doorgegeven aan een Multimodal Large Language Model (MLLM) voor het genereren van het uiteindelijke antwoord.

Complexiteit:
De online kosten schalen lineair met het aantal query-varianten ($Q$) en de kandidaat-diepte ($k$), maar vereisen geen extra verwerking van de documentcorpus (de index is vooraf berekend).

3. Belangrijkste Bijdragen

• LITTA Framework: Een eenvoudig, query-expansie-gericht framework dat multimodaal retrieval verbetert zonder retraining van de retriever.
• Multi-Query Strategie: Een strategie die kandidaten poolt over query-varianten met late-interaction scoring en robuuste rangschikking (RRF).
• Test-Tijd Alignatie: Het toont aan dat adaptatie aan de query-kant (in plaats van model-kant) effectief is voor het overbruggen van terminologische kloven in visueel rijke documenten.
• Praktische Toepasbaarheid: Het biedt een controleerbare afweging tussen nauwkeurigheid en efficiëntie door het aantal varianten ($Q$) aan te passen.

4. Resultaten

LITTA werd geëvalueerd op drie domeinen uit de ViDoRe V3 benchmark:

1. Informatica (C.S.)
2. Farmaceutische rapporten (Phar.)
3. Industriële handleidingen (Ind.)

Kernbevindingen:

• Consistente Verbetering: Multi-query retrieval ($Q > 1$) verbetert consistent Top-k nauwkeurigheid (Hit@k), Recall en MRR ten opzichte van single-query baselines.
• Grootste Winst in Industriële Handleidingen: De verbeteringen zijn het grootst in industriële handleidingen (tot +12% NDCG@10 bij $Q=5$ vergeleken met $Q=1$). Dit komt omdat deze domeinen hoge variatie hebben in terminologie en bewijs vaak in schema's en tabellen zit.
• Recall Verbetering: De recall (R@5 en R@10) neemt toe, wat aangeeft dat varianten aanvullende relevante pagina's vinden die de originele query mist (bijv. pagina's met specifieke onderdeelnummers of afkortingen).
• Afweging Kosten/Nauwkeurigheid: Een instelling van $Q=3$ biedt de beste balans tussen kosten en prestaties. $Q=5$ levert soms nog meer winst maar met toenemende kosten en soms ruis.

Vergelijking met Baselines:
LITTA (met $Q=3$) overtreft sterke visuele retrievers zoals ColEmbed-v2 en ColNomic in alle domeinen, met name in de industriële sector waar de lexische overlap het laagst is.

5. Betekenis en Conclusie

LITTA demonstreert dat query-diversiteit een krachtige en praktische hefboom is om de prestaties van visueel-gegronde multimodale retrieval te verbeteren, zelfs wanneer de onderliggende retriever al zeer sterk is.

• Robuustheid: Het systeem wordt minder gevoelig voor specifieke formuleringen van de gebruiker.
• Implementatievriendelijk: Omdat het werkt met bestaande embedding-indexen en geen modelretraining vereist, is het direct inzetbaar in productieomgevingen.
• Toekomstperspectief: De auteurs wijzen op de noodzaak van adaptieve strategieën om het aantal varianten dynamisch aan te passen op basis van de moeilijkheidsgraad van de query, en het integreren van lichte her-ranking voor nog hogere precisie.

Kortom, LITTA biedt een "lightweight" maar effectieve oplossing voor het fundamentele probleem van terminologische mismatch in complexe, visuele documenten.