Technische Samenvatting: MINER - Mining Multimodal Internal Representation for Efficient Retrieval

Probleemstelling

Visuele documentretrieval (VDR) heeft tot doel relevante pagina's uit visueel rijke documenten (zoals dia's, rapporten, posters) rechtstreeks op te halen uit hun gerenderde afbeeldingen, waarbij kwetsbare OCR- en chunking-pijplijnen worden omzeild. Huidige benaderingen staan voor een fundamentele afweging tussen retrievalkwaliteit en efficiëntie:

1. Late-Interaction Retrievers (bijv. ColPali): Deze methoden stellen queries en documenten voor als verzamelingen van token-niveau embeddings, wat fijnkorrelige matching mogelijk maakt. Hoewel ze een hoge retrievalkwaliteit bereiken, leiden ze tot enorme indexvoetafdrukken (honderden tot duizenden vectoren per pagina) en hoge leveringskosten.
2. Dense Single-Vector Retrievers: Deze comprimeren een heel document tot één enkele embedding van de laatste laag, wat compacte indexen en lage latentiteit biedt. Ze blijven echter consequent achter in kwaliteit, omdat de compressie tot één vector een informatieknelpunt creëert, waardoor retrieval-relevante signalen die aanwezig zijn in de tussenliggende netwerklagen, worden weggegooid.

Recente studies in NLP en visie suggereren dat interne representaties van diepe netwerken vaak rijker zijn aan taakrelevante informatie dan alleen de uiteindelijke output. Dit roept de vraag op: Kunnen de interne representaties van single-vector retrievers worden benut om verloren retrievalsignalen te herstellen zonder in te leveren op de efficiëntie van het single-vector paradigma?

Methodologie: MINER

De auteurs stellen MINER (Mining Multimodal Internal RepreseNtation for Efficient Retrieval) voor, een lichtgewicht plug-in module ontworpen om retrieval-relevante signalen uit interne transformerlagen te extraheren en te fuseren. MINER werkt zonder het backbone-model aan te passen, waardoor de opslag- en leverings-efficiëntie van dense retrieval behouden blijft. Het bestaat uit twee hoofdfasen:

1. Laagsgewijze Diagnostiek en Analyse

Voordat de module werd ontworpen, voerden de auteurs een systematische analyse uit van single-vector retrievers (Jina, Eager, MoCa) met behulp van twee metrieken:

• Normalized Centered Kernel Alignment (CKA): Meet de structurele gelijkenis tussen de representatieruimte van een laag en de uiteindelijke cross-modale retrievalruimte. Dit identificeert een kandidaatset van lagen ($S_{cand}$) die structureel dicht genoeg bij de uiteindelijke ruimte liggen om geschikt te zijn voor lichtgewicht extractie.
• Alignment Ratio (AR): Gedefinieerd als de verhouding van de cosine-similariteit op sample-niveau tot de CKA-score. Dit onderscheidt lagen die slechts structureel vergelijkbaar zijn van die welke direct coördinaat-gealigneerd zijn met de uiteindelijke ruimte.
  • Resultaat: De analyse onthulde twee distincte regimes binnen de kandidaatlagen. Eerdere lagen vertonen een lage AR (structureel vergelijkbaar maar niet-gealigneerd), terwijl de laatste paar lagen een hoge AR vertonen (direct gealigneerd). Deze bevinding motiveert gedifferentieerde extractiestrategieën voor verschillende lagen.

2. De MINER Architectuur

MINER werkt in twee fasen:

Fase 1: Retrieval-Gealigneerde Laag Probing
Een lichtgewicht probe wordt gekoppeld aan elke laag in de kandidaatset $S_{cand}$. De parametrisatie van de probe wordt bepaald door het alignementregime van de laag:

• Base Probe (voor hoge-AR lagen): Past elementsgewijze herweging toe ($p_l \odot x$) om het oorspronkelijke coördinatenstelsel te behouden.
• Normalized Projection Probe (voor lage-AR lagen): Past elementsgewijze herweging toe, gevolgd door een rij-genormaliseerde lineaire projectie ($\tilde{W}_l(p_l \odot x)$) om de niet-gealigneerde deelruimte opnieuw te aligneren met de anker-ruimte zonder herschaling.
• Training: Alle probes worden getraind met een cross-modale siamese doelstelling (InfoNCE-verlies) om de geprobeerde tekst/visie-aflezingen te aligneren met hun cross-modale ankers van de laatste laag.

Fase 2: Adaptieve Sparse Multi-Layer Fusion
De geprobeerde signalen worden geaggregeerd tot één enkele dense embedding:

• Performance-Adaptive Neuron-Level Masking: Een laag-specifiek behoudspercentage ($P_l$) wordt berekend op basis van de standalone validatieprestaties (nDCG@5) van elke laag. Een hard binaire masker behoudt alleen de top-$P_l$ neuronen (gebaseerd op de geleerde importantievector $p_l$) voor elke laag, waardoor irrelevante dimensies worden onderdrukt.
• Cross-Layer Fusion: De gemaskerde signalen van alle geselecteerde lagen worden gecombineerd via een geleerde gewogen som met een globale bias:
  $$e = \sum_{l \in S_{cand}} u_l \odot h^{(l)} + b$$
  waarbij $h^{(l)}$ de verwerkte aflezing is (ofwel direct gemaskerd of gemaskerd na projectie).

Belangrijkste Bijdragen

1. Diagnostisch Inzicht: De auteurs onthullen dat retrieval-relevante signalen in single-vector retrievers ongelijkmatig zijn verdeeld over transformerlagen en kwalitatief verschillende extractiestrategieën vereisen (eenvoudige herweging versus projectie) op basis van een diagnostiek van de alignementratio.
2. MINER Module: Een plug-in architectuur bestaande uit Retrieval-Gealigneerde Laag Probing en Adaptieve Sparse Multi-Layer Fusion. Het verbetert de retrievalkwaliteit zonder het backbone-model aan te passen of opslag-/leveringskosten te verhogen.
3. Empirische Prestaties: MINER presteert consequent beter dan bestaande dense single-vector retrievers over meerdere backbones en de ViDoRe benchmark-suite.

Experimentele Resultaten

Experimenten werden uitgevoerd op de ViDoRe V1, V2 en V3 benchmarks met Jina-Embeddings-v4, Eager-Embed-v1 en MoCa-3B als backbones.

• Retrievalkwaliteit: MINER behaalde tot een 4,5% verbetering in nDCG@5 ten opzichte van de corresponderende dense backbone (bijvoorbeeld MINER-Eager verbeterde van 56,0 naar 58,5 op ViDoRe V2). In verschillende settings verkleinde het aanzienlijk de prestatiekloof met sterke late-interaction baselines (de kloof verminderend tot 0,2 nDCG@5 in sommige gevallen).
• Efficiëntie:
  • Opslag: MINER behoudt exact dezelfde opslagvoetafdruk als de dense baseline (single-vector index), wat 42,4× kleiner is dan late-interaction methoden.
  • Latentie: MINER veroorzaakt slechts een 1,07× query-latentie-overhead ten opzichte van de dense baseline, terwijl het 5,3× sneller blijft dan late-interaction methoden.
• Ablatiestudies: Het verwijderen van de alignement-ratio-partitie (alleen Base- of alleen Norm-probes gebruiken) of het verwijderen van de sparse masking resulteerde in lagere prestaties, wat bevestigt dat zowel de gedifferentieerde probing als de adaptieve masking noodzakelijke componenten zijn.
• Robuustheid: De methode is robuust voor belangrijke hyperparameters, specifiek de CKA-cutoff voor laagselectie en de sparsiteitsvloer voor masking.

Betekenis en Claims

De paper claimt dat MINER succesvol de kloof overbrugt tussen de hoge kwaliteit van late-interaction retrieval en de hoge efficiëntie van dense single-vector retrieval. Door interne representaties te ontginnen, herstelt MINER informatie die verloren is gegaan door het knelpunt van de laatste laag, zonder de opslag- en latentiteitsstraffen die gepaard gaan met multi-vector benaderingen.

De auteurs positioneren MINER als een praktische oplossing voor visuele documentretrievalsystemen die zowel hoge nauwkeurigheid als lage operationele kosten vereisen. Zij merken op dat de methode momenteel wordt geëvalueerd op modellen waarbij interne verborgen toestanden en trainingsdata toegankelijk zijn, en fungeert als een lichtgewicht verbetering van bestaande dense retrieval-pijplijnen in plaats van een vervanging voor de backbone-architectuur zelf.