DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation

Technische Samenvatting van DistilVDR

Probleemstelling
Visual Document Retrieval (VDR) wordt momenteel gedomineerd door enorme vision-language modellen (variërend van 2 tot 8 miljard parameters) die documentpagina's als afbeeldingen coderen om OCR-fouten te vermijden en de lay-out te behouden. Hoewel effectief, zijn deze modellen prohibitief duur om te implementeren: ze vereisen aanzienlijk GPU-geheugen voor indexering, veroorzaken hoge latentie tijdens het scoren en genereren enorme indexvoetafdrukken, met name bij het gebruik van multi-vector architecturen. Bestaande compressiestrategieën kampen met een trade-off: het vanaf nul trainen van kleinere multi-vector encoders behoudt de kwaliteit, maar behoudt ook de hoge indexerings- en scorekosten van multi-vector systemen, terwijl het distilleren van enkel de query-zijde de document-encoder op de enorme schaal van de teacher laat. Er is een gebrek aan compacte, end-to-end single-vector retrievers die een hoge kwaliteit bereiken zonder de overhead van multi-vector interactie of enorme parameteraantallen.

Methodologie
De auteurs stellen DistilVDR voor, een end-to-end single-vector VDR-systeem van 524 miljoen parameters. De aanpak berust op dual-student distillation vanuit een enkele, bevroren 8 B vision-language teacher (Qwen3-VL-Embedding-8B).

• Architectuur: Het systeem maakt gebruik van een asymmetrisch, encoder-only student-ontwerp dat is afgestemd op de input-asymmetrie van VDR (tekstuele queries versus afbeeldingen van documenten).
  • Query Encoder: Een lichtgewicht, tekst-only encoder van 70 miljoen parameters gebaseerd op DistilBERT-base. Deze verwerkt tekstuele queries voorzien van dezelfde instructiestring als gebruikt bij de training van de teacher.
  • Document Encoder: Een zwaardere encoder van 454 miljoen parameters die een 300 M InternViT visuele encoder combineert met een 150 M ModernBERT-base tekst backbone. Deze verwerkt documentafbeeldingen via een dynamische tiling-strategie die het rasterontwerp aanpast aan de aspectratio van de pagina, terwijl het totale aantal visuele tokens wordt beperkt om binnen het contextvenster van de backbone te passen. Visuele tokens worden geprojecteerd in de embedding-ruimte van de tekst-backbone en verwerkt met bidirectionele aandacht.
• Trainingsdoel: Beide student-encoders worden onafhankelijk getraind om te regresseren op de gecachte 4096-dimensionale embeddings geproduceerd door de bevroren teacher. De loss-functie is een point-wise cosine alignment loss ($L = 1 - \langle \text{student}, \text{teacher} \rangle$).
  • Cruciaal is dat het student-doel geen relevantie-labels, geen negative sampling en geen contrastieve termen vereist. De supervisie wordt volledig afgeleid van de embedding-ruimte van de teacher, die vooraf is getraind met relevantie-supervisie.
  • De twee students worden tijdens de training ontkoppeld, wat parallelle optimalisatie mogelijk maakt.
• Varianten: Er worden twee deployment-varianten uitgebracht, die alleen verschillen in het visuele token-budget (tile count) voor de document-encoder:
  • DistilVDR-HiRes: Gebruikt maximaal 6 tiles plus een thumbnail (maximaal 7.168 tokens).
  • DistilVDR-Fast: Gebruikt maximaal 2 tiles plus een thumbnail (maximaal 3.072 tokens).

Belangrijkste Resultaten
Geëvalueerd op de volledige 22-dataset ViDoRe suite (v1, v2 en v3), demonstreert DistilVDR significante verbeteringen in de kwaliteit-efficiëntie trade-off:

• Retrieval Quality: DistilVDR-HiRes bereikt een gemiddelde NDCG@5 van 61,74 op ViDoRe, waarmee het 86,9% van de prestaties van de 8 B teacher (71,05) behoudt. Het presteert beter dan elke gereproduceerde sub-1 B baseline, inclusief multi-vector modellen zoals colSmol-500M (53,01) en ColModernVBERT (42,46). Op de resolutie-gevoelige v3 benchmark leidt het alle sub-1 B baselines met een ruime marge (47,07 vs. 33,52 voor de volgende beste). DistilVDR-Fast bereikt een gemiddelde NDCG@5 van 59,98 met een 3× kleiner visueel token-budget.
• Efficiëntie:
  • Indexering: DistilVDR indexeert een corpus een orde van grootte sneller dan de 8 B teacher en aanzienlijk sneller dan multi-vector baselines.
  • Opslag: De single-vector index is 15,6 keer kleiner dan de sterkste sub-1 B multi-vector baseline (16,4 GB vs. 256 GB per miljoen documenten).
  • Scoring: De scoring-latentie is met twee orders van grootte verminderd vergeleken met multi-vector MaxSim scoring (9,6 ms voor 10k documenten vs. ~1,1–3,2 s).
  • Doorvoersnelheid: DistilVDR-Fast bereikt 99,04 docs/sec, ongeveer 18× sneller dan de 8 B teacher.

Betekenis en Claims
Het artikel claimt dat DistilVDR er succesvol in is geslaagd de kloof te overbruggen tussen de hoge kwaliteit van massieve modellen en de deployment-efficiëntie van compacte systemen. Door zowel de query- als de document-encoder te distilleren vanuit een enkele teacher onder een cosine alignment loss, demonstreren de auteurs dat een compacte, single-vector retriever end-to-end getraind kan worden zonder contrastieve learning of negative mining.

De auteurs positioneren DistilVDR als een superieur operatiepunt op de 500 M schaal, waarbij het de "from-scratch" kleine multi-vector route domineert in zowel retrieval-kwaliteit als alle deployment-metrieken (latentie, VRAM, indexgrootte). Ze benadrukken dat het succes van het systeem rust op de vooraf getrainde embedding-ruimte van de teacher, die relevantiekennis overdraagt zonder dat de student dit vanaf nul hoeft te leren via contrastieve objectives.

Beperkingen en Omvang
De auteurs merken enkele beperkingen op:

• Afhankelijkheid van de Teacher: De student is begrensd door de capaciteiten van de teacher; systematische zwakheden in de 8 B teacher propageren naar DistilVDR.
• Experimentele Omvang: Vergelijkingen worden gemaakt met officiële publieke releases in plaats van met opnieuw getrainde baselines met een gelijkwaardig rekenbudget. Het paper voert geen sweep uit op verschillende schalen of families van de teacher.
• Prestatiekloof: Hoewel competitief met 2–3 B modellen, blijft DistilVDR achter bij de sterkste 4–8 B multi-vector modellen, met name op de complexe v3 benchmark.
• Inhoudelijke Adaptiviteit: Het tiling-budget is vastgesteld op het moment van release op basis van de aspectratio, niet op basis van de complexiteit van de pagininhoud.
• Scope van Queries: De query-encoder is uitsluitend tekstueel en getraind op Engelse en Latijnse talen; het ondersteunt geen beeld-geconditioneerde queries of niet-Latijnse scripts.
• Compressie: De gerapporteerde indexvoetafdruk gaat uit van ongecomprimeerde float32 vectoren; verdere kwantisatietechnieken zijn niet getest.