🤖 machine learning

NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval

NanoVDR distilleert een zware Vision-Language Model-retriever in een compacte, tekst-only encoder die visuele documenten efficiënt indexeert en queries verwerkt met 32 keer minder parameters en 50 keer lagere CPU-latentie, terwijl het 95,1% van de oorspronkelijke kwaliteit behoudt.

Oorspronkelijke auteurs: Zhuchenyang Liu, Yao Zhang, Yu Xiao

Gepubliceerd 2026-03-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhuchenyang Liu, Yao Zhang, Yu Xiao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt, maar dan niet met boeken, maar met duizenden documenten vol met grafieken, diagrammen, tabellen en foto's. Dit noemen we visuele documenten. Als je iets zoekt in deze bibliotheek, wil je dat de computer je het juiste document direct vindt, zelfs als je alleen maar een korte tekstvraag stelt (bijvoorbeeld: "Waar staat de winstgrafiek van 2023?").

Vroeger was dit zoeken heel traag en duur. De computers moesten voor elke vraag een gigantische, zware "super-intelligentie" (een Vision-Language Model of VLM) gebruiken. Dit is alsof je een Formule 1-auto uit de garage haalt om alleen maar een postpakket naar de buren te brengen. Het werkt wel, maar het is enorm duur, langzaam en heeft veel energie nodig.

NanoVDR is de oplossing die de onderzoekers van Aalto University hebben bedacht. Het is een slimme manier om die zware auto te vervangen door een snelle, efficiënte fiets, zonder dat je de kwaliteit van de bezorging verliest.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Probleem: De "Symmetrische" Fout

De huidige systemen behandelen de documenten (de zware foto's) en de vragen (de simpele tekst) precies hetzelfde. Ze gebruiken dezelfde enorme, zware computer voor beide.

Het document is complex: het heeft een camera nodig om de foto's te begrijpen.
De vraag is simpel: het is gewoon tekst. Waarom zou je een camera nodig hebben om de vraag "Waar is de grafiek?" te lezen?

De onderzoekers zeggen: "Waarom gebruiken we een zware vrachtwagen om een brief te bezorgen?"

2. De Oplossing: NanoVDR (De Slimme Splitsing)

NanoVDR breekt dit systeem op in twee verschillende banen, net als een slim postkantoor:

De Offline Fase (De Zware Werknemer):
Eén keer, in het geheim, laat je een enorme, superkrachtige AI (de "Meester") alle documenten bekijken en in een lijst zetten. Deze Meester is groot (2 miljard parameters), maar hij doet dit werk maar één keer. Hij maakt een soort "sleutel" voor elk document.
- Analogie: Een expert die een enorme bibliotheek een keer doorloopt en op elke plank een labeltje plakt met de inhoud. Daarna is hij klaar.
De Online Fase (De Snelle Boodschapper):
Wanneer jij een vraag stelt, gebruikt het systeem een heel klein, lichtgewicht model (de "Leerling", slechts 70 miljoen parameters). Deze Leerling heeft geen camera nodig. Hij leest alleen je tekst, maakt er een simpele sleutel van en kijkt of die past bij de labels die de Meester eerder heeft gemaakt.
- Analogie: Een snelle fietskoerier die alleen de naam van het pakketje leest en dan direct de juiste plank opzoekt. Hij hoeft niet de hele bibliotheek te inspecteren.

3. De Magische Leerles: "Kijken naar de Meester"

Hoe leert die kleine fietskoerier (de Leerling) zo goed te worden als de zware expert (de Meester)?
Ze gebruiken een techniek genaamd kennisdistillatie.

Stel je voor dat de Meester een meester-schilder is en de Leerling een beginnende schilder.

Oude methode: De Leerling moet duizenden schilderijen van de Meester kopiëren en proberen te raden welk schilderij bij welke beschrijving hoort. Dit kost veel tijd en moeite.
NanoVDR-methode: De Leerling krijgt alleen de eindresultaten van de Meester te zien. De Meester zegt: "Voor deze tekstvraag is de juiste sleutel deze specifieke coördinaten." De Leerling probeert simpelweg die exacte coördinaten na te bootsen.

De onderzoekers ontdekten dat deze simpele "kijk-en-naboots"-methode (cosine alignment) veel beter werkt dan complexe methoden waarbij de Leerling moet proberen te "rankeren" of te vergelijken. Het is alsof je een spiegel gebruikt in plaats van een ingewikkeld rekensommetje.

4. Het Taalprobleem en de Oplossing

Er was één probleem: de Leerling was heel goed in het Engels, maar minder goed in andere talen (zoals Portugees of Italiaans), omdat hij daar minder geoefend had.

De oplossing: Ze vertaalden simpelweg de bestaande Engelse vragen naar andere talen met een vertaalmachine en lieten de Meester die nieuwe vragen "oplossen". Hierdoor leerde de Leerling snel de juiste sleutels voor die talen, zonder dat ze nieuwe documenten hoefden te scannen.
Analogie: De fietskoerier kreeg een nieuwe set instructies in het Spaans, maar hij gebruikte dezelfde routeplanner.

Waarom is dit geweldig? (De Resultaten)

Snelheid: De oude systemen hadden 2000 milliseconden nodig om een vraag te beantwoorden. NanoVDR doet dit in 50 milliseconden. Dat is 50 keer sneller. Je kunt het nu zelfs op een gewone computer doen, zonder dure videokaarten.
Grootte: Het oude model was als een zware vrachtwagen (gigabytes groot). NanoVDR is als een kleine scooter (slechts 274 MB). Je kunt dit op je telefoon of een kleine server draaien.
Kwaliteit: Ondanks dat het zo klein en snel is, blijft het 95% zo goed als de zware Meester. Het verliest bijna niets aan kwaliteit.
Kosten: Het trainen van dit systeem kostte minder dan 13 uur aan rekenkracht. Dat is alsof je een auto bouwt in een weekend in plaats van een jaar.

Kort samengevat:
NanoVDR is een slimme truc waarbij je de zware, dure "supercomputer" alleen gebruikt om de bibliotheek een keer te ordenen. Daarna laat je een klein, snel en goedkoop "hulpje" de vragen beantwoorden. Het resultaat? Je vindt je documenten net zo snel en nauwkeurig, maar dan 50 keer sneller en met een fractie van de kosten.

Titel

NanoVDR: Het distilleren van een 2B Vision-Language Retriever naar een 70M tekst-only Encoder voor Visuele Document Retrieval

1. Het Probleem

Visuele Document Retrieval (VDR) is een taak waarbij informatie wordt opgezocht in visueel rijke documenten (zoals financiële rapporten met grafieken, wetenschappelijke papers met figuren, en handleidingen).

Huidige staat van de kunst: State-of-the-art systemen gebruiken Vision-Language Models (VLM's) om zowel documentpagina's (als afbeeldingen) als zoekopdrachten (queries) te coderen in een gedeelde inbeddingsruimte.
De inefficiëntie: Bestaande systemen gebruiken hetzelfde zware VLM (vaak met miljarden parameters) voor zowel het indexeren van documenten (offline) als het coderen van zoekopdrachten (online).
- Dit resulteert in hoge latentie en een sterke afhankelijkheid van GPU's, zelfs voor simpele tekstzoekopdrachten.
- Het ontwerp is "onnodig symmetrisch": Documenten zijn visueel complex en vereisen visueel inzicht, maar zoekopdrachten zijn vaak korte tekstreeksen zonder visuele component. Het gebruik van een zwaar visueel model voor tekstonly queries is een verspilling van rekenkracht.

2. Methodologie: NanoVDR

De auteurs stellen NanoVDR voor, een raamwerk dat de asymmetrie tussen documenten en queries benut door de twee coderingspaden te ontkoppelen via kennisdistillatie.

Asymmetrische Architectuur:
- Leraar (Teacher): Een bevroren Vision-Language Model (in dit geval een 2B-parameter Qwen3-VL) dat documenten offline indexeert. Dit model genereert visuele inbeddingen voor de documenten.
- Student: Een extreem lichte, tekst-only encoder (zonder visuele module) die zoekopdrachten online codeert. Deze student wordt getraind om de zoekopdrachten van de leraar na te bootsen in de visuele inbeddingsruimte.
- Resultaat: De student kan op een CPU draaien (ca. 50 ms per query) en vereist geen GPU voor de zoekfase.
Distillatie Doelstelling (De Kerninnovatie):
De auteurs vergelijken zes verschillende trainingsdoelen. Ze ontdekken dat pointwise cosine alignment (ruimtelijke uitlijning) superieur is aan ranking-gebaseerde of contrastieve methoden.
- Formule: De student wordt getraind om de hoekafstand te minimaliseren tussen zijn eigen query-inbedding ( $v^Q_s$ ) en de leraar's query-inbedding ( $v^Q_t$ ):
  $L_{align} = 1 - \cos(v^Q_s, v^Q_t)$
- Voordeel: Deze methode vereist geen documentafbeeldingen tijdens het trainen van de student en geen negatieve steekproeven. De leraar's query-inbeddingen worden eenmalig vooraf berekend (pre-cached).
Meertalige Augmentatie:
Een belangrijke bevinding is dat de prestaties niet worden beperkt door het modale gat (tekst vs. visueel), maar door cross-linguale transfer. Om dit op te lossen, worden de Engelstalige trainingsqueries vertaald naar vijf andere talen (Portugees, Spaans, Duits, Frans, Italiaans) en opnieuw gecodeerd door de leraar. Dit verhoogt de trainingsdata zonder extra documentafbeeldingen te hoeven verwerken.

3. Belangrijkste Bijdragen

Asymmetrisch Distillatiekader: Een framework dat een zware VLM-leraar distilleert naar een tekst-only student (69M - 151M parameters) voor VDR.
Superioriteit van Ruimtelijke Uitlijning: Het bewijs dat directe cosine-uitlijning van query-inbeddingen beter werkt dan complexe ranking-gebaseerde objectives (zoals KL-divergentie of InfoNCE), terwijl het trainingskosten drastisch verlaagt.
Extreme Efficiëntie: De kleinste variant (NanoVDR-S, 69M parameters) presteert beter dan 2B-parameter modellen op moeilijke benchmarks, met 32x minder parameters en 50x lagere latentie op CPU.
Identificatie van de Bottleneck: Het vaststellen dat cross-linguale transfer de primaire beperking is, niet de cross-modale transfer, en het oplossen hiervan via goedkope query-augmentatie.

4. Resultaten

De modellen zijn geëvalueerd op de ViDoRe-benchmark (22 datasets over drie versies: v1, v2, v3).

Prestatie:
- NanoVDR-S-Multi (69M parameters) behoudt 95,1% van de kwaliteit van de 2B-parameter leraar.
- Het overtreft de huidige state-of-the-art single-vector VLM (DSE-Qwen2, 2B) op de moeilijkere benchmarks v2 en v3.
- Het presteert beter dan ColPali (3B parameters, multi-vector) op v3.
Efficiëntie en Kosten:
- Latentie: Query-codering duurt ~50 ms op een CPU (tegenover ~2500 ms voor DSE-Qwen2 en >7000 ms voor ColPali). Dit is een snelheidswinst van 50x tot 143x.
- Opslag: De student is slechts 274 MB groot (tegenover 11,9 GB voor ColPali).
- Indexering: Omdat het systeem een single-vector aanpak gebruikt (geërfd van de leraar), is de indexopslag compact (8,2 GB voor 1M documenten) vergeleken met multi-vector methoden (264–819 GB).
- Trainingskosten: Het totale trainingsproces kost minder dan 13 GPU-uren (inclusief het vooraf berekenen van de leraar's inbeddingen).

5. Significantie en Conclusie

NanoVDR bewijst dat het niet nodig is om zware Vision-Language Models te gebruiken voor het verwerken van tekstzoekopdrachten in visuele documentretrieval. Door de asymmetrie tussen complexe documenten en simpele queries te benutten, kan een klein, tekst-only model bijna dezelfde prestaties leveren als een 2B-parameter VLM, maar dan met een fractie van de rekenkracht en kosten.

Praktische Impact: Dit maakt het mogelijk om visuele documentretrieval-systemen te draaien op edge devices of in omgevingen zonder GPU-acceleratie, wat de toegankelijkheid voor zakelijke toepassingen (zoals het doorzoeken van grote archieven van rapporten) enorm vergroot.
Wetenschappelijke Impact: Het paper verschuift de focus van het vergroten van modelgrootte naar het optimaliseren van de distillatie-objectieven en data-augmentatie, en toont aan dat "ruimtelijke uitlijning" een krachtiger signaal is dan ranking-informatie voor deze specifieke taak.