Technische Samenvatting: KOVRE – Het trainen van een efficiënt embeddingmodel voor Koreaanse visuele documentextractie

Probleemstelling

Visuele documentextractie (Visual Document Retrieval, VDR) heeft als doel tekstuele queries direct te matchen met gerenderde documentafbeeldingen, waarbij cruciale visuele en structurele informatie (zoals tabellen, figuren, lay-out) behouden blijft die vaak verloren gaat tijdens OCR- (Optical Character Recognition) en tekstextractie-pipelines. Hoewel recente VDR-modellen sterke prestaties hebben geleverd, kampen ze met drie primaire beperkingen:

1. Engels-centrische bias: Bestaande trainingsdata en benchmarks zijn overwegend Engels, wat een gat laat in hoogpresterende systemen voor het Koreaans.
2. Resource-intensiviteit: Hoogpresterende modellen vertrouwen vaak op massieve backbones (bijv. 8B+ parameters) of multi-vector representaties (het opslaan van meerdere embeddings per pagina), wat aanzienlijke opslag- en extractiekosten met zich meebrengt.
3. Onderbelichte trainingsstrategieën: Er is beperkt onderzoek naar hoe compacte, single-vector retrievers effectief getraind kunnen worden voor specifieke talen, met name met betrekking tot de samenstelling van trainingsdata, hard-negative mining en kennisdistillatie vanuit rerankers.

Methodologie

De auteurs introduceren KOVRE (KOrean Visual Document Retrieval Embedding), een compacte single-vector retriever aangepast van het Qwen3-VL-Embedding-2B model. Het trainingsproces is verdeeld in twee afzonderlijke fasen:

1. Basismodel en Representatie

• Architectuur: Het model behoudt de originele Qwen3-VL-Embedding-2B visie-taal architectuur zonder wijzigingen.
• Input: Het accepteert tekstuele queries en gerenderde documentpagina-afbeeldingen, en brengt deze in kaart naar een gedeelde dense ruimte.
• Matryoshka Representation Learning (MRL): Het model wordt getraind om embeddings uit te voeren op meerdere dimensies (2048, 1024, 768, 512, 256, 128), wat een flexibele afweging mogelijk maakt tussen extractiekwaliteit en opslagefficiëntie.
• Gelijkenis: Cosinusgelijkenis wordt gebruikt voor zowel training als inferentie.

2. Fase 1: Contrastief Leren (CL)

• Data: Het model wordt getraind op 708.729 query–pagina paren bestaande uit zowel Koreaanse als Engelse data.
  • Koreaans: Combineert publieke KoViDoRe data en private AI Hub collecties.
  • Engels: Geaggregeerd uit vijf bestaande VDR-bronnen (rapporten, slides, tabellen) om het catastrofale vergeten van de meertalige capaciteiten van de backbone te voorkomen.
• Hard-Negative Mining: Zeven hard negatives per query worden gemined met behulp van een groter Qwen3-VL-Embedding-8B model.
  • Positive-Aware Filtering: Kandidaten met een score >95% van de geannoteerde positieve gelijkenis worden uitgesloten om foutieve negatieven te verminderen.
  • Self-Guide Filtering: Negatieven die significant hoger scoren dan de positieve (gebaseerd op een stop-gradient drempelwaarde) worden uitgesloten van de loss-berekening.
• Loss-functie: Een InfoNCE-doelstelling wordt geoptimaliseerd met hardness weighting. Expliciet geminede hard negatives ontvangen een extra stop-gradient term gewogen met een factor ($\alpha=2.0$) om moeilijke voorbeelden te benadrukken, terwijl in-batch negatives ongewogen blijven.
• Doelstelling: De loss wordt gezamenlijk berekend over alle Matryoshka-dimensies.

3. Fase 2: Kennisdistillatie (KD)

• Data: Gebruikt alleen de Koreaanse subset van de corpus.
• Teacher Model: Qwen3-VL-Reranker-8B scoort een kandidaat-pool van 64 pagina's (32 geminede hard negatives + 32 willekeurige samples) voor elke query.
• Target Constructie: De top 8 negatives (gebaseerd op teacher scores) worden geselecteerd naast de positieve om de trainingsinstantie te vormen.
• Score Normalisatie: Een cruciale stap is de per-row min-max normalisatie van zowel de teacher als de student scores naar het bereik [0, 1] voordat de softmax wordt toegepast. Dit adresseert de onbegrensde, query-afhankelijke schaal van reranker scores, waardoor de vorm van de relevantieverdeling behouden blijft.
• Loss-functie: De student minimaliseert de KL-divergentie tussen zijn scoreverdeling en de genormaliseerde distributie van de teacher over alle Matryoshka-dimensies.

Belangrijkste Bijdragen

1. KOVRE Model: Ontwikkeling van een compacte, single-vector retriever voor Koreaanse visuele documenten die concurrerende prestaties levert zonder een grotere backbone of multi-vector indices te vereisen.
2. Systematisch Trainingsrecept: Een uitgebreide analyse van trainingscomponenten, die de effectiviteit aantoont van:
   • Binationale supervisie (Koreaans + Engels) om meertalige capaciteiten te behouden.
   • Positive-aware hard-negative mining en self-guide filtering.
   • Hardness weighting voor gemined negatives.
   • Min-max score normalisatie voor effectieve kennisdistillatie.
   • Het nut van Matryoshka representaties voor compacte extractie.

Resultaten

Geëvalueerd op Koreaanse VDR-benchmarks (KoViDoRe en SDS KoPub VDR), vertoont KOVRE significante verbeteringen:

• Prestatiewinst: Het uiteindelijke 2B KOVRE model presteert aanzienlijk beter dan zijn basis Qwen3-VL-Embedding-2B backbone.
• Vergelijking met grotere modellen: KOVRE presteert beter dan de 8B single-vector tegenhanger (Qwen3-VL-Embedding-8B) en een sterke 4B multi-vector baseline (Jina Embeddings v4) in geaggregeerde prestaties (nDCG@10).
• Dimensionaliteitsefficiëntie: Zelfs bij gereduceerde dimensies (bijv. 256) behoudt KOVRE sterke prestaties, en presteert het licht beter dan de 4096-dimensionale Qwen3-VL-Embedding-8B.
• Ablatie Inzichten:
  • Binationale training presteert beter dan enkel Koreaanse training.
  • Het toevoegen van extra Koreaanse tekstdatasets (zonder visuele context) verminderde de prestaties.
  • Min-max normalisatie in Fase 2 was cruciaal; zonder dit schaadde de distillatie de prestaties actief.

Betekenis en Claims

Het artikel claimt dat gerichte binationale supervisie en zorgvuldig ontworpen trainingsstrategieën een zeer effectief Koreans VDR-model kunnen produceren over diverse domeinen heen, zonder de modelgrootte op te schalen of opslagintensieve multi-vector representaties te gebruiken.

De auteurs positioneren KOVRE als een praktische oplossing voor talen die onderbediend worden door huidige modellen, en tonen aan dat een goed getraind compact model grotere, complexere systemen kan evenaren of zelfs overtreffen. Het werk biedt een reproduceerbaar trainingsrecept dat de nadruk legt op het belang van datacompositie, strategieën voor het minen van negatives en score-normalisatie in kennisdistillatie voor visuele documentextractie.

Opmerkelijke Beperkingen: De auteurs erkennen dat de Koreaanse trainingscorpus minder unieke pagina-afbeeldingen bevat vergeleken met Engels, wat de diversiteit van de geobserveerde lay-outs en documenttypen tijdens de training mogelijk beperkt. Ze suggereren dat toekomstig werk zich moet richten op het uitbreiden van de diversiteit van Koreaanse pagina-afbeeldingen in plaats van enkel het verhogen van de query-aantallen.