Riepilogo Tecnico: KOVRE – Addestramento di un Modello di Embedding Efficiente per il Recupero di Documenti Visivi in Coreano

Definizione del Problema

Il recupero di documenti visivi (Visual Document Retrieval, VDR) mira a far corrispondere le query testuali direttamente alle immagini dei documenti renderizzate, preservando informazioni visive e strutturali critiche (ad esempio tabelle, figure, layout) che vengono spesso perse durante le pipeline di OCR (Optical Character Recognition) ed estrazione del testo. Sebbene i recenti modelli VDR abbiano ottenuto prestazioni elevate, essi affrontano tre limitazioni primarie:

1. Bias Centrico sull'Inglese: I dati di addestramento e i benchmark esistenti sono prevalentemente in inglese, lasciando un vuoto per sistemi ad alte prestazioni in coreano.
2. Intensità delle Risorse: I modelli ad alte prestazioni spesso si affidano a backbone massicci (ad esempio, 8B+ parametri) o rappresentazioni multi-vettore (che memorizzano più embedding per pagina), il che comporta costi significativi di archiviazione e recupero.
3. Strategie di Addestramento Poco Esplorate: Esiste una ricerca limitata su come addestrare efficacemente retriever compatti a vettore singolo per lingue specifiche, in particolare riguardo alla composizione dei dati di addestramento, al mining dei hard-negative e alla distillazione della conoscenza dai reranker.

Metodologia

Gli autori introducono KOVRE (KOrean Visual Document Retrieval Embedding), un retriever compatto a vettore singolo adattato dal modello Qwen3-VL-Embedding-2B. Il processo di addestramento è diviso in due fasi distinte:

1. Modello Base e Rappresentazione

• Architettura: Il modello mantiene l'architettura vision-language originale di Qwen3-VL-Embedding-2B senza modifiche.
• Input: Accetta query testuali e immagini di pagine di documenti renderizzate, mappandole in uno spazio denso condiviso.
• Matryoshka Representation Learning (MRL): Il modello è addestrato per produrre embedding a molteplici dimensioni (2048, 1024, 768, 512, 256, 128), consentendo scambi flessibili tra qualità del recupero ed efficienza di archiviazione.
• Similarità: La similarità del coseno è utilizzata sia per l'addestramento che per l'inferenza.

2. Fase 1: Apprendimento Contrastivo (Contrastive Learning, CL)

• Dati: Il modello è addestrato su 708.729 coppie query-pagina composte da dati sia in coreano che in inglese.
  • Coreano: Combina i dati pubblici KoViDoRe e le collezioni private AI Hub.
  • Inglese: Aggregati da cinque risorse VDR esistenti (report, slide, tabelle) per prevenire l'oblio catastrofico delle capacità multilingue del backbone.
• Hard-Negative Mining: Sette hard-negativi per query vengono estratti utilizzando un modello più grande, Qwen3-VL-Embedding-8B.
  • Filtraggio Positive-Aware: I candidati con un punteggio superiore al 95% della similarità del positivo annotato vengono esclusi per ridurre i falsi negativi.
  • Filtraggio Self-Guide: I negativi con un punteggio significativamente superiore al positivo (basato su una soglia di stop-gradient) vengono esclusi dal calcolo della perdita.
• Funzione di Perdita (Loss Function): Un obiettivo InfoNCE è ottimizzato con pesatura della durezza (hardness weighting). Gli hard-negativi estratti esplicitamente ricevono un termine di stop-gradient aggiuntivo pesato da un fattore ($\alpha=2.0$) per enfatizzare gli esempi difficili, mentre i negativi nel batch rimangono non pesati.
• Obiettivo: La perdita è calcolata congiuntamente su tutte le dimensioni Matryoshka.

3. Fase 2: Distillazione della Conoscenza (Knowledge Distillation, KD)

• Dati: Utilizza solo il sottoinsieme coreano del corpus.
• Modello Insegnante (Teacher Model): Qwen3-VL-Reranker-8B assegna punteggi a un pool di candidati di 64 pagine (32 hard-negativi estratti + 3 32 campioni casuali) per ogni query.
• Costruzione del Target: I primi 8 negativi (in base ai punteggi dell'insegnante) vengono selezionati insieme al positivo per formare l'istanza di addestramento.
• Normalizzazione del Punteggio: Una fase critica prevede la normalizzazione min-max per riga sia dei punteggi dello studente che dell'insegnante nell'intervallo [0, 1] prima di applicare la softmax. Questo affronta la scala illimitata e dipendente dalla query dei punteggi del reranker, preservando la forma della distribuzione di rilevanza.
• Funzione di Perdita: Lo studente minimizza la divergenza KL tra la sua distribuzione di punteggio e la distribuzione normalizzata dell'insegnante attraverso tutte le dimensioni Matryoshka.

Contributi Chiave

1. Modello KOVRE: Sviluppo di un retriever compatto a vettore singolo per documenti visivi in coreano che raggiunge prestazioni competitive senza richiedere un backbone più grande o indici multi-vettore.
2. Ricetta di Addestramento Sistematica: Un'analisi completa dei componenti di addestramento, che dimostra l'efficacia di:
   • Supervisione bilingue (coreano + inglese) per preservare le capacità multilingue.
   • Hard-negative mining con consapevolezza del positivo (positive-aware) e filtraggio self-guide.
   • Pesatura della durezza per i negativi estratti.
   • Normalizzazione min-max dei punteggi per una distillazione della conoscenza efficace.
   • L'utilità delle rappresentazioni Matryoshka per il recupero compatto.

Risultati

Valutato su benchmark VDR coreani (KoViDoRe e SDS KoPub VDR), KOVRE dimostra miglioramenti significativi:

• Guadagni di Prestazioni: Il modello finale KOVRE da 2B supera sostanzialmente il suo backbone Qwen3-VL-Embedding-2B.
• Confronto con Modelli Più Grandi: KOVRE supera la controparte single-vector da 8B (Qwen3-VL-Embedding-8B) e un forte baseline multi-vector da 4B (Jina Embeddings v4) nelle prestazioni aggregate (nDCG@10).
• Efficienza della Dimensionalità: Anche a dimensioni ridotte (ad esempio 256), KOVRE mantiene prestazioni elevate, superando leggermente il Qwen3-VL-Embedding-8B da 4096 dimensioni.
• Approfondimenti dall'Ablazione:
  • L'addestramento bilingue supera l'addestramento solo in coreano.
  • L'aggiunta di ulteriori dataset di testo in coreano (senza contesto visivo) ha ridotto le prestazioni.
  • La normalizzazione min-max nella Fase 2 è stata critica; senza di essa, la distillazione ha danneggiato attivamente le prestazioni.

Significato e Rivendicazioni

L'articolo sostiene che una supervisione bilingue mirata e strategie di addestramento accuratamente progettate possono produrre un modello VDR in coreano altamente efficace in diversi domini, senza aumentare la dimensione del modello o adottare rappresentazioni multi-vettore ad alto consumo di memoria.

Gli autori posizionano KOVRE come una soluzione pratica per le lingue meno servite dagli attuali modelli, dimostrando che un modello compatto ben addestrato può competere o superare sistemi più grandi e complessi. Il lavoro fornisce una ricetta di addestramento riproducibile che enfatizza l'importanza della composizione dei dati, delle strategie di mining dei negativi e della normalizzazione dei punteggi nella distillazione della conoscenza per il recupero di documenti visivi.

Limitazioni Note: Gli autori riconoscono che il corpus di addestramento in coreano contiene meno immagini di pagine distinte rispetto all'inglese, il che potrebbe limitare la diversità di layout e tipi di documenti osservati durante l'addestramento. Suggeriscono che il lavoro futuro dovrebbe concentrarsi sull'espansione della diversità delle immagini delle pagine in coreano piuttosto che solo sull'aumento del numero di query.