DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation

Sintesi Tecnica di DistilVDR

Problematica
Il recupero di documenti visivi (Visual Document Retrieval - VDR) è attualmente dominato da massicci modelli vision-language (che variano da 2 a 8 miliardi di parametri) che codificano le pagine dei documenti come immagini per evitare errori di OCR e preservare il layout. Sebbene efficaci, questi modelli sono proibitivamente costosi da implementare: richiedono una memoria GPU significativa per l'indicizzazione, comportano un'elevata latenza durante il punteggio (scoring) e generano impronte di indice massicce, in particolare quando si utilizzano architetture multi-vettore. Le strategie di compressione esistenti affrontano un compromesso: l'addestramento di encoder multi-vettore più piccoli da zero preserva la qualità ma mantiene gli elevati costi di indicizzazione e scoring dei sistemi multi-vettore, mentre la distillazione del solo lato query lascia l'encoder del documento alla scala massiccia del modello teacher. Manca un sistema di recupero single-vector end-to-end compatto che raggiunga un'alta qualità senza l'overhead dell'interazione multi-vettore o di conteggi di parametri enormi.

Metodologia
Gli autori propongono DistilVDR, un sistema VDR single-vector end-to-end da 524 milioni di parametri. L'approccio si basa sulla distillazione dual-student da un singolo modello vision-language teacher da 8 B congelato (Qwen3-VL-Embedding-8B).

• Architettura: Il sistema impiega un design student asimmetrico, encoder-only, adattato all'asimmetria di input del VDR (query testuali vs documenti immagine).
  • Query Encoder: Un encoder leggero da 70 milioni di parametri basato solo su testo, derivato da DistilBERT-base. Elabora le query testuali precedute dalla stessa stringa di istruzioni utilizzata per addestrare il teacher.
  • Document Encoder: Un encoder più pesante da 454 milioni di parametri che combina un encoder visuale InternViT da 300 M e un backbone testuale ModernBERT-base da 150 M. Elabora le immagini dei documenti tramite una strategia di tiling dinamico che adatta il layout della griglia al rapporto di aspetto della pagina, limitando al contempo il numero totale di token visuali per adattarsi alla finestra di contesto del backbone. I token visuali vengono proiettati nello spazio di embedding del backbone testuale ed elaborati con attenzione bidirezionale.
• Obiettivo di Addestramento: Entrambi gli encoder student sono addestrati indipendentemente per regredire sugli embedding a 4096 dimensioni prodotti dal teacher congelato. La funzione di perdita è una perdita di allineamento del coseno puntuale ($L = 1 - \langle \text{student}, \text{teacher} \rangle$).
  • Fondamentalmente, l'obiettivo dello student richiede nessuna etichetta di rilevanza, nessun campionamento negativo e nessun termine contrastivo. La supervisione deriva interamente dallo spazio di embedding del teacher, che è stato pre-addestrato con supervisione di rilevanza.
  • I due student sono disaccoppiati durante l'addestramento, permettendo un'ottimizzazione parallela.
• Varianti: Sono rilasciate due varianti di deployment, che differiscono solo per il budget di token visuali (numero di tile) per l'encoder del documento:
  • DistilVDR-HiRes: Utilizza fino a 6 tile più una miniatura (massimo 7.168 token).
  • DistilVDR-Fast: Utilizza fino a 2 tile più una miniatura (massimo 3.072 token).

Risultati Chiave
Valutato sull'intera suite di 22 dataset ViDoRe (v1, v2 e v3), DistilVDR dimostra miglioramenti significativi nei compromessi qualità-efficienza:

• Qualità del Recupero: DistilVDR-HiRes raggiunge un NDCG@5 medio di 61,74 su ViDoRe, mantenendo l'86,9% delle prestazioni del teacher da 8 B (71,05). Supera ogni baseline riprodotta sotto il miliardo di parametri, inclusi i modelli multi-vettore come colSmol-500M (53,01) e ColModernVBERT (42,46). Sul benchmark v3, sensibile all'alta risoluzione, supera ampiamente tutte le baseline sotto il miliardo (47,07 contro 33,52 della seconda migliore). DistilVDR-Fast raggiunge un NDCG@5 medio di 59,98 con un budget di token visuali 3 volte inferiore.
• Efficienza:
  • Indicizzazione: DistilVDR indicizza un corpus un ordine di grandezza più velocemente del teacher da 8 B e significativamente più velocemente delle baseline multi-vettore.
  • Storage: L'indice single-vector è 15,6 volte più piccolo della più forte baseline multi-vettore sotto il miliardo (16,4 GB vs 256 GB per milione di documenti).
  • Scoring: La latenza di scoring è ridotta di due ordini di grandezza rispetto allo scoring MaxSim multi-vettore (9,6 ms per 10k documenti vs ~1,1–3,2 s).
  • Throughput: DistilVDR-Fast raggiunge 99,04 docs/sec, circa 18 volte più veloce del teacher da 8 B.

Significatività e Rivendicazioni
Il paper sostiene che DistilVDR colma con successo il divario tra l'alta qualità dei modelli massicci e l'efficienza di deployment dei sistemi compatti. Distillando sia l'encoder della query che quello del documento da un singolo teacher tramite una perdita di allineamento del coseno, gli autori dimostrano che un retriever single-vector compatto può essere addestrato end-to-end senza apprendimento contrastivo o mining di negativi.

Gli autori posizionano DistilVDR come un punto di operatività superiore alla scala dei 500 M, dominando la rotta "da zero" dei piccoli modelli multi-vettore sia in termini di qualità del recupero che in tutti i parametri di deployment (latenza, VRAM, dimensione dell'indice). Sottolineano che il successo del sistema dipende dallo spazio di embedding pre-addestrato del teacher, che trasferisce la conoscenza di rilevanza senza richiedere allo student di apprenderla da zero tramite obiettivi contrastivi.

Limitazioni e Ambito
Gli autori rilevano diverse limitazioni:

• Dipendenza dal Teacher: Lo student è limitato dalle capacità del teacher; le debolezze sistematiche del teacher da 8 B si propagano a DistilVDR.
• Ambito Sperimentale: I confronti sono effettuati contro rilascio pubblici ufficiali piuttosto che contro baseline con budget computazionali corrispondenti. Il paper non effettua una scansione di scale o famiglie di teacher.
• Gap di Prestazione: Pur essendo competitivo con i modelli da 2–3 B, DistilVDR resta comunque indietro rispetto ai più forti modelli multi-vettore da 4–8 B, in particolare sul complesso benchmark v3.
• Adattabilità del Contenuto: Il budget di tiling è fisso al momento del rilascio in base al rapporto di aspetto, non in base alla complessità del contenuto della pagina.
• Ambito delle Query: L'encoder della query è esclusivamente testuale ed è addestrato su lingue con alfabeto latino; non supporta query condizionate da immagini o script non latini.
• Compressione: L'impronta dell'indice riportata assume vettori float32 non compressi; ulteriori tecniche di quantizzazione non sono state testate.