DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation

Resumen Técnico de DistilVDR

Planteamiento del Problema
La Recuperación Visual de Documentos (VDR, por sus siglas en inglés) está actualmente dominada por modelos masivos de visión y lenguaje (que oscilan entre los 2 y los 8 mil millones de parámetros) que codifican las páginas de los documentos como imágenes para evitar errores de OCR y preservar el diseño. Aunque son efectivos, estos modelos son prohibitivamente costosos de desplegar: requieren una memoria GPU significativa para la indexación, incurren en una alta latencia durante la puntuación y generan huellas de índice masivas, particularmente cuando se utilizan arquitecturas de múltiples vectores. Las estrategias de compresión existentes enfrentan un compromiso: entrenar codificadores multi-vectoriales más pequeños desde cero preserva la calidad pero mantiene los altos costos de indexación y puntuación de los sistemas multi-vectoriales, mientras que destilar únicamente el lado de la consulta deja al codificador de documentos a la escala masiva del modelo maestro. Existe una falta de recuperadores de vector único, compactos y de extremo a extremo, que logren una alta calidad sin la sobrecarga de la interacción multi-vectorial o de recuentos masivos de parámetros.

Metodología
Los autores proponen DistilVDR, un sistema VDR de vector único, de extremo a extremo y de 524 millones de parámetros. El enfoque se basa en la destilación de doble estudiante a partir de un único modelo maestro de visión y lenguaje de 8 mil millones de parámetros (Qwen3-VL-Embedding-8B) que permanece congelado.

• Arquitectura: El sistema emplea un diseño de estudiante asimétrico, solo de codificador, adaptado a la asimetría de entrada de la VDR (consultas de texto frente a documentos de imagen).
  • Codificador de Consultas: Un codificador de texto ligero de 70 millones de parámetros basado en DistilBERT-base. Procesa consultas de texto con el mismo prefijo de cadena de instrucción utilizado para entrenar al maestro.
  • Codificador de Documentos: Un codificador más pesado de 454 millones de parámetros que combina un codificador visual InternViT de 300 millones y un esqueleto de texto ModernBERT-base de 150 millones. Procesa imágenes de documentos mediante una estrategia de teselado dinámico que adapta la disposición de la cuadrícula a la relación de aspecto de la página, limitando el recuento total de tokens visuales para ajustarse a la ventana de contexto del esqueleto. Los tokens visuales se proyectan en el espacio de incrustación del esqueleto de texto y se procesan con atención bidireccional.
• Objetivo de Entrenamiento: Ambos codificadores de estudiantes se entrenan de forma independiente para realizar una regresión sobre las incrustaciones de 4096 dimensiones producidas por el maestro congelado. La función de pérdida es una pérdida de alineación de coseno punto a punto ($L = 1 - \langle \text{estudiante}, \text{maestro} \rangle$).
  • Crucialmente, el objetivo del estudiante no requiere etiquetas de relevancia, muestreo negativo ni términos contrastivos. La supervisión se deriva enteramente del espacio de incrustación del maestro, el cual fue preentrenado con supervisión de relevancia.
  • Los dos estudiantes se desacoplan durante el entrenamiento, lo que permite una optimización paralela.
• Variantes: Se lanzan dos variantes de despliegue, que difieren únicamente en el presupuesto de tokens visuales (recuento de teselas) para el codificador de documentos:
  • DistilVDR-HiRes: Utiliza hasta 6 teselas más una miniatura (máximo 7,168 tokens).
  • DistilVDR-Fast: Utiliza hasta 2 teselas más una miniatura (máximo 3,072 tokens).

Resultados Clave
Evaluado en la suite completa de 22 conjuntos de datos de ViDoRe (v1, v2 y v3), DistilVDR demuestra mejoras significativas en los compromisos de calidad-eficiencia:

• Calidad de Recuperación: DistilVDR-HiRes logra un NDCG@5 promedio de 61.74 en ViDoRe, reteniendo el 86.9% del rendimiento de su maestro de 8 B (71.05). Supera a cada línea base sub-1 B reproducida, incluyendo modelos multi-vectoriales como colSmol-500M (53.01) y ColModernVBERT (42.46). En el benchmark v3, sensible a la alta resolución, lidera todos los baselines sub-1 B por un amplio margen (47.07 frente a 33.52 para el siguiente mejor). DistilVDR-Fast logra un NDCG@5 promedio de 59.98 con un presupuesto de tokens visuales 3 veces menor.
• Eficiencia:
  • Indexación: DistilVDR indexa un corpus un orden de magnitud más rápido que el maestro de 8 B y significativamente más rápido que los baselines multi-vectoriales.
  • Almacenamiento: El índice de vector único es 15.6 veces más pequeño que el baseline multi-vectorial sub-1 B más fuerte (16.4 GB frente a 256 GB por millón de documentos).
  • Puntuación: La latencia de puntuación se reduce en dos órdenes de magnitud en comparación con la puntuación MaxSim multi-vectorial (9.6 ms para 10k documentos frente a ~1.1–3.2 s).
  • Rendimiento (Throughput): DistilVDR-Fast logra 99.04 docs/seg, aproximadamente 18 veces más rápido que el maestro de 8 B.

Significancia y Reivindicaciones
El artículo afirma que DistilVDR cierra con éxito la brecha entre la alta calidad de los modelos masivos y la eficiencia de despliegue de los sistemas compactos. Al destilar tanto el codificador de consultas como el de documentos a partir de un único maestro bajo una pérdida de alineación de coseno, los autores demuestran que un recuperador de vector único compacto puede entrenarse de extremo a extremo sin aprendizaje contrastivo ni minería de negativos.

Los autores posicionan a DistilVDR como un punto operativo superior en la escala de 500 M, dominando la ruta multi-vectorial pequeña "desde cero" tanto en calidad de recuperación como en todas las métricas de despliegue (latencia, VRAM, tamaño de índice). Enfatizan que el éxito del sistema radica en el espacio de incrustación preentrenado del maestro, que transfiere el conocimiento de relevancia sin requerir que el estudiante lo aprenda desde cero mediante objetivos contrastivos.

Limitaciones y Alcance
Los autores señalan varias limitaciones:

• Dependencia del Maestro: El estudiante está limitado por las capacidades del maestro; las debilidades sistemáticas del maestro de 8 B se propagan a DistilVDR.
• Alcance Experimental: Las comparaciones se realizan contra lanzamientos públicos oficiales en lugar de baselines reentrenados con presupuestos de cómputo igualados. El artículo no realiza un barrido de escalas o familias de maestros.
• Brecha de Rendimiento: Aunque es competitivo con modelos de 2–3 B, DistilVDR sigue por detrás de los modelos multi-vectoriales más fuertes de 4–8 B por 7–10 puntos, particularmente en el complejo benchmark v3.
• Adaptabilidad de Contenido: El presupuesto de teselado es fijo al momento del lanzamiento basado en la relación de aspecto, no en la complejidad del contenido de la página.
• Alcance de la Consulta: El codificador de consultas es solo de texto y está entrenado en idiomas de alfabeto latino; no soporta consultas condicionadas por imágenes o scripts no latinos.
• Compresión: La huella de índice reportada asume vectores float32 sin comprimir; no se probaron técnicas de cuantización adicionales.