Resumen Técnico: KOVRE – Entrenamiento de un Modelo de Embedding Eficiente para la Recuperación de Documentos Visuales en Coreano

Declaración del Problema

La Recuperación de Documentos Visuales (VDR, por sus siglas en inglés) tiene como objetivo emparejar consultas de texto directamente con imágenes de documentos renderizados, preservando información visual y estructural crítica (p. ej., tablas, figuras, diseño) que a menudo se pierde durante los procesos de OCR (Reconocimiento Óptico de Caracteres) y las canalizaciones de extracción de texto. Aunque los modelos de VDR recientes han logrado un sólido rendimiento, enfrentan tres limitaciones principales:

1. Sesgo Centrado en el Inglés: Los datos de entrenamiento y los benchmarks existentes son predominantemente en inglés, lo que deja una brecha en sistemas de alto rendimiento para el coreano.
2. Intensidad de Recursos: Los modelos de alto rendimiento suelen depender de backbones masivos (p. ej., 8B+ de parámetros) o representaciones multi-vectoriales (almacenando múltiples embeddings por página), lo que incurre en costos significativos de almacenamiento y recuperación.
3. Estrategias de Entrenamiento Poco Exploradas: Existe una investigación limitada sobre cómo entrenar eficazmente recuperadores compactos de vector único para idiomas específicos, particularmente en lo que respecta a la composición de los datos de entrenamiento, la minería de negativos difíciles (hard-negative mining) y la destilación de conocimiento desde rerankers.

Metodología

Los autores presentan KOVRE (KOrean Visual Document Retrieval Embedding), un recuperador compacto de vector único adaptado del modelo Qwen3-VL-Embedding-2B. El proceso de entrenamiento se divide en dos etapas distintas:

1. Modelo Base y Representación

• Arquitectura: El modelo conserva la arquitectura de visión-lenguaje original de Qwen3-VL-Embedding-2B sin modificaciones.
• Entrada: Acepta consultas de texto e imágenes de páginas de documentos renderizadas, mapeándolas a un espacio denso compartido.
• Aprendizaje de Representación Matryoshka (MRL): El modelo es entrenado para producir embeddings en múltiples dimensiones (2048, 1024, 768, 512, 256, 128), lo que permite equilibrios flexibles entre la calidad de la recuperación y la eficiencia de almacenamiento.
• Similitud: Se utiliza la similitud de coseno tanto para el entrenamiento como para la inferencia.

2. Etapa 1: Aprendizaje Contrastivo (CL)

• Datos: El modelo es entrenado con 708,729 pares consulta–página que comprenden datos tanto en coreano como en inglés.
  • Coreano: Combina datos públicos de KoViDoRe y colecciones privadas de AI Hub.
  • Inglés: Agregados de cinco recursos de VDR existentes (reportes, diapositivas, tablas) para prevenir el olvido catastrófico de las capacidades multilingües del backbone.
• Minería de Negativos Difíciles (Hard-Negative Mining): Se extraen siete negativos difíciles por consulta utilizando un modelo más grande, Qwen3-VL-Embedding-8B.
  • Filtrado Consciente de Positivos (Positive-Aware Filtering): Los candidatos con una puntuación >95% de la similitud del positivo anotado se excluyen para reducir los falsos negativos.
  • Filtrado de Autoguiado (Self-Guide Filtering): Los negativos que puntúan significativamente más alto que el positivo (basado en un umbral de stop-gradient) se excluyen del cálculo de la pérdida.
• Función de Pérdida: Se optimiza un objetivo InfoNCE con ponderación de dureza (hardness weighting). Los negativos difíciles extraídos explícitamente reciben un término de stop-gradient adicional ponderado por un factor ($\alpha=2.0$) para enfatizar los ejemplos difíciles, mientras que los negativos dentro del lote (in-batch) permanecen sin ponderar.
• Objetivo: La pérdida se calcula conjuntamente a través de todas las dimensiones Matryoshka.

3. Etapa 2: Destilación de Conocimiento (KD)

• Datos: Utiliza únicamente el subconjunto de coreano del corpus.
• Modelo Maestro (Teacher Model): Qwen3-VL-Reranker-8B califica un conjunto de candidatos de 64 páginas (32 negativos difíciles minados + 32 muestras aleatorias) para cada consulta.
• Construcción del Objetivo: Se seleccionan los 8 negativos superiores (basados en las puntuaciones del maestro) junto con el positivo para formar la instancia de entrenamiento.
• Normalización de Puntuación: Un paso crítico implica la normalización min-max por fila tanto de las puntuaciones del estudiante como del maestro al rango [0, 1] antes de aplicar softmax. Esto aborda la escala no acotada y dependiente de la consulta de las puntuaciones del reranker, preservando la forma de la distribución de relevancia.
• Función de Pérdida: El estudiante minimiza la divergencia KL entre su distribución de puntuación y la distribución normalizada del maestro a través de todas las dimensiones Matryoshka.

Contribuciones Clave

1. Modelo KOVRE: Desarrollo de un recuperador de vector único compacto para documentos visuales en coreano que logra un rendimiento competitivo sin requerir un backbone más grande o índices multi-vectoriales.
2. Receta de Entrenamiento Sistemática: Un análisis exhaustivo de los componentes de entrenamiento, demostrando la eficacia de:
   • Supervisión bilingüe (coreano + inglés) para preservar las capacidades multilingües.
   • Minería de negativos difíciles consciente de los positivos y filtrado de autoguiado.
   • Ponderación de dureza para los negativos minados.
   • Normalización de puntuación min-max para una destilación de conocimiento efectiva.
   • La utilidad de las representaciones Matryoshka para una recuperación compacta.

Resultados

Evaluado en benchmarks de VDR en coreano (KoViDoRe y SDS KoPub VDR), KOVRE demuestra mejoras significativas:

• Ganancias de Rendimiento: El modelo final KOVRE de 2B supera sustancialmente a su backbone base Qwen3-VL-Embedding-2B.
• Comparación con Modelos Más Grandes: KOVRE supera a su contraparte de 8B de vector único (Qwen3-VL-Embedding-8B) y a una sólida línea base multi-vector de 4B (Jina Embeddings v4) en rendimiento agregado (nDCG@10).
• Eficiencia de Dimensionalidad: Incluso en dimensiones reducidas (p. ej., 256), KOVRE mantiene un fuerte rendimiento, superando ligeramente al modelo de 4096 dimensiones Qwen3-VL-Embedding-8B.
• Perspectivas de Ablación:
  • El entrenamiento bilingüe supera al entrenamiento solo en coreano.
  • Agregar conjuntos de datos de texto en coreano adicionales (sin contexto visual) redujo el rendimiento.
  • La normalización min-max en la Etapa 2 fue crítica; sin ella, la destilación perjudicaba activamente el rendimiento.

Significancia y Reivindicaciones

El artículo afirma que la supervisión bilingüe dirigida y las estrategias de entrenamiento cuidadosamente diseñadas pueden producir un modelo de VDR en coreano altamente efectivo en diversos dominios sin aumentar el tamaño del modelo o adoptar representaciones multi-vectoriales que consuman mucho almacenamiento.

Los autores posicionan a KOVRE como una solución práctica para los idiomas desatendidos por los modelos actuales, demostrando que un modelo compacto bien entrenado puede rivalizar o incluso superar a sistemas más grandes y complejos. El trabajo proporciona una receta de entrenamiento reproducible que enfatiza la importancia de la composición de datos, las estrategias de minería de negativos y la normalización de puntuación en la destilación de conocimiento para la recuperación de documentos visuales.

Limitaciones Notadas: Los autores reconocen que el corpus de entrenamiento en coreano contiene menos imágenes de páginas distintas en comparación con el inglés, lo que podría limitar la diversidad de diseños y tipos de documentos observados durante el entrenamiento. Sugieren que el trabajo futuro debería centrarse en expandir la diversidad de las imágenes de páginas en coreano en lugar de solo aumentar el conteo de consultas.