🤖 AI

KoVRE: Training an Efficient Embedding Model for Korean Visual Document Retrieval

L'article présente KoVRE, un modèle d'encodage à vecteur unique efficace pour la recherche visuelle de documents coréens qui exploite une supervision bilingue ciblée et des stratégies d'entraînement avancées pour surpasser des architectures plus larges et des modèles de référence multi-vecteurs sans nécessiter une échelle massive.

Auteurs originaux : Yongbin Choi, Gyuho Shim, Youngjoon Jang

Publié 2026-08-04

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yongbin Choi, Gyuho Shim, Youngjoon Jang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de trouver une page spécifique dans une bibliothèque massive et désordonnée où les livres sont faits d'images, et pas seulement de mots. Si vous demandez à un bibliothécaire « une page avec un graphique rouge et une histoire sur l'argent », il pourrait essayer de lire le texte à haute voix en premier. Mais que se passe-t-il si le texte est flou, ou si le graphique est dessiné d'une manière que les mots ne peuvent pas décrire ? C'est là qu'intervient la Recherche de Documents Visuels (Visual Document Retrieval). Au lieu de simplement lire les mots, cette technologie regarde l'image réelle de la page — la mise en page, les couleurs, les tableaux et les images — pour trouver exactement ce dont vous avez besoin. C'est comme avoir un bibliothécaire capable de « voir » la page entière, et pas seulement de lire les lettres.

Habituellement, ces bibliothécaires intelligents sont entraînés principalement sur des livres en anglais. Si vous les interrogez sur des documents coréens, ils pourraient être confus car la forme des lettres et la manière dont les pages sont conçues sont différentes. De plus, rendre ces bibliothécaires super intelligents nécessite souvent qu'ils soient énormes, lents et coûteux à exploiter, comme un gigantesque superordinateur essayant de se souvenir de chaque pixel de chaque livre. La grande question est la suivante : pouvons-nous construire un bibliothécaire plus petit, plus rapide et moins cher, qui soit spécifiquement entraîné pour comprendre les documents visuels coréens sans avoir besoin d'être un géant ?

C'est exactement ce que les chercheurs derrière KOVRE ont entrepris de faire. Ils ont créé un nouveau « bibliothécaire » compact (un modèle informatique) spécifiquement pour les documents visuels coréens. Au lieu de rendre le bibliothécaire plus grand, ils l'ont rendu plus intelligent. Ils l'ont entraîné sur une collection massive de 708 729 paires de questions et de pages de documents, en mélangeant le coréen et l'anglais pour garder le modèle performant. Ils ont utilisé un processus d'entraînement astucieux en deux étapes : d'abord, ils ont montré au modèle des exemples difficiles (des négatifs difficiles) pour lui apprendre ce qu'il ne doit pas choisir, et ensuite, ils ont fait en sorte qu'un modèle « enseignant » (un expert très intelligent mais lent) montre au modèle « élève » comment classer les meilleures réponses.

Les résultats ont été surprenants et prometteurs. Leur nouveau modèle de 2 milliards de paramètres (qui est relativement petit) n'a pas seulement bien réussi ; il a en fait battu un modèle beaucoup plus grand de 8 milliards de paramètres et a même surpassé un système puissant qui utilise une méthode complexe et gourmande en mémoire pour stocker l'information. L'article suggère qu'en concevant soigneusement la recette d'entraînement — spécifiquement la façon dont ils ont géré les exemples difficiles et la façon dont ils ont normalisé les scores durant la phase d'apprentissage « enseignant-élève » — on peut créer un moteur de recherche de documents coréens hautement efficace sans avoir besoin d'un ordinateur massif ou d'un énorme système de stockage. C'est la preuve qu'avec la bonne stratégie d'entraînement, un modèle petit et efficace peut être aussi bon, voire meilleur, que les géants.

Résumé Technique : KOVRE – Entraînement d'un modèle d'embedding efficace pour la recherche de documents visuels en coréen

Énoncé du Problème

La recherche de documents visuels (Visual Document Retrieval - VDR) vise à faire correspondre des requêtes textuelles directement avec des images de documents rendus, préservant ainsi les informations visuelles et structurelles critiques (ex. : tableaux, figures, mise en page) qui sont souvent perdues lors des pipelines d'OCR (Reconnaissance Optique de Caractères) et d'extraction de texte. Bien que les modèles récents de VDR affichent de solides performances, ils font face à trois limitations principales :

Biais centré sur l'anglais : Les données d'entraînement et les benchmarks existants sont principalement en anglais, laissant un vide pour des systèmes performants en coréen.
Intensité des ressources : Les modèles de haute performance reposent souvent sur des architectures massives (ex. : 8B+ paramètres) ou des représentations multi-vecteurs (stockant plusieurs embeddings par page), ce qui entraîne des coûts de stockage et de recherche importants.
Stratégies d'entraînement sous-explorées : Il existe peu de recherches sur la manière d'entraîner efficacement des récupérateurs compacts à vecteur unique pour des langues spécifiques, particulièrement concernant la composition des données d'entraînement, le minage de négatifs difficiles (hard-negative mining) et la distillation de connaissances à partir de rerankers.

Méthodologie

Les auteurs introduisent KOVRE (KOrean Visual Document Retrieval Embedding), un récupérateur compact à vecteur unique adapté du modèle Qwen3-VL-Embedding-2B. Le processus d'entraînement est divisé en deux étapes distinctes :

1. Modèle de base et représentation

Architecture : Le modèle conserve l'architecture vision-langage originale de Qwen3-VL-Embedding-2B sans modification.
Entrée : Il accepte des requêtes textuelles et des images de pages de documents rendues, les projetant dans un espace dense partagé.
Apprentissage de Représentation Matryoshka (MRL) : Le modèle est entraîné pour produire des embeddings à plusieurs dimensions (2048, 1024, 768, 512, 256, 128), permettant des compromis flexibles entre qualité de recherche et efficacité de stockage.
Similarité : La similarité cosinus est utilisée pour l'entraînement et l'inférence.

2. Étape 1 : Apprentissage Contrastif (CL)

Données : Le modèle est entraîné sur 708 729 paires requête-page comprenant des données coréennes et anglaises.
- Coréen : Combine les données publiques KoViDoRe et des collections privées d'AI Hub.
- Anglais : Agrégées à partir de cinq ressources VDR existantes (rapports, diapositives, tableaux) pour éviter l'oubli catastrophique des capacités multilingues de l'architecture de base.
Minage de Négatifs Difficiles (Hard-Negative Mining) : Sept négatifs difficiles par requête sont extraits à l'aide d'un modèle plus large, Qwen3-VL-Embedding-8B.
- Filtrage Sensible aux Positifs (Positive-Aware Filtering) : Les candidats ayant un score >95 % de la similarité du positif annoté sont exclus pour réduire les faux négatifs.
- Filtrage Auto-Guidé (Self-Guide Filtering) : Les négatifs ayant un score significativement plus élevé que le positif (basé sur un seuil de stop-gradient) sont exclus du calcul de la perte.
Fonction de Perte : Un objectif InfoNCE est optimisé avec une pondération de difficulté (hardness weighting). Les négatifs difficiles explicitement minés reçoivent un terme de stop-gradient supplémentaire pondéré par un facteur ( $\alpha=2.0$ ) pour accentuer les exemples difficiles, tandis que les négatifs au sein du batch restent non pondérés.
Objectif : La perte est calculée conjointement sur toutes les dimensions Matryoshka.

3. Étape 2 : Distillation de Connaissances (KD)

Données : Utilise uniquement le sous-ensemble coréen du corpus.
Modèle Enseignant (Teacher) : Qwen3-VL-Reranker-8B score un pool de 64 pages (32 négatifs difficiles minés + 32 échantillons aléatoires) pour chaque requête.
Construction de la Cible : Les 8 meilleurs négatifs (basés sur les scores de l'enseignant) sont sélectionnés aux côtés du positif pour former l'instance d'entraînement.
Normalisation des Scores : Une étape critique implique une normalisation min-max par ligne des scores de l'enseignant et de l'étudiant vers l'intervalle [0, 1] avant d'appliquer le softmax. Cela traite l'échelle non bornée et dépendante de la requête des scores de reranker, préservant la forme de la distribution de pertinence.
Fonction de Perte : L'étudiant minimise la divergence KL entre sa distribution de scores et la distribution normalisée de l'enseignant à travers toutes les dimensions Matryoshka.

Principales Contributions

Modèle KOVRE : Développement d'un récupérateur compact à vecteur unique pour les documents visuels coréens qui atteint des performances compétitives sans nécessiter une architecture plus large ou des index multi-vecteurs.
Recette d'Entraînement Systématique : Une analyse complète des composants d'entraînement, démontrant l'efficacité de :
- La supervision bilingue (coréen + anglais) pour préserver les capacités multilingues.
- Le minage de négatifs difficiles sensible aux positifs et le filtrage auto-guidé.
- La pondération de difficulté pour les négatifs minés.
- La normalisation min-max des scores pour une distillation de connaissances efficace.
- L'utilité des représentations Matryoshka pour une recherche compacte.

Résultats

Évalué sur les benchmarks VDR coréens (KoViDoRe et SDS KoPub VDR), KOVRE démontre des améliorations significatives :

Gains de Performance : Le modèle final KOVRE 2B surpasse substantiellement son architecture de base Qwen3-VL-Embedding-2B.
Comparaison avec des Modèles Plus Grands : KOVRE surpasse son homologue 8B à vecteur unique (Qwen3-VL-Embedding-8B) et une base 4B multi-vecteurs robuste (Jina Embeddings v4) en performance globale (nDCG@10).
Efficacité Dimensionnelle : Même à des dimensions réduites (ex. : 256), KOVRE conserve une forte performance, surpassant légèrement le modèle Qwen3-VL-Embedding-8B de 4096 dimensions.
Insights d'Ablation :
- L'entraînement bilingue surpasse l'entraînement uniquement en coréen.
- L'ajout de jeux de données textuels coréens supplémentaires (sans contexte visuel) a réduit la performance.
- La normalisation min-max dans l'étape 2 était critique ; sans elle, la distillation nuisait activement à la performance.

Signification et Revendications

L'article affirme qu'une supervision bilingue ciblée et des stratégies d'entraînement soigneusement conçues peuvent produire un modèle VDR coréen hautement efficace dans divers domaines sans augmenter la taille du modèle ou adopter des représentations multi-vecteurs gourmandes en stockage.

Les auteurs positionnent KOVRE comme une solution pratique pour les langues mal desservies par les modèles actuels, démontrant qu'un modèle compact bien entraîné peut rivaliser ou dépasser des systèmes plus grands et plus complexes. Ce travail fournit une recette d'entraînement reproductible qui souligne l'importance de la composition des données, des stratégies de minage de négatifs et de la normalisation des scores dans la distillation de connaissances pour la recherche de documents visuels.

Limites Notées : Les auteurs reconnaissent que le corpus d'entraînement coréen contient moins d'images de pages distinctes par rapport à l'anglais, ce qui pourrait limiter la diversité des mises en page et des types de documents observés pendant l'entraînement. Ils suggèrent que les travaux futurs devraient se concentrer sur l'expansion de la diversité des images de pages coréennes plutôt que sur l'augmentation du nombre de requêtes.