🤖 AI

KoVRE: Training an Efficient Embedding Model for Korean Visual Document Retrieval

O artigo apresenta o KoVRE, um modelo de incorporação de vetor único eficiente para a Recuperação de Documentos Visuais em coreano que aproveita a supervisão bilíngue direcionada e estratégias de treinamento avançadas para superar backbones maiores e baselines de múltiplos vetores sem exigir escala massiva.

Autores originais: Yongbin Choi, Gyuho Shim, Youngjoon Jang

Publicado 2026-08-04

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yongbin Choi, Gyuho Shim, Youngjoon Jang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar uma página específica em uma biblioteca massiva e bagunçada onde os livros são feitos de imagens, não apenas palavras. Se você pedisse a um bibliotecário por "uma página com um gráfico vermelho e uma história sobre dinheiro", ele poderia tentar ler o texto em voz alta primeiro. Mas e se o texto estiver borrado, ou o gráfico estiver desenhado de uma forma que as palavras não conseguem descrever? É aí que entra a Recuperação Visual de Documentos (Visual Document Retrieval). Em vez de apenas ler as palavras, essa tecnologia olha para a imagem real da página — o layout, as cores, as tabelas e as figuras — para encontrar exatamente o que você precisa. É como ter um bibliotecário que consegue "ver" a página inteira, não apenas ler as letras.

Normalmente, esses bibliotecários inteligentes são treinados principalmente em livros de inglês. Se você perguntar sobre documentos coreanos, eles podem ficar confusos porque as formas das letras e a maneira como as páginas são desenhadas são diferentes. Além disso, tornar esses bibliotecários superinteligentes muitas vezes exige que eles sejam enormes, lentos e caros para operar, como um supercomputador gigante tentando lembrar cada pixel de cada livro. A grande questão é: Podemos construir um bibliotecário menor, mais rápido e mais barato que seja treinado especificamente para entender documentos visuais coreanos sem precisar ser um gigante?

Isso é exatamente o que os pesquisadores por trás do KOVRE se propuseram a fazer. Eles criaram um "bibliotecário" compacto (um modelo de computador) especificamente para documentos visuais coreanos. Em vez de tornar o bibliotecário maior, eles o ensinaram de forma mais inteligente. Eles o treinaram em uma coleção massiva de 708.729 pares de perguntas e páginas de documentos, misturando coreano e inglês para manter o modelo afiado. Eles usaram um processo de treinamento astuto de duas etapas: primeiro, mostraram ao modelo exemplos complicados (negativos difíceis) para ensiná-lo o que não escolher e, segundo, fizeram com que um modelo "professor" (um especialista muito inteligente, mas lento) mostrasse ao modelo aluno como classificar as melhores respostas.

Os resultados foram surpreendentes e promissores. Seu novo modelo de 2 bilhões de parâmetros (que é relativamente pequeno) não apenas se saiu bem; ele na verdade superou um modelo muito maior de 8 bilhões de parâmetros e até superou um sistema poderoso que utiliza um método complexo e pesado em memória para armazenar informações. O artigo sugere que, ao projetar cuidadosamente a receita de treinamento — especificamente como lidaram com exemplos difíceis e como normalizaram as pontuações durante a fase de aprendizado "professor-aluno", você pode criar um buscador de documentos coreanos altamente eficaz sem precisar de um computador massivo ou de um enorme sistema de armazenamento. É uma prova de que, com a estratégia de treinamento certa, um modelo pequeno e eficiente pode ser tão bom, ou até melhor, do que os gigantes.

Resumo Técnico: KOVRE – Treinando um Modelo de Embedding Eficiente para Recuperação de Documentos Visuais em Coreano

Declaração do Problema

A Recuperação de Documentos Visuais (VDR - Visual Document Retrieval) visa combinar consultas de texto diretamente com imagens de documentos renderizadas, preservando informações visuais e estruturais críticas (ex: tabelas, figuras, layout) que são frequentemente perdidas durante os pipelines de OCR (Reconhecimento Óptico de Caracteres) e extração de texto. Embora modelos recentes de VDR tenham alcançado um desempenho sólido, eles enfrentam três limitações principais:

Viés Centrado no Inglês: Os dados de treinamento e os benchmarks existentes são predominantemente em inglês, deixando uma lacuna para sistemas de alto desempenho em coreano.
Intensidade de Recursos: Modelos de alto desempenho frequentemente dependem de backbones massivos (ex: 8B+ parâmetros) ou representações multi-vetoriais (armazenando múltiplos embeddings por página), o que acarreta custos significativos de armazenamento e recuperação.
Estratégias de Treinamento Subexploradas: Há pouca pesquisa sobre como treinar efetivamente recuperadores compactos de vetor único para idiomas específicos, particularmente no que diz respeito à composição de dados de treinamento, mineração de negativos difíceis (hard-negative mining) e destilação de conhecimento de rerankers.

Metodologia

Os autores apresentam o KOVRE (KOrean Visual Document Retrieval Embedding), um recuperador compacto de vetor único adaptado do modelo Qwen3-VL-Embedding-2B. O processo de treinamento é dividido em duas etapas distintas:

1. Modelo Base e Representação

Arquitetura: O modelo mantém a arquitetura original de visão-linguagem Qwen3-VL-Embedding-2B sem modificações.
Entrada: Ele aceita consultas de texto e imagens de páginas de documentos renderizadas, mapeando-as para um espaço denso compartilhado.
Aprendizado de Representação Matryoshka (MRL): O modelo é treinado para gerar embeddings em múltiplas dimensões (2048, 1024, 768, 512, 256, 128), permitindo trocas flexíveis entre qualidade de recuperação e eficiência de armazenamento.
Similaridade: A similaridade de cosseno é utilizada tanto para o treinamento quanto para a inferência.

2. Etapa 1: Aprendizado Contrastivo (CL)

Dados: O modelo é treinado em 708.729 pares consulta–página, compreendendo dados tanto em coreano quanto em inglês.
- Coreano: Combina dados públicos KoViDoRe e coleções privadas do AI Hub.
- Inglês: Agregados de cinco recursos existentes de VDR (relatórios, slides, tabelas) para evitar o esquecimento catastrófico das capacidades multilíngues do backbone.
Mineração de Negativos Difíceis (Hard-Negative Mining): Sete negativos difíceis por consulta são minerados usando um modelo maior, o Qwen3-VL-Embedding-8B.
- Filtragem Consciente de Positivos (Positive-Aware Filtering): Candidatos com pontuação >95% da similaridade do positivo anotado são excluídos para reduzir falsos negativos.
- Filtragem de Autogestão (Self-Guide Filtering): Negativos que pontuam significativamente acima do positivo (com base em um limiar de stop-gradient) são excluídos do cálculo da perda.
Função de Perda: Um objetivo InfoNCE é otimizado com ponderação de dificuldade (hardness weighting). Negativos difíceis explicitamente minerados recebem um termo de stop-gradient adicional ponderado por um fator ( $\alpha=2.0$ ) para enfatizar exemplos difíceis, enquanto os negativos dentro do lote (in-batch negatives) permanecem não ponderados.
Objetivo: A perda é computada conjuntamente em todas as dimensões Matryoshka.

3. Etapa 2: Destilação de Conhecimento (KD)

Dados: Utiliza apenas o subconjunto de coreano do corpus.
Modelo Professor: O Qwen3-VL-Reranker-8B pontua um pool de candidatos de 64 páginas (32 negativos difíceis minerados + 32 amostras aleatórias) para cada consulta.
Construção do Alvo: Os 8 negativos principais (baseados nos scores do professor) são selecionados junto com o positivo para formar a instância de treinamento.
Normalização de Pontuação: Uma etapa crítica envolve a normalização min-max por linha de ambos os scores do professor e do aluno para o intervalo [0, 1] antes de aplicar o softmax. Isso aborda a escala ilimitada e dependente da consulta dos scores do reranker, preservando a forma da distribuição de relevância.
Função de Perda: O aluno minimiza a divergência KL entre sua distribuição de pontuação e a distribuição normalizada do professor em todas as dimensões Matryoshka.

Principais Contribuições

Modelo KOVRE: Desenvolvimento de um recuperador de vetor único compacto para documentos visuais em coreano que alcança desempenho competitivo sem exigir um backbone maior ou índices multi-vetoriais.
Receita de Treinamento Sistemática: Uma análise abrangente dos componentes de treinamento, demonstrando a eficácia de:
- Supervisão bilíngue (coreano + inglês) para preservar as capacidades multilíngues.
- Mineração de negativos difíceis consciente de positivos e filtragem de autogestão.
- Ponderação de dificuldade para negativos minerados.
- Normalização min-max de pontuação para destilação de conhecimento eficaz.
- A utilidade das representações Matryoshka para recuperação compacta.

Resultados

Avaliado em benchmarks de VDR coreano (KoViDoRe e SDS KoPub VDR), o KOVRE demonstra melhorias significativas:

Ganhos de Desempenho: O modelo final KOVRE de 2B supera substancialmente seu backbone base Qwen3-VL-Embedding-2B.
Comparação com Modelos Maiores: O KOVRE supera o seu equivalente de 8B de vetor único (Qwen3-VL-Embedding-8B) e um forte baseline multi-vetorial de 4B (Jina Embeddings v4) em desempenho agregado (nDCG@10).
Eficiência de Dimensionalidade: Mesmo em dimensões reduzidas (ex: 256), o KOVRE mantém um desempenho forte, superando ligeiramente o Qwen3-VL-Embedding-8B de 4096 dimensões.
Insights de Ablação:
- O treinamento bilíngue supera o treinamento apenas em coreano.
- A adição de conjuntos de dados de texto coreano extras (sem contexto visual) reduziu o desempenho.
- A normalização min-max na Etapa 2 foi crítica; sem ela, a destilação prejudicava ativamente o desempenho.

Significância e Alegações

O artigo afirma que a supervisão bilíngue direcionada e estratégias de treinamento cuidadosamente projetadas podem produzir um modelo de VDR em coreano altamente eficaz em diversos domínios sem aumentar o tamanho do modelo ou adotar representações multi-vetoriais que consomem muito armazenamento.

Os autores posicionam o KOVRE como uma solução prática para idiomas subatendidos pelos modelos atuais, demonstrando que um modelo compacto bem treinado pode rivalizar ou exceder sistemas maiores e mais complexos. O trabalho fornece uma receita de treinamento reproduzível que enfatiza a importância da composição de dados, estratégias de mineração de negativos e normalização de pontuação na destilação de conhecimento para recuperação de documentos visuais.

Limitações Observadas: Os autores reconhecem que o corpus de treinamento em coreano contém menos imagens de páginas distintas em comparação ao inglês, o que pode limitar a diversidade de layouts e tipos de documentos observados durante o treinamento. Eles sugerem que trabalhos futuros devem focar na expansão da diversidade das imagens de páginas em coreano, em vez de apenas aumentar as contagens de consultas.