DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation

Resumo Técnico do DistilVDR

Problema
A Recuperação de Documentos Visuais (VDR - Visual Document Retrieval) é atualmente dominada por modelos massivos de visão-linguagem (variando de 2 a 8 bilhões de parâmetros) que codificam páginas de documentos como imagens para evitar erros de OCR e preservar o layout. Embora eficazes, esses modelos são proibitivamente caros para implementar: exigem memória significativa de GPU para indexação, incorrem em alta latência durante a pontuação e geram pegadas de índice massivas, particularmente quando utilizam arquiteturas de múltiplos vetores. As estratégias de compressão existentes enfrentam um compromisso: treinar codificadores de múltiplos vetores menores do zero preserva a qualidade, mas mantém os altos custos de indexação e pontuação dos sistemas de múltiplos vetores, enquanto destilar apenas o lado da consulta deixa o codificador de documentos na escala massiva do professor. Há uma falta de recuperadores de vetor único, compactos e de ponta a ponta, que alcancem alta qualidade sem o overhead de interação de múltiplos vetores ou contagens massivas de parâmetros.

Metodologia
Os autores propõem o DistilVDR, um sistema VDR de vetor único de ponta a ponta com 524 milhões de parâmetros. A abordagem baseia-se na destilação de aluno duplo a partir de um único professor de visão-linguagem congelado de 8 bilhões de parâmetros (Qwen3-VL-Embedding-8B).

• Arquitetura: O sistema emprega um design de aluno assimétrico, apenas codificador (encoder-only), adaptado à assimetria de entrada do VDR (consultas de texto vs. documentos de imagem).
  • Codificador de Consulta (Query Encoder): Um codificador leve de apenas texto de 70 milhões de parâmetros baseado em DistilBERT-base. Ele processa consultas de texto prefixadas com a mesma string de instrução usada para treinar o professor.
  • Codificador de Documento (Document Encoder): Um codificador mais pesado de 454 milhões de parâmetros combinando um codificador visual InternViT de 300 milhões e um backbone de texto ModernBERT-base de 150 milhões. Ele processa imagens de documentos através de uma estratégia de ladrilhamento (tiling) dinâmica que adapta o layout da grade à proporção da página, ao mesmo tempo em que limita o número total de tokens visuais para caber na janela de contexto do backbone. Os tokens visuais são projetados no espaço de embedding do backbone de texto e processados com atenção bidirecional.
• Objetivo de Treinamento: Ambos os codificadores de aluno são treinados independentemente para regredir sobre os embeddings de 4096 dimensões em cache produzidos pelo professor congelado. A função de perda é uma perda de alinhamento de cosseno ponto a ponto ($L = 1 - \langle \text{aluno}, \text{professor} \rangle$).
  • Crucialmente, o objetivo do aluno não requer rótulos de relevância, amostragem negativa ou termos contrastivos. A supervisão deriva inteiramente do espaço de embedding do professor, que foi pré-treinado com supervisão de relevância.
  • Os dois alunos são desacoplados durante o treinamento, permitindo a otimização paralela.
• Variantes: Duas variantes de implementação são lançadas, diferindo apenas no orçamento de tokens visuais (contagem de ladrilhos) para o codificador de documento:
  • DistilVDR-HiRes: Usa até 6 ladrilhos mais uma miniatura (máximo de 7.168 tokens).
  • DistilVDR-Fast: Usa até 2 ladrilhos mais uma miniatura (máximo de 3.072 tokens).

Principais Resultados
Avaliado no conjunto completo de 22 datasets ViDoRe (v1, v2 e v3), o DistilVDR demonstra melhorias significativas nos compromissos entre qualidade e eficiência:

• Qualidade de Recuperação: O DistilVDR-HiRes alcança um NDCG@5 médio de 61,74 no ViDoRe, retendo 86,9% do desempenho do professor de 8 B (71,05). Ele supera todos os basais sub-1 B reproduzidos, incluindo modelos de múltiplos vetores como colSmol-500M (53,01) e ColModernVBERT (42,46). No benchmark v3, sensível à alta resolução, ele lidera todos os basais sub-1 B por uma margem ampla (47,07 vs. 33,52 para o próximo melhor). O DistilVDR-Fast alcança 59,98 de NDCG@5 médio com um orçamento de tokens visuais 3× menor.
• Eficiência:
  • Indexação: O DistilVDR indexa um corpus uma ordem de magnitude mais rápido que o professor de 8 B e significativamente mais rápido que os basais de múltiplos vetores.
  • Armazenamento: O índice de vetor único é 15,6 vezes menor que o mais forte basal de múltiplos vetores sub-1 B (16,4 GB vs. 256 GB por milhão de documentos).
  • Pontuação (Scoring): A latência de pontuação é reduzida em duas ordens de magnitude comparada à pontuação MaxSim de múltiplos vetores (9,6 ms para 10k documentos vs. ~1,1–3,2 s).
  • Throughput: O DistilVDR-Fast alcança 99,04 docs/seg, cerca de 18× mais rápido que o professor de 8 B.

Significância e Alegações
O artigo afirma que o DistilVDR consegue fechar a lacuna entre a alta qualidade de modelos massivos e a eficiência de implementação de sistemas compactos. Ao destilar tanto o codificador de consulta quanto o de documento a partir de um único professor sob uma perda de alinhamento de cosseno, os autores demonstram que um recuperador de vetor único compacto pode ser treinado de ponta a ponta sem aprendizado contrastivo ou mineração de negativos.

Os autores posicionam o DistilVDR como um ponto de operação superior na escala de 500 M, dominando a rota de múltiplos vetores sub-1 B "do zero" tanto em qualidade de recuperação quanto em todas as métricas de implementação (latência, VRAM, tamanho do índice). Eles enfatizam que o sucesso do sistema reside no espaço de embedding pré-treinado do professor, que transfere o conhecimento de relevância sem exigir que o aluno o aprenda do zero via objetivos contrastivos.

Limitações e Escopo
Os autores observam várias limitações:

• Dependência do Professor: O aluno é limitado pelas capacidades do professor; fraquezas sistemáticas do professor de 8 B propagam-se para o DistilVDR.
• Escopo Experimental: As comparações são feitas contra lançamentos públicos oficiais, em vez de basais retreinados com orçamentos de computação equivalentes. O artigo não realiza varreduras em escalas ou famílias de professores.
• Lacuna de Desempenho: Embora competitivo com modelos de 2–3 B, o DistilVDR ainda fica atrás dos modelos mais fortes de 4–8 B de múltiplos vetores, particularmente no complexo benchmark v3.
• Adaptabilidade de Conteúdo: O orçamento de ladrilhamento é fixo no momento do lançamento com base na proporção de aspecto, não na complexidade do conteúdo da página.
• Escopo de Consulta: O codificador de consulta é apenas de texto e treinado em idiomas de escrita inglesa e latina; ele não suporta consultas condicionadas a imagens ou scripts não latinos.
• Compressão: A pegada de índice relatada assume vetores float32 não comprimidos; outras técnicas de quantização não foram testadas.