iDocV2: Leveraging Self-Supervision and Open-Set Detection for Improving Pattern Spotting in Historical Documents

Resumo Técnico: iDocV2

1. O Problema

A digitalização massiva de documentos históricos (manuscritos, impressos antigos, desenhos arquitetônicos) criou a necessidade urgente de mecanismos eficientes para busca e recuperação de conteúdo. Enquanto a busca baseada em texto (OCR) é comum, muitos documentos históricos contêm ilustrações predominantes que exigem detecção de padrões visuais (ou pattern spotting).

Os desafios principais identificados pelos autores são:

• Baixa Precisão em Padrões Complexos: Estratégias atuais (State-of-the-Art - SOTA) apresentam desempenho inferior, especialmente para consultas pequenas e não quadradas (formatos retangulares finos), que representam 83% do conjunto de dados DocExplore. O modelo SOTA anterior (Curi et al., 2022) atingiu apenas 0,427 de precisão (mAP) nesse cenário.
• Tempo de Processamento Excessivo: Os métodos SOTA baseados em correlação densa (comparação pixel a pixel ou mapa de características denso) são computacionalmente caros, exigindo até 7 segundos por consulta para um conjunto de dados de 1.447 páginas.
• Falta de Robustez: Modelos existentes têm dificuldade em lidar com variações de escala e proporção (aspect ratio) dos padrões alvo.

2. Metodologia

O iDocV2 propõe uma arquitetura baseada em correspondência esparsa (sparse matching) em vez de densa, composta por três pilares principais:

• A. Codificador Visual Especializado (iDoc):

  • Em vez de usar apenas codificadores pré-treinados genéricos, os autores propõem o iDoc, um codificador adaptado especificamente para padrões gráficos de documentos históricos.
  • Estratégia de Treinamento: Utiliza Aprendizado Auto-supervisionado (Self-Supervised Learning) no conjunto de dados HORAE (500 manuscritos, ~107 mil imagens).
  • Base: O modelo base é o iBOT (uma arquitetura ViT - Vision Transformer).
  • Adaptação (LoRA): Para evitar o "esquecimento catastrófico" e reduzir custos computacionais, utiliza-se a adaptação LoRA (Low-Rank Adaptation) em vez de fine-tuning completo. Isso ajusta apenas uma pequena fração dos parâmetros (4,11%), mantendo o conhecimento prévio enquanto adapta ao domínio histórico.

• B. Proposta de Região Semântica (Open-Set Detection):

  • Para acelerar a busca, o modelo não compara a consulta com toda a imagem da página. Em vez disso, utiliza um detector de conjunto aberto (Grounding DINO) para extrair offline regiões de interesse (ROI) semânticas (ex: figuras, edifícios, símbolos, pessoas).
  • Isso transforma o problema de busca em uma comparação entre vetores de características de regiões específicas, reduzindo drasticamente o número de comparações necessárias.
  • As regiões são filtradas por NMS (Non-Maximum Suppression) para eliminar duplicatas.

• C. Decodificador Esparsa (Sparse Decoder):

  • Realiza uma busca por similaridade (cosseno) entre o vetor de características da consulta e os vetores das regiões extraídas dos documentos alvo.
  • Utiliza o token de classe do ViT para representar a imagem, em vez de agregar todas as patches, o que demonstrou ser mais eficaz.

3. Principais Contribuições

1. Novo Modelo iDoc: Um codificador treinado com auto-supervisão e adaptado via LoRA para o domínio de documentos medievais.
2. Mudança de Paradigma (Densa para Esparsa): Substituição da correlação densa (lenta) por uma abordagem baseada em extração de regiões semânticas, permitindo uma aceleração significativa.
3. Superação de Limitações de Formato: Foco explícito na melhoria da detecção de padrões pequenos e não quadrados, que eram os maiores gargalos dos modelos anteriores.
4. Integração de Open-Set Detection: Uso de Grounding DINO para criar um sistema de proposta de regiões que não depende de categorias pré-definidas rígidas, mas sim de conceitos gerais.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados DocExplore (1.500 páginas, 1.447 consultas) e comparados com o modelo SOTA de Curi et al. (2022).

• Precisão (Pattern Spotting):

  • Geral: O iDocV2 alcançou um mAP global de 0,620, superando o SOTA anterior (0,494).
  • Consultas Pequenas e Não Quadradas: O modelo atingiu um mAP de 0,588 (vs. 0,427 do SOTA), representando um ganho de 16,1% de precisão e um aumento de 37,7% em relação ao melhor modelo conhecido.
  • Recuperação de Documentos: O modelo alcançou um mAP de 0,789, estatisticamente similar ao melhor modelo (0,799), mas com desempenho muito superior em velocidade.

• Velocidade:

  • Redução drástica no tempo de busca: de 7 segundos (SOTA) para 720 ms (iDocV2), uma melhoria de 10x.
  • Redução de operações: O método SOTA realiza ~22.080 comparações por página, enquanto o iDocV2 realiza em média apenas ~112 comparações (baseado nas regiões extraídas).

• Ablação:

  • O uso de LoRA foi superior ao treinamento do zero (ganho de 2% no mAP global).
  • O uso de regiões semânticas (Grounding DINO) superou o uso de regiões aleatórias em 17,2% de mAP.
  • O uso do token de classe superou a agregação de patches em 10%.

5. Significância e Impacto

O trabalho iDocV2 representa um avanço significativo na área de Humanidades Digitais e Recuperação de Informação em Documentos Históricos.

• Viabilidade Prática: Ao reduzir o tempo de busca de segundos para milissegundos, o modelo torna viável a implementação em sistemas de busca em tempo real para grandes bibliotecas digitais, algo inviável com métodos densos anteriores.
• Acesso a Conteúdo Oculto: A melhoria na detecção de padrões pequenos e irregulares permite que pesquisadores localizem detalhes finos em manuscritos que antes eram ignorados ou perdidos pelos algoritmos.
• Eficiência Computacional: Demonstra que é possível alcançar desempenho de ponta (SOTA) sem o custo computacional proibitivo de modelos de correlação densa, utilizando estratégias inteligentes de extração de regiões e adaptação de modelos grandes (LLMs/ViTs) via LoRA.

Em suma, o iDocV2 oferece uma solução robusta, rápida e precisa para a localização de padrões gráficos em documentos históricos, facilitando o acesso e a preservação do patrimônio cultural digitalizado.