iDocV2: Leveraging Self-Supervision and Open-Set Detection for Improving Pattern Spotting in Historical Documents

Probleemstelling

De digitalisering van historische documenten (zoals middeleeuwse manuscripten) maakt het mogelijk om deze collecties digitaal te doorzoeken. Echter, traditionele zoekmethodes die gebaseerd zijn op OCR of handgeschreven tekstherkenning zijn ontoereikend voor illustraties en grafische patronen, die een groot deel van de inhoud uitmaken.
De huidige staat-van-de-kunst (SOTA) methoden voor patroonherkenning (pattern spotting) in historische documenten, zoals de correlatiegebaseerde aanpak van Curi et al. (2022), hebben twee ernstige tekortkomingen:

1. Slechte prestaties bij specifieke query's: Ze presteren bijzonder slecht bij kleine, niet-vierkante patronen (kleine mAP van 0,427), die wel 83% van de query's in de DocExplore-dataset uitmaken.
2. Excessieve verwerkingstijd: De gebruikte "dense-based" strategie (dichte correlatie tussen query en document) is extreem traag, met zoektijden tot wel 7 seconden per query, wat onpraktisch is voor grote bibliotheken.

Methodologie

Het paper introduceert iDocV2, een nieuw model dat de zoektijd drastisch verkort en de nauwkeurigheid verbetert door een combinatie van drie kerncomponenten:

1. Semantisch Gebaseerde Region Proposal (Open-Set Detection):
   In plaats van een document in een dichte grid van patches op te splitsen (zoals bij Curi), gebruikt het model een Open-Set Detector (Grounding DINO) om offline semantische regio's van belang te extraheren.

   • De detector gebruikt algemene prompts (bijv. "figuur", "gebouw", "schets", "symbool") om relevante objecten te lokaliseren.
   • Dit reduceert het aantal te vergelijken gebieden aanzienlijk (gemiddeld 112 regio's per pagina in plaats van duizenden pixels), wat de zoekruimte verkleint.
   • Nieuw in deze versie (iDocV2) is het gebruik van Non-Maximum Suppression (NMS) om valse positieven te reduceren.

2. iDoc: Een Specifieke Encoder met Self-Supervision:
   Het model maakt gebruik van een nieuwe encoder genaamd iDoc, die is opgeleid voor grafische patronen in historische documenten.

   • Basis: Het bouwt voort op de iBOT (Image BERT) architectuur, een Vision Transformer (ViT).
   • Training: In plaats van volledig opnieuw te trainen, wordt LoRA (Low-Rank Adaptation) gebruikt om de vooraf getrainde iBOT-encoder aan te passen aan het HORAE-dataset (een grote collectie geannoteerde pagina's van Boeken van Uren).
   • Self-Supervision: De training maakt gebruik van self-supervised learning (Masked Image Modeling), waardoor geen handmatige labels nodig zijn voor de enorme hoeveelheid visuele data.
   • Representatie: Het model gebruikt de class token van de ViT voor de uiteindelijke embedding, wat bewezen effectiever is dan het aggregeren van patch-embeddings.

3. Sparse Decoder (Similarity Search):
   De decoder voert een snelle zoekopdracht uit door de cosine-sequentie te berekenen tussen de embedding van de query en de embeddings van de geëxtraheerde semantische regio's. Dit is een "sparse" aanpak in tegenstelling tot de "dense" correlatie van eerdere modellen.

Belangrijkste Bijdragen

• Nieuwe SOTA voor kleine, niet-vierkante patronen: Het model lost het probleem op van het herkennen van vervormde of kleine patronen, waar eerdere modellen faalden.
• Efficiëntie door Sparse Matching: Door over te schakelen van dichte correlatie naar semantische regio-matching, wordt de zoektijd met een factor 10 verlaagd.
• Adaptatie met LoRA: Het demonstreert dat het aanpassen van een groot model met LoRA (in plaats van volledige fine-tuning of training van scratch) leidt tot betere generalisatie en voorkomt "catastrophic forgetting".
• Open-Set Region Proposal: Het toont aan dat het gebruik van een open-set detector (Grounding DINO) als voorfilter superieur is aan willekeurige crops of vaste grids voor historische documenten.

Resultaten

De prestaties zijn getest op de DocExplore-dataset (1447 pagina's, 35 categorieën) en vergeleken met de SOTA-modellen van En et al., Úbeda et al. en Curi et al.

• Patroonherkenning (Pattern Spotting):

  • Algemene mAP: iDoc bereikt een mAP van 0,620 (vergeleken met 0,494 bij Curi).
  • Kleine, niet-vierkante query's: Dit is het grootste succespunt. iDoc bereikt een mAP van 0,588 (een stijging van 16,1% ten opzichte van de vorige beste 0,427).
  • Snelheid: De zoektijd daalt van 7 seconden (Curi) naar 720 milliseconden (een versnelling van 10x).
  • Operaties: Het aantal vergelijkingen per pagina daalt van ~22.000 naar ~112.

• Document Retrieval:

  • Het model bereikt een mAP van 0,789 voor documentretrieval, wat statistisch niet significant verschilt van Curi's model (0,799), maar wel 10x sneller is.

• Ablatie Studies:

  • Het gebruik van LoRA in plaats van training van scratch resulteerde in een verbetering van 2% in de totale mAP.
  • Het gebruik van semantische regio's (Grounding DINO) in plaats van willekeurige regio's leverde een enorme winst op (mAP van 0,448 naar 0,620, een stijging van 17,2%).
  • Het gebruik van de class token was 10% effectiever dan patch-aggregatie.

Betekenis en Impact

Dit werk is significant omdat het een praktische, schaalbare oplossing biedt voor het doorzoeken van grote collecties gedigitaliseerde historische documenten.

1. Toepasbaarheid: Door de drastische snelheidswinst (10x) en de hoge nauwkeurigheid, wordt het model geschikt voor real-world toepassingen in digitale bibliotheken en archieven.
2. Robuustheid: Het model is specifiek beter in het omgaan met de variabiliteit in historische documenten (verschillende schalen en aspectratio's), wat een langdurig probleem was in dit domein.
3. Kostenefficiëntie: De combinatie van self-supervised learning en LoRA maakt het mogelijk om state-of-the-art modellen te trainen zonder de enorme rekenkracht die nodig is voor volledige fine-tuning of training van scratch.

Kortom, iDocV2 combineert geavanceerde self-supervised learning met efficiënte open-set detectie om een nieuwe standaard te zetten voor grafische zoekopdrachten in historische documenten.