iDocV2: Leveraging Self-Supervision and Open-Set Detection for Improving Pattern Spotting in Historical Documents

1. Il Problema

La digitalizzazione massiva di documenti storici (manoscritti, stampe antiche, disegni architettonici) ha reso cruciale la possibilità di cercare contenuti grafici all'interno di queste collezioni. Tuttavia, le strategie attuali per il rilevamento di pattern (pattern spotting) e il recupero di documenti storici presentano due limiti principali:

• Bassa precisione su query complesse: Le tecniche più avanzate (State-of-the-Art, SOTA), come quella di Curi et al. (2022), raggiungono una precisione media (mAP) di circa 0.494. Questo valore crolla drasticamente (0.427) quando si cercano pattern piccoli e non quadrati, che costituiscono l'83% delle query nel dataset DocExplore.
• Tempi di elaborazione eccessivi: I metodi SOTA attuali si basano su strategie di correlazione densa (dense correlation), che confrontano la query con ogni patch dell'immagine documento. Questo approccio richiede fino a 7 secondi per query su dataset di dimensioni moderate, rendendolo impraticabile per applicazioni reali su grandi biblioteche digitali. Inoltre, questi modelli non sono robusti alle variazioni di scala.

2. Metodologia Proposta (iDocV2)

Gli autori propongono un nuovo modello, iDocV2, che sostituisce l'approccio di correlazione densa con una strategia sparsa (sparse matching), basata su due componenti principali:

A. Encoder Semantico Adattato (iDoc)

Invece di utilizzare encoder generici pre-addestrati, gli autori hanno sviluppato iDoc, un encoder specifico per i pattern grafici dei documenti storici.

• Base Architetturale: Utilizza un modello ViT (Vision Transformer) basato su iBOT.
• Addestramento Self-Supervised: Il modello è stato addestrato sul dataset HORAE (una vasta collezione di libri d'ore medievali) utilizzando una strategia di apprendimento auto-supervisionato. Questo permette di sfruttare grandi quantità di dati visivi senza bisogno di etichette manuali.
• Adattamento LoRA: Per evitare il "catastrophic forgetting" (dimenticare le conoscenze pregresse) e ridurre i costi computazionali, viene utilizzata la Low-Rank Adaptation (LoRA). Invece di riaddestrare tutti i parametri, vengono adattati solo un piccolo sottoinsieme di parametri (circa il 4% del totale), mantenendo la conoscenza generale del modello pre-addestrato.
• Token di Classe: L'encoding finale si basa sul "class token" del ViT, che si è dimostrato superiore alla media delle patch.

B. Rilevatore Open-Set e Proposta di Regioni

Per accelerare la ricerca, il sistema non confronta l'intera immagine, ma solo le regioni di interesse.

• Region Proposal: Viene utilizzato Grounding DINO, un modello di rilevamento open-set, per estrarre semanticamente le regioni di interesse (es. figure, edifici, simboli, persone) dai documenti storici.
• Filtraggio: Le regioni candidate vengono filtrate tramite Non-Maximum Suppression (NMS) per eliminare i duplicati.
• Decodificatore Sparsa: Il sistema calcola la similarità (cosine similarity) solo tra l'encoding della query e i vettori delle regioni estratte, ordinando poi i risultati per punteggio di similarità.

3. Contributi Chiave

1. Nuovo Encoder (iDoc): Un encoder specifico per documenti storici addestrato con self-supervision e adattato via LoRA, che supera gli encoder generici (CLIP, DINOv2, ecc.).
2. Approccio Sparsa vs. Densa: Sostituzione della correlazione densa (lenta) con una ricerca basata su regioni semantiche estratte da un detector open-set, riducendo drasticamente il numero di confronti necessari.
3. Miglioramento su Query Difficili: Focus specifico sul miglioramento delle prestazioni per i pattern piccoli e non quadrati, che sono stati storicamente il punto debole dei sistemi precedenti.
4. Ottimizzazione dei Tempi: Riduzione del tempo di ricerca da 7 secondi a circa 720 ms (un miglioramento di 10x).

4. Risultati Sperimentali

Le sperimentazioni sono state condotte sul dataset DocExplore (1500 pagine, 1447 query) e confrontate con i modelli SOTA (En et al., Úbeda et al., Curi et al.).

• Pattern Spotting (Rilevamento di Pattern):
  • mAP Complessivo: Il modello iDoc raggiunge un mAP di 0.620, superando il SOTA precedente di Curi (0.494).
  • Query Piccole e Non Quadrati: Raggiunge un mAP di 0.588 (rispetto a 0.427 di Curi), un miglioramento del 16.1% (o +37.7% in termini di guadagno relativo).
  • Versione iDocV2 (con NMS): La versione finale che include la soppressione dei falsi positivi tramite NMS raggiunge un mAP di 0.645 su questo task.
• Document Retrieval (Recupero Documenti):
  • Il modello ottiene un mAP di 0.789, statisticamente equivalente al modello di Curi (0.799, p-value = 0.47), ma con una velocità di esecuzione 10 volte superiore.
• Efficienza Computazionale:
  • Il metodo di Curi richiede circa 22.080 confronti per pagina.
  • Il metodo iDoc, grazie all'estrazione di circa 112 regioni per pagina, riduce i confronti di un fattore 100x, portando il tempo di ricerca a 720 ms (contro i 7 secondi originali).

5. Significato e Impatto

Il lavoro di iDocV2 rappresenta un passo significativo verso l'uso pratico di motori di ricerca visiva nelle biblioteche digitali storiche.

• Accessibilità: La riduzione del tempo di risposta da secondi a millisecondi rende possibile l'interazione in tempo reale con grandi collezioni di documenti.
• Robustezza: La capacità di rilevare pattern piccoli e distorti (non quadrati) risolve un problema critico che limitava l'efficacia delle tecnologie precedenti.
• Scalabilità: L'uso di tecniche di adattamento (LoRA) e di estrazione semantica delle regioni permette di scalare il sistema a nuovi dataset storici senza la necessità di costosi riaddestramenti completi o di annotazioni manuali massicce.

In sintesi, iDocV2 dimostra che combinando encoder self-supervised adattati e rilevatori open-set, è possibile superare i compromessi tra precisione e velocità che hanno finora limitato il recupero di informazioni visive nei documenti storici.