Enhancing Oracle Bone Inscription Recognition via Multi-Scale Layer Attention

Sintesi Tecnica: Miglioramento del Riconoscimento delle Iscrizioni su Ossa Oracolari tramite l'Attenzione Multi-Scala tra i Livelli (Multi-Scale Layer Attention)

Problema
Le iscrizioni su ossa oracolari (OBI) rappresentano la prima forma sistematizzata di scrittura cinese e rivestono un profondo significato storico. Tuttavia, il loro riconoscimento automatico rimane estremamente complesso a causa delle strutture dei caratteri complesse, irregolari, frammentate e spesso degradate. Sebbene il deep learning abbia fatto progressi nel riconoscimento d'immagine generale, i metodi esistenti faticano a catturare i dettagli fini e le sottili variazioni intrinseche nelle OBI. Nello specifico, il documento identifica un limite critico nei recenti meccanismi di "attenzione tra i livelli" (layer attention): essi operano tipicamente su un numero molto limitato di token (spesso meno di 5 nei backbone ResNet standard) quando modellano le interazioni tra i livelli. Questa scarsità di token limita la diversità dello scambio di informazioni, impedendo al modello di catturare efficacemente le intricate dipendenze strutturali necessarie per un accurato riconoscimento delle OBI.

Metodologia: Multi-Scale Layer Attention (MSLA)
Per affrontare i limiti della scarsità di token nei convenzionali meccanismi di attenzione tra i livelli, gli autori propongono la Multi-Scale Layer Attention (MSLA). Questo nuovo paradigma modella esplicitamente le interazioni tra caratteristiche multi-scala e tra i livelli. I componenti principali di MSLA includono:

1. Estrazione di Token Multi-Scala: A differenza della standard layer attention che tratta ogni livello come un singolo token, MSLA arricchisce l'insieme dei token estraendo caratteristiche a più scale spaziali dalla mappa delle caratteristiche di input.

   • Global Tokens: Generati tramite global average pooling per catturare informazioni contestuali olistiche.
   • Local Tokens: Generati partizionando la mappa delle caratteristiche in una griglia di patch non sovrapposte ($P \times P$) e applicando un adaptive average pooling. Ciò cattura strutture spaziali fini.
   • Questi vengono concatenati per formare un insieme di token multi-scala $X_{multi}$.

2. Accumulo Progressivo di Key e Value: Il meccanismo impiega una strategia di accumulo progressivo in cui le rappresentazioni di chiave ($K$) e valore ($V$) di tutti i livelli precedenti vengono concatenate. Ciò consente al livello corrente di prestare attenzione a un deposito crescente di token multi-scala proveniente dall'intera profondità della rete, piuttosto che solo dai predecessori immediati.

3. Multi-Head Attention e Raffinamento delle Caratteristiche: La query ($Q$) del livello corrente è derivata dai suoi token multi-scala, mentre l'accumulo di $K$ e $V$ dai livelli precedenti viene utilizzato per calcolare i pesi dell'attenzione. L'output dell'attenzione risultante viene aggregato lungo la dimensione dei token per creare un descrittore per canale (channel-wise), che viene poi utilizzato per raffinare la mappa delle caratteristiche originale tramite moltiplicazione elemento per elemento.

Contributi Chiave

1. Nuovo Paradigma di Attenzione: Il documento introduce MSLA, un meccanismo di attenzione tra i livelli progettato specificamente per superare l'inerente scarsità di token della convenzionale layer attention per il riconoscimento delle OBI.
2. Strategia di Arricchimento dei Token: Introducendo una strategia di arricchimento dei token multi-scala e di accumulo progressivo, il metodo consente a ogni livello di prestare attenzione a un insieme di token in progressiva espansione, derivati sia da rappresentazioni globali che locali. Ciò migliora sostanzialmente la capacità del modello di catturare dettagli fini e complesse dipendenze strutturali.
3. Validazione Empirica: Gli autori conducono estesi esperimenti su quattro dataset di grandi dimensioni per le OBI (Oracle-MNIST, OBC306, HUST-OBS e EVOBC), dimostrando che MSLA supera costantemente i meccanismi di attenzione allo stato dell'arte mantenendo un'elevata efficienza computazionale.

Risultati Sperimentali
Il metodo proposto è stato valutato rispetto a vari baseline, inclusi modelli di machine learning tradizionali, CNN standard e recenti meccanismi di attenzione (ad es., SENet, CBAM, ECANet, MRLA, DLA).

• Oracle-MNIST: MSLA ha raggiunto un'accuratezza del 96,05% con ResNet-20 e del 96,30% con ResNet-56, superando la vanilla ResNet e altre varianti di attenzione con un incremento minimo di parametri (ad es., +0,02M di parametri per ResNet-20).
• OBC306: MSLA ha raggiunto un'accuratezza del 91,29% con ResNet-20, superando la vanilla ResNet-20 del 3,56% e superando altri metodi di interazione tra i livelli come MRLA-L e DLA-L. Notevolmente, MSLA-20 ha superato la vanilla ResNet-56 nonostante avesse significativamente meno parametri.
• HUST-OBS: MSLA ha ottenuto un'accuratezza del 94,12% con ResNet-50, migliorando la baseline vanilla (93,74%) e superando significativamente MRLA-B (92,94%).
• EVOBC: Su questo dataset altamente impegnativo con 13.714 classi, MSLA ha ottenuto un'accuratezza del 49,45% con ResNet-50, superando tutti gli altri metodi testati, inclusi quelli che sono stati inferiori alla baseline vanilla.

Gli studi di ablazione hanno confermato che una dimensione della patch ($P$) di 3 produce le prestazioni ottimali e che l'inclusione dei global tokens è cruciale per catturare il contesto olistico, poiché la loro rimozione porta a un degrado delle prestazioni.

Significato e Rivendicazioni
Il documento afferma che MSLA fornisce una soluzione più accurata e robusta per il riconoscimento delle OBI modellando esplicitamente l'interazione tra caratteristiche multi-scala e dipendenze tra i livelli. Gli autori asseriscono che il loro approccio affronta efficacemente i limiti degli attuali meccanismi di attenzione nel catturare dettagli fini, un aspetto critico per decifrare antichi script degradati. I risultati dimostrano che MSLA non è solo efficace per le OBI, ma è anche scalabile e generalmente applicabile ad altri compiti di riconoscimento fine-grained impegnativi, offrendo un equilibrio tra alte prestazioni ed efficienza computazionale. Il lavoro mira ad avanzare la comprensione automatizzata dell'antica cultura cinese fornendo uno strumento affidabile per il riconoscimento di queste iscrizioni storicamente significative.