Enhancing Oracle Bone Inscription Recognition via Multi-Scale Layer Attention

Technische Samenvatting: Verbeteren van de Herkenning van Oracle Bone Inscripties via Multi-Scale Layer Attention

Probleemstelling
Oracle Bone Inscriptions (OBI's) vertegenwoordigen de vroegste gesystematiseerde vorm van het Chinese schrift en dragen een diepe historische betekenis. De automatische herkenning ervan blijft echter zeer uitdagend vanwege complexe, onregelmatige, gefragmenteerde en vaak gedegradeerde karakterstructuren. Hoewel deep learning de algemene beeldherkenning heeft geavanceerd, hebben bestaande methoden moeite met het vastleggen van de fijnmazige details en subtiele variaties die inherent zijn aan OBI's. Specifiek identificeert het artikel een kritieke beperking in recente "layer attention"-mechanismen: deze opereren doorgaans op een zeer beperkt aantal tokens (vaak minder dan 5 in standaard ResNet-backbones) wanneer ze cross-layer interacties modelleren. Deze schaarste aan tokens beperkt de diversiteit van de informatie-uitwisseling, waardoor het model niet effectief de complexe structurele afhankelijkheden kan vastleggen die vereist zijn voor nauwkeurige OBI-herkenning.

Methodologie: Multi-Scale Layer Attention (MSLA)
Om de beperkingen van token-schaarste in conventionele layer attention aan te pakken, stellen de auteurs Multi-Scale Layer Attention (MSLA) voor. Dit nieuwe paradigma modelleert expliciet zowel multi-scale als cross-layer feature-interacties. De kerncomponenten van MSLA omvatten:

1. Multi-Scale Token Extractie: In tegenstelling tot standaard layer attention, dat elke laag als een enkele token behandelt, verrijkt MSLA de tokenset door features op meerdere ruimtelijke schalen uit de input feature map te extraheren.

   • Global Tokens: Gegenereerd via global average pooling om holistische contextuele informatie te vangen.
   • Local Tokens: Gegenereerd door de feature map te partitioneren in een rooster van niet-overlappende patches ($P \times P$) en adaptieve average pooling toe te passen. Dit vangt fijnmazige ruimtelijke structuren.
   • Deze worden geconcateneerd om een multi-scale tokenset $X_{multi}$ te vormen.

2. Progressieve Key-Value Accumulatie: Het mechanisme maakt gebruik van een progressieve accumulatiestrategie waarbij de key ($K$) en value ($V$) representaties van alle voorgaande lagen worden geconcateneerd. Dit stelt de huidige laag in staat om aandacht te besteden aan een groeiende repository van multi-scale tokens uit de volledige diepte van het netwerk, in plaats van alleen aan de directe voorgangers.

3. Multi-Head Attention en Feature Verfijning: De query ($Q$) van de huidige laag wordt afgeleid van de multi-scale tokens, terwijl de geaccumuleerde $K$ en $V$ van voorgaande lagen worden gebruikt om attention-gewichten te berekenen. De resulterende attention-output wordt geaggregeerd langs de token-dimensie om een channel-wise descriptor te creëren, die vervolgens wordt gebruikt om de originele feature map te verfijnen via element-wise vermenigvuldiging.

Belangrijkste Bijdragen

1. Nieuw Attention Paradigma: Het artikel introduceert MSLA, een layer attention-mechanisme dat specifiek is ontworend om de inherente token-schaarste in conventionele layer attention voor OBI-herkenning te overwinnen.
2. Token Verrijkingsstrategie: Door een multi-scale token verrijkings- en progressieve accumulatiestrategie te introduceren, stelt de methode elke laag in staat om aandacht te besteden aan een progressief uitbreidende set tokens afgeleid van zowel globale als lokale representaties. Dit verbetert het vermogen van het model aanzienlijk om fijnmazige details en complexe structurele afhankelijkheden te vangen.
3. Empirische Validatie: De auteurs voeren uitgebreide experimenten uit op vier grootschalige OBI-datasets (Oracle-MNIST, OBC306, HUST-OBS en EVOBC), waarbij zij aantonen dat MSLA consistent beter presteert dan state-of-the-art attention-mechanismen, terwijl de computationele efficiëntie hoog blijft.

Experimentele Resultaten
De voorgestelde methode werd geëvalueerd tegen diverse baselines, inclusief traditionele machine learning modellen, standaard CNN's en recente attention-mechanismen (bijv. SENet, CBAM, ECANet, MRLA, DLA).

• Oracle-MNIST: MSLA behaalde een nauwkeurigheid van 96,05% met ResNet-20 en 96,30% met ResNet-56, waarmee het vanilla ResNet en andere attention-varianten overtrof met minimale toename van parameters (bijv. +0,02M parameters voor ResNet-20).
• OBC306: MSLA bereikte een nauwkeurigheid van 91,29% met ResNet-20, wat de vanilla ResNet-20 met 3,56% overtreft en ook andere layer interactie-methoden zoals MRLA-L en DLA-L verslaat. Opvallend genoeg presteerde MSLA-20 beter dan de vanilla ResNet-56, ondanks het feit dat het aanzienlijk minder parameters heeft.
• HUST-OBS: MSLA behaalde 94,12% nauwkeurigheid met ResNet-50, wat een verbetering is ten opzichte van de vanilla baseline (93,74%) en MRLA-B (92,94%) aanzienlijk overtreft.
• EVOBC: Op deze zeer uitdagende dataset met 13.714 klassen behaalde MSLA 49,45% nauwkeurigheid met ResNet-50, waarmee het alle andere geteste methoden overtrof, inclusief methoden die ondermaats presteerden ten opzichte van de vanilla baseline.

Ablatie-studies bevestigden dat een patch grootte ($P$) van 3 optimale prestaties levert en dat de inclusie van globale tokens cruciaal is voor het vangen van de holistische context, aangezien het verwijderen ervan leidt tot prestatievermindering.

Betekenis en Claims
Het artikel beweert dat MSLA een nauwkeurigere en robuustere oplossing biedt voor OBI-herkenning door expliciet de wisselwerking tussen multi-scale features en cross-layer afhankelijkheden te modelleren. De auteurs stellen dat hun aanpak effectief de beperkingen van bestaande attention-mechanismen aanpakt bij het vangen van fijnmazige details, wat cruciaal is voor het ontcijferen van oude, gedegradeerde schriften. De resultaten tonen aan dat MSLA niet alleen effectief is voor OBI's, maar ook schaalbaar en algemeen toepasbaar is op andere uitdagende fine-grained herkenningstaken, waarbij een balans wordt gevonden tussen hoge prestaties en computationele efficiëntie. Het werk beoogt het automatische begrip van de oude Chinese cultuur te bevorderen door een betrouwbaar hulpmiddel te bieden voor het herkennen van deze historisch belangrijke inscripties.