Technische Samenvatting: Visuele Pretraining van Logografische Karakters via Semantische Contrastieve Learning

Probleemstelling

Deep learning-gebaseerde visuele karaktertaken, zoals tekstherkenning en beeldruisverwijdering, bereiken doorgaans pas optimale prestaties wanneer ze getraind worden op grote, gebalanceerde datasets. Echter, real-world datasets voor logografische talen (bijv. Chinees Hanzi, Japans Kanji, oud Egyptisch hiërogliefen) lijden aan een ernstige data-imbalans. Deze imbalans ontstaat door significante verschillen in de frequentie van karaktergebruik en de voortdurende opkomst van nieuwe of zeldzame karakters door archeologische ontdekkingen.

Bestaande herkenningsmethoden, die vaak geworteld zijn in beeldclassificatie, hebben moeite met deze long-tailed distributies. Hoewel contrastieve learning (bijv. SimCLR) is toegepast om categorische imbalans te mitigeren, vertrouwen huidige benaderingen op binaire positieve/negatieve paarformuleringen. Deze methoden behandelen alle negatieve samples als even ongelijksoortig (vaste afstand), waardoor ze geen onderscheid maken tussen "harde" negatieven (visueel of semantisch vergelijkbaar maar verschillend van karakters) en "triviale" negatieven. Gevolgelijk wordt de leer-efficiëntie verminderen en blijven representaties voor karakters met een lage frequentie ondergeoptimaliseerd. Bovendien richten bestaande methoden zich primair op pixel-niveau kenmerken, waarbij de rijke contextuele semantiek die inherent is aan logografische systemen wordt genegeerd.

Methodologie

De auteurs stellen een nieuwe pre-training strategie voor die visuele semantiek en contextuele semantiek integreert om diepe visuele representaties te verbeteren, specifiek voor imbalanced logografische karakterdatasets. De kerninnovatie is een semantisch gebaseerd contrastief leerkader dat binaire labels vervangt door zachte semantische supervisie afgeleid van taalmodellen.

1. Dual-Semantische Representatie

Het kader modelleert twee verschillende semantische ruimtes:

• Visuele Semantiek ($V_s$): Geëxtraheerd uit karakterbeelden met behulp van een visuele encoder (bijv. ResNet). De encoder verwerkt geaugmenteerde karakterbeelden om embedding vectoren te produceren die visuele kenmerken vertegenwoordigen.
• Contextuele Semantiek ($C_s$): Geëxtraheerd uit karakterlabels met behulp van een pre-trained taalmodel (bijv. BERT). In plaats van tekst-embeddings als absolute doelen te behandelen, maakt het model gebruik van het vermogen van het taalmodel om relatieve semantische relaties tussen karakters te vangen.

2. Distributie-niveau Contrastief Doel

In plaats van direct pairwise gelijkenisscores te regresseren (wat gevoelig kan zijn voor schaal en niet-isometrische distributies), brengt de methode de semantische buurt-distributies van de twee modaliteiten in overeenstemming.

• Generatie van Soft Labels: Voor elk ankerkarakter worden de contextuele semantische gelijkenissen met andere karakters in een mini-batch omgezet in een conditionele waarschijnlijkheidsdistributie ($P_C$) met behulp van een temperatuur-geschaalde softmax. Deze distributie vertegenwoordigt de relatieve semantische relevantie van buren.
• Visuele Distributie Alignement: Op dezelfde wijze wordt een visuele semantische distributie ($P_V$) berekend uit de visuele embeddings.
• Verliesfunctie: Het primaire doel is om de cross-entropy (equivalent aan de Kullback–Leibler divergentie) tussen de contextuele distributie ($P_C$) en de visuele distributie ($P_V$) te minimaliseren. Dit dwingt de visuele embedding ruimte om de relatieve semantische ordening te bewaren die door het taalmodel wordt gedefinieerd, waardoor contextuele semantiek effectief als soft labels wordt gebruikt.

3. Moeilijkheidsbewuste Focal Reweighting

Om het probleem aan te pakken waarbij gemakkelijke, triviale paren de loss domineren in long-tailed datasets, introduceren de auteurs een focal reweighting strategie geïnspireerd op focal loss.

• De loss wordt hergewogen op basis van de huidige voorspellingsvertrouwen van het visuele model.
• Paren die al goed zijn uitgelijnd (gemakkelijk) worden lager gewogen, terwijl misalignede, informatieve "harde" paren worden benadrukt.
• Dit adaptieve mechanisme zorgt ervoor dat het model zijn leervermogen richt op moeilijke semantische relaties, die cruciaal zijn voor het onderscheiden van zeldzame of visueel gelijkaardige karakters.

4. Gezamenlijke Optimalisatie

De pre-training fase optimaliseert gezamenlijk de contextuele semantische loss (distributie alignement) en een standaard classificatie loss (cross-entropy) om de geleerde representaties te verankeren aan de specifieke herkennings taak.

Belangrijkste Bijdragen

1. Nieuwe Pre-training Strategie: Het paper introduceert een methode om diepe representaties voor imbalanced karaktercategorieën te verbeteren door integratie van semantische contrastieve learning. Het gaat verder dan binaire contrastieve learning door gebruik te maken van continue semantische relevantie.
2. Distributie-niveau Alignement Framework: Er wordt een framework voorgesteld dat visuele en contextuele semantiek op distributieniveau in overeenstemming brengt. Door relatieve semantische relaties te modelleren in plaats van absolute afstanden, maakt het effectiever leren van representaties voor logografische karakters mogelijk.
3. Empirische Validatie: Uitgebreide experimenten over vier diverse datasets (HWDB1.1, ICDAR2013, CTW, en K-Kanji) met variërende graden van imbalans tonen de superioriteit van de methode aan ten opzichte van state-of-the-art pre-training en long-tail classificatie technieken.

Experimentele Resultaten

De voorgestelde methode werd geëvalueerd op vier datasets die handgeschreven Chinees, scene text en historische Japanse Kanji beslaan, onder verschillende imbalansfactoren (IF = 10, 50, 100).

• Vergelijking met Pre-training Methoden: De voorgestelde methode (Ours$_{FR}$) presteerde consequent beter dan gevestigde contrastieve learning baselines (SimCLR, MoCo, BYOL, SwAV, SimSiam) en multimodale modellen (VL-BERT, CLIP). Zo behaalde de voorgestelde methode op de zeer imbalanced HWDB-LT100 dataset met een ResNet18 backbone een nauwkeurigheid van 83,46%, wat aanzienlijk hoger is dan SimCLR (56,68%) en MoCo (58,96%).
• Vergelijking met Long-Tail Methoden: De aanpak presteerde ook beter dan gespecialiseerde long-tail beeldclassificatie methoden (CMO, OTmix, NCL++, ProCo), wat aangeeft dat het integreren van contextuele semantiek superieure robuustheid biedt vergeleken met methoden die uitsluitend vertrouwen op visuele sample-distributies.
• Verbetering van Downstream Taken: Wanneer toegepast als een pre-training stap voor diverse SOTA OCR modellen (inclusief CNN's zoals VGG16 en Transformers zoals ViT), leverde de methode consistente verbeteringen in nauwkeurigheid op voor alle geteste architecturen. Bijvoorbeeld, het toepassen van de pre-training op DenseNet op de CTW dataset resulteerde in een nauwkeurigheidswinst van 2,07%.
• Ablatie Studies:
  • Loss Componenten: Het gebruik van enkel de contextuele loss presteerde significant beter dan het gebruik van enkel de classificatie loss, en de combinatie van beide leverde de beste resultaten.
  • Alignement Strategie: De voorgestelde distributie-niveau alignement (KL-divergentie) presteerde significant beter dan een punt-voor-punt MSE regressie benadering, wat bevestigt dat het leren van relationele structuren effectiever is dan het regresseren van absolute gelijkeniswaarden in niet-isometrische, long-tailed ruimtes.

Betekenis

Het paper stelt dat de primaire betekenis ligt in het aanpakken van de kritieke bottleneck van data-imbalans in de herkenning van logografische karakters. Door gebruik te maken van de consistentie tussen visuele structuren en contextuele betekenissen, biedt de voorgestelde methode een mechanisme om robuuste representaties te leren, zelfs wanneer trainingssamples voor specifieke karakters schaars zijn. De auteurs beweren dat deze aanpak een meer schaalbare en robuuste oplossing biedt voor real-world toepassingen met betrekking tot historische teksten, scene-karakters en low-resource talen, waar traditionele gebalanceerde training onhaalbaar is. Het werk demonstreert dat het integreren van externe semantische kennis (via taalmodellen) als soft supervisie effectief kan dienen als gids voor visuele representatie-learning, waardoor de afhankelijkheid van grote, gebalanceerde visuele datasets wordt verminderd.