Technische Samenvatting: TICLS (Tightly Coupled Language Text Spotter)

Probleemstelling

Scene text spotting heeft als doel tekst te detecteren en te herkennen binnen realistische afbeeldingen. Deze taak is uitdagend omdat tekstinstanties vaak kort, gefragmenteerd, visueel ambigu of gedegradeerd (onscherp, ruisachtig, geoccludeerd) zijn. Hoewel bestaande end-to-end methoden sterk vertrouwen op visuele aanwijzingen en impliciet lokale karakterafhankelijkheden vastleggen, negeren ze vaak de voordelen van externe linguïstische kennis.

Eerdere pogingen om taalmodellen te integreren kampen met aanzienlijke beperkingen:

1. Beperkte Context: Methoden zoals LM-TextSpotter trainen taalmodelleringsobjectieven uitsluitend op de tekst die beschikbaar is in scene text datasets. Hierdoor slagen ze er niet in om overvloedige ongelabelde tekstdata te benutten en leren ze contextuele patronen slechts uit beperkte corpora.
2. Granulariteitsverschil: Bestaande Pretrained Language Models (PLMs) zijn doorgaans getraind op grootschalige, goed gestructureerde zinnen (bijv. nieuws, boeken) met behulp van sub-woord tokens. Wanneer deze direct worden toegepast op scene text, die bestaat uit korte, ruimtelijk gelokaliseerde woorden of zinnen zonder coherente grammaticale structuur, ontstaat er een mismatch tussen de zinsniveau-linguïstische modellering en de woordniveau-semantiek die vereist is voor scene text spotting.

Methodologie

De auteurs stellen TICLS (Tightly Coupled Language Text Spotter) voor, een end-to-end framework dat expliciet externe linguïstische kennis incorporeert van een op karakters gebaseerd pretrained language model (PLM dat specifiek is afgestemd op scene text.

Architectuur

TICLS bestaat uit drie componenten (Figuur 1):

1. Visuele Feature Extractor en Decoder: Gebaseerd op de DeepSolo-architectuur (een DETR-gebaseerde end-to-end text spotter). Het maakt gebruik van een ViTAEv2-backbone en een visuele encoder om tekstregio-voorstellen (gerepresenteerd door Bezier-curves) te genereren. Een visuele decoder verfijnt deze voorstellen en extraheert visuele features.
2. Visual-to-Language Projectie: Een module die visuele embeddings uit de visuele decoderruimte ($D_V$) mapt naar de linguïstische decoderruimte ($D_L$).
3. Linguïstische Decoder: Een transformer-gebaseerde decoder geïnitialiseerd met gewichten van een aangepaste PLM. Deze decoder fuseert de geprojecteerde visuele features met linguïstische priors om tekstherkenning uit te voeren.

De Aangepaste Pretrained Language Model (PLM)

Om de mismatch tussen standaard PLMs en scene text aan te pakken, ontwerpen de auteurs een nieuwe PLM-architectuur (Figuur 2) geïnspireerd door BART, maar met drie cruciale modificaties:

• Token Granulariteit: In plaats van sub-woord tokens gebruikt het model karakter-level tokens. Dit sluit beter aan bij de korte, gefragmenteerde aard van scene text.
• Input Sequenties: Het model wordt voorgetraind op sequenties van maximaal drie woorden, wat de kenmerken van scene text weerspiegelt, in plaats van volledige zinnen.
• Cross-Attention Bron: Tijdens de pre-training let de decoder op de gecorrumpeerde teksttoestanden van de encoder. Tijdens de TICLS-training en inferentie wordt de cross-attention bron van de decoder gewisseld naar de geprojecteerde visuele features van de visuele decoder.

De PLM wordt voorgetraind met een denoising sequence-to-sequence objectief (text infilling), waarbij 20-40% van de opeenvolgende alfabetische intervallen gemaskeerd is. De decoder wordt getraind om de originele sequentie autoregressief te reconstrueren.

Training en Inferentie

• Initialisatie: De linguïstische decoder in TICLS wordt geïnitialiseerd met de gewichten van de voorgetrainde PLM-decoder.
• Fine-tuning: Het model wordt gefine-tuned op scene text datasets. Het cross-attention mechanisme wordt aangepast om te letten op visuele features ($Z_{vl}$) in plaats van encoder states.
• Loss Functie: De totale loss combineert de visuele encoder loss, de visuele decoder loss en de linguïstische decoder loss (token-level negative log-likelihood).
• Inferentie: Het model voert autoregressieve decodering uit, waarbij tokens sequentieel worden gegenereerd totdat een end-of-sequence token wordt geproduceerd of de maximale lengte is bereikt.

Belangrijkste Bijdragen

1. TICLS Framework: Een nieuw end-to-end text spotter dat expliciet externe linguïstische kennis integreert van een PLM, waarmee het verder gaat dan de impliciete capture van afhankelijkheden die aanwezig is in eerdere visuele-only of zelfgesuperviseerde taalmodellen.
2. Character-Level PLM voor Scene Text: De ontwikkeling van een gespecialiseerde PLM die is voorgetraind op korte, gefragmenteerde tekstsequenties met karakter-level granulariteit, specifiek ontworpen om de unieke kenmerken van scene text te hanteren.
3. Tightly Coupled Integratie: De introductie van een linguïstische decoder geïnitialiseerd met de aangepaste PLM, wat een nauwe fusie van linguïstische en visuele informatie mogelijk maakt. Deze aanpak verbetert de herkenning van ambigue of visueel gedegradeerde tekst door gebruik te maken van complementaire linguïstische aanwijzingen.

Experimentele Resultaten

De auteurs hebben TICLS geëvalueerd op drie standaard benchmarks: ICDAR 2015, Total-Text en CTW1500.

• Prestaties: TICLS behaalde state-of-the-art prestaties over alle datasets en evaluatie-instellingen (Strong, Weak, Generic, en Lexicon-free).
  • Op ICDAR 2015 verbeterde TICLS de vorige beste (SwinTextSpotter v2) met 0,5% (Strong) en 1,3% (Weak), en behaalde een lexicon-free Hmean van 79,1% (een verbetering van 5,3% ten opzichte van DeepSolo).
  • Op Total-Text en CTW1500 presteerde TICLS ook beter dan bestaande methoden, met opvallende winsten in lexicon-free settings.
• Ablatie Studies:
  • Token Granulariteit: De karakter-level PLM initialisatie presteerde aanzienlijk beter dan een standaard BART-initialisatie (sub-woord tokens), wat aantoont dat sub-woord representaties moeite hebben met korte, onregelmatige scene text.
  • Vocabulaire: Het alleen uitbreiden van de vocabulaire grootte (zonder de linguïstische decoder) leverde niet dezelfde prestatiewinsten op als de volledige TICLS-architectuur.
  • Pre-training Data: Het combineren van scene text data met externe NLP corpora (nieuws, POI-namen) tijdens de PLM pre-training leverde de beste resultaten op, met name voor Out-of-Vocabulary (OOV) woorden.
• Kwalitatieve Analyse: Visuele vergelijkingen toonden aan dat TICLS tekst correct herkent in gevallen waar DeepSolo faalde door visuele ambiguïteit (bijv. het verwarren van 'L' en 'T' of het omgaan met geroteerde tekst).

Betekenis en Beperkingen

Het artikel beweert dat TICLS de effectiviteit van PLM-gestuurde linguïstische integratie voor scene text spotting valideert. Door de kloof te overbruggen tussen zinsniveau-linguïstische modellering en woordniveau-scene text, demonstreert het model dat externe linguïstische kennis kan dienen als robuuste complementaire informatie voor ambigue visuele inputs.

Beperkingen en Toekomstig Werk:

• Efficiëntie: Het model heeft een hoger aantal parameters (98,5M vs. 36,0M voor DeepSolo) en een tragere inferentietijd (1,35s vs. 0,87s voor DeepSolo) vanwege de extra linguïstische decoder.
• Toekomstige Richtingen: De auteurs suggereren het verminderen van redundantie door linguïstische pre-training direct in de visuele decoder te incorporeren en het verkennen van beam search decodering om de nauwkeurigheid op lange sequenties te verbeteren, ondanks de verhoogde computationele kosten.