💻 computer science

2D Rotary Position Embedding for Scene Text Recognition with Transformers

Dit artikel introduceert \method{}, een parametervrije adaptatie van 2D Rotary Position Embedding voor Scene Text Recognition die de beperkingen van bestaande methoden aanpakt door dimensies anisotroop toe te wijzen om tekst-aspectratio's te matchen en de rotary coupling uit te breiden naar encoder-decoder cross-attention, waardoor de nauwkeurigheid op gebogen, geroteerde en perspectivisch vervormde tekstlay-outs aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Zobeir Raisi

Gepubliceerd 2026-08-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zobeir Raisi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de bruisende wereld van digitale visie leren machines voortdurend de wereld om ons heen te lezen. Van het scannen van kentekens op een snelweg tot het vertalen van verkeersborden in een vreemde stad: het vermogen om tekst in natuurlijke omgevingen te herkennen, is een hoeksteen van de moderne technologie. Jarenlang hebben computers moeite gehad met deze taak wanneer de tekst niet perfect recht staat of op een schoon wit vel papier is gedrukt. Woorden in de echte wereld zijn vaak gebogen, gekanteld of uitgerekt door de hoek van de camera, wat een visuele puzzel creëert die standaard leesalgoritmen moeilijk kunnen oplossen. Om computers te helpen de volgorde van letters te begrijpen, vertrouwen onderzoekers al lang op een systeem van positionele tags. Denk aan deze tags als een eenvoudig adressatiesysteem dat een computer vertelt welke letter eerst, tweede en derde komt in een regel. Hoewel dit goed werkt voor rechte, horizontale tekst, stort het in wanneer de tekst buigt of draait, omdat de computer het contact verliest met hoe de letters zich in de tweedimensionale ruimte tot elkaar verhouden.

Een onderzoeker heeft nu een nieuwe manier ontwikkeld om computers deze ruimtelijke bewustheid te geven, specifiek ontworpen voor de rommelige, onregelmatige tekst die in de echte wereld wordt gevonden. Ze creëerden een methode genaamd 2D Rotary Position Embedding, die het oude eendimensionale adressatiesysteem vervangt door een dynamische manier van positie begrijpen. In plaats van alleen stappen te tellen langs een enkele lijn, stelt deze nieuwe aanpak de computer in staat om zijn begrip van de tekst te laten roteren op basis van zowel de verticale als de horizontale afstand tussen letters. Dit betekent dat de machine kan herkennen dat een letter "naast" een andere staat, zelfs als het woord in een cirkel is geschreven of vanuit een steile hoek wordt bekeken. Ze testten dit systeem op zes verschillende standaard datasets met afbeeldingen die alles bevatten van gebogen borden tot perspectivisch vervormde billboards. Hun resultaten lieten zien dat deze nieuwe methode eerdere technieken aanzienlijk overtrof, vooral wanneer de tekst onregelmatig was. De verbetering was het meest spectaculair bij de meest uitdagende afbeeldingen, waar het nieuwe systeem woorden correct identificeerde die oudere modellen verkeerd lazen, allemaal zonder extra complexiteit of geheugenkosten toe te voegen aan het brein van de computer.

De kern van deze vooruitgang ligt in de manier waarop de computer de afbeelding verwerkt. Traditionele methoden platten een afbeelding vaak af tot een enkele lange reeks gegevens, waarbij ze negeren dat tekst bestaat op een plat oppervlak met hoogte en breedte. Wanneer tekst gebogen of schuin staat, vervormt dit afvlakken de relatie tussen tekens, waardoor de computer zijn plek verliest. De nieuwe methode behandelt de afbeelding echter als een echt tweedimensionaal rooster. Het wijst een unieke ruimtelijke handtekening toe aan elk deel van de afbeelding die verandert afhankelijk van de relatieve positie van de letters. Als één letter boven en rechts van een andere staat, begrijpt het systeem deze specifieke geometrische relatie, ongeacht hoe het hele woord gedraaid is. Dit is een cruciaal onderscheid, omdat het de computer in staat stelt om de natuurlijke leesstroom te volgen, zelfs wanneer die stroom geen rechte horizontale lijn is.

De onderzoeker demonstreerde de kracht van deze aanpak door hun nieuwe systeem direct te vergelijken met oudere modellen met behulp van identieke trainingsdata en hardware. In één opvallend voorbeeld keek een model met de oude methode naar een gebogen bord met de tekst "coffee" en las het "come", waarbij het letters volledig miste omdat de curve de lineaire telling verstoft. Het nieuwe systeem, met gebruik van de 2D ruimtelijke rotatie, las het woord correct. Dit was geen geïsoleerd incident. Over duizenden testafbeeldingen heen loste het nieuwe systeem consistent problemen op waar de oude faalden, vooral op datasets die bekend staan om moeilijke vervormingen. Op een set afbeeldingen met gebogen tekst verbeterde de nieuwe methode de nauwkeurigheid met bijna vier procentpunten ten opzichte van het vorige beste model. Op afbeeldingen met perspectivische vervorming, waarbij tekst in de verte lijkt te wijken, toonde het vergelijkbare winst.

Wat deze ontdekking bijzonder elegant maakt, is de eenvoud ervan. De onderzoeker hoefde niet de volledige computerarchitectuur te herontwerpen of miljoenen nieuwe parameters toe te voegen om het te laten werken. Het nieuwe positionele systeem werkt als een plug-in module die kan worden uitgewisseld in bestaande leessoftware. Het vereist bijna geen extra geheugen en voegt slechts twee kleine getallen toe aan de instellingen van het systeem om de vorm van de tekst aan te passen. Deze efficiëntie suggereert dat de flessenhals bij het lezen van onregelmatige tekst niet een gebrek aan rekenkracht was, maar een fout in hoe de computer de ruimte begreep. Door dit specifieke misverstand van geometrie te corrigeren, ontsloot de onderzoeker een significante sprong in prestaties.

De studie bevatte ook een gedetailleerde blik op waarom het systeem werkt, waarbij visuele hulpmiddelen werden gebruikt om te zien waar de computer naar "keek" tijdens het lezen van de tekst. Deze visualisaties toonden aan dat de nieuwe methode de computer in staat stelde om scherp te focussen op de lijnen van de letters en hun pad te volgen, zelfs wanneer ze gebogen of schuin waren. In contrast hiermee raakten oudere modellen eerder afgeleid door de achtergrond of verloren ze het spoor van de lettervolgorde wanneer de geometrie veranderde. De onderzoeker vond dat het systeem het meest effectief was wanneer het meer van zijn verwerkingskracht toewees aan de verticale dimensie van de tekst, wat de reflectie is van het feit dat tekstregels meestal breder zijn dan ze hoog zijn. Deze kleine aanpassing, afgestemd op de natuurlijke vorm van woorden, bleek een sleutelfactor in het succes.

Hoewel de nieuwe methode een belangrijke stap voorwaarts vertegenwoordigt, erkent de onderzoeker dat het geen perfecte oplossing is voor elke mogelijke vorm. Het systeem is ontworpen om horizontale en verticale relaties goed te kunnen afhandelen, maar kan nog steeds moeite hebben met tekst die sterk diagonaal is of in complexe, niet-lineaire patronen is gerangschikt. Zij suggereren dat toekomstig werk deze idee kan uitbreiden om zelfs meer variërende hoeken te kunnen afhandelen en potentieel kan worden toegepast op video, waarbij tekst door een driedimensionale ruimte beweegt. Voor nu biedt het onderzoek echter een duidelijke en praktische verbetering voor machines die de wereld moeten lezen zoals deze er werkelijk uitziet, in plaats van als een vereenvoudigde, rechte lijn. Door computers te leren de ware geometrie van tekst te respecteren, brengt dit onderzoek ons dichter bij een toekomst waarin digitale systemen elk bord, elk etiket en elke notitie kunnen lezen, ongeacht hoe het geschreven is en waar het te vinden is.

Technische Samenvatting: 2D Rotary Position Embedding voor Scene Text Recognition met Transformers

1. Probleemstelling

Scene Text Recognition (STR) staat voor aanzienlijke uitdagingen door de diversiteit aan tekstverschijningsvormen in natuurlijke afbeeldingen, waaronder kromming, rotatie en perspectivische vervorming. Hoewel Transformer-gebaseerde benaderingen dominant zijn geworden in STR vanwege hun vermogen om langetermijnafhankelijkheden te modelleren via self-attention, vertrouwen ze zwaar op positionele encodings om de permutatie-invariantie van attention-mechanismen te overwinnen.

Bestaande STR-methoden maken doorgaans gebruik van een van de drie volgende strategieën voor positionele encoding:

1D Sinusoïdale/Leerbare Encodings: Deze coderen de positie langs een enkele sequentiële as, waarbij de 2D ruimtelijke lay-out van tekstafbeeldingen wordt genegeerd.
2D Additieve Encodings: Deze breiden uit naar twee dimensies door het samenvoegen of optellen van rij- en kolomembeddings. Echter, zij behandelen deze dimensies als onafhankelijke additieve biases, waardoor ze relatieve ruimtelijke relaties niet effectief kunnen vastleggen.

De kernbeperking van deze benaderingen is dat ze absolute posities coderen als additieve offsets. Gevolgen daarvan hebben modellen moeite met het redeneren over de relatieve geometrische relaties tussen tekens, wat cruciaal is wanneer tekst gekromd, geroteerd of perspectivisch vervormd is. Bovendien gaan standaard 2D Rotary Position Embeddings (RoPE) ontworpen voor Vision Transformers uit van isotrope (vierkante) beeldinhoud en passen ze rotatie alleen toe binnen encoder self-attention. Deze aannames houden niet stand voor STR, waarbij tekstcrops duidelijk anisotroop zijn (breder dan hoog) en architecturen een encoder-decoder structuur hebben, waarbij de decoder de queries moet relateren aan de 2D-lay-out van de encoder via cross-attention.

2. Methodologie: 2D-RoPE-STR

Het artikel introduceert 2D-RoPE-STR, een framework dat axiale 2D Rotary Position Embedding aanpast aan de specifieke beperkingen van scene text recognition. De methodologie bestaat uit drie primaire componenten:

A. Anisotrope Dimensietoewijzing
In tegenstelling tot standaard visuele formuleringen die rotary dimensies gelijkmatig verdelen tussen de rij- en kolomassen, wijst 2D-RoPE-STR dimensies toe volgens de aspectratio van de tekst. Omdat tekstafbeeldingen meestal breder zijn dan hoog, wijst de methode een groter deel van de encoding-dimensies toe aan de rij-as (die de karaktersequentie beslaat) en een kleiner deel aan de kolom-as. Dit wordt bereikt door frequentiebases $\theta_h$ en $\theta_w$ te definiëren voor rij- en kolomposities, potentieel geschaald door leerbare factoren $\beta_h$ en $\beta_w$ om zich aan te passen aan de specifieke ruimtelijke statistieken van de tekst.

B. Uitbreiding naar Encoder-Decoder Cross-Attention
Standaard 2D-RoPE formuleringen passen rotatie alleen toe binnen de self-attention van de encoder. 2D-RoPE-STR breidt deze rotary koppeling uit naar het cross-attention mechanisme van de decoder. In deze opzet:

Encoder Self-Attention: Zowel queries als keys worden geroteerd op basis van hun 2D ruimtelijke coördinaten $(h, w)$ .
Decoder Cross-Attention: Queries uit de decoder (die geen 2D ruimtelijke posities hebben) attenderen op encoder keys die geroteerd zijn door hun 2D ruimtelijke lay-out. Dit stelt autoregressieve decoding-stappen in staat om zich te relateren aan de tokens van de encoder op basis van hun relatieve 2D-verplaatsing, in plaats van enkel op basis van sequentiële volgorde.

C. Wiskundige Formulering
Voor een token op positie $(h, w)$ wordt de feature vector gepartitioneerd in een rij-component ( $x_h$ ) en een kolomcomponent ( $x_w$ ). De 2D-RoPE operatie past onafhankelijke rotaties toe op elk deel:
$2D\text{-}RoPE(x, h, w) = [R_{h, \theta_h} x_h; R_{w, \theta_w} x_w]$
Theorema 1 in het artikel demonstreert dat de resulterende attention score tussen een query op $(h_q, w_q)$ en een key op $(h_k, w_k)$ uitsluitend afhangt van de relatieve verplaatsing $(\Delta h, \Delta w)$ , waardoor de eigenschap van relatieve positie behouden blijft die essentieel is voor het modelleren van de leesvolgorde in vervormde lay-outs.

D. Architecturale Integratie
De voorgestelde module is "plug-and-play". Het vervangt de positionele encoding module in elk Transformer-gebaseerd STR-systeem zonder dat een herontwerp van de backbone of decoder nodig is. De implementatie gebruikt een ResNet-50 backbone om 2D feature maps te extraheren, die worden platgeslagen en verwerkt door een Transformer encoder uitgerust met 2D-RoPE, gevolgd door een standaard autoregressieve decoder.

3. Belangrijkste Bijdragen

De auteur identificeert vier hoofd bijdragen:

Adaptatie van 2D-RoPE naar STR: De eerste adaptatie van axiale 2D-RoPE naar de anisotrope, encoder-decoder setting van scene text recognition, voorzien van een tekst-aspectratio-gematchte dimensiesplit en een uitbreiding van de rotary koppeling naar decoder cross-attention.
Plug-and-Play Module: Een ontwerp dat de positionele encodings in bestaande Transformer-gebaseerde STR-systemen kan vervangen met minimale modificatie en nagenoeg nul parametrische kosten (slechts twee leerbare schaal-scalars toevoegend).
Uitgebreide Evaluatie: Experimenten uitgevoerd op zes standaard benchmarks (IIIT5K, SVT, ICDAR 2013, ICDAR 2015, CUTE80, en SVTP) met gecontroleerde ablatiestudies die het effect van de positionele encoding isoleren.
Diagnostisch Protocol: Een nieuw evaluatieframework inclusief een gecontroleerd ablation-paar, een analyse van net-win onenigheid op beeldniveau, en encoder attention visualisatie om exact te pinpointen waar en waarom 2D relatieve positionering de prestaties verbetert.

4. Experimentele Resultaten

Het model werd geëvalueerd op zes benchmarks en behaalde een state-of-the-art gemiddelde woordnauwkeurigheid van 90,4%, waarmee het de vorige beste methode (MATRN, 89,5%) versloeg.

Prestaties op Onregelmatige Tekst: De winst was het meest geconcentreerd op datasets met onregelmatige lay-outs. Specifiek vertoonde 2D-RoPE-STR een verbetering van +3,8% ten opzichte van MATRN op de gekromde tekstdataset (CUTE80) en een verbetering van +1,5% op de perspectivisch vervormde dataset (SVTP).
Ablatiestudies:
- Type Encoding: 2D-RoPE presteerde beter dan 1D sinusoïdaal, 1D leerbaar, 2D sinusoïdaal en 2D leerbaar encoding.
- Dimensiesplit: Een "rij-zware" split (384:128 voor $d=512$ ) leverde betere resultaten op dan een gelijke split, wat het voordeel bevestigt van het matchen van dimensies aan de aspectratio's van de tekst.
- Cross-Attention: Het toepassen van 2D-RoPE op de encoder keys in de cross-attention van de decoder leverde een meetbare prestatiewinst op vergeleken met het gebruik van 1D RoPE of het niet gebruiken van positionele encoding in dat specifieke mechanisme.
Kwalitatieve Analyse: Visualisaties van de encoder self-attention lieten zien dat 2D-RoPE het model in staat stelt om nauwkeurig te focussen op karakterstreken en de 2D-lay-out van gekromde of schuine tekst te volgen, terwijl 1D-baselines in deze scenario's vaak niet in staat zijn de correcte leesvolgorde te handhaven. De onenigheidsanalyse bevestigde dat 2D-RoPE de afbeeldingen correct leest die 1D-baselines missen, met name in de IC15 en SVTP datasets.

5. Betekenis en Claims

Het artikel claimt dat 2D-RoPE-STR een kritieke kloof in Transformer-gebaseerde STR aanpakt: het onvermogen van standaard positionele encodings om de relatieve 2D geometrische relaties te modelleren die vereist zijn voor het lezen van vervormde tekst. Door queries en keys te roteren op basis van relatieve rij- en kolomoffsets, kan het model inherent redeneren over de leesvolgorde, zelfs wanneer de tekst geen rechte horizontale lijn vormt.

De auteur benadrukt dat deze verbeteringen worden bereikt met vrijwel geen parametrische kosten, aangezien de methode steunt op rotatie in plaats van geleerde embedding-tabellen. Het werk suggereert dat de voordelen van 2D relatieve positionering het meest uitgesproken zijn wanneer de tekstlay-out afwijkt van de standaard aannames (gekromd, geroteerd, perspectivisch vervormd).

Erkende Beperkingen:
De auteur merkt op dat de formulering axiaal is, wat betekent dat het de gecodeerde relaties concentreert langs horizontale en verticale richtingen. Dit kan minder expressief zijn voor schuine of diagonale arrangementen die voorkomen bij sterk hellende tekst. De auteur suggereert dat multidirectionele rotary schema's en uitbreidingen naar 3D voor video text recognition natuurlijke toekomstige richtingen zijn. Daarnaast is de gelijke split van dimensies (of de specifieke rij-zware split die gebruikt is) mogelijk niet optimaal voor alle mogelijke aspectratio's.