Technische Samenvatting: One Patch Is Enough (SPaTS)

1. Probleemstelling

Scène-tekstdetectie vereist de gelijktijdige herkenning van tekst en de precieze ruimtelijke lokalisatie van elke transcriptie bij de bijbehorende beeldregio. Hoewel Multimodale Grote Taalmodellen (MLLM's) beschikken over sterke semantische redenering, missen ze vaak de fijne ruimtelijke controle die nodig is voor nauwkeurige lokalisatie. Bestaande Visual Token Grounding (VTG)-benaderingen proberen dit gat te overbruggen door taalgeneratie te funderen op visueel bewijs. De huidige paradigma's vertrouwen echter doorgaans op multi-patch representaties, waarbij meerdere beeldpatches worden geaggregeerd om een enkele tekstinstantie te representeren.

De auteurs stellen dat voor scène-tekst — die vaak klein, dicht en ingebed is in complexe achtergronden — het aggregeren van meerdere patches aanzienlijke redundante ruis, lokalisatie-ambiguïteit en gekoppelde fouten introduceert. Naburige patches bevatten vaak irrelevante achtergrond of aangrenzende woorden, wat leidt tot "mislokalisatie" en "ambiguïteit" die zowel de herkenning als de geometrische precisie verslechteren. Bovendien is het identificeren van de meest informatieve enkele patch voor een tekstinstantie een latent attribuut dat geen expliciete rangschikkingslabels heeft, waardoor het moeilijk is voor standaard supervised learning om effectief te optimaliseren.

2. Methodologie

Het paper stelt Single-Patch Text Spotting (SPaTS) voor, een visie-gecentreerd framework dat elke tekstinstantie via een enkele anker visuele token routeert en de geometrie herstelt via full-image verfijning. De methodologie bestaat uit drie kerncomponenten:

A. Single-Patch Selective Optimization (SPaSO)

Om het gebrek aan oracle-labels voor de "optimale" patch aan te pakken, herformuleren de auteurs patchselectie als een discrete beslissingsprobleem dat wordt geoptimaliseerd via Reinforcement Learning (RL).

• Framework: Gebouwd op het Group Relative Policy Optimization (GRPO) framework, behandelt SPaSO de selectie van een visuele patch-index als de policy actie.
• Duale Beloningsmechanisme:
  1. Patch Generation Reward ($r_{gen}$): Evalueert de uiteindelijke spotting-kwaliteit (combinatie van teksttranscriptie-nauwkeurigheid via edit distance en geometrische precisie via IoU). Dit dwingt de policy om patches te selecteren die hoogwaardige transcripties en precieze grenzen opleveren.
  2. Patch Dominance Reward ($r_{dom}$): Een dense reward die het model aanmoedigt om ground-truth kandidaat-patches binnen de top-$k$ voorspellingen te houden. Dit biedt optimalisatiesignalen, zelfs wanneer de sparse generatie-reward laag is.
• Gezamenlijke Optimalisatie: Het RL-doel voor discrete selectie wordt gezamenlijk getraind met continue geometrische supervisie (bounding boxes, Bézier-curves, punten), waardoor het model leert welke patch te selecteren, terwijl de decoder leert hoe de geometrie ervan te regresseren.

B. Directional Embedding Alignment (DEA)

Om het selectieproces te stabiliseren en te voorkomen dat het model neigt naar patches met een hoge energie (hoge norm) in plaats van semantisch relevante patches, introduceren de auteurs DEA.

• Mechanisme: DEA ontkoppelt de feature-magnitude en de richting van visuele prototypen. Het prototype $p_i$ wordt geparametriseerd als een leerbare schaal $\gamma_i$ vermenigvuldigd met de genormaliseerde richting $\hat{v}_i$ van de oorspronkelijke patch-feature.
• Trainingsstrategie: De schaal $\gamma_i$ wordt eerst opgewarmd en vervolgens bevroren, waardoor het model wordt gedwongen zich te concentreren op directionele semantische alignment (cosine similarity) in plaats van op de feature-magnitude tijdens de kritieke selectiefase. Dit onderdrukt instabiele norm-bias in de patch-competitie.

C. Patch-Enhanced Decoding (PED)

In het besef dat een enkele patch alleen mogelijk onvoldoende informatie bevat voor precieze grens-regressie, stellen de auteurs PED voor om de informatie-bottleneck te verlichten.

• Mechanisme: PED fuseert de geselecteerde visuele patch-prototype ($p_{at}$) met de taal verborgen staat ($h_t$) om een object query te vormen.
• Proces: Deze gefuseerde query wordt gebruikt in een cross-attention decoder om te lezen van de full-image feature map. Dit stelt het model in staat om rijke visuele-semantische cues van de volledige afbeelding te benutten om precieze geometrische grenzen (boxen, curves, punten) te herstellen, zonder de ruis van multi-patch aggregatie opnieuw te introduceren.

3. Belangrijkste Bijdragen

1. SPaTS Framework: Een nieuw single-anchor visuele-token paradigma dat de ruizige multi-patch routing vervangt door een enkele anker-token per instantie, gevolgd door full-image geometrische verfijning. Deze formulering levert een compacter routing-signaal en een hechtere koppeling tussen voorspelde geometrie en doelregio's.
2. SPaSO: Een reinforcement learning framework dat discrete visuele-token selectie optimaliseert zonder oracle optimale labels, gebruikmakend van patch-niveau beloningen afgeleid van uiteindelijke spotting-resultaten.
3. Architecturale Innovaties (DEA & PED):
   • DEA: Ontkoppelt de patch-magnitude en richting om een robuuste representatie en directionele alignment met taal-states te garanderen.
   • PED: Combineert gerouteerde lokale bewijslast met taal-semantiek om precieze grenzen te herstellen, waardoor de informatie-bottleneck van single-patch decoding wordt vermeden terwijl de multi-patch ruis wordt voorkomen.

4. Experimentele Resultaten

De auteurs evalueerden SPaTS op drie benchmarks: Total-Text, SCUT-CTW1500, en ICDAR 2015.

• State-of-the-Art Prestaties: SPaTS (in 2B en 4B parameter varianten) presteert consistent beter dan zowel vooraanstaande closed-source MLLM's (bijv. GPT-5.4, Claude-Sonnet-4.6, Gemini-3.1-Flash) als gespecialiseerde OCR-modellen (bijv. HunyuanOCR, PaddleOCR-VL).
• Efficiëntie: Ondanks het gebruik van aanzienlijk minder parameters dan massieve open-source MoE-modellen of closed-source systemen, bereikt SPaTS superieure resultaten, wat wijst op een hoge parameterefficiëntie in visuele-talige alignment.
• Ablatie-studies:
  • Single-Patch vs. Multi-Patch: Single-patch selectie presteert aanzienlijk beter dan multi-patch en coördinaat-tekst formuleringen, wat bevestigt dat meerdere patches selectie-ambiguïteit introduceren.
  • RL vs. SFT: De SPaSO (RL) fase zorgt voor een substantiële boost ten opzichte van standaard Supervised Fine-Tuning (SFT), met name in end-to-end spotting metrieken, wat de effectiviteit van het optimaliseren van selectielogica via beloningen valideert.
  • Impact van Componenten: Het verwijderen van DEA leidt tot feature drift die gedomineerd wordt door normen; het verwijderen van PED veroorzaakt een instorting van de nauwkeurigheid, wat de noodzaak van het fuseren van taal-priors met expliciete visuele signalen bevestigt.

5. Betekenis en Claims

Het paper claimt dat SPaTS een nieuw visueel grounding paradigma biedt voor hoogwaardige tekstdetectie in complexe scenario's. De primaire betekenis ligt in:

• Heroverweging van Granulariteit: Het aantonen dat "één patch genoeg is" wanneer gecombineerd met full-image verfijning, wat de heersende aanname uitdaagt dat meerdere patches noodzakelijk zijn voor robuuste grounding.
• Overbruggen van de Kloof: Het succesvol overbruggen van de semantische redeneerkracht van grote multimodale modellen met de fijnmazige geometrische strengheid die vereist is voor OCR, zonder te vertrouwen op dure oracle patch-annotaties.
• Robuustheid: Het bieden van een oplossing die kromme, dichte en geoccludeerde tekst effectiever afhandelt dan traditionele methoden, zoals blijkt uit kwalitatieve resultaten op moeilijke datasets zoals CTW1500 en ICDAR 2015.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de RL-fase extra trainingsoverhead introduceert en dat het bevriezen van de magnitude-branch in DEA de flexibiliteit onder extreme verlichtingsveranderingen kan verminderen. Ze positioneren SPaTS echter als een belangrijke stap naar meer precieze en efficiënte scène-tekstdetectie.