TextBoost: Boosting Scene Text Fidelity in Ultra-low Bitrate Image Compression

Titel

TextBoost: Verbetering van de Fidelity van Scenetekst bij Ultra-Lage Bitrate Beeldcompressie

1. Het Probleem

Bij ultra-lage bitrate beeldcompressie (bijvoorbeeld voor satellietcommunicatie of surveillance) is er een kritieke uitdaging: het behoud van kleine, gedetailleerde tekst in scènes terwijl de algemene visuele kwaliteit intact blijft.

• De Trade-off: Bestaande methoden gebruiken vaak "Region-of-Interest" (ROI) codering, waarbij meer bits worden toegewezen aan tekstgebieden. Dit leidt echter tot een afname van de globale beeldkwaliteit, omdat het bitbudget beperkt is. Er ontstaat een fundamenteel compromis tussen lokale nauwkeurigheid (tekst leesbaarheid) en globale visuele kwaliteit.
• De beperking van generatieve modellen: Hoewel diffusion-modellen de perceptuele kwaliteit kunnen verbeteren, verliezen ze vaak de pixel-nauwkeurigheid die nodig is voor het herkennen van kleine tekst, en zijn ze stochastisch van aard.
• Het doel: Het verbeteren van de herkenbaarheid van kleine tekst zonder de globale rate-distortion-optimalisatie te verstoren of de globale beeldkwaliteit te offeren.

2. Methodologie: TextBoost

TextBoost introduceert een nieuwe aanpak waarbij OCR-geïnspireerde semantische informatie wordt gebruikt als een "lichtgewicht semantische prior" in plaats van pixels te versturen. De methode bestaat uit drie strategische ontwerpprincipes en een bijbehorende pijplijn:

A. Adaptieve Verwerking van OCR-informatie (Rendering & Alignment)

In plaats van alle tekst te verzenden, filtert het systeem de informatie adaptief:

• Selectie: Alleen tekst met een klein lettertype (bepaald op basis van het gemiddelde karakteroppervlak) wordt geselecteerd, aangezien groot lettertype robuuster is tegen compressie-artefacten.
• Rendering: De geselecteerde tekst en hun coördinaten worden omgezet in een visuele "gidskaart" (guidance map).
• Normalisatie: Het systeem past de tekst rotatie en schaal aan om deze horizontaal te normaliseren voordat deze wordt gerenderd op een zwarte achtergrond. Dit creëert een schone, geometrisch uitgelijnde kaart die de positie van de tekst aangeeft zonder de oorspronkelijke stijl te vervormen.
• Efficiëntie: De tekstinhoud en coördinaten worden met verwaarloosbare overhead gecomprimeerd (bijv. via gzip) en meegestuurd.

B. Adaptieve Feature Fusie (Attention-Guided Fusion Block)

De decoder gebruikt deze gidskaart om de reconstructie te sturen zonder de originele beelden te vervangen:

• Modulatie: De gidskaart wordt niet direct over het beeld geplakt. In plaats daarvan wordt er een Hadamard-product (elementsgewijze vermenigvuldiging) uitgevoerd tussen de gids en de decoder-features, zodat de tekens de kleurinformatie van het gedecodeerde beeld erven.
• Fusie: De decoder-features worden uitgebreid en samengevoegd met de gemoduleerde gids.
• Attention Mechanisme: Een speciaal aandachtsgedeelte (attention module) leert om kleine tekstgebieden te benadrukken en irrelevante reacties te onderdrukken. Dit zorgt ervoor dat de tekst scherper wordt, terwijl de rest van het beeld (achtergrond) behouden blijft volgens de geleerde beeldpriors.

C. Guidance-Consistent Loss (Regularisatie)

Om te voorkomen dat het netwerk de tekst simpelweg "afdrukt" (wat leidt tot artefacten en slechte integratie), wordt een speciale verliesfunctie gebruikt:

• Doel: Deze loss fungeert als een regularisatie die ervoor zorgt dat de gereconstrueerde tekst in de tekstgebieden consistent is met de OCR-gids, maar wel naadloos overgaat in de omgeving.
• Twee-staps Training:
  1. Stap 1: Standaard rate-distortion optimalisatie voor het gehele frame.
  2. Stap 2: Fine-tuning waarbij alleen de fusieblokken worden bijgewerkt onder de "guidance-consistent loss", terwijl de encoder en basisdecoder vastgehouden worden. Dit ontkoppelt de tekstverbetering van de bittoewijzing.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: In plaats van bits te herschikken (ROI), wordt externe semantische informatie (OCR) gebruikt als een gids. Dit ontkoppelt tekstverbetering van de rate-distortion trade-off.
2. Visueel Coherente Gids: Een innovatieve rendering-methode die discrete tekststrings omzet in geometrisch uitgelijnde visuele kaarten die robuust zijn tegen rotatie en herkeningsruis.
3. Model-Agnostisch Ontwerp: De aanpak kan worden geïntegreerd in bestaande compressie-architecturen (zoals ELIC en LIC-TCM) zonder de encoder te hoeven wijzigen.
4. Graceful Degradation: Als OCR-informatie niet beschikbaar of onbetrouwbaar is, degradeert het systeem naadloos tot de onderliggende compressiemethode zonder extra artefacten.

4. Resultaten

De methode is getest op de TextOCR en ICDAR 2015 datasets, en vergeleken met state-of-the-art methoden zoals ELIC, LIC-TCM, TACO en generatieve modellen.

• Tekstherkenning (F1-score): TextBoost levert tot 60,6% verbetering in de F1-score voor tekstherkenning (End-to-End) op bij vergelijkbare bitrates (bpp) en PSNR-waarden ten opzichte van de beste bestaande methoden.
• Globale Kwaliteit: In tegenstelling tot ROI-methoden die de achtergrondkwaliteit verslechteren, behoudt TextBoost de globale beeldkwaliteit (PSNR, MS-SSIM) en perceptuele kwaliteit (LPIPS) op hetzelfde niveau als de beste baselines.
• Efficiëntie: De methode bereikt betere tekstresultaten zelfs bij lagere gemiddelde bitrates dan de concurrentie (bijv. 0,025 bpp vs 0,027-0,029 bpp).
• Generalisatie: Op niet-tekstgerichte datasets (Kodak) presteert TextBoost even goed of beter dan de baselines, wat aantoont dat de tekst-specifieke toevoegingen geen negatieve invloed hebben op algemene beelden.

5. Betekenis en Conclusie

TextBoost biedt een fundamentele oplossing voor het probleem van het behoud van fijne details (specifiek kleine tekst) in ultra-lage bitrate scenario's. Door semantische informatie te gebruiken als een gids in plaats van als een vervanging voor pixels, slaagt het erin om de leesbaarheid van tekst drastisch te verbeteren zonder de globale visuele ervaring te offeren.

Dit werk opent de weg voor "content-aware" compressiesystemen die intelligenter omgaan met specifieke informatie in een beeld. Toekomstig onderzoek richt zich op het uitbreiden van dit principe naar handschrift (waarbij de stijl behouden moet blijven) en andere kritieke visuele elementen zoals gezichten of objecten.