TIQA: Human-Aligned Text Quality Assessment in Generated Images

Dit paper introduceert TIQA, een nieuwe taak en dataset voor menselijk afgestemde tekstkwaliteitsbeoordeling in gegenereerde afbeeldingen, en presenteert ANTIQA, een lichtgewicht methode die de correlatie met menselijke beoordelingen significant verbetert ten opzichte van bestaande OCR- en VLM-basismethoden.

De kern

Stel je voor dat je een kunstenaar hebt die fantastische schilderijen maakt, maar die kunstenaar heeft een vreemde zwakheid: hij is geweldig in het schilderen van bomen, wolken en gezichten, maar als hij tekst moet schrijven, wordt het een ramp. De letters zijn soms gebroken, de streepjes zijn verdwenen, en het lijkt alsof de letters uit elkaar vallen.

Vroeger keken we naar deze "fouten" met twee methoden:

1. De OCR-methode: Dit is als een robot die probeert te lezen wat er staat. Als de robot de woorden kan ontcijferen, zegt hij: "Goed gedaan!" Maar de robot ziet niet dat de letters er lelijk uitzien of dat ze scheef staan.
2. De AI-jurist: Dit is een slimme computer die het schilderij bekijkt en een oordeel velt. Maar deze jurist is vaak onbetrouwbaar, afhankelijk van hoe je hem vraagt, en hij kan verward raken door de rest van het schilderij.

De auteurs van dit paper zeggen: "Wacht even, mensen kijken anders." Als jij een affiche ziet met een gebroken letter, vind jij dat lelijk, ook al kun je het woord nog wel lezen. We hebben een nieuwe manier nodig om dit te meten.

Hier is de oplossing, vertaald in begrijpelijke taal:

1. De Nieuwe Taak: TIQA (De "Tekst-Kwaliteitsmeter")

De auteurs hebben een nieuwe taak bedacht genaamd TIQA.

• Het idee: In plaats van te vragen "Wat staat er?", vragen ze: "Hoe mooi en schoon ziet de tekst eruit?"
• De analogie: Stel je voor dat je een bakker bent die perfecte taarten maakt, maar soms de letters op de taart een beetje verbrandt of vervormt. TIQA is niet de smaaktest (is het een taart?), maar de visuele inspectie: "Zien de letters er strak uit, of zijn er stukjes afgebroken?"

2. De Datasets: Het Verzamelen van Oordelen

Om hun nieuwe meter te trainen, hebben ze twee enorme verzamelingen gemaakt:

• TIQA-Crops (De "Schuifjes"): Ze hebben 10.000 kleine stukjes uitgesneden van afbeeldingen waar tekst op staat. Mensen hebben deze stukjes bekeken en een cijfer gegeven van 0 tot 5, puur op basis van hoe mooi de letters eruit zagen.
• TIQA-Images (De "Hele Taarten"): Ze hebben 1.500 volledige afbeeldingen gemaakt met veel tekst. Mensen hebben hier twee cijfers voor gegeven: één voor het hele plaatje en één specifiek voor de tekst.

3. De Oplossing: ANTIQA (De "Tekst-Expert")

Ze hebben een nieuw computerprogramma gebouwd, ANTIQA.

• Hoe werkt het? Stel je voor dat je een gewone camera hebt die naar een foto kijkt. ANTIQA is als een specialist met een vergrootglas die zich alleen richt op de letters. Hij kijkt niet naar de achtergrond of de kleuren, maar alleen naar de "gezondheid" van de letters: zijn de lijntjes heel? Staan ze recht?
• Het geheim: Het programma is getraind om te kijken naar de vorm van de letters, niet naar wat ze betekenen. Hij weet dus dat een woord dat "goed" is gespeld, maar met een gebroken 'e', een slecht cijfer krijgt.

4. Waarom is dit belangrijk? (De Praktijk)

Waarom moeten we hierover praten?

• Beter filteren: Stel je voor dat een AI 5 verschillende versies van een affiche maakt. Vroeger wisten we niet welke het beste was. Nu kunnen we ANTIQA gebruiken als een kwaliteitscontroleur. Hij kijkt naar de 5 versies en zegt: "Deze drie zijn rommel, maar deze twee hebben prachtige letters." Zo kiezen we automatisch de beste versie.
• Resultaat: In de tests bleek dat ANTIQA veel beter overeenkwam met wat mensen vonden dan de oude methoden. Door ANTIQA te gebruiken, kon men de kwaliteit van de tekst in gegenereerde afbeeldingen met 14% verbeteren.

Samenvattend

Dit paper is als het vinden van een nieuwe smaaktest voor letters.
Vroeger keken we alleen of de letters leesbaar waren (kan de robot het lezen?). Nu hebben we een manier om te meten of de letters mooi zijn (vindt de mens het mooi?).

Met hun nieuwe tool, ANTIQA, kunnen makers van AI-afbeeldingen nu automatisch de beste resultaten kiezen en zorgen dat tekst in posters, websites en documenten er niet alleen leesbaar uitziet, maar ook professioneel en strak. Het is een stap in de richting van AI die niet alleen "weet" wat er staat, maar ook "weet" hoe het eruit moet zien.

Technische samenvatting

1. Probleemstelling

Moderne tekst-naar-beeld (T2I) modellen hebben aanzienlijke vooruitgang geboekt op het gebied van semantische correctheid en globale realisme. Echter, tekstweergave (text rendering) blijft een hardnekkig falingspatroon. Generatieve modellen produceren vaak beelden met:

• Misvormde glyphen (lettertekens).
• Gebroken strepen en inconsistentie in dikte.
• Instabiele kerning (letterafstand) en baselines.
• Hallucinaties van tekens.

Bestaande evaluatiemethoden zijn ontoereikend om deze perceptuele fouten te meten:

• OCR-gebaseerde methoden: Meten alleen semantische correctheid (kan de tekst lezen?). Ze straffen visuele artefacten onvoldoende af die voor mensen duidelijk zichtbaar en storend zijn, zelfs als de tekst leesbaar blijft.
• VLM-judges (Vision-Language Models): Kunnen in theorie redeneren over artefacten, maar zijn gevoelig voor prompt-variabiliteit, versiedrift en zijn computatief zwaar. Hun scores zijn vaak niet gestandaardiseerd.
• Generieke IQA-metrics: Meten algemene beeldkwaliteit (blur, ruis) maar missen de fijne typografische nuances die specifiek zijn voor gegenereerde tekst.

Er is een behoefte aan een dedicated methode die perceptuele tekstkwaliteit meet, onafhankelijk van de semantische betekenis.

2. Methodologie: TIQA en ANTIQA

De auteurs introduceren TIQA (Text-in-Image Quality Assessment) als een nieuwe taak en ANTIQA als de voorgestelde oplossing.

A. De Taak (TIQA)

TIQA is een "no-reference" taak waarbij het doel is om een scalair kwaliteitscijfer te voorspellen voor een gedetecteerd tekstgebied in een gegenereerd beeld. Dit cijfer moet correleren met menselijke oordelen (Mean Opinion Score - MOS) over de fideliteit van de weergave, niet over de inhoud van de tekst.

B. De Methode: ANTIQA

ANTIQA is een lichtgewicht, gespecialiseerd model dat is ontworpen om tekst-specifieke bias te hebben.

• Architectuur: Een compacte multi-schaal CNN-regressor.
  • Input: Een tekst-crop (2 kanalen: grijswaarden + Sobel randkaart).
  • Speciale lagen: Gebruik van strip convoluties (1×k en k×1) binnen residuale blokken. Dit injecteert een anisotrope inductieve bias die past bij de geometrie van tekst (verticale en horizontale strepen).
  • SE Blocks: Squeeze-and-Excitation blokken voor kanaalherkalibratie om robuustheid te verhogen tegen stijl- en lettertypevariaties.
  • Multi-scale pooling: Adaptive Average en Max pooling op meerdere resoluties, gevolgd door een MLP-head voor regressie naar een MOS-score.
• Training:
  1. Pre-training: Op 110.000 crops zonder menselijke labels, gebruikmakend van OCR-gevoeligheidsscores (van PP-OCRv5) die via neural optimal transport zijn gemapt naar het MOS-bereik (0-5).
  2. Fine-tuning: Op 10.000 crops met menselijke MOS-labels, met een gemengde loss-functie (MSE + pairwise ranking loss) om zowel absolute scores als relatieve rangschikkingen te optimaliseren.

3. Belangrijkste Bijdragen

1. Nieuwe Taakdefinitie (TIQA): Formuleren van tekstkwaliteit als een perceptuele, semantisch-onafhankelijke schaal.
2. Twee Nieuwe Datasets:
   • TIQA-Crops: 120.000 tekst-crops (10k met menselijke MOS-labels, 110k met OCR-proxy-labels) gegenereerd door 12 T2I-modellen.
   • TIQA-Images: 1.500 volledige beelden (text-heavy) van 10 moderne modellen (inclusief proprietary zoals GPT Image 1.5 en Nano Banana Pro), elk met gepaarde MOS-labels voor totale beeldkwaliteit en alleen tekstkwaliteit.
3. ANTIQA Model: Een efficiënt model dat de staat van de kunst (SOTA) overtreft in correlatie met menselijke oordelen.
4. Praktische Toepassingen: Demonstratie van de waarde van TIQA voor downstream taken zoals "Best-of-K" selectie en het filteren van slechte generaties.

4. Resultaten

De evaluatie gebruikt Pearson (PLCC) en Spearman (SROCC) correlaties met menselijke MOS-scores.

• Prestatie op TIQA-Crops:

  • ANTIQA bereikt een PLCC van 0.942 en SROCC van 0.935.
  • Dit is een significante verbetering ten opzichte van OCR-gevoeligheid (PLCC ~0.78), VLM-judges (Qwen3 PLCC ~0.89, maar trager en minder stabiel) en generieke IQA (TOPIQ PLCC ~0.40).
  • ANTIQA is aanzienlijk sneller (119 FPS) dan VLM-judges (0.6 FPS).

• Prestatie op TIQA-Images (Unseen Generators):

  • ANTIQA generaliseert goed naar modellen die niet in de training zijn gebruikt.
  • Voor tekstkwaliteit (TQ-MOS): PLCC 0.842 (beste).
  • Voor totale beeldkwaliteit (OQ-MOS): PLCC 0.810 (beste). Dit toont aan dat tekstkwaliteit een sterke drijvende kracht is voor de algehele menselijke voorkeur in tekst-heavy scenario's.

• Best-of-K Selectie:

  • Wanneer ANTIQA wordt gebruikt om de beste van 5 gegenereerde beelden te selecteren voor een vaste prompt, verbetert de gemiddelde menselijke tekstkwaliteit met +14% (van 2.57 naar 2.93 MOS) en de totale kwaliteit met +9.9%.
  • Dit presteert aanzienlijk beter dan willekeurige selectie of selectie gebaseerd op OCR.

5. Betekenis en Impact

• Sluiting van de Evaluatiekloof: TIQA biedt de eerste robuuste, mens-gealigneerde metric voor de visuele kwaliteit van gegenereerde tekst, losgekoppeld van semantische correctheid.
• Efficiëntie: Het model is lichtgewicht en snel genoeg voor real-time integratie in generatiepiplines (bijv. voor reranking of filtering tijdens het genereren).
• Inzicht in T2I-modellen: De analyse toont aan dat, hoewel moderne modellen beter worden, tekstweergave nog steeds een "bottleneck" is met zeldzame maar ernstige uitval (tail failures).
• Toekomstige Richting: De auteurs pleiten voor het integreren van TIQA-signalen in gesloten-lus training en guidance voor T2I-modellen om de kwaliteit van gegenereerde tekst structureel te verbeteren.

Kortom, dit paper introduceert een noodzakelijke verschuiving in hoe we AI-generatie evalueren: van puur "leesbaar" naar "visueel overtuigend en foutloos", met een praktische, schaalbare oplossing (ANTIQA) die direct inzetbaar is in productieomgevingen.