💻 computer science

Self-Prompting Diffusion Transformer for Open-Vocabulary Scene Text Editing via In-Context Learning

Dit artikel stelt een zelf-promptende diffusion-transformer voor die gebruikmaakt van in-context learning om open-vocabulaire, stijl-consistente tekstbewerking in scènes te realiseren door stijl- en glyph-prompten direct uit de originele afbeelding te construeren, waarmee de beperkingen van bestaande methoden worden overwonnen die vertrouwen op voorgeöefende glyph-encoders en visuele details verwaarlozen.

Oorspronkelijke auteurs: Hongxi Li, Tong Wang, Chengjing Wu, Tianbao Liu, Jiangtao Yao, Xiaochao Qu, Xinxiao Wu, Luoqi Liu, Ting Liu

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hongxi Li, Tong Wang, Chengjing Wu, Tianbao Liu, Jiangtao Yao, Xiaochao Qu, Xinxiao Wu, Luoqi Liu, Ting Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto hebt van een straatbord met de tekst "Café", maar je wilt deze wijzigen in "Bakkerij". Het lastige deel is niet alleen het schrijven van het nieuwe woord; het gaat erom dat het nieuwe woord eruit ziet alsof het er altijd heeft gestaan. Het moet overeenkomen met het exacte lettertype, de specifieke tint rood, de textuur van de verf en de manier waarop het licht op de letters valt, terwijl de bakstenen muur erachter onaangetast blijft lijken.

Dit artikel introduceert een nieuw AI-tool genaamd MSTEdit dat precies dit doet, maar met een slimme draai aan de manier waarop het leert.

Het Probleem: De "Leeg Canvas"-Fout

Vorige pogingen tot deze taak waren als een schilder die werd gevraagd een typefout op een bord te herstellen, maar die gedwongen werd om eerst het hele bord te overschilderen met een leeg wit canvas.

De Oude Manier: De AI zou de originele tekst volledig wissen en proberen te raden hoe de nieuwe tekst eruit zou moeten zien, uitsluitend gebaseerd op de omliggende muur.
Het Resultaat: De nieuwe tekst zag er vaak verkeerd uit. Het gebruikte misschien het verkeerde lettertype, de verkeerde kleur, of leek op een sticker die erop was geplakt. Het verloor de "ziel" van het originele bord. Ook waren deze oude systemen als studenten die alleen een specifiek woordenboek uit hun hoofd hadden geleerd; als je hen vroeg om een woord te schrijven dat ze nog niet hadden gezien (zoals een zeldzaam symbool of een nieuwe taal), zouden ze falen.

De Oplossing: De "Zelf-promptende" Detective

De auteurs stellen een methode voor genaamd Zelf-prompting. In plaats van de originele tekst te wissen en te raden, treedt de AI op als een detective die de plaats delict bestudeert voordat er een verandering wordt aangebracht.

Hier is hoe het werkt, met behulp van een eenvoudige analogie:

1. De "Stijl Snapshot" (De Stijl Prompt)
Stel je voor dat je het woord "Café" wilt veranderen in "Bakkerij". Voordat je het bord aanraakt, maakt de AI een hoogresolutiefoto van de originele "Café"-letters. Het analyseert de verftextuur, de exacte rode kleur en de letterstijl. Het maakt een "stijlsnapshot" en zegt: "Oké, het nieuwe woord moet er precies zo uitzien."

2. De "Blauwdruk" (De Glyph Prompt)
De AI neemt ook het nieuwe woord, "Bakkerij", en tekent een simpele zwart-wit blauwdruk ervan. Dit is geen fancy foto; het is gewoon een duidelijke omtrek van de letters. Dit vertelt de AI wat er moet worden geschreven, maar nog niet hoe het eruit moet zien.

3. De "Meesterkunstenaar" (De Diffusion Transformer)
De AI gebruikt een krachtige engine (genaamd een Multi-Modal Diffusion Transformer) die zeer goed is in "in-context learning". Denk aan deze engine als een meesterkunstenaar die ongelooflijk goed is in het kopiëren van stijlen.

De kunstenaar kijkt naar de Blauwdruk (wat er moet worden geschreven).
De kunstenaar kijkt naar de Stijl Snapshot (hoe het moet worden geschreven).
De kunstenaar kijkt naar de Omliggende Muur (waar het moet worden geplaatst).

De kunstenaar schildert vervolgens het nieuwe woord "Bakkerij" direct op de muur, waarbij de blauwdruk wordt gebruikt voor de structuur maar de verf en textuur worden gekopieerd van het originele "Café".

De Training: Leren door te Doen

Hoe hebben ze deze AI zo goed getraind? Ze gebruikten een tweestaps trainingsproces, dat ze "Cooldown Training" noemen.

Stap 1: De Zelf-superviserende Fase (De Oefenronde): Eerst lieten ze de AI oefenen op miljoenen afbeeldingen waarbij het alleen maar moest leren hoe het in het algemeen letters moest tekenen. Het leerde de vormen van letters in veel verschillende talen, zonder zich nog zorgen te maken over het matchen van een specifieke stijl.
Stap 2: De Cooldown Fase (Het Eindexamen): Vervolgens gaven ze de AI een kleine, speciale set "Voor en Na"-beeldparen. In deze afbeeldingen had een mens zorgvuldig een bord bewerkt om het perfecte resultaat te tonen. De AI bestudeerde deze paren om de delicate kunst van stijlen matchen te leren. Het leerde: "Ah, wanneer ik deze rode verftextuur zie op het oude woord, moet ik diezelfde rode verftextuur gebruiken op het nieuwe woord."

Waarom Het Speciaal Is

Open Woordenschat: Omdat de AI de vormen van streken leert (de lijnen waaruit letters bestaan) in plaats van een vaste lijst van woorden uit zijn hoofd te leren, kan het tekst bewerken in bijna elke taal, zelfs die welke het nog nooit heeft gezien. Het kan omgaan met zeldzame karakters of symbolen waar andere AI's op zouden vastlopen.
Geen Extra Tools Nodig: In tegenstelling tot andere methoden die aparte, zware tools vereisen om lettertypes of kleuren te analyseren, bouwt deze methode die "prompts" (de stijlsnapshot en blauwdruk) direct op basis van de afbeelding zelf. Het is zelfstandig.
Reële Resultaten: Het artikel testte dit op 13 verschillende talen (waaronder Engels, Chinees, Arabisch, Thais en Russisch). De resultaten toonden aan dat hun methode veel beter was in het nauwkeurig laten lijken van de nieuwe tekst en het matchen van de originele stijl dan welke eerdere methode ook.

Kortom, dit artikel presenteert een AI die tekst niet alleen "vervangt"; het "verplaatst" tekst, zodat het nieuwe woord perfect past in het bestaande tafereel en er natuurlijk uitziet alsof het daar thuishoort.

Technische Samenvatting: Self-Prompting Diffusion Transformer voor Open-Vocabulary Tekstbewerking in Scènes

1. Probleemstelling

Tekstbewerking in scènes heeft tot doel tekstuele inhoud binnen natuurlijke scènes afbeeldingen te wijzigen, terwijl de correctheid van de glyphen en de visuele consistentie (stijl, textuur, kleur) van de omringende context strikt worden behouden. Bestaande benaderingen, grotendeels gebaseerd op formuleringen voor image inpainting, lijden onder twee primaire beperkingen:

Verlies van Originele Stijl: Door het doeltekstgebied te behandelen als een blanco canvas dat moet worden ingevuld, werpen deze methoden de originele visuele informatie van de tekst weg. Bijgevolg slaagt de gegenereerde tekst er vaak niet in om de voor-bewerkingsstijl te behouden, en leent deze in plaats daarvan stijlkenmerken van de omringende achtergrond.
Beperkte Woordenschat en Generalisatie: Methoden die vertrouwen op voorgeöefende Optical Character Recognition (OCR)-modellen als glyph-encoders, worden beperkt door vaste woordenschat, wat hun vermogen om zeldzame talen of logografische scripts te bewerken, beperkt. Omgekeerd vereisen methoden die glyph-encoders vanaf nul trainen enorme datasets en hebben ze vaak moeite om fijnmazige details op streekniveau vast te leggen die noodzakelijk zijn voor complexe scripts.

2. Methodologie

Het artikel stelt een Self-Prompting Diffusion Transformer-kader voor dat In-Context Learning benut om open-vocabulary tekstbewerking te realiseren zonder extra stijl- of glyph-encoders in te voeren. De kernarchitectuur is gebaseerd op FLUX-Fill, een Multi-Modal Diffusion Transformer (MM-DiT).

2.1. Self-Prompting Mechanisme

In plaats van te vertrouwen op externe encoders, construeert de methode prompts direct vanuit de invoerafbeelding en de doeltekst:

Stijl Prompt: Een visuele stijl prompt ( $I_s$ ) wordt gegenereerd door het originele doeltekstgebied uit de invoerafbeelding te croppen. Dit vangt de unieke kleur, textuur, lettertype en lokale verlichting. Een overeenkomstige tekstuele stijl prompt wordt gecodeerd met een CLIP tekst-encoder.
Glyph Prompt: Een visuele glyph prompt ( $I_g$ ) wordt gemaakt door de doeltekststring te renderen in een hoog-contrast, single-line glyph-kaart (wit op zwart) met behulp van standaardbibliotheken. Dit biedt expliciete structurele begeleiding op streekniveau. Een tekstuele glyph prompt wordt gecodeerd met een T5 tekst-encoder.
Invoerconstructie: De gemaskerde afbeelding, visuele stijl prompt en visuele glyph prompt worden langs de kanaal-dimensie samengevoegd om een samengestelde visuele invoer te vormen voor de MM-DiT-ruggengraat.

2.2. Twee-fasen Trainingsstrategie

Om generalisatie in evenwicht te brengen met stijlbewaring, hanteren de auteurs een twee-fasen trainingspijplijn:

Zelftoezicht Pretraining: Het model wordt eerst getraind op de grootschalige AnyWord-3M-dataset. Tijdens deze fase leert het model fundamentele tekst-inpainting-capaciteiten en representaties op streekniveau met behulp van zelftoezichtsignalen, zonder te overfitten op specifieke tekststijlen.
Cooldown Training: Om stijlbewaring te verfijnen, ondergaat het model een tweede trainingsfase op een kleine, samengestelde dataset van 4.000 gepaarde afbeeldingen. Deze paren bestaan uit een originele afbeelding en een overeenkomstige bewerkte versie waarbij de tekst wordt vervangen terwijl de stijlbewaring wordt behouden.
- Doelstelling: Geïnspireerd door MECO, behandelt deze fase het originele tekstgebied als meta-informatie. De trainingsdoelstelling minimaliseert het snelheidsveld tussen de bron-latent (originele tekst) en de doel-latent (bewerkte tekst), waardoor het model wordt aangemoedigd stijlbewaring te ontkoppelen van inhoudshergeneratie.
- Dataconstructie: De gepaarde dataset werd gegenereerd met een instructie-gebaseerd beeldbewerkingsmodel (Nano Banana Pro) en strikt gefilterd door menselijke annotatoren om ervoor te zorgen dat niet-doelgebieden onveranderd bleven en stijlbewaring werd gehandhaafd.

3. Belangrijkste Bijdragen

Open-Vocabulary Bewerking via In-Context Learning: De methode bereikt open-vocabulary capaciteiten door kenmerken op streekniveau vast te leggen uit gerenderde glyph-afbeeldingen in plaats van te vertrouwen op karakter-niveau OCR-kenmerken. Dit elimineert de noodzaak voor vaste woordenschat en extra glyph-encoders.
Stijlbewaring zonder Extra Encoders: Door stijl prompts direct uit de originele afbeelding te construeren en cooldown training op gepaarde data te gebruiken, zorgt de methode voor strikte stijlbewaring tussen de originele en bewerkte tekst zonder extra stijlspecifieke encoders in te voeren.
State-of-the-Art Prestaties: Uitgebreide experimenten tonen superieure prestaties aan in zowel tekstnauwkeurigheid als stijltrouw over 13 talen, inclusief complexe scripts zoals Thai, Arabisch en Chinees.

4. Experimentele Resultaten

De methode werd geëvalueerd op de AnyText-benchmark (Chinees/Engels) en de nieuw geconstrueerde MST-Edit-dataset (die 11 extra talen bestrijkt).

Kwantitatieve Prestaties: Op de AnyText-benchmark behaalde de voorgestelde methode de beste resultaten over alle metrieken.
- Engels: Zin-nauwkeurigheid (Sen. Acc) van 0,8857 (tegenover 0,8231 voor de op één na beste TextFlux) en FID van 7,62.
- Chinees: Sen. Acc van 0,8249 en FID van 7,95.
- De methode verlaagde FID- en LPIPS-scores aanzienlijk in vergelijking met baselines, wat wijst op superieure visuele trouw en stijlbewaring.
Meertalige Robuustheid: Op de MST-Edit-dataset overtrof de methode consistent OCR-vrije baselines (FluxText, TextFlux) over alle 11 geëvalueerde talen. Hoewel de prestaties licht varieerden op basis van scriptcomplexiteit (bijvoorbeeld Latijnse scripts presteerden beter dan Thai), toonde het model robuustheid over diverse schrijfsystemen.
Ablatie Studies:
- Cooldown Training: Het verwijderen van de cooldown-fase resulteerde in een significante daling van de beeldkwaliteitsmetrieken (FID steeg van 7,62 naar 11,56 voor Engels), wat bevestigt dat deze een cruciale rol speelt in stijlbewaring.
- Prompt Ontwerp: De combinatie van glyph- en stijl-prompts met gepaarde data leverde de meest significante verbeteringen op, wat het self-prompting-ontwerp valideert.
- Cross-linguale Interferentie: Progressieve taaltraining toonde aan dat het introduceren van nieuwe talen de prestaties op eerder geleerde talen niet verslechterde, wat suggereert dat het model gedeelde primitieven op streekniveau leert in plaats van taalspecifieke memorisatie.

5. Betekenis en Claims

Het artikel claimt een geünificeerde en schaalbare oplossing te bieden voor meertalige tekstbewerking in scènes. Door prompts direct uit de invoerafbeelding te construeren, maakt de aanpak coherente tekstgeneratie mogelijk die trouw blijft aan de omliggende lettertype-uitstraling, lay-out en visuele context.

De auteurs benadrukken dat hun methode:

De beperkingen van vaste OCR-woordenschat overwint, en open-vocabulary bewerking ondersteunt voor diverse en zeldzame talen.
Het "stijlverlies"-probleem inherent aan traditionele inpainting-formuleringen oplost door in-context informatie te benutten.
Een fundament legt voor het uitbreiden van stijlbewarende bewerking naar complexere en diversere real-world scenario's zonder de computatiekosten van het trainen van aparte encoders voor elke nieuwe taal of stijl.

Het werk wordt gepresenteerd als een onderzoeksvooruitgang die bedoeld is om toepassingen in grafisch ontwerp en contentcreatie te bevoordelen, terwijl rekening wordt gehouden met ethische overwegingen regarding het potentieel misbruik van beeldbewerkings technologieën.