💻 computer science

Self-Prompting Diffusion Transformer for Open-Vocabulary Scene Text Editing via In-Context Learning

Este artigo propõe um transformador de difusão com auto-prompt que aproveita a aprendizagem em contexto para alcançar a edição de texto em cena de vocabulário aberto e consistente em estilo, construindo prompts de estilo e glifo diretamente da imagem original, superando assim as limitações dos métodos existentes que dependem de codificadores de glifo pré-treinados e negligenciam detalhes visuais.

Autores originais: Hongxi Li, Tong Wang, Chengjing Wu, Tianbao Liu, Jiangtao Yao, Xiaochao Qu, Xinxiao Wu, Luoqi Liu, Ting Liu

Publicado 2026-05-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hongxi Li, Tong Wang, Chengjing Wu, Tianbao Liu, Jiangtao Yao, Xiaochao Qu, Xinxiao Wu, Luoqi Liu, Ting Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma fotografia de um letreiro de rua que diz "Café", mas você quer alterá-lo para dizer "Padaria". A parte complicada não é apenas escrever a nova palavra; é garantir que a nova palavra pareça que sempre esteve lá. Ela precisa combinar com a fonte exata, o tom específico de vermelho, a textura da tinta e a maneira como a luz incide sobre as letras, tudo isso mantendo a parede de tijolos atrás dela intocada.

Este artigo apresenta uma nova ferramenta de IA chamada MSTEdit que faz exatamente isso, mas com um toque inteligente sobre como ela aprende.

O Problema: O Erro da "Lona em Branco"

As tentativas anteriores dessa tarefa eram como um pintor a quem foi dito para corrigir um erro de digitação em um letreiro, mas que foi forçado a pintar todo o letreiro com uma lona branca em branco primeiro.

O Jeito Antigo: A IA apagaria o texto original completamente e tentaria adivinhar como o novo texto deveria parecer baseando-se apenas na parede ao redor.
O Resultado: O novo texto frequentemente parecia errado. Poderia usar a fonte errada, a cor errada ou parecer um adesivo colado por cima. Perdia a "alma" do letreiro original. Além disso, esses sistemas antigos eram como alunos que apenas memorizavam um dicionário específico; se você pedisse para eles escreverem uma palavra que não tinham visto antes (como um símbolo raro ou um novo idioma), eles falhariam.

A Solução: O Detetive de "Auto-Prompt"

Os autores propõem um método chamado Auto-Prompt. Em vez de apagar o texto original e adivinhar, a IA age como um detetive que estuda a cena do crime antes de fazer uma alteração.

Veja como funciona, usando uma analogia simples:

1. O "Instantâneo de Estilo" (O Prompt de Estilo)
Imagine que você quer mudar a palavra "Café" para "Padaria". Antes de tocar no letreiro, a IA tira uma foto de alta resolução das letras originais de "Café". Ela analisa a textura da tinta, a cor vermelha exata e o estilo da fonte. Ela cria um "instantâneo de estilo" e diz: "Ok, a nova palavra deve parecer exatamente assim."

2. O "Projeto" (O Prompt de Glifo)
A IA também pega a nova palavra, "Padaria", e desenha um projeto simples em preto e branco dela. Isso não é uma foto sofisticada; é apenas um contorno claro das letras. Isso diz à IA o que escrever, mas não como ela deve parecer ainda.

3. O "Artista Mestre" (O Transformador de Difusão Multimodal)
A IA usa um mecanismo poderoso (chamado Transformador de Difusão Multimodal) que é muito bom em "aprendizado em contexto". Pense nesse mecanismo como um artista mestre que é incrivelmente bom em copiar estilos.

O artista olha para o Projeto (o que escrever).
O artista olha para o Instantâneo de Estilo (como escrever).
O artista olha para a Parede ao Redor (onde colocar).

O artista então pinta a nova palavra "Padaria" diretamente na parede, usando o projeto para a estrutura, mas copiando a tinta e a textura do "Café" original.

O Treinamento: Aprendendo Fazendo

Como eles ensinaram essa IA a ser tão boa? Eles usaram um processo de treinamento em duas etapas, que chamam de "Treinamento de Resfriamento".

Etapa 1: A Fase Auto-Supervisionada (A Prova Geral): Primeiro, eles deixaram a IA praticar em milhões de imagens onde ela apenas tinha que aprender a desenhar letras em geral. Ela aprendeu as formas das letras em muitos idiomas diferentes, sem se preocupar em combinar um estilo específico ainda.
Etapa 2: A Fase de Resfriamento (A Prova Final): Então, eles deram à IA um pequeno conjunto especial de pares de imagens "Antes e Depois". Nessas imagens, um humano havia editado cuidadosamente um letreiro para mostrar o resultado perfeito. A IA estudou esses pares para aprender a arte delicada de combinar estilos. Ela aprendeu: "Ah, quando vejo essa textura de tinta vermelha na palavra antiga, devo usar essa mesma textura de tinta vermelha na nova palavra."

Por Que É Especial

Vocabulário Aberto: Como a IA aprende as formas dos traços (as linhas que compõem as letras) em vez de memorizar uma lista fixa de palavras, ela pode editar texto em quase qualquer idioma, mesmo naqueles que nunca viu antes. Ela consegue lidar com caracteres ou símbolos raros com os quais outras IAs se atrapalhariam.
Sem Ferramentas Extras Necessárias: Diferente de outros métodos que exigem ferramentas separadas e pesadas para analisar fontes ou cores, este método constrói esses "prompts" (o instantâneo de estilo e o projeto) diretamente a partir da própria imagem. É autocontido.
Resultados Reais: O artigo testou isso em 13 idiomas diferentes (incluindo inglês, chinês, árabe, tailandês e russo). Os resultados mostraram que seu método era muito melhor em fazer o novo texto parecer preciso e combinar com o estilo original do que qualquer método anterior.

Em resumo, este artigo apresenta uma IA que não apenas "substitui" texto; ela "transplanta" texto, garantindo que a nova palavra se encaixe perfeitamente na cena existente, parecendo que pertence ali naturalmente.

Resumo Técnico: Transformer de Difusão com Auto-Prompting para Edição de Texto em Cena de Vocabulário Aberto

1. Declaração do Problema

A edição de texto em cena visa modificar o conteúdo textual dentro de imagens de cenas naturais, preservando estritamente a correção dos glifos e a consistência visual (estilo, textura, cor) do contexto circundante. Abordagens existentes, amplamente baseadas em formulações de inpainting de imagem, sofrem com duas limitações primárias:

Perda do Estilo Original: Ao tratar a região de texto alvo como uma tela em branco a ser preenchida, esses métodos descartam a informação visual original do texto. Consequentemente, o texto gerado frequentemente falha em reter o estilo pré-edição, emprestando em vez disso pistas estilísticas do fundo circundante.
Vocabulário Limitado e Generalização: Métodos que dependem de modelos de Reconhecimento Óptico de Caracteres (OCR) pré-treinados como codificadores de glifos são restringidos por vocabulários fixos, limitando sua capacidade de editar idiomas raros ou scripts logográficos. Por outro lado, métodos que treinam codificadores de glifos do zero exigem conjuntos de dados massivos e frequentemente lutam para capturar detalhes de nível de traço finos necessários para scripts complexos.

2. Metodologia

O artigo propõe uma estrutura de Transformer de Difusão com Auto-Prompting que alavanca Aprendizado em Contexto para alcançar edição de texto de vocabulário aberto sem introduzir codificadores adicionais de estilo ou glifo. A arquitetura central é construída sobre o FLUX-Fill, um Transformer de Difusão Multimodal (MM-DiT).

2.1. Mecanismo de Auto-Prompting

Em vez de depender de codificadores externos, o método constrói prompts diretamente a partir da imagem de entrada e do texto alvo:

Prompt de Estilo: Um prompt visual de estilo ( $I_s$ ) é gerado cortando a região original de texto alvo da imagem de entrada. Isso captura a cor única, textura, fonte e iluminação local. Um prompt textual de estilo correspondente é codificado usando um codificador de texto CLIP.
Prompt de Glifo: Um prompt visual de glifo ( $I_g$ ) é criado renderizando a string de texto alvo em um mapa de glifos de alto contraste e linha única (branco sobre preto) usando bibliotecas padrão. Isso fornece orientação estrutural explícita de nível de traço. Um prompt textual de glifo é codificado usando um codificador de texto T5.
Construção de Entrada: A imagem mascarada, o prompt visual de estilo e o prompt visual de glifo são concatenados ao longo da dimensão do canal para formar uma entrada visual composta para o backbone MM-DiT.

2.2. Estratégia de Treinamento em Duas Etapas

Para equilibrar generalização com consistência de estilo, os autores empregam um pipeline de treinamento em duas etapas:

Pré-treinamento Auto-supervisionado: O modelo é primeiro treinado no grande conjunto de dados AnyWord-3M. Durante esta etapa, o modelo aprende capacidades fundamentais de inpainting de texto e representações de nível de traço usando sinais auto-supervisionados, sem superajustar a estilos de texto específicos.
Treinamento de Resfriamento (Cooldown): Para refinar a preservação de estilo, o modelo passa por uma segunda etapa de treinamento em um pequeno conjunto de dados curado de 4.000 imagens emparelhadas. Esses pares consistem em uma imagem original e uma versão editada correspondente onde o texto é substituído enquanto mantém a consistência de estilo.
- Objetivo: Inspirado pelo MECO, esta etapa trata a região de texto original como meta-informação. O objetivo de treinamento minimiza o campo de velocidade entre o latente de origem (texto original) e o latente de destino (texto editado), incentivando o modelo a desacoplar a preservação de estilo da regeneração de conteúdo.
- Construção de Dados: O conjunto de dados emparelhado foi gerado usando um modelo de edição de imagem baseado em instruções (Nano Banana Pro) e rigorosamente filtrado por anotadores humanos para garantir que regiões não-alvo permanecessem inalteradas e a consistência de estilo fosse mantida.

3. Contribuições Principais

Edição de Vocabulário Aberto via Aprendizado em Contexto: O método alcança capacidades de vocabulário aberto capturando características de nível de traço a partir de imagens de glifos renderizados, em vez de depender de características de nível de caractere de OCR. Isso elimina a necessidade de vocabulários fixos e codificadores de glifos adicionais.
Consistência de Estilo sem Codificadores Extras: Ao construir prompts de estilo diretamente a partir da imagem original e utilizar treinamento de resfriamento em dados emparelhados, o método garante consistência de estilo estrita entre o texto original e o editado sem introduzir codificadores específicos de estilo adicionais.
Desempenho de Ponta: Experimentos extensivos demonstram desempenho superior tanto em precisão de texto quanto em fidelidade de estilo em 13 idiomas, incluindo scripts complexos como tailandês, árabe e chinês.

4. Resultados Experimentais

O método foi avaliado no AnyText-benchmark (Chinês/Inglês) e no recém-construído conjunto de dados MST-Edit (cobrindo 11 idiomas adicionais).

Desempenho Quantitativo: No AnyText-benchmark, o método proposto alcançou os melhores resultados em todas as métricas.
- Inglês: Precisão de Frase (Sen. Acc) de 0,8857 (vs. 0,8231 para o segundo melhor, TextFlux) e FID de 7,62.
- Chinês: Sen. Acc de 0,8249 e FID de 7,95.
- O método reduziu significativamente as pontuações de FID e LPIPS em comparação com as linhas de base, indicando fidelidade visual superior e consistência estilística.
Robustez Multilíngue: No conjunto de dados MST-Edit, o método superou consistentemente as linhas de base sem OCR (FluxText, TextFlux) em todos os 11 idiomas avaliados. Embora o desempenho tenha variado ligeiramente com base na complexidade do script (por exemplo, scripts latinos performaram melhor que o tailandês), o modelo demonstrou robustez em diversos sistemas de escrita.
Estudos de Ablação:
- Treinamento de Resfriamento: Remover a etapa de resfriamento resultou em uma queda significativa nas métricas de qualidade de imagem (FID aumentou de 7,62 para 11,56 para inglês), confirmando seu papel crítico na preservação de estilo.
- Design de Prompt: A combinação de prompts de glifo e estilo com dados emparelhados produziu as melhorias mais significativas, validando o design de auto-prompting.
- Interferência Cross-Lingual: O treinamento progressivo de idiomas mostrou que introduzir novos idiomas não degradou o desempenho em idiomas aprendidos anteriormente, sugerindo que o modelo aprende primitivas de nível de traço compartilhadas em vez de memorização específica de idioma.

5. Significado e Alegações

O artigo alega fornecer uma solução unificada e escalável para edição de texto em cena multilíngue. Ao construir prompts diretamente a partir da imagem de entrada, a abordagem permite geração de texto coerente que permanece fiel à aparência da fonte circundante, layout e contexto visual.

Os autores enfatizam que seu método:

Supera as limitações de vocabulários fixos de OCR, apoiando edição de vocabulário aberto para idiomas diversos e raros.
Resolve o problema de "perda de estilo" inerente a formulações tradicionais de inpainting alavancando informações em contexto.
Estabelece uma base para estender a edição consistente de estilo para cenários do mundo real mais complexos e diversos, sem a sobrecarga computacional de treinar codificadores separados para cada novo idioma ou estilo.

O trabalho é apresentado como um avanço de pesquisa destinado a beneficiar aplicações em design gráfico e criação de conteúdo, reconhecendo ao mesmo tempo as considerações éticas sobre o uso indevido potencial de tecnologias de edição de imagem.