SkyReels-Text: Fine-Grained Font-Controllable Text Editing for Poster Design

1. Declaração do Problema

O design profissional de cartazes exige a capacidade de modificar rapidamente o conteúdo textual (por exemplo, slogans, datas, nomes de marcas) enquanto preserva estritamente a harmonia visual original, a identidade tipográfica e os estilos de fonte específicos. Os modelos atuais de edição de imagem impulsionados por IA enfrentam duas limitações primárias:

• Modelos de Propósito Geral: Modelos como FLUX, Qwen-Image e Seedream excelam na manipulação geral, mas falham na edição de alta granularidade e consciente de fontes. Eles frequentemente corrompem o conteúdo semântico ou falham em transplantar com precisão a tipografia de referência para regiões-alvo.
• Modelos de Texto Especializados: Modelos existentes específicos para texto (por exemplo, FLUX-Text, TextFLUX) focam na precisão ortográfica injetando priores de glifos, mas carecem de mecanismos para aceitar estilos de fonte arbitrários a partir de patches visuais fornecidos pelo usuário. Eles não podem garantir que o texto editado imite uma fonte de referência específica sem ajuste fino ou rótulos de fonte.

A Lacuna: Há uma necessidade crítica de um sistema que permita edição de texto controlada por fonte em zero-shot, onde os usuários podem fornecer um único patch de glifo de referência para ditar o estilo, sem exigir rótulos de fonte ou ajuste fino no momento do teste.

2. Metodologia

O SkyReels-Text introduz um novo framework que desacopla o conteúdo textual do estilo tipográfico usando um mecanismo de condicionamento visual de duplo fluxo.

A. Curadoria de Dados e Desacoplamento Conteúdo-Estilo

Para treinar o modelo, os autores curaram um conjunto de dados de alta qualidade de 100.000 pares de imagens originais-editadas alinhadas usando um pipeline especializado:

1. OCR Baseado em VLM: Um modelo Qwen2.5-VL 7B ajustado finamente é usado para detectar e reconhecer texto em fontes complexas, ornamentais ou caligráficas que o OCR padrão (como PP-OCR) não consegue processar.
2. Pipeline de Desacoplamento Conteúdo-Estilo:
   • Geração de Texto Divergente: Um LLM (Qwen3-8B) gera texto de substituição semanticamente distinto para as regiões detectadas.
   • Edição Local: O modelo Nano Banana substitui o texto original pelo novo conteúdo, preservando a fonte original, a cor e o alinhamento.
   • Dupla Verificação: Um bloco de validação rigoroso garante:
     • Precisão de Conteúdo: O novo texto é corretamente reconhecido pelo VLM-OCR.
     • Consistência de Estilo: Recursos DINO v2 são extraídos para verificar se o texto editado mantém o estilo visual do original.
3. Conjunto de Dados: O resultado é um conjunto de dados onde o conteúdo do texto e o estilo da fonte estão completamente desacoplados, permitindo que o modelo aprenda a transferência de estilo independentemente da semântica.

B. Arquitetura do Modelo

O SkyReels-Text é construído sobre o modelo base Qwen-Image-Edit com ajuste fino LoRA. Ele emprega um Mecanismo de Condicionamento Visual de Duplo Fluxo:

• Fluxos de Entrada:
  1. Referência de Texto Simples ($X_{text}$): O texto alvo renderizado em uma fonte padrão dentro do contexto da imagem (fornecendo conteúdo semântico e layout).
  2. Mapa de Glifos ($X_{glyph}$): Um patch visual do estilo da fonte de referência (fornecendo o estilo tipográfico).
• Condicionamento: Em vez de usar módulos de incorporação pesados, o modelo usa um Codificador VAE congelado para extrair recursos de ambos $X_{text}$ e $X_{glyph}$. Esses recursos são concatenados com o latente de imagem ruidoso ($z_t$) ao longo da dimensão da sequência.
• Objetivo de Treinamento: Uma Função de Perda Ponderada por Região de Texto é introduzida. Como o texto ocupa uma pequena fração da imagem, a perda é reponderada espacialmente usando uma máscara de texto (gerada pelo SAM2) para amplificar a otimização nas regiões de glifos ($\lambda=5$), garantindo alta fidelidade sem distorcer o fundo.

C. Aceleração de Inferência

Para alcançar inferência rápida, o modelo é destilado usando o paradigma DMD2 (Distillation de Correspondência de Distribuição Melhorada), resultando em um modelo estudante de 8 passos que alcança uma aceleração de 10x enquanto mantém a consciência da fonte.

3. Contribuições Principais

1. Estratégia de Condicionamento Visual Novel: Um framework que usa patches de glifos de referência para edição de alta granularidade e controlada por fonte, sem exigir rótulos de fonte ou ajuste fino.
2. Sistema VLM-OCR Especializado: Um pipeline OCR robusto baseado em Qwen2.5-VL capaz de reconhecer fontes ornamentais e caligráficas, superando as limitações do OCR tradicional.
3. Conjunto de Dados Desacoplado Conteúdo-Estilo: Um pipeline dedicado gerando 100 mil pares de imagens de alta qualidade e alinhados com conteúdo maximamente divergente, mas estilos idênticos.
4. Desempenho State-of-the-Art: Avaliação abrangente mostrando desempenho superior em precisão semântica, alinhamento de layout e fidelidade de estilo de fonte em múltiplos benchmarks.

4. Resultados Experimentais

O modelo foi avaliado no SkyReels-Text Benchmark, AnyText Benchmark (Inglês/Chinês) e conjuntos de dados de texto manuscrito (IAM, CVL).

• Desempenho Quantitativo:
  • SkyReels-Text Benchmark: Alcançou 83,34% de Precisão de Frase e 95,02% de NED, superando concorrentes como FLUX-Text e Qwen-Image-Edit. Também alcançou a maior similaridade DINO (0,8503), indicando preservação de estilo superior.
  • AnyText Benchmark: Estabeleceu novos recordes SOTA tanto para Inglês (85,36% de Precisão de Frase) quanto para Chinês (77,10% de Precisão de Frase), com as menores pontuações FID e LPIPS, indicando melhor alinhamento distribucional e perceptual.
  • Texto Manuscrito: Apesar de não ter treinamento explícito em dados manuscritos, alcançou 1,32 HWD no IAM e 0,89 HWD no CVL, superando modelos especializados few-shot e one-shot como DiffBrush.
• Resultados Qualitativos:
  • Edita com sucesso múltiplas regiões de texto com estilos de fonte heterogêneos em uma única passagem de inferência.
  • Preserva a integridade do fundo e texturas complexas (por exemplo, brilho metálico, efeitos 3D) melhor do que modelos comerciais.
  • Lida efetivamente com texto pequeno (até ~20 pixels) e edições em nível de parágrafo.
• Estudo com Usuários: Em um estudo de preferência contra quatro modelos comerciais (Qwen-Image-Edit, FLUX-Kontext-Pro, Nano Banana, Seedream 4.0), o SkyReels-Text venceu 71,8% a 84,5% das vezes, demonstrando preferência clara dos usuários por sua confiabilidade e fidelidade de estilo.

5. Significado

O SkyReels-Text preenche a lacuna entre a edição de imagem de propósito geral e o design tipográfico de nível profissional. Seu significado reside em:

• Flexibilidade Zero-Shot: Permite que designers usem qualquer estilo de fonte a partir de um único patch de imagem, contornando a necessidade de bibliotecas de fontes ou engenharia de prompts complexa.
• Utilidade Profissional: Resolve um gargalo crítico no fluxo de trabalho de publicidade e design de mídia, permitindo revisões rápidas e precisas de conteúdo de cartazes sem sacrificar a intenção estética.
• Generalização: A capacidade de generalizar para scripts manuscritos e multilíngues sem treinamento específico por idioma torna-o uma ferramenta versátil para aplicações de design global.

O código e os modelos estão publicamente disponíveis, fomentando mais pesquisas em geração visual orientada por referência.