Resumo Técnico: SEFI-Image

Declaração do Problema

O treinamento de modelos fundamentais de texto-para-imagem (T2I) tornou-se cada vez mais intensivo em recursos, com modelos de última geração exigindo centenas de milhares de horas de GPU. Embora métodos anteriores tenham tentado aproveitar a orientação semântica para acelerar o treinamento, essas abordagens foram amplamente validadas apenas em conjuntos de dados simples e de baixa resolução (ex: ImageNet 256×256) usando modelos de pequena escala (<1B de parâmetros). Uma questão crítica permanece em aberto: se os mecanismos de orientação semântica permanecem eficazes em escalas de modelos maiores, resoluções mais altas e dentro do cenário complexo e prático de T2I. Além disso, os métodos existentes frequentemente lutam com o compromisso fundamental no difusão latente: alta fidelidade de reconstrução requer distribuições latentes complexas que são difíceis de modelar, enquanto espaços latentes simplificados muitas vezes sacrificam a qualidade da imagem.

Metodologia: Difusão de Prioridade Semântica (SFD)

O artigo propõe o SEFI-Image, um modelo de fundação T2I construído sobre a Difusão de Prioridade Semântica (SFD), um novo paradigma de difusão latente. A inovação central é o desacoplamento do processo de denoising em fluxos semânticos e de textura assíncronos.

1. Mecanismo Central

Ao contrário dos modelos de difusão latente convencionais que realizam o denoising de todas as informações sob um único cronograma de passos (timestep schedule), o SFD separa fatores semânticos (estrutura global, layout de objetos) de fatores de textura (detalhes de alta frequência).

• Passos Assíncronos (Asynchronous Timesteps): O modelo atribui passos distintos $t_s$ (semântico) e $t_z$ (textura). O latente semântico é submetido ao denoising ligeiramente à frente do latente de textura ($t_s \ge t_z$), garantindo que a geração de textura seja sempre condicionada a uma âncora estrutural mais "limpa".
• Inferência em Três Fases:
  1. Inicialização Semântica: Apenas os latentes semânticos passam pelo denoising para estabelecer a estrutura global.
  2. Geração Assíncrona: Ambos os fluxos realizam o denoising, mas a semântica lidera para guiar o refinamento da textura.
  3. Conclusão de Textura: Os semânticos são totalmente processados pelo denoising; os latentes de textura refinam os detalhes de grão fino.
• Condicionamento de Passo Duplo (Dual-Timestep Conditioning): O backbone de Diffusion Transformer (DiT) aceita embeddings de tempo separados para ambos os fluxos, permitindo que o modelo esteja ciente dos níveis de ruído assíncronos em cada etapa.

2. Componentes da Arquitetura

• Construção de Latente Composto:
  • Latente Semântico ($s_1$): Extraído via um modelo de fundação visual congelado (DINOv2-Large) e comprimido por um VAE Semântico (SemVAE). Isso captura a identidade do objeto e a estrutura da cena.
  • Latente de Textura ($t_1$): Codificado diretamente da imagem por um VAE de Textura (um FLUX.2 VAE ajustado). Isso captura detalhes de reconstrução de baixo nível.
• Codificador de Texto: Utiliza o backbone de LLM do Qwen3-VL (variantes de 2B ou 4B dependendo do tamanho do modelo de geração) para lidar com prompts complexos, longos e bilíngues (Chinês/Inglês).
• Backbone DiT: Uma arquitetura estilo FLUX.2 incorporando blocos MMDiT de fluxo duplo e blocos de fluxo único, adaptada para aceitar o latente composto e os passos duplos.

3. Pipeline de Treinamento

O processo de treinamento envolve três estágios:

1. Pré-treinamento: Utiliza 450M de pares imagem-texto internos e 28M de dados sintéticos de renderização de texto. O currículo progride de 256px para 1024px. Os dados sintéticos focam no alinhamento rigoroso de nível de caractere para renderização de texto.
2. Treinamento Contínuo: Treinado em uma mistura curada de 9M de alta qualidade (cenários naturais, UI, anime, etc.) a 1024px para aumentar o seguimento de instruções.
3. Ajuste Fino Supervisionado (SFT): Utiliza cerca de 650K imagens de alta qualidade com filtragem rigorosa baseada em estética, qualidade técnica e capacidade de legenda. Este estágio enfatiza prompts difíceis e renderização de texto precisa.
4. Destilação & RL:
   • Destilação de Poucos Passos (Few-Step Distillation): O DMD2 é usado para destilar o modelo SFT em variantes "Turbo" de 4 passos, preservando o offset de prioridade semântica.
   • Pós-treinamento de RL: O DiffusionNFT é aplicado para aguçar o seguimento de prompts, a qualidade visual e a supressão de artefatos.

Principais Contribuições

1. Difusão de Prioridade Semântica Escalável: O artigo demonstra que o SFD não se limita a modelos pequenos ou conjuntos de dados de teste. Ele escala com sucesso para modelos de 1B, 2B e 5B de parâmetros, mantendo a eficácia na geração T2I de alta resolução.
2. Eficiência de Recursos: O maior modelo de 5B foi treinado com apenas 125K horas de GPU A800, representando aproximadamente 10–20% do computacional usado pelo Z-Image, mas alcançando desempenho comparável ou superior.
3. Resolução do Compromisso Reconstrução-Geração: Ao separar semântica e texturas, o SFD permite que o VAE de Textura seja agressivamente ajustado para fidelidade de reconstrução (melhorando o PSNR no Kodak de 33.18 para 36.40) sem sacrificar a velocidade de convergência tipicamente associada a espaços latentes complexos.
4. Família de Modelos Abrangente: O lançamento de três escalas de modelos (1B, 2B, 5B) e seus correspondentes variantes Turbo fornece opções de implantação flexíveis para diferentes orçamentos de hardware.

Resultados de Desempenho

O SEFI-Image foi avaliado em múltiplos benchmarks contra fortes baselines (Qwen-Image, Z-Image, FLUX.2-Klein-9B, JoyAI-Image):

• GenEval & DPG: O modelo de 5B alcança uma pontuação geral de GenEval de 0.88, igualando o Qwen-Image e superando o FLUX.2-Klein-9B (0.85) e o Z-Image (0.84). Notavelmente, a variante de 1B também alcança 0.87, demonstrando forte raciocínio composicional mesmo em escalas pequenas.
• Renderização de Texto Longo (LongTextBench): O modelo de 5B alcança a maior pontuação média (0.978), superando o Qwen-Image e o JoyAI-Image.
• Geração de Texto Visual (CVTG-2K): O modelo de 5B alcança 0.8947 de Precisão de Palavras (Word Accuracy) e 0.9434 de NED, melhorando sobre os baselines mais fortes.
• Instruções Bilíngues (OneIG): O modelo de 5B alcança as melhores pontuações gerais em ambos os benchmarks, Inglês (0.5606) e Chinês (0.5379).
• Comportamento de Escala (Scaling Behavior): Experimentos mostram que um modelo SFD de 2B pode superar um modelo não-SFD de 4B, indicando melhor eficiência de parâmetros.

Significância e Alegações

Os autores afirmam que o SEFI-Image oferece um paradigma principista e eficiente em recursos para construir modelos de fundação T2I. O trabalho desafia a noção de que a orientação semântica é eficaz apenas para tarefas de pequena escala ou condicionadas por classe. Ao desacoplar o layout semântico da síntese de textura, o modelo alcança um compromisso de reconstrução-geração superior, permitindo convergência rápida e geração de alta qualidade com custos computacionais significativamente reduzidos.

O artigo posiciona o SEFI-Image como uma solução prática e prontamente implantável que fornece insights úteis para a modelagem de difusão guiada por semântica. Nota-se explicitamente que, embora os modelos atuais sejam fortes, eles são limitados pelo limite de 5B de parâmetros (devido a restrições de hardware) e pela escala dos dados de treinamento, deixando espaço para escalonamento futuro em tamanho de modelo, diversidade de dados e aplicação para geração de vídeo e edição de imagem.