FireRed-Image-Edit-1.0 Technical Report

O artigo apresenta o FireRed-Image-Edit, um modelo de difusão transformador que atinge desempenho de ponta em edição de imagens baseada em instruções através da otimização sistemática de um corpus de 1,6 bilhão de amostras, de um pipeline de treinamento multiestágio com técnicas inovadoras de alinhamento e otimização, e da introdução do benchmark abrangente REDEdit-Bench.

O essencial

Imagine que você tem um superpintor digital chamado FireRed-Image-Edit. Antes dele, existiam dois tipos de artistas no mundo da inteligência artificial:

1. Os "Gigantes de Vidro" (Sistemas Proprietários): São artistas incríveis que fazem quadros perfeitos, mas você não sabe como eles fazem, não pode vê-los trabalhando e não pode copiar o método deles. Eles são como mágicos que nunca revelam o segredo do truque.
2. Os "Gigantes de Pedra" (Sistemas Open Source): São artistas que tentam ser tão bons quanto os primeiros, mas para isso, eles precisam crescer até ficarem gigantes (com bilhões de parâmetros). O problema? Eles são tão pesados e grandes que exigem usinas de energia inteiras para funcionar, tornando-os caros e difíceis de usar.

O FireRed-Image-Edit é a solução de ouro: um artista que faz o trabalho dos gigantes, mas é inteligente, eficiente e aberto para todos.

Aqui está como eles conseguiram isso, explicado de forma simples:

1. A Cozinha de Dados: O Segredo da Qualidade

Para um artista aprender a pintar, ele precisa ver milhões de exemplos. A equipe do FireRed não apenas "juntou" imagens da internet; eles construíram uma fábrica de aprendizado superorganizada.

• O Ingrediente Bruto: Eles coletaram 1,6 bilhão de exemplos (como se fossem 1,6 bilhões de receitas de bolo).
• A Triagem (O Peneiramento): A maioria dessas receitas estava estragada ou repetida. Eles usaram robôs inteligentes para:
  • Jogar fora as fotos borradas ou com marcas d'água.
  • Descobrir se a foto era feita por outra IA (e jogá-la fora, para não aprender com "mentiras").
  • Garantir que houvesse um equilíbrio perfeito entre fotos de paisagens, pessoas e objetos.
• O Resultado: Sobraram 100 milhões de "receitas perfeitas". É como ter uma biblioteca onde cada livro foi revisado por um editor chefe, garantindo que o artista aprenda apenas o melhor.

2. O Treinamento: Como Ensinar o Robô a Pintar

Não basta mostrar as fotos; é preciso ensinar o robô a entender o que o humano quer. Eles usaram uma abordagem em três etapas, como um aluno de arte:

• Etapa 1: A Aula Geral (Pré-treinamento): O robô olha para milhões de fotos e aprende o que é um "gato", uma "montanha" ou um "céu azul". Ele constrói uma base de conhecimento do mundo.
• Etapa 2: A Aula de Instruções (Ajuste Fino): Aqui, o robô aprende a obedecer ordens. Se você diz "mude a cor da camisa para vermelho", ele aprende a fazer exatamente isso, sem mudar o rosto da pessoa. Eles usaram um truque chamado "Amostragem de Balde Inteligente": imagine que você está organizando caixas de fotos. Em vez de jogar tudo numa pilha bagunçada, eles agrupam fotos do mesmo tamanho e formato, economizando tempo e energia do computador.
• Etapa 3: O Treino de Elite (Reforço): O robô começa a praticar e recebe notas. Se ele errar a ordem, ele é corrigido. Se ele fizer algo incrível, ele é elogiado. Eles criaram um sistema de "Recompensa de Texto" especial: se o robô precisa escrever uma palavra em uma imagem, ele não apenas verifica se a letra está certa, mas se ela está no lugar certo, com o tamanho certo e sem parecer um "monstro" na foto.

3. A Mágica da Consistência: Não Mude Quem a Pessoa É

Um dos maiores problemas de editores de imagem antigos era que, ao mudar o cabelo de alguém, o rosto da pessoa mudava de forma, parecendo outra pessoa.
O FireRed inventou uma "âncora de identidade". Imagine que, enquanto o robô pinta o novo cabelo, ele segura uma foto original da pessoa com uma mão invisível, garantindo que o nariz, os olhos e a expressão permaneçam exatamente os mesmos. Isso é feito com uma "Perda de Consistência", que é como um fiscal de qualidade que grita: "Ei, você mudou o rosto! Corrija isso!".

4. O Exame Final: O REDEdit-Bench

Como saber se o robô é realmente bom? Eles criaram um exame de qualificação chamado REDEdit-Bench.

• É como um teste de direção para carros, mas para editores de imagem.
• O teste tem 15 tipos de desafios: mudar o fundo, adicionar objetos, corrigir textos, fazer maquiagem, trocar roupas, etc.
• O FireRed tirou notas altíssimas, superando outros modelos de código aberto e competindo de igual para igual com os sistemas pagos e secretos das grandes empresas.

Resumo da Ópera

O FireRed-Image-Edit é como um chef de cozinha de alta tecnologia que:

1. Usa ingredientes selecionados à mão (dados limpos).
2. Cozinha de forma eficiente, sem desperdício (otimização de treinamento).
3. Sabe exatamente o que o cliente pediu (entendimento de instruções).
4. Mantém a identidade do prato original (preservação de identidade).

E o melhor de tudo: eles liberaram a receita completa, o modelo e o teste para que qualquer pessoa possa usar e melhorar. É um passo gigante para democratizar a edição de imagens de alta qualidade, tirando-a das mãos de poucas empresas e colocando-a na mesa de todos.

Resumo técnico

Resumo Técnico: FireRed-Image-Edit

1. O Problema

O campo de síntese de imagens (Text-to-Image) evoluiu rapidamente, mas o ecossistema atual enfrenta duas barreiras principais:

• Polarização de Acesso: Modelos proprietários de ponta (como Nano Banana Pro e Seedream) oferecem alta fidelidade, mas são "caixas pretas" sem reprodutibilidade.
• Ineficiência de Escala Open-Source: A comunidade open-source tende a resolver problemas apenas aumentando o tamanho dos modelos (ex: 20B-32B parâmetros), o que impõe custos computacionais insustentáveis para treinamento e implantação.
• Gaps Críticos: Existem lacunas na construção eficiente de conjuntos de dados de alta qualidade para edição de imagens e na falta de benchmarks padronizados e rigorosos que avaliem a utilidade prática além de métricas teóricas.

2. Metodologia

O FireRed-Image-Edit é um modelo Diffusion Transformer (DiT) projetado para edição de imagens baseada em instruções. A abordagem holística otimiza todo o ciclo de vida do modelo:

A. Engenharia de Dados (Corpus de 1,6 Bilhão de Amostras)

• Coleta e Filtragem: O time coletou 1,6 bilhão de amostras (900M pares texto-para-imagem e 700M pares de edição de imagem). Após limpeza rigorosa, deduplicação (em três níveis: global, de pares e multi-métrica), detecção de AIGC e filtragem estética, foram retidas >100 milhões de amostras de alta qualidade.
• Equilíbrio: O conjunto final mantém uma proporção 1:1 entre geração (T2I) e edição (I2I) para garantir fortes fundamentos semânticos e de generalização.
• Motor de Produção de Dados: Para cobrir tarefas de cauda longa, utilizam-se três estratégias de síntese:
  1. Controle Instrucional: Uso de modelos especialistas guiados por instruções e léxicos de edição.
  2. Controle Estruturado: Uso de máscaras (SAM) e keypoints de pose (DWpose) para precisão espacial.
  3. Síntese Baseada em Modelos Livres: Uso de templates 3D e filtros algorítmicos para edições determinísticas.
• Legendagem (Captioning): Um motor de legendagem gera três tipos de instruções: detalhadas (ground truth), concisas e estilo "usuário" (linguagem natural e coloquial), permitindo que o modelo generalize de instruções longas para curtas.

B. Arquitetura e Treinamento

• Modelo: Baseado em um Double-Stream Multi-Modal Diffusion Transformer (MM-DiT), que concatena embeddings de texto, tokens latentes de VAE e características de imagens de referência em um único fluxo.
• Otimização de Eficiência:
  • Bucket Sampler Multi-Condição: Agrupa imagens por proporção de aspecto e número de imagens de entrada para minimizar padding e desperdício computacional.
  • Alinhamento de Instrução Estocástica: Embaralha e faz dropout de imagens de referência durante o batching, reindexando dinamicamente os prompts de texto para forçar o modelo a desacoplar a ordem espacial do conteúdo.
• Estratégia de Treinamento Multi-Estágio:
  1. Pré-treinamento: Foco em escala e diversidade semântica com amostragem progressiva de timesteps.
  2. Ajuste Fino Supervisionado (SFT): Alinhamento preciso com instruções em alta resolução (1024x1024).
  3. Aprendizado por Reforço (RLHF):
     • DPO com Otimização Assimétrica de Gradiente: Prioriza a reforço de amostras positivas (PSR) para evitar a degradação da capacidade de geração.
     • DiffusionNFT: Ajuste fino online com recompensas baseadas em VLMs e OCR consciente de layout (para edição de texto).
• Perda de Consistência: Introduz uma perda de consistência de identidade diferenciável, ativada dinamicamente apenas nas fases iniciais de alto ruído do processo de difusão, para preservar a identidade do sujeito sem interferir na síntese de detalhes finos.

C. Avaliação (REDEdit-Bench)

• Foi criado um novo benchmark com 1.673 pares de edição bilíngues (Chinês-Inglês) cobrindo 15 categorias (incluindo beleza, melhoria de baixa resolução e edição de texto).
• Utiliza métricas avançadas como OCR para precisão de texto e VLM Judge para avaliar coerência visual e naturalidade.

3. Principais Contribuições

1. FireRed-Image-Edit-1.0: Um modelo open-source que alcança desempenho de ponta (SOTA) em edição de imagens, rivalizando com sistemas proprietários, mas com arquitetura otimizada para eficiência.
2. Pipeline de Dados em Escala: A curadoria de um corpus de 100M+ amostras de alta qualidade, balanceado e estratificado, superando a dependência de dados sintéticos brutos ou filtrados apenas por qualidade visual.
3. Inovações de Treinamento:
   • Asymmetric Gradient Optimization para DPO.
   • DiffusionNFT com recompensas de OCR consciente de layout.
   • Consistency Loss dinâmica para preservação de identidade.
4. REDEdit-Bench: Um benchmark abrangente que inclui tarefas negligenciadas (beleza, restauração) e avaliação bilíngue, preenchendo a lacuna entre métricas acadêmicas e utilidade prática.

4. Resultados

• Benchmarks Públicos: O modelo superou ou foi competitivo com sistemas open-source (como Qwen-Image-Edit, FLUX.2, Step-1X-Edit) e proprietários (Seedream 4.0/4.5, Nano-Banana Pro) em ImgEdit, GEdit e no novo REDEdit-Bench.
• Avaliação Humana: Em testes cegos, o FireRed-Image-Edit obteve as maiores pontuações em Preservação de Consistência (manter o que não deve ser alterado) e liderou em Alinhamento de Instrução entre modelos open-source.
• Capacidades Específicas:
  • Edição de Texto: Alta precisão na renderização de caracteres e manutenção do estilo tipográfico e layout.
  • Virtual Try-on: Transferência de roupas com geometria coerente e preservação de pose.
  • Edição Criativa: Capacidade de realizar reestruturações composicionais complexas e abstração conceitual.

5. Significância

O trabalho demonstra que o desempenho de ponta em edição de imagens não depende exclusivamente do aumento cego do tamanho do modelo (escala de parâmetros), mas sim de uma engenharia de dados rigorosa, otimização de eficiência de treinamento e estratégias de alinhamento avançadas. Ao liberar o código, o modelo e o benchmark, a equipe da Xiaohongshu democratiza o acesso a ferramentas de edição de imagem de nível industrial, permitindo que a comunidade de pesquisa foque em otimização e aplicações práticas em vez de apenas escalabilidade computacional.