OmniGen2: Towards Instruction-Aligned Multimodal Generation

1. O Problema

Os modelos generativos multimodais recentes demonstraram capacidades impressionantes em tarefas como estilização, renderização de texto e geração baseada em contexto. No entanto, eles enfrentam limitações significativas em cenários do mundo real complexos devido a uma alinhamento de instruções insuficiente e pouco generalizado.

Os principais desafios identificados são:

• Falta de Robustez na Base: Muitos modelos de código aberto são especializados demais (não lidam bem com tarefas fora de seu escopo) ou superotimizados para preferências estéticas específicas, perdendo plasticidade.
• Dificuldade de Alinhamento: Alinhar um modelo base para seguir instruções multimodais complexas exige sinais de recompensa explícitos e abrangentes, garantindo consistência entre todas as tarefas de geração (texto-para-imagem, edição e geração em contexto).
• Escassez de Dados: Existem poucos conjuntos de dados públicos de alta qualidade para tarefas complexas como edição detalhada de imagens e geração consistente em contexto (in-context generation).

2. Metodologia

O OmniGen2 é um gerador multimodal unificado projetado para seguir instruções complexas e de granularidade fina. A abordagem é dividida em três pilares principais:

A. Arquitetura Desacoplada e Eficiente

• Dual-Transformer: O modelo utiliza dois transformadores distintos: um Transformador Autoregressivo (inicializado a partir de um Modelo de Linguagem e Visão - VLM, especificamente o Qwen2.5-VL-3B) para compreensão semântica e instruções, e um Transformador de Difusão dedicado à síntese de imagens de alta fidelidade.
• Condicionamento: O VLM processa o contexto multimodal e extrai estados ocultos que condicionam o decodificador de difusão. Isso evita a necessidade de modificar o VLM pré-treinado, preservando seu conhecimento de mundo.
• Omni-RoPE: Foi introduzida uma nova esquema de codificação posicional chamado Omni-RoPE. Diferente de métodos anteriores que usam tokens de consulta fixos (criando gargalos de informação), o Omni-RoPE atribui um identificador posicional tridimensional (∆I, h, w) a cada token. Isso permite distinguir diferentes imagens (identidade da instância) enquanto preserva a consistência espacial local dentro de cada imagem, essencial para edição e geração em contexto.

B. Construção de Dados e Fundamento

• Pipeline de Dados: Para superar a escassez de dados, os autores construíram pipelines escaláveis que utilizam fontes de vídeo para criar exemplos ricos de edição e consistência de sujeitos em diferentes cenários.
• Fase de Pré-treinamento: O modelo é treinado do zero com um currículo baseado em resolução (256² → 512² → 1024²), começando com tarefas de texto-para-imagem (T2I) e evoluindo para tarefas mistas (edição e geração em contexto).
• Fase de Ajuste Fino Supervisionado (SFT): Refina as habilidades de raciocínio e fidelidade visual.

C. Alinhamento por Aprendizado por Reforço (RL) Progressivo

Em vez de um treinamento conjunto único, o OmniGen2 utiliza um currículo de RL progressivo baseado em Group Relative Policy Optimization (GRPO):

1. Seleção de Tarefas: O processo é dividido em estágios sequenciais para evitar interferência entre tarefas.
   • Estágio 1: Edição de imagem (usando o EditScore como recompensa).
   • Estágio 2: Geração Texto-para-Imagem (usando GenEval para recompensas verificáveis).
   • Estágio 3: Geração em Contexto (usando um VLM forte para recompensas).
2. Sincronia de Recompensas: O treinamento evita recompensas de preferência humana puramente estéticas (como HPSv3) que podem levar a "hacking de recompensa", focando em alinhamento semântico e consistência.

3. Principais Contribuições

1. OmniGen2: Um modelo generativo multimodal sistematicamente alinhado a instruções, que demonstra superioridade em seguir instruções, consistência de contexto e qualidade de geração em diversos cenários.
2. Pipeline End-to-End: Uma metodologia completa que vai desde a construção de um modelo base robusto e versátil até o alinhamento de múltiplas tarefas, garantindo que o modelo não perca plasticidade.
3. Omni-RoPE: Uma técnica de codificação posicional unificada que melhora a consistência espacial e a discriminação de instâncias em tarefas de múltiplas imagens.
4. Benchmarks OmniContext: A introdução de um novo benchmark rigoroso composto por 8 categorias de tarefas (SINGLE, MULTIPLE, SCENE) para avaliar especificamente a geração de imagens consistente com imagens de referência, preenchendo uma lacuna crítica na avaliação atual.

4. Resultados

O OmniGen2 foi avaliado em diversos benchmarks padrão e no novo OmniContext, superando ou competindo com modelos de ponta (SOTA):

• Geração Texto-para-Imagem (T2I): Alcançou uma pontuação de 0.95 no GenEval, superando modelos unificados como UniWorld-V1 (0.84) e BAGEL (0.88), e competindo com modelos especializados como Qwen-Image.
• Edição de Imagem: No GEdit-Bench-EN, obteve uma pontuação geral de 7.21, superando modelos de código aberto e ficando atrás apenas de modelos proprietários massivos como o Qwen-Image-Edit e Gemini 2.5 Flash Image. Demonstrou um equilíbrio excepcional entre precisão da edição e preservação da imagem original.
• Geração em Contexto (OmniContext): No benchmark OmniContext, o OmniGen2 alcançou uma pontuação geral de 7.95, superando o Qwen-Image-Edit-2509 (7.69) e estabelecendo uma nova linha de base forte para a tarefa.
• Eficiência: O modelo utiliza apenas 3B parâmetros para texto + 4B para imagem, sendo altamente eficiente em comparação com modelos que exigem arquiteturas muito maiores para resultados similares.

5. Significado e Impacto

O trabalho do OmniGen2 representa um passo significativo em direção à Inteligência Generativa de Propósito Geral.

• Validação do Alinhamento de Instruções: O estudo demonstra que o alinhamento sistemático de instruções, através de um currículo de RL bem estruturado, é crucial para melhorar o desempenho base em todas as tarefas, não apenas em uma específica.
• Unificação de Tarefas: Prova que é possível ter um único modelo que entende e executa tarefas de compreensão visual, geração, edição e recriação de contexto sem a necessidade de especialistas separados para cada tarefa.
• Padronização de Avaliação: A introdução do OmniContext fornece à comunidade uma ferramenta padronizada para medir o progresso na consistência de imagens baseadas em referência, um domínio anteriormente negligenciado em benchmarks públicos.
• Acesso Aberto: Os autores liberaram o modelo, o código, o benchmark e os dados de treinamento, fomentando a pesquisa reprodutível e o avanço na área de geração multimodal.

Em resumo, o OmniGen2 estabelece um novo paradigma para modelos generativos multimodais, focando na robustez, na capacidade de seguir instruções complexas e na consistência contextual, superando as limitações de modelos anteriores que eram ou muito especializados ou pouco controláveis.