MACRO: Advancing Multi-Reference Image Generation with Structured Long-Context Data

Resumo Técnico: MACRO

1. O Problema

A geração de imagens condicionada a múltiplas referências visuais (in-context generation) é crucial para aplicações do mundo real, como composição de múltiplos sujeitos, ilustração narrativa e síntese de novas vistas. No entanto, os modelos atuais sofrem de uma degradação severa de desempenho à medida que o número de imagens de referência aumenta.

As principais causas identificadas são:

• Gargalo de Dados: Os conjuntos de dados existentes são dominados por pares de imagem única ou com poucas referências (1-3 imagens). Falta dados estruturados de "longo contexto" (até 10 imagens) que ensinem as dependências densas entre referências.
• Falta de Protocolos de Avaliação: Não existem benchmarks padronizados que avaliem a coerência gerativa em diferentes dimensões de tarefas e escalas de entrada (de 1 a 10 imagens).
• Limitações de Modelos: Mesmo modelos de código aberto avançados (como Bagel e OmniGen2) têm dificuldade em processar mais de 3 a 5 imagens, falhando em manter consistência de identidade, espaço e tempo.

2. Metodologia

Os autores propõem uma abordagem centrada em dados e avaliação para superar essas limitações:

A. MacroData (Conjunto de Dados)
Um novo conjunto de dados em larga escala contendo 400.000 amostras, cada uma com até 10 imagens de referência. O dataset é estruturado em quatro dimensões complementares (100k amostras cada):

1. Customização: Composição de múltiplos sujeitos (humanos, objetos, cenas, roupas, estilo) em cenas originais coerentes.
2. Ilustração: Geração de imagens que complementam narrativas textuais e contextos multimodais interleaved.
3. Espacial (Spatial): Síntese de novas vistas (novel view synthesis) a partir de múltiplas vistas de entrada, cobrindo objetos (outside-in) e cenas panorâmicas (inside-out).
4. Temporal: Previsão de quadros futuros (keyframes) baseados em sequências históricas de vídeo.

Pipeline de Construção: Em vez de depender de dados raspados da web (ruidosos), os autores utilizam um pipeline robusto que extrai metadados de fontes de alta qualidade (como OpenSubject, MVImgNet, Objaverse), utiliza modelos de linguagem visuais (VLMs) para filtragem de identidade e estética, e emprega modelos fechados avançados para a síntese de imagens alvo, garantindo fidelidade e consistência lógica.

B. MacroBench (Benchmark)
Um benchmark padronizado com 4.000 amostras para avaliação rigorosa.

• Estrutura: Avalia as 4 tarefas acima, divididas por escala de entrada (1-3, 4-5, 6-7, 8-10 imagens).
• Mecanismo de Julgamento: Utiliza um modelo LLM (especificamente Gemini-3-Flash, escolhido por sua superioridade em raciocínio 3D e múltiplas imagens em comparação ao GPT-4.1) como juiz.
• Métricas: Define métricas específicas por tarefa (ex: Image Consistency Score, View Transformation Score, Temporal Coherence) e calcula uma pontuação final baseada na média geométrica para penalizar falhas severas em qualquer dimensão.

C. Técnicas de Otimização

• Seleção de Tokens: Para lidar com a ineficiência de contexto longo, o artigo explora estratégias de seleção de tokens (Block-wise, Image-wise, Text-aligned). A estratégia "Text-aligned" mostrou-se superior, mantendo apenas os tokens mais informativos.
• Co-treinamento: Demonstra-se que o treinamento conjunto em todas as tarefas (cross-task co-training) gera benefícios sinérgicos, melhorando a generalização.

3. Contribuições Principais

1. MacroData: O primeiro dataset em larga escala focado especificamente em geração de imagens de referência múltipla com longo contexto (até 10 imagens), cobrindo quatro dimensões críticas.
2. MacroBench: O primeiro benchmark abrangente que avalia a coerência gerativa não apenas em tarefas de customização, mas também em raciocínio espacial, temporal e ilustração, com escalas de entrada variadas.
3. Avanços Empíricos: Evidências de que o ajuste fino (fine-tuning) em MacroData permite que modelos de código aberto (como Bagel) superem significativamente seus pares não treinados e se aproximem do desempenho de modelos fechados (SOTA), especialmente em cenários de longo contexto.

4. Resultados

• Desempenho Quantitativo: Modelos ajustados com MacroData (ex: Bagel + MacroData) alcançaram uma pontuação média de 5.71 no MacroBench, superando todos os modelos de código aberto de base e competindo de perto com modelos fechados como Nano Banana Pro e GPT-Image-1.5.
• Robustez em Longo Contexto: Enquanto modelos base sofrem uma queda drástica de desempenho ao passar de 1-5 para 6-10 imagens, os modelos treinados com MacroData mantêm uma degradação muito menor, demonstrando capacidade real de raciocínio sobre múltiplas referências.
• Avaliação em OmniContext: Mesmo sendo treinado em um espectro mais amplo, o modelo superou datasets especializados em customização (como Echo4o) no benchmark OmniContext, validando a qualidade do pipeline de dados.
• Análise de Falhas: O estudo qualitativo mostrou que o modelo consegue integrar características de até 10 imagens de forma coerente, embora ainda enfrente desafios em detalhes finos e consistência de identidade em cenários extremos (8-10 imagens).

5. Significado e Impacto

O trabalho MACRO preenche uma lacuna crítica na pesquisa de geração de imagens. Ao demonstrar que a escassez de dados estruturados de longo contexto é o principal limitador, e não apenas a arquitetura do modelo, o artigo estabelece um novo paradigma para o desenvolvimento de IA generativa.

• Para a Comunidade: O lançamento público do dataset e do benchmark fornece uma base sólida para pesquisas futuras em geração in-context complexa.
• Aplicações Práticas: Permite avanços em áreas que exigem composição complexa, como design de produtos, storyboarding cinematográfico, síntese de vistas 3D para realidade virtual e edição de vídeo baseada em texto.
• Direção Futura: O artigo aponta para a necessidade de mecanismos de atenção especializados e representações de tokens otimizadas para lidar com dependências visuais densas, além de sugerir a expansão para contextos ainda mais longos.

Em suma, o MACRO prova que a qualidade e a estrutura dos dados são tão fundamentais quanto a arquitetura do modelo para desbloquear a verdadeira capacidade de raciocínio visual em múltiplas referências.