NAMI: Efficient Image Generation via Bridged Progressive Rectified Flow Transformers

O artigo apresenta o NAMI, um modelo de Transformer baseado em fluxo retificado que utiliza uma abordagem progressiva e em cascata espacial com um módulo BridgeFlow para gerar imagens de alta resolução com 64% menos tempo de inferência, mantendo a qualidade e introduzindo o benchmark NAMI-1K para avaliação.

O essencial

Imagine que você precisa pintar um quadro gigante e complexo, como uma paisagem detalhada de uma floresta com cachorros, montanhas e um pôr do sol.

O problema dos modelos antigos:
Os modelos de geração de imagem atuais (como os que você vê no Instagram ou em ferramentas de IA) funcionam como um pintor que tenta fazer tudo de uma vez só, mas com uma regra estranha: ele precisa começar com um borrão gigante e, passo a passo, refinar cada detalhe, do fundo até a ponta de uma folha de árvore. O problema é que, para fazer isso com alta qualidade, o pintor precisa ser um gênio extremamente complexo (com bilhões de "cérebros" ou parâmetros) e demora muito tempo para terminar a obra. É como tentar desenhar cada fio de cabelo de uma pessoa antes mesmo de desenhar o rosto.

A solução da NAMI (O "Pintor em Etapas"):
Os pesquisadores criaram o NAMI (Bridged Progressive Rectified Flow Transformers). Pense no NAMI não como um único pintor tentando fazer tudo de uma vez, mas como uma equipe de especialistas trabalhando em etapas, onde cada um faz o que sabe fazer de melhor, economizando tempo e energia.

Aqui está como funciona, usando analogias simples:

1. A Construção em Camadas (O "Esqueleto" vs. A "Pele")

Em vez de tentar desenhar a imagem inteira em alta definição desde o início, o NAMI divide o processo em três etapas de resolução (como se fosse aumentar o zoom):

• Etapa 1 (Baixa Resolução): O modelo usa uma "versão leve" de si mesmo. É como esboçar o rascunho a lápis. Ele define apenas onde estão as coisas: "o cachorro está aqui, a montanha ali". Como é simples, ele é muito rápido e usa poucos recursos.
• Etapa 2 (Média Resolução): O modelo "acrescenta" mais camadas de inteligência. Agora ele começa a dar forma aos contornos e cores básicas.
• Etapa 3 (Alta Resolução): Só agora, quando a estrutura já está pronta, ele usa toda a sua potência (todas as camadas de "cérebro") para adicionar os detalhes finos: a textura da pele do cachorro, as folhas das árvores, o brilho no olho.

A mágica: Como ele não gasta energia calculando detalhes finos quando ainda está apenas definindo a posição dos objetos, ele é 64% mais rápido para gerar imagens grandes.

2. A Ponte Mágica (O "BridgeFlow")

Aqui está a parte mais inteligente. Quando você termina o esboço (Etapa 1) e quer passar para o desenho detalhado (Etapa 2), como você garante que o desenho não fique "quebrado" ou estranho na transição?

Modelos antigos faziam isso de um jeito "mágico" e impreciso (como jogar dados para ver onde a próxima parte começa). O NAMI criou uma ponte treinada chamada BridgeFlow.

• Imagine que a Etapa 1 entrega um pacote de rascunho para a Etapa 2.
• A "ponte" é um funcionário especializado que pega esse rascunho, ajusta perfeitamente o tamanho e a cor para que a Etapa 2 possa começar exatamente de onde a Etapa 1 parou, sem perder a coerência.
• Isso evita que a imagem fique com "costuras" visíveis ou que o cachorro mude de lugar do nada.

3. O Treinamento Inteligente (A "Escola de Artes")

Para aprender a fazer isso, o NAMI não estuda apenas desenhos pequenos e depois tenta aprender grandes. Ele estuda tudo ao mesmo tempo.

• É como um aluno que pratica desenhando um boneco de palito, depois um boneco com mais detalhes, e depois um retrato realista, tudo na mesma aula.
• Isso faz com que ele aprenda muito mais rápido (convergência rápida) e não esqueça o que aprendeu nas etapas anteriores.

4. O Novo Exame (NAMI-1K)

Os pesquisadores perceberam que os exames antigos para testar IAs eram muito limitados (como perguntar apenas "desenhe um gato" ou "desenhe um carro").
Eles criaram o NAMI-1K, um novo teste com 1.000 pedidos variados:

• Alguns curtos e diretos.
• Alguns longos e complexos (como descrever uma cena de filme).
• Alguns criados por humanos reais.
  Isso garante que a IA não esteja apenas "decoreba" de respostas, mas realmente entendendo o que o usuário quer.

Resumo em uma frase:

O NAMI é como uma fábrica de imagens que primeiro monta o esqueleto rápido com ferramentas leves, usa uma ponte inteligente para conectar as etapas sem erros, e só então usa a máquina pesada para polir os detalhes finais, resultando em imagens lindas que são geradas duas vezes mais rápido do que os modelos atuais.

Resultado: Imagens de alta qualidade, seguindo instruções complexas, mas geradas em tempo recorde, tornando a IA mais acessível e barata para todos.

Resumo técnico

1. O Problema

Os modelos de geração de imagem baseados em Flow (Fluxo) e Transformers (como SD3 e FLUX) alcançaram o estado da arte em qualidade, mas sofrem de alta latência de inferência e custos computacionais elevados, devido ao seu grande número de parâmetros e à necessidade de processar todas as etapas de denoising com a mesma resolução e complexidade de modelo.

• Ineficiência: Métodos atuais realizam um "denoising" unificado em todas as etapas, sem considerar que as fases iniciais da geração (esboço, layout, contornos) são menos complexas e poderiam ser resolvidas com modelos menores ou em resoluções mais baixas.
• Limitações de Benchmarks: As avaliações atuais (como GenEval e DPG-Benchmark) sofrem com viés de distribuição e falta de diversidade de prompts, não refletindo adequadamente a preferência humana em cenários reais.

2. Metodologia: NAMI

A proposta central é o NAMI (Bridged Progressive Rectified Flow Transformers), um framework que decompõe o processo de geração em dimensões temporais, espaciais e arquiteturais.

A. Fluxo Retificado Progressivo (Progressive Rectified Flow)

O processo de geração é dividido em K estágios de resolução (ex: 256px, 512px, 1024px).

• Estratificação Temporal: O fluxo total é dividido em janelas de tempo correspondentes a cada estágio de resolução.
• Alocação de Recursos:
  • Estágios de Baixa Resolução: Utilizam menos camadas de Transformer para gerar rapidamente layouts e contornos conceituais.
  • Estágios de Alta Resolução: Adicionam progressivamente mais camadas de Transformer para refinar detalhes e qualidade.
• Isso permite que o modelo aprenda semântica em baixa resolução rapidamente e detalhes em alta resolução, acelerando a convergência.

B. Módulo BridgeFlow

Para conectar os estágios adjacentes (ex: sair de 256px e ir para 512px), o papel introduz o BridgeFlow.

• Função: Alinha as distribuições de probabilidade entre o fim de um estágio e o início do próximo.
• Mecanismo: Em vez de métodos não paramétricos (como rescaling e renoisng do Pyramid Flow), o BridgeFlow utiliza uma transformação linear aprendível (pesos e bias) após o upsampling.
• Vantagem: Garante continuidade nas trajetórias probabilísticas de forma eficiente, reduzindo o tempo de inferência e melhorando a robustez.

C. Treinamento Multi-Resolução

O modelo é treinado simultaneamente com dados de diferentes resoluções.

• Em cada etapa, o modelo processa imagens de resolução maior ou igual à atual.
• Isso facilita o compartilhamento de conhecimento entre os módulos e evita o "esquecimento catastrófico" que ocorre em métodos de fine-tuning sequencial.

3. Principais Contribuições

1. Arquitetura NAMI: Introdução de Transformers de Fluxo Retificado Progressivo com ponte (Bridged), permitindo treinamento multi-resolução e aceleração da convergência.
2. Eficiência de Inferência: Redução do tempo de inferência em 64% para gerar imagens de 1024x1024 (comparado a um modelo base FLUX de mesmo tamanho), mantendo a qualidade.
3. Módulo BridgeFlow: Proposta de um módulo aprendível para alinhar fluxos entre estágios, superando as limitações de métodos de renoisng tradicionais.
4. Benchamark NAMI-1K: Criação de um novo conjunto de dados de avaliação com 1.000 prompts diversificados (curtos, longos, gerados por IA e humanos) para mitigar viés de distribuição e avaliar a preferência humana de forma mais abrangente.

4. Resultados Experimentais

• Desempenho de Inferência: O modelo NAMI-2B (2 Bilhões de parâmetros) reduz o tempo de geração de 1024px de ~8.47s (FLUX base) para ~2.98s, uma melhoria de 64.82%.
• Qualidade de Imagem:
  • Em benchmarks padrão (GenEval, DPG-Bench), o NAMI-2B compete favoravelmente com modelos muito maiores (como FLUX-dev de 12B) e supera modelos de tamanho similar (SD3-medium, Hunyuan-DiT).
  • No NAMI-1K (avaliação humana), o NAMI-2B obteve a melhor pontuação geral entre modelos de tamanho comparável, superando SD3, Infinity e SANA em métricas de relevância, coerência, estética e realismo.
• Ablação: Estudos mostram que a divisão do fluxo (flow piecewise) é responsável por 53% da redução de tempo, enquanto a partição do modelo (menos camadas em baixa resolução) contribui com mais 11%. O módulo BridgeFlow demonstrou ser mais eficiente e preciso do que alternativas como MLP ou CNNs complexas nas pontes de transição.

5. Significado e Impacto

O NAMI representa um avanço significativo na eficiência de modelos de difusão baseados em Transformers. Ao reconhecer que a geração de imagens é um processo hierárquico (do esboço ao detalhe), a arquitetura NAMI elimina a redundância computacional, permitindo que modelos de tamanho moderado (2B parâmetros) atinjam velocidades de inferência e qualidade competitivas com modelos massivos.
Além disso, a introdução do NAMI-1K destaca a necessidade de benchmarks mais robustos e diversificados para avaliar a verdadeira capacidade de modelos de IA generativa, indo além das métricas automáticas tradicionais. A abordagem é promissora para aplicações comerciais onde o custo computacional e a velocidade são críticos, e também demonstra potencial para tarefas como edição de imagem sem treinamento adicional.