Resumo Técnico: InsertFuse

Declaração do Problema

A inserção de imagens guiada por referência visa posicionar um assunto de uma imagem de referência em uma região designada de uma cena de origem, preservando a aparência e a identidade do assunto, além de adaptar sua escala e posicionamento espacial ao novo contexto. Embora avanços recentes em modelos de difusão e flow matching tenham melhorado a geração e edição de imagens em geral, construir um modelo unificado capaz de lidar com diversas categorias de inserção (ex: acessórios, vestuário, humanos, animais, objetos gerais) continua sendo um desafio significativo.

Diferentes categorias de inserção exigem estratégias de geração e objetivos de modelagem substancialmente distintos. Por exemplo, a inserção de acessórios exige a preservação de texturas finas, o provador virtual requer deformação não rígida complexa, e a inserção de humanos prioriza a consistência de identidade. Treinar diretamente um único modelo em dados de categorias mistas introduz sinais de otimização conflitantes, o que pode enfraquecer as capacidades especializadas necessárias para cada tarefa. Embora abordagens recentes como Mixture-of-Transformers (MoE) tentem rotear entradas para ramos especializados, elas ainda dependem da otimização conjunta dentro de um processo de treinamento unificado, deixando os conflitos específicos de categoria apenas parcialmente resolvidos. Além disso, métodos existentes frequentemente carecem de controle espacial preciso e lutam para equilibrar a supervisão entre a pequena região de inserção e o grande plano de fundo, levando a uma otimização dominada pelo fundo ou problemas de desempenho dependentes da escala.

Metodologia: InsertFuse

O InsertFuse propõe um framework unificado que desacopla o aprendizado de expertise específica por categoria da consolidação de capacidade transcategórica. O framework opera em duas etapas distintas e introduz três componentes técnicos fundamentais para melhorar o controle espacial e a fidelidade de referência.

1. Framework de Treinamento em Duas Etapas

• Estágio I: Aprendizado de Especialista Específico por Categoria. O framework inicializa múltiplos especialistas a partir de um modelo de edição de imagem pré-treinado por flow-matching (especificamente o Qwen-Image-Edit-2511). Cada especialista é treinado independentemente em uma categoria de inserção específica (acessório, animal, vestuário, objeto geral, humano). Isso permite que cada especialista adquira conhecimento especializado de sua distribuição de dados correspondente sem interferência de outras categorias.
• Estágio II: Consolidação Transcategórica via IOPD. Um modelo "estudante" unificado é inicializado a partir do mesmo backbone pré-treinado. Todos os especialistas específicos de categoria são congelados. O estudante é treinado usando Inserção de Destilação On-Policy (IOPD). Neste processo, o estudante gera suas próprias trajetórias (rollouts). Para cada estado visitado pelo estudante, o especialista congelado correspondente (selecionado com base no rótulo da categoria) fornece um alvo de velocidade. Esta destilação transfere os comportamentos de inserção especializados e a fidelidade de referência dos especialistas para o único modelo estudante, mitigando a interferência causada pelo treinamento conjunto direto.

2. Componentes Técnicos Principais

Para equipar os especialistas e o estudante com controle preciso, o InsertFuse introduz três módulos inovadores:

• Condicionamento de Geometria Alinhado a Tokens (TAGC):
  Em vez de simplesmente concatenar uma máscara binária com entradas visuais (o que exige que o modelo aprenda implicitamente a correspondência máscara-token), o TAGC mapeia explicitamente a máscara de inserção para a grade de tokens visuais. Ele constró o uma representação geométrica compacta $G(M)$ contendo a máscara, uma transformação de distância com sinal e um mapa de proximidade de borda. Um codificador de geometria leve extrai características que são projetadas e injetadas residualmente em ambos os ramos latentes de contexto de alvo e de origem. Isso estabelece uma correspondência espacial explícita sem adicionar entradas de máscara extras do tipo imagem.

• Flow Matching Balanceado por Região (RBFM):
  Objetivos padrão de flow-matching calculam a média uniforme dos erros de previsão, o que pode ser dominado pela grande região do plano de fundo, deixando pequenos assuntos de inserção sub-supervisionados. O RBFM aborda isso normalizando separadamente os erros de previsão dentro e fora da região de inserção. Ele define termos de perda separados para a região de inserção ($\ell_{ins}$) e para o plano de fundo ($\ell_{bg}$), cada um normalizado por suas respectivas áreas efetivas. Isso evita que a força da supervisão escale com o tamanho da inserção e garante uma otimização equilibrada tanto para o assunto quanto para o plano de fundo.

• Guia de Classe Livre de Referência (Reference CFG):
  Para fortalecer a preservação da aparência e identidade do assunto de referência, o framework introduz o Reference CFG. Durante o treinamento do especialista, a condição de referência é descartada aleatoriamente com uma probabilidade $p_{drop}$. Na inferência, o modelo calcula a diferença entre a previsão com a referência e a previsão sem ela (mantendo fixos as condições de cena e geometria). Essa diferença isola a direção de velocidade induzida pela referência, que é então amplificada para guiar a geração. Essa supervisão aprimorada é transferida para o estudante via IOPD, permitindo que o modelo unificado mantenha uma forte consistência de referência sem a necessidade de um ramo de CFG adicional durante a inferência.

Principais Contribuições

1. Framework Unificado com Aprendizado Desacoplado: A proposta do InsertFuse, um framework que separa o aprendizado de expertise específica por categoria da consolidação transcategórica. Utiliza a Inserção de Destilação On-Policy (IOPD) para transferir políticas especializadas para um único estudante, mitigando efetivamente a interferência inerente ao treinamento conjunto direto.
2. Controle Espacial e Regional Aprimorado: A introdução do Condicionamento de Geometria Alinhado a Tokens (TAGC) para alinhamento explícito máscara-token e do Flow Matching Balanceado por Região (RBFM) para normalizar erros de supervisão, garantindo desempenho estável em objetos de várias escalas e evitando a dominância do plano de fundo.
3. Fidelidade de Referência Fortalecida: A proposta do Reference CFG, que isola e amplifica a orientação visual de referência sob condições de cena fixas, melhorando a preservação de aparência e identidade.
4. Desempenho de Estado da Arte: Experimentos extensos demonstrando que o InsertFuse supera os métodos existentes de inserção guiada por referência e modelos de edição de imagem generalistas em múltiplas métricas.

Resultados Experimentais

Os autores avaliaram o InsertFuse no benchmark público AnyInsertion e em um conjunto de teste multicatetoria customizado cobrindo acessórios, animais, vestuário, objetos gerais e humanos.

• Desempenho Quantitativo: O InsertFuse alcançou resultados de estado da arte na maioria das métricas. No benchmark AnyInsertion, obteve 0.7838 (DINO-I) e 0.9156 (CLIP-I), indicando forte fidelidade de referência. No conjunto de teste multicatetoria, alcançou 0.7148 (DINO-I) e 0.9020 (CLIP-I). Também demonstrou qualidade de reconstrução superior com alto PSNR (24.26/24.40) e SSIM, além de baixos escores de LPIPS e FID em comparação com baselines como AnyDoor, Insert Anything, A2-Edit e modelos de propósito geral como FLUX.1 Kontext e Qwen-Image-Edit.
• Desempenho Qualitativo: Comparações visuais mostram que o InsertFuse preserva melhor detalhes específicos da referência (ex: texturas, logos, padrões) e se adapta mais naturalmente à geometria, pose e relações de oclusão do alvo em comparação com métodos concorrentes, que frequentemente sofrem com artefatos estruturais ou deriva de identidade.
• Estudo de Usuário: Em um estudo de usuário de múltiplas vias, o InsertFuse recebeu as maiores fatias de preferência (51,8% para Fidelidade de Referência, 58,2% para Qualidade de Inserção e 55,4% para Qualidade Geral) em todos os critérios.
• Estudos de Ablação:
  • O TAGC melhorou significativamente o alinhamento geométrico e as transições de borda em comparação com a concatenação de máscara ou injeção bruta.
  • O RBFM proporcionou ganhos consistentes sobre o flow matching global padrão, particularmente para pequenas regiões de inserção, ao evitar a dominância do plano de fundo.
  • O Reference CFG melhorou as métricas orientadas à referência e preservou texturas finas.
  • O IOPD mostrou-se eficaz na consolidação das capacidades dos especialistas, superando significativamente o treinamento conjunto direto (que sofreu com interferência de gradiente transcategórica, como evidenciado pelas similaridades de cosseno de gradiente negativas entre certos pares de categorias como humano-vestuário).

Significância

O artigo afirma que o InsertFuse fornece uma solução unificada e prática para diversas tarefas de inserção de imagem guiada por referência. Ao desacoplar a aquisição de expertise especializada da consolidação de capacidades transcategóricas, o framework aborda o conflito fundamental no treinamento de modelos unificados para tarefas heterogêneas. Os componentes propostos (TAGC, RBFM, Reference CFG) oferecem orientação geométrica explícita e otimização regional balanceada, levando a um forte desempenho em preservação de referência, adaptação espacial e qualidade de geração. Os resultados sugerem que separar a especialização da consolidação é uma estratégia mais eficaz do que tentar resolver conflitos de categoria apenas através de otimização conjunta ou mecanismos de roteamento.