BRIDGE: Background Routing and Isolated Discrete Gating for Coarse-Mask Local Editing

Resumo Técnico: BRIDGE

Definição do Problema: Viés de Forma da Máscara na Edição com Máscaras Grossas
Os métodos atuais de edição local de imagem frequentemente falham quando os usuários fornecem "máscaras grossas" (por exemplo, rabiscos ou caixas aproximadas) em vez de contornos precisos do objeto. O artigo identifica um modo de falha específico denominado viés de forma da máscara: o modelo trata a dica de localização do usuário como um limite geométrico estrito, fazendo com que o objeto gerado herde a forma acidental da máscara. Esse emaranhamento entre localização e geometria impede que o modelo satisfaça a instrução (por exemplo, "adicionar um elefante") enquanto mantém contornos naturais do objeto que podem diferir da máscara de entrada grosseira. Abordagens existentes, como inpainting condicionado à máscara (por exemplo, FLUX.1-Fill, ACE++) ou manipulação de atenção sem treinamento, frequentemente codificam a máscara diretamente no transformador de difusão (DiT) como tokens visuais ou ramos de características, o que reforça esse viés.

Metodologia: BRIDGE
Os autores propõem o BRIDGE (Roteamento de Fundo e Portão Discreto Isolado para Edição Local com Máscaras Grossas), um framework projetado para desacoplar a região de suporte para edição da geração de geometria do novo sujeito.

1. Arquitetura BridgePath:

   • Em vez de alimentar a máscara no DiT como uma condição visual, o BRIDGE mantém a máscara fora do backbone. A máscara é usada apenas para definir uma caixa delimitadora alinhada aos eixos (a região de suporte do "Caminho do Sujeito") e para mistura pós-geração.
   • O modelo utiliza dois caminhos paralelos processados pelo mesmo backbone DiT:
     • Caminho Principal: Preserva o contexto de fundo original e segue a trajetória da imagem de origem.
     • Caminho do Sujeito: Inicializado com ruído gaussiano independente, este caminho gera o conteúdo editável dentro da caixa delimitadora definida pela máscara.
   • Os dois caminhos são concatenados em uma única sequência visual em cada camada do DiT, permitindo que os mecanismos de atenção determinem como o sujeito se funde ao fundo.

2. Portão Geométrico Discreto (Roteamento de PE a Nível de Token):

   • A inovação central é um Portão Geométrico Discreto aprendível que realiza o roteamento de embeddings posicionais (PEs) a nível de token.
   • Experimentos diagnósticos no Qwen-Image revelaram que tokens que compartilham o mesmo PE tendem a gerar conteúdo duplicado ou altamente similar, atuando como um seletor de contexto.
   • O Portão prevê uma variável de roteamento binária para cada token do sujeito em cada camada do DiT:
     • $G_i = 1$ (Centrado no Sujeito): O token mantém suas coordenadas originais do Caminho do Sujeito, permitindo liberdade geométrica e a geração de novas estruturas independentes do fundo.
     • $G_i = 0$ (Ancorado no Fundo): O token empresta o PE da localização correspondente do Caminho Principal, facilitando a fusão perfeita com a cena circundante.
   • Esse roteamento é implementado via GateBlocks leves (13,31M parâmetros) adicionados ao backbone pré-treinado Qwen-Image, que é ainda adaptado usando LoRA de rank-512. O portão utiliza um estimador direto para treinamento.

3. Treinamento e Pipeline de Dados:

   • O modelo é treinado usando um objetivo de correspondência de fluxo em um conjunto de dados curado derivado do Pico-Banana-400K.
   • Um componente crítico do pipeline de dados é a perturbação de máscara, onde a máscara é convertida em uma caixa delimitadora e perturbada para quebrar a dependência do modelo do contorno exato, incentivando-o a tratar a máscara como uma dica grosseira em vez de um alvo de geometria.
   • O objetivo de treinamento otimiza tanto os adaptadores LoRA quanto os GateBlocks de ponta a ponta.

Principais Contribuições

• Identificação do Viés de Forma da Máscara: O artigo define formalmente o modo de falha onde dicas de localização são interpretadas incorretamente como restrições geométricas na edição com máscaras grossas.
• Arquitetura BRIDGE: Introduz um método que mantém máscaras fora do backbone do DiT, utilizando uma estratégia de geração de duplo caminho (Principal/Sujeito) combinada com um Portão Geométrico Discreto aprendível para roteamento de PE a nível de token.
• Validação Empírica: Demonstra melhorias significativas em métricas de precisão local em um novo benchmark, BRIDGE-Bench, bem como desempenho zero-shot no MagicBrush e ICE-Bench.

Resultados

• BRIDGE-Bench: O BRIDGE atinge uma pontuação Local SigLIP2-T de 0,503, superando significativamente o FLUX.1-Fill (0,262) e o ACE++ (0,390). Também mostra ganhos em Local DINO e DreamSim, indicando melhor alinhamento com instruções e redução de distorção perceptual na região editada.
• Generalização Zero-Shot: No MagicBrush e ICE-Bench, o BRIDGE demonstra alinhamento competitivo e preservação da fonte, frequentemente alcançando a melhor classificação média entre os métodos comparados.
• Estudos de Ablação: Remover o Portão Discreto (fixando o roteamento de PE) leva à degradação da precisão local (caindo o SigLIP2-T para 0,463) e causa o colapso do Caminho do Sujeito em cópias desfocadas, confirmando a necessidade de roteamento adaptativo para geração coerente de objetos.
• Eficiência: Embora o Caminho do Sujeito aumente a latência de inferência e a memória em aproximadamente 30–40% para uma região de edição de 25%, o mecanismo de controle (GateBlocks) é altamente eficiente em parâmetros (13,31M parâmetros) em comparação com ramos estilo ControlNet (~1,13B parâmetros).

Significado e Alegações
Os autores posicionam o BRIDGE como um método empírico que aborda uma limitação prática específica em editores baseados em difusão atuais. Eles afirmam que separar o suporte de localização (via caixas delimitadoras) da geração de geometria (via ruído independente e roteamento de PE) permite que os modelos respeitem a intenção do usuário sem herdar artefatos de máscara. O artigo afirma modestamente que essa abordagem é eficaz para edição com máscaras grossas quando as máscaras são usadas como sinais de localização em vez de características internas. Não alega resultados de convergência teórica para roteamento discreto ou novidade na manipulação de PE em si, mas sim a eficácia de combinar a geração BridgePath com roteamento de PE discreto aprendível neste contexto específico. O método reconhece uma compensação: embora ofereça maior liberdade de forma, depende de suporte de caixa delimitadora, o que pode exigir estratégias de mistura externas para máscaras de usuário altamente irregulares.