BRIDGE: Background Routing and Isolated Discrete Gating for Coarse-Mask Local Editing

Resumen Técnico: BRIDGE

Definición del Problema: Sesgo de Forma de Máscara en la Edición de Máscaras Groseras
Los métodos actuales de edición local de imágenes a menudo tienen dificultades cuando los usuarios proporcionan "máscaras groseras" (por ejemplo, garabatos o cajas aproximadas) en lugar de contornos precisos de objetos. El artículo identifica un modo de fallo específico denominado sesgo de forma de máscara: el modelo trata la pista de localización del usuario como un límite geométrico estricto, lo que hace que el objeto generado herede la forma accidental de la máscara. Este entrelazamiento entre localización y geometría impide que el modelo satisfaga la instrucción (por ejemplo, "añade un elefante") manteniendo contornos de objetos naturales que pueden diferir de la máscara de entrada aproximada. Los enfoques existentes, como la inpainting condicionada por máscara (por ejemplo, FLUX.1-Fill, ACE++) o la manipulación de atención sin entrenamiento, a menudo codifican la máscara directamente en el transformador de difusión (DiT) como tokens visuales o ramas de características, lo que refuerza este sesgo.

Metodología: BRIDGE
Los autores proponen BRIDGE (Enrutamiento de Fondo y Puerta Discreta Aislada para Edición Local de Máscaras Groseras), un marco diseñado para desacoplar la región de soporte para la edición de la generación de geometría del nuevo sujeto.

1. Arquitectura BridgePath:

   • En lugar de alimentar la máscara al DiT como una condición visual, BRIDGE mantiene la máscara fuera del backbone. La máscara se utiliza únicamente para definir una caja delimitadora alineada con los ejes (la región de soporte de la "Ruta del Sujeto") y para la mezcla posterior a la generación.
   • El modelo utiliza dos rutas paralelas procesadas por el mismo backbone DiT:
     • Ruta Principal: Preserva el contexto de fondo original y sigue la trayectoria de la imagen de origen.
     • Ruta del Sujeto: Inicializada con ruido gaussiano independiente, esta ruta genera el contenido editable dentro de la caja delimitadora definida por la máscara.
   • Las dos rutas se concatenan en una única secuencia visual en cada capa del DiT, permitiendo que los mecanismos de atención determinen cómo el sujeto se fusiona con el fondo.

2. Puerta Geométrica Discreta (Enrutamiento de PE a Nivel de Token):

   • La innovación central es una Puerta Geométrica Discreta aprendible que realiza un enrutamiento de embeddings de posición (PE) a nivel de token.
   • Los experimentos de diagnóstico en Qwen-Image revelaron que los tokens que comparten el mismo PE tienden a generar contenido duplicado o altamente similar, actuando como un selector de contexto.
   • La Puerta predice una variable de enrutamiento binaria para cada token del sujeto en cada capa del DiT:
     • $G_i = 1$ (Centrado en el Sujeto): El token retiene sus coordenadas originales de la Ruta del Sujeto, permitiendo libertad geométrica y la generación de nuevas estructuras independientes del fondo.
     • $G_i = 0$ (Anclado al Fondo): El token toma prestado el PE de la ubicación correspondiente de la Ruta Principal, facilitando una fusión perfecta con la escena circundante.
   • Este enrutamiento se implementa mediante GateBlocks ligeros (13.31M de parámetros) añadidos al backbone preentrenado de Qwen-Image, que se adapta además mediante LoRA de rango 512. La puerta utiliza un estimador directo para el entrenamiento.

3. Entrenamiento y Pipeline de Datos:

   • El modelo se entrena utilizando un objetivo de ajuste de flujo en un conjunto de datos curado derivado de Pico-Banana-400K.
   • Un componente crítico del pipeline de datos es la perturbación de la máscara, donde la máscara se convierte en una caja delimitadora y se perturba para romper la dependencia del modelo del contorno exacto, alentándolo a tratar la máscara como una pista grosera en lugar de un objetivo geométrico.
   • El objetivo de entrenamiento optimiza tanto los adaptadores LoRA como los GateBlocks de extremo a extremo.

Contribuciones Clave

• Identificación del Sesgo de Forma de Máscara: El artículo define formalmente el modo de fallo donde las pistas de localización se interpretan incorrectamente como restricciones geométricas en la edición de máscaras groseras.
• Arquitectura BRIDGE: Introduce un método que mantiene las máscaras fuera del backbone del DiT, utilizando una estrategia de generación de doble ruta (Principal/Sujeto) combinada con una Puerta Geométrica Discreta aprendible para el enrutamiento de PE a nivel de token.
• Validación Empírica: Demuestra mejoras significativas en las métricas de precisión local en un nuevo punto de referencia, BRIDGE-Bench, así como un rendimiento zero-shot en MagicBrush e ICE-Bench.

Resultados

• BRIDGE-Bench: BRIDGE logra una puntuación Local SigLIP2-T de 0.503, superando significativamente a FLUX.1-Fill (0.262) y ACE++ (0.390). También muestra ganancias en Local DINO y DreamSim, indicando una mejor alineación con las instrucciones y una menor distorsión perceptual en la región editada.
• Generalización Zero-Shot: En MagicBrush e ICE-Bench, BRIDGE demuestra una alineación competitiva y preservación de la fuente, logrando a menudo la mejor puntuación promedio entre los métodos comparados.
• Estudios de Ablación: Eliminar la Puerta Discreta (fijando el enrutamiento de PE) conduce a una degradación en la precisión local (reduciendo SigLIP2-T a 0.463) y provoca que la Ruta del Sujeto colapse en copias borrosas, confirmando la necesidad de un enrutamiento adaptativo para la generación coherente de objetos.
• Eficiencia: Aunque la Ruta del Sujeto aumenta la latencia de inferencia y la memoria en aproximadamente un 30–40% para una región de edición del 25%, el mecanismo de control (GateBlocks) es altamente eficiente en parámetros (13.31M de parámetros) en comparación con las ramas estilo ControlNet (~1.13B de parámetros).

Significado y Afirmaciones
Los autores posicionan a BRIDGE como un método empírico que aborda una limitación práctica específica en los editores basados en difusión actuales. Afirman que separar el soporte de localización (mediante cajas delimitadoras) de la generación de geometría (mediante ruido independiente y enrutamiento de PE) permite a los modelos respetar la intención del usuario sin heredar artefactos de la máscara. El artículo afirma modestamente que este enfoque es efectivo para la edición de máscaras groseras cuando las máscaras se utilizan como señales de localización en lugar de características internas. No afirma resultados de convergencia teórica para el enrutamiento discreto ni novedad en la manipulación de PE en sí misma, sino más bien la eficacia de combinar la generación BridgePath con el enrutamiento de PE discreto aprendible en este contexto específico. El método reconoce una compensación: aunque ofrece mayor libertad de forma, depende del soporte de caja delimitadora, lo que puede requerir estrategias de mezcla externas para máscaras de usuario altamente irregulares.