Resumen Técnico: InsertFuse

Declaración del Problema

La inserción de imágenes guiada por referencia busca colocar un sujeto objetivo de una imagen de referencia en una región designada de una escena de origen, preservando al mismo tiempo la apariencia e identidad del sujeto y adaptando su escala y ubicación espacial al nuevo contexto. Si bien los avances recientes en modelos de difusión y flujo de emparejamiento (flow matching) han mejorado la generación y edición de imágenes en general, la construcción de un modelo unificado capaz de manejar diversas categorías de inserción (por ejemplo, accesorios, prendas, humanos, animales, objetos generales) sigue siendo un desafío significativo.

Diferentes categorías de inserción requieren estrategias de generación y objetivos de modelado sustancialmente distintos. Por ejemplo, la inserción de accesorios exige la preservación de texturas finas, la prueba virtual de ropa requiere una deformación no rígida compleja y la insercción de humanos prioriza la consistencia de la identidad. Entrenar directamente un único modelo con datos de categorías mixtas introduce señales de optimización conflictivas, lo que puede debilitar las capacidades especializadas requeridas para cada tarea. Aunque enfoques recientes como el Mixture-of-Transformers (MoE) intentan dirigir las entradas a ramas especializadas, estos siguen dependiendo de la optimización conjunta dentro de un proceso de entrenamiento unificado, dejando los conflictos específicos de categoría solo parcialmente resueltos. Además, los métodos existentes suelen carecer de un control espacial preciso y luchan por equilibrar la supervisión entre la pequeña región de inserción y el gran fondo, lo que conduce a una optimización dominada por el fondo o a problemas de rendimiento dependientes de la escala.

Metodología: InsertFuse

InsertFuse propone un marco unificado que desacopla el aprendizaje de la pericia específica de la categoría de la consolidación de capacidades trans-categoría. El marco opera en dos etapas distintas e introduce tres componentes técnicos clave para mejorar el control espacial y la fidelidad de la referencia.

1. Marco de Entrenamiento de Dos Etapas

• Etapa I: Aprendizaje de Expertos Específicos de Categoría. El marco inicializa múltiples expertos a partir de un modelo de edición de imágenes de flujo de emparejamiento preentrenado (específicamente Qwen-Image-Edit-2511). Cada experto se entrena de forma independiente en una categoría de inserción específica (accesorio, animal, prenda, objeto general, humano). Esto permite que cada experto adquiera conocimiento especializado de su distribución de datos correspondiente sin interferencia de otras categorías.
• Etapa II: Consolidación Trans-Categoría mediante IOPD. Un modelo "estudiante" unificado se inicializa desde el mismo backbone preentrenado. Todos los expertos específicos de categoría están congelados. El estudiante se entrena utilizando Destilación On-Policy de Inserción (IOPD). En este proceso, el estudiante genera sus propias trayectorias (rollouts). Para cada estado visitado por el estudiante, el experto congelado correspondiente (seleccionado según la etiqueta de la categoría) proporciona un objetivo de velocidad. Esta destilación transfiere los comportamientos de inserción especializados y la fidelidad de la referencia de los expertos al modelo estudiante único, mitigando la interferencia causada por el entrenamiento conjunto directo.

2. Componentes Técnicos Clave

Para dotar a los expertos y al estudiante de un control preciso, InsertFuse introduce tres módulos novedosos:

• Condicionamiento Geométrico Alineado con Tokens (TAGC):
  En lugar de simplemente concatenar una máscara binaria con las entradas visuales (lo que requiere que el modelo aprenda implícitamente la correspondencia máscara-a-token), el TAGC mapea explícitamente la máscara de inserción a la rejilla de tokens visuales. Construye una representación geométrica compacta $G(M)$ que contiene la máscara, una transformación de distancia con signo y un mapa de proximidad de bordes. Un codificador de geometría ligero extrae características que se proyectan e inyectan residualmente en las ramas latentes tanto del objetivo como del contexto de la escena. Esto establece una correspondencia espacial explícita sin añadir entradas de máscara adicionales de tipo imagen.

• Flujo de Emparejamiento Balanceado por Región (RBFM):
  Los objetivos de flujo de emparejamiento estándar promedian uniformemente los errores de predicción, lo que puede estar dominado por la gran región del fondo, dejando a los sujetos de inserción pequeños con una supervisión insuficiente. El RBFM aborda esto normalizando por separado los errores de predicción dentro y fuera de la región de inserción. Define términos de pérdida separados para la región de inserción ($\ell_{ins}$) y el fondo ($\ell_{bg}$), cada uno normalizado por sus respectivas áreas efectivas. Esto evita que la fuerza de la supervisión escale con el tamaño de la inserción y asegura una optimización equilibrada tanto para el sujeto como para el fondo.

• Guía de Clasificador Libre de Referencia (Reference CFG):
  Para fortalecer la preservación de la apariencia e identidad del sujeto de referencia, el marco introduce Reference CFG. Durante el entrenamiento del experto, la condición de referencia se descarta aleatoriamente con una probabilidad $p_{drop}$. Durante la inferencia, el modelo computa la diferencia entre la predicción con la referencia y la predicción sin ella (manteniendo fijas las condiciones de escena y geometría). Esta diferencia aisla la dirección de velocidad inducida por la referencia, la cual es entonces amplificada para guiar la generación. Esta supervisión mejorada se transfiere al estudiante vía IOPD, permitiendo que el modelo unificado mantenga una fuerte consistencia de referencia sin necesidad de una rama de CFG adicional durante la inferencia.

Principales Contribuciones

1. Marco Unificado con Aprendizaje Desacoplado: La propuesta de InsertFuse, un marco que separa el aprendizaje de la pericia específica de la categoría de la consolidación de capacidades trans-categoría. Utiliza la Destilación On-Policy de Inserción (IOPD) para transferir políticas especializadas a un solo estudiante, mitigando eficazmente la interferencia inherente al entrenamiento conjunto directo.
2. Control Espacial y Regional Mejorado: La introducción de Condicionamiento Geométrico Alineado con Tokens (TAGC) para la alineación explícita de máscara-a-token y Flujo de Emparejamiento Balanceado por Región (RBFM) para normalizar los errores de supervisión, asegurando un rendimiento estable en objetos de diversas escalas y evitando el dominio del fondo.
3. Fidelidad de Referencia Fortalecida: La propuesta de Reference CFG, que aísla y amplifica la guía visual de referencia bajo condiciones de escena fijas, mejorando la preservación de la apariencia y la identidad.
4. Rendimiento de Vanguardia (State-of-the-Art): Experimentos extensos que demuestran que InsertFuse supera a los métodos de inserción guiada por referencia y a los modelos de edición de imágenes unificados existentes en múltiples métricas.

Resultados Experimentales

Los autores evaluaron InsertFuse en el benchmark público AnyInsertion y en un conjunto de prueba multi-categoría personalizado que cubre accesorios, animales, prendas, objetos generales y humanos.

• Rendimiento Cuantitativo: InsertFuse logró resultados de vanguardia en la mayoría de las métricas. En el benchmark AnyInsertion, obtuvo 0.7838 (DINO-I) y 0.9156 (CLIP-I), indicando una fuerte fidelidad de referencia. En el conjunto de prueba multi-categoría, alcanzó 0.7148 (DINO-I) y 0.9020 (CLIP-I). También demostró una calidad de reconstrucción superior con altos valores de PSNR (24.26/24.40) y SSIM, y bajos valores de LPIPS y FID en comparación con bases como AnyDoor, Insert Anything, A2-Edit y modelos de propósito general como FLUX.1 Kontext y Qwen-Image-Edit.
• Rendimiento Cualitativo: Las comparaciones visuales muestran que InsertFuse preserva mejor los detalles específicos de la referencia (por ejemplo, texturas, logotipos, patrones) y se adapta más naturalmente a la geometría, pose y relaciones de oclusión del objetivo en comparación con los métodos competidores, que a menudo sufren de artefactos estructurales o deriva de identidad.
• Estudio de Usuario: En un estudio de usuario multi-vía, InsertFuse recibió las mayores cuotas de preferencia (51.8% para Fidelidad de Referencia, 58.2% para Calidad de Inserción y 55.4% para Calidad General) en todos los criterios.
• Estudios de Ablación:
  • TAGC mejoró significativamente la alineación geométrica y las transiciones de bordes en comparación con la concatenación de máscara base o la inyección bruta.
  • RBFM proporcionó ganancias consistentes sobre el flujo de emparejamiento global estándar, particularmente para pequeñas regiones de inserción, al prevenir el dominio del fondo.
  • Reference CFG mejoró las métricas orientadas a la referencia y preservó texturas finas.
  • Se demostró que IOPD consolida eficazmente las capacidades de los expertos, superando significativamente el entrenamiento conjunto directo (el cual sufrió interferencia de gradiente trans-categoría, como lo evidencia la similitud de coseno negativa entre ciertos pares de categorías como humano-prenda).

Significancia

El artículo afirma que InsertFuse proporciona una solución unificada y práctica para diversas tareas de inserción de imágenes guiada por referencia. Al desacoplar la adquisición de pericia especializada de la consolidación de capacidades trans-categoría, el marco aborda el conflicto fundamental en el entrenamiento de modelos unificados para tareas heterogéneas. Los componentes propuestos (TAGC, RBFM, Reference CFG) ofrecen una guía geométrica explícita y una optimización regional balanceada, lo que conduce a un fuerte desempeño en la preservación de la referencia, adaptación espacial y calidad de generación. Los resultados sugieren que separar la especialización de la consolidación es una estrategia más efectiva que intentar resolver los conflictos de categoría únicamente mediante la optimización conjunta o mecanismos de enrutamiento.