FreeGraftor: Training-Free Cross-Image Feature Grafting for Subject-Driven Text-to-Image Generation

1. El Problema

La generación de imágenes impulsada por sujetos (subject-driven generation) busca crear nuevas escenas que preserven fielmente la identidad de un sujeto específico (extraído de una imagen de referencia) mientras se adhieren estrictamente a una guía textual.

Los métodos existentes enfrentan un compromiso crítico entre fidelidad (calidad de la identidad) y eficiencia:

• Enfoques basados en ajuste (Tuning-based): Métodos como DreamBooth requieren un ajuste fino (fine-tuning) específico para cada sujeto. Aunque logran alta consistencia, son computacionalmente costosos, lentos, propensos al olvido catastrófico y difíciles de escalar para múltiples sujetos.
• Enfoques Zero-shot (sin ajuste): Métodos como IP-Adapter son eficientes pero a menudo fallan en mantener la consistencia del sujeto, perdiendo detalles finos (texturas, logotipos, patrones) y alineación visual precisa.

El objetivo es lograr una transferencia de identidad de alta fidelidad y alineación textual sin necesidad de entrenamiento ni ajuste de modelos.

2. Metodología: FreeGraftor

FreeGraftor es un marco de trabajo sin entrenamiento (training-free) que aprovecha las representaciones visuales inherentes de los modelos de difusión modernos (específicamente arquitecturas MM-DiT como FLUX.1). Se basa en la premisa de que existen correspondencias semánticas robustas entre imágenes en el espacio de características del modelo.

El proceso consta de tres etapas principales:

A. Construcción de Collage e Inversión Estructurada

Para preservar la geometría del sujeto de referencia (evitando que el ruido inicial aleatorio distorsione la forma), el método no utiliza ruido gaussiano estándar.

1. Collage: Se genera una imagen plantilla basada en el prompt de texto. Luego, se utiliza un modelo de grounding y segmentación para eliminar el sujeto original de la plantilla y reemplazarlo con el sujeto de referencia (recortado y redimensionado), creando un "collage".
2. Inversión: Este collage se invierte mediante rectified flow inversion para obtener el ruido de inicialización ($\epsilon_{init}$) y extraer las características de referencia. Esto asegura que la estructura geométrica del sujeto se mantenga desde el inicio del proceso de generación.
3. Estrategia de Dropout: Se introduce un dropout dinámico de características en los pasos tempranos de difusión para evitar que el sujeto se "sobreajuste" a la pose exacta del collage, permitiendo flexibilidad en la pose según el texto, mientras se mantienen los detalles visuales en pasos posteriores.

B. Injerto de Características Consciente Semánticamente (SAFG)

Esta es la contribución central. En lugar de simplemente inyectar características, SAFG realiza un injerto cruzado de características (cross-image feature grafting) mediante dos mecanismos:

1. Emparejamiento Semántico (Semantic Matching):

   • Se calcula la similitud coseno entre los parches de características de la imagen de referencia y la imagen generada en cada paso de difusión.
   • Se aplican filtros de umbral de similitud y consistencia cíclica para descartar emparejamientos erróneos que podrían causar distorsiones estructurales.
   • El resultado es una máscara que identifica qué parches de la referencia corresponden semánticamente a qué parches de la imagen generada.

2. Fusión de Atención Constrained por Posición (Position-Constrained Attention Fusion):

   • A diferencia de los modelos U-Net, los modelos DiT utilizan Position Embeddings (PE) para entender la proximidad y orientación.
   • FreeGraftor concatena las claves (keys) y valores (values) de los parches de referencia seleccionados con los de la imagen generada.
   • Clave técnica: Se asignan las Position Embeddings de la imagen generada a los parches de referencia inyectados. Esto permite que el parche de referencia "herede" la posición espacial del parche objetivo en la imagen generada, asegurando que los detalles se transfieran a la ubicación correcta sin distorsionar los bordes o la estructura.

3. Contribuciones Clave

• Marco Plug-and-Play sin Entrenamiento: FreeGraftor logra una transferencia de identidad a nivel de píxel sin requerir fine-tuning, optimización en tiempo de prueba ni módulos adicionales entrenables.
• SAFG (Semantic-Aware Feature Grafting): Una técnica novedosa que combina emparejamiento semántico preciso con fusión de atención restringida por posición, resolviendo el problema de la transferencia de detalles finos en modelos DiT.
• Inicialización Consistente con la Estructura: El uso de collage e inversión para inicializar el ruido garantiza que la geometría del sujeto se preserve, mejorando la robustez del emparejamiento semántico.
• Escalabilidad a Múltiples Sujetos: El marco se extiende naturalmente a la generación de múltiples sujetos sin conflictos de diseño ni confusión de atributos, manteniendo la identidad de cada uno individualmente.

4. Resultados

Los experimentos cualitativos y cuantitativos demuestran que FreeGraftor supera a los métodos zero-shot y training-free existentes (como FreeCustom, IP-Adapter, UNO, DreamO) y compite favorablemente con métodos basados en ajuste (tuning):

• Fidelidad del Sujeto: Logra la mayor puntuación en métricas de alineación de imagen (CLIP-I, DINO), preservando detalles intrincados como logotipos, texto en objetos y texturas que otros métodos pierden.
• Alineación Textual: Mantiene una alta puntuación en CLIP-T e ImageReward, demostrando que la identidad del sujeto no compromete la adherencia al prompt de texto.
• Eficiencia: Aunque es más lento que algunos métodos zero-shot simples debido a la inversión y el collage, es significativamente más rápido y consume menos memoria que los métodos de ajuste (tuning) y otros enfoques training-free complejos (como LatentUnfold).
• Versatilidad: Funciona robustamente con sujetos rígidos y no rígidos, y en escenarios de múltiples sujetos sin errores de atributos (ej. confundir el color de un perro con el de un gato).

5. Significado e Impacto

FreeGraftor cierra la brecha entre la fidelidad del sujeto y la eficiencia computacional en la generación de imágenes. Su capacidad para operar sin entrenamiento lo hace accesible para usuarios sin recursos de GPU masivos para fine-tuning, democratizando la creación de contenido personalizado de alta calidad.

Además, al resolver el problema de la transferencia de detalles finos en arquitecturas DiT (el estándar actual para generación de alta calidad), establece un nuevo paradigma para la personalización de modelos de difusión. Sin embargo, el artículo también reconoce los riesgos éticos asociados, como la creación de deepfakes o la violación de derechos de autor, y aboga por el uso de marcas de agua y controles de acceso.

En resumen, FreeGraftor representa un avance significativo hacia la generación de imágenes personalizada, rápida y de alta fidelidad, eliminando la barrera del entrenamiento específico por sujeto.