Resumen Técnico: GarmentZoom

Planteamiento del Problema

Los listados de prendas de vestir en línea suelen presentar una experiencia de visualización fragmentada: una imagen de vista completa de resolución estándar proporciona contexto, mientras que imágenes de primer plano separadas revelan detalles finos de la textura. Los usuarios deben alternar constantemente entre estas vistas, lo que rompe la continuidad de la navegación. Aunque la Super-Resolución Basada en Referencia (RefSR, por sus siglas en inglés) ofrece una solución potencial, los métodos existentes enfrentan limitaciones significativas en este dominio específico:

1. Desalineación Espacial: La RefSR estándar asume que la imagen de referencia y la entrada de baja resolución (LR) comparten correspondencia espacial. En los listados de prendas, los primeros planos suelen cubrir solo una región pequeña y no superpuesta de la prenda completa, y pueden diferir en perspectiva, iluminación o deformación de la tela, lo que hace que la alineación a nivel de píxel sea inviable.
2. Factores de Escala Variables: Los métodos tradicionales de RefSR asumen factores de sobremuestreo fijos y discretos (por ejemplo, 4×). Los listados de prendas del mundo real exhiben factores de escala continuos que van desde 3× hasta 20× entre la vista completa y el primer plano.
3. Costo Computacional: Los enfoques previos capaces de manejar escalas variables y desalineación (como UltraZoom) dependen del ajuste fino (fine-tuning) por cada instancia, lo cual es computacionalmente prohibitivo para un despliegue de comercio electrónico a gran escala.

Metodología

GarmentZoom aborda estos desafíos sintetizando una única imagen de prenda de ultra alta resolución a partir de una foto de vista completa y una referencia de primer plano no alineada. El sistema se basa en Flux.1-dev, un modelo de flow-matching de vanguardia, e incorpora tres componentes clave:

1. Construcción del Conjunto de Datos

Dado que las fotos de productos del mundo real carecen de una alineación de píxeles confiable, los autores construyen un conjunto de datos supervisado sintético a partir de primeros planos de prendas de alta resolución.

• Generación de Tripletas: Para cada primer plano de alta resolución, se muestrean dos recortes espacialmente separados: uno como referencia ($I_{Ref}$) y otro como la verdad de terreno ($I_{GT}$).
• Entrada LR Sintética: La verdad de terreno se reduce mediante un factor de escala continuo aleatorio $s \in [3, 20]$ para crear la entrada de baja calidad ($I_{LQ}$).
• Restricción: La separación espacial entre los recortes evita que el modelo aprenda soluciones triviales de "copiar y pegar", obligándolo a aprender la transferencia de textura basada en pistas de apariencia en lugar de una correspondencia directa.
• Condicionamiento de Texto: Un modelo de visión y lenguaje genera descripciones de texto detalladas para cada prenda para servir como condicionamiento auxiliar.

2. Arquitectura del Modelo

El sistema adapta la arquitectura de transformador Flux.1-dev con las siguientes modificaciones:

• Condicionamiento de Secuencia Unificada: La imagen de referencia ($I_{Ref}$) y el latente objetivo ruidoso ($x_t$) se codifican en secuencias latentes y se concatenan. Esta secuencia combinada es procesada por el transformador, permitiendo que los tokens de destino accedan a la información de textura de la referencia mediante mecanismos de atención cruzada (cross-attention).
• Integración de ControlNet: Un ControlNet de 4× para Super-Resolución de Imagen Única (SISR) preentrenado y congelado se condiciona a la entrada de baja calidad ($x_{LQ}$) para preservar la estructura global y la deformación de la tela de la imagen original de vista completa.
• Objetivo de Entrenamiento: El modelo se entrena utilizando un objetivo de flow-matching para predecir el campo de velocidad, minimizando la diferencia entre las velocidades predichas y las de la verdad de terreno.
• Eficiencia de Parámetros: El modelo se ajusta mediante LoRA (Low-Rank Adaptation) con un rango de 512, manteniendo los pesos base congelados para asegurar la eficiencia.

3. Estrategia de Inferencia

Para manejar la generación de resolución completa dentro de las restricciones de memoria de la GPU, los autores emplean una estrategia de inferencia de ventana deslizante:

• La imagen de vista completa se divide en ventanas superpuestas.
• La inferencia se realiza en cada parche de forma independiente.
• Para mitigar los artefactos causados por los límites repetidos de las ventanas, la posición de las ventanas deslizantes varía en cada paso de tiempo de inferencia.
• Las regiones latentes superpuestas se promedian en un lienzo unificado para producir un resultado sin costuras y libre de artefactos.

Principales Contribuciones

1. Un Sistema Novedoso: GarmentZoom sintetiza una imagen de prenda con alto detalle a partir de fotos de vista completa y de primer plano no alineadas, permitiendo una exploración fluida de acercamiento y desplazamiento (zoom-and-pan).
2. RefSR Robusta Guiada por Referencia: El modelo soporta referencias espacialmente no alineadas y factores de escala continuos (3–20×), superando las limitaciones de los métodos previos de escala fija y dependientes de la alineación.
3. Pipeline de Entrenamiento Eficiente: El enfoque entrena un único modelo generalizable utilizando tripletas sintéticas derivadas de listados reales de comercio electrónico, evitando el alto costo computacional del ajuste fino por instancia.

Resultados Experimentales

El método fue evaluado en un conjunto de datos de 8,547 productos de prendas de vestir, comparándolo con líneas de base de RefSR general (TTSR, DATSR, AdaRefSR, ReFIR) y una línea de base de SISR de escala continua (ContinuousSR).

• Desempeño Cuantitativo: GarmentZoom logró resultados de vanguardia en métricas perceptuales (LPIPS, DISTS) y métricas de dominio de frecuencia (LSD) tanto en escalas de 4× como de 10×. Notablemente, mantuvo un rendimiento constante hasta 16×, mientras que los métodos de la línea de base se degradaron significamente a medida que aumentaban los factores de escala.
• Estudio de Usuario: En un estudio con 13 participantes, GarmentZoom recibió la preferencia de primer lugar en el 97.7% de los casos para el escalado de 10×, superando significativamente a las líneas de base con ajuste fino.
• Comparación con Métodos por Instancia: Al compararse cualitativa y cuantitativamente contra UltraZoom (que requiere aproximadamente 1.5 horas de ajuste fino por producto), GarmentZoom produjo resultados de calidad comparable sin necesidad de entrenamiento específico por instancia. Demostró una fidelidad de color superior y evitó los problemas de "deriva de color" observados en UltraZoom.
• Estudios de Ablación:
  • Robustez de Escala: El modelo se generalizó eficazmente en el rango de 3–20×.
  • Similitud de Referencia: El desempeño disminuyó a medida que el desplazamiento espacial entre la referencia y el objetivo aumentaba, confirmando que el modelo depende de la similitud de la referencia pero sigue siendo robusto a la desalineación moderada.
  • Arquitectura: El condicionamiento de secuencia unificada con LoRA superó a los métodos alternativos de inyección de atención cruzada (inspirados en IP-Adapter), sugiriendo que la co-evolución de los latentes de referencia y de entrada dentro del mismo espacio de atención es más efectiva para la transferencia de textura.

Significancia y Reivindicaciones

El artículo posiciona a GarmentZoom como un paso práctico hacia experiencias de productos virtuales fluidas. Al desacoplar la necesidad de alineación espacial y el entrenamiento por instancia, el sistema permite la generación de imágenes de prendas de alta fidelidad y con capacidad de zoom a una fracción del costo de entrenamiento de los métodos actuales por instancia. Los autores afirman que el sistema se generaliza con éxito en diversas prendas y factores de escala, cerrando la brecha entre el contexto de la vista general y la fidelidad de nivel de detalle en las compras en línea.

Limitaciones: Los autores reconocen que, al igual que otros métodos de RefSR, si la textura requerida está totalmente ausente en la imagen de referencia, el modelo debe alucinar detalles plausibles. Sugieren que el trabajo futuro podría centrarse en la selección automática de recortes de referencia óptimos para cubrir las texturas necesarias.