ProductConsistency: Improving Product Identity Preservation in Instruction-Based Image Editing via SFT and RL

Resumen Técnico: ProductConsistency

Declaración del Problema

Aunque los avances recientes en la edición de imágenes basada en instrucciones han permitido modificaciones visuales complejas a partir de lenguaje natural, los modelos actuales (tanto de código abierto como cerrados) presentan dificultades significativas en escenarios centrados en productos. En dominios como la publicidad, el comercio electrónico y el marketing, las imágenes editadas requieren una corrección visual estricta. Los modelos existentes fallan frecuentemente al preservar la identidad detallada del objeto, distorsionando a menudo la geometría del producto, alterando logotipos de marca o alucinando y cometiendo errores ortográficos en el texto sobre las superficies de los productos.

Un factor principal de este fallo es la falta de conjuntos de datos y evaluaciones de referencia (benchmarks) dedicados que apunten explícitamente a la consistencia de marca y la fidelidad del texto durante la edición. Los benchmarks existentes suelen ignorar el texto renderizado o se centran en diseños de estilo documental en lugar de objetos fotografiados. Además, los modelos de recompensa de aprendizaje por refuerzo (RL) actuales están diseñados para la calidad estética general o el seguimiento de instrucciones, fallando al capturar las restricciones específicas de la preservación de la identidad del producto.

Metodología

Los autores proponen un marco integral que comprende un nuevo conjunto de datos, un pipeline de generación de datos sintéticos y una estrategia de entrenamiento especializada que involucra el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL).

1. Conjunto de Datos ProductConsistency y Pipeline de Generación

El núcleo del trabajo es un pipeline totalmente automatizado para generar imágenes de productos sintéticas de alta calidad con texto verificable e identidades de marca únicas.

• Generación Sintética: El pipeline define 131 artículos de productos únicos a través de 8 categorías (p. ej., alimentos, bebidas, cosméticos). Un MLLM (GPT-o3-mini) genera diversas descripciones de productos y firmas de marca (nombre, paleta de colores, estilo de fuente).
• Síntesis de Imágenes y Filtrado: Las imágenes se generan utilizando GPT-Image-1 High. Para garantizar la fidelidad del texto, se aplica una etapa de filtrado rigurosa basada en OCR. Una imagen se conserva solo si el texto detectado por un modelo de OCR ($T_{ocr}$) coincide exactamente con el texto de referencia especificado en el prompt ($T_{gt}$). Este proceso produce un conjunto de alta precisión de 2,002 productos sintéticos con texto legible.
• División de Datos: Los datos filtrados se dividen en:
  • Conjunto de Datos SFT: 87,242 muestras utilizadas para el ajuste fino supervisado.
  • Conjunto de Datos RL: 869 imágenes de productos únicos (derivadas de 1,133 productos únicos) seleccionadas basadas en una alta varianza en el rendimiento de los modelos base, representando casos "propensos al fallo" donde la optimización es más beneficiosa.
  • Benchmark: Un conjunto de prueba verificado por humanos de 174 imágenes de productos (870 muestras totales con 5 prompts cada una) a través de 8 categorías.

2. Marco de Entrenamiento

Los autores ajustan dos modelos de código abierto: Qwen-Image-Edit-2511 y Flux.1-Kontext-dev.

• Ajuste Fino Supervisado (SFT): Los modelos se entrenan en el conjunto de datos SFT de 87k utilizando Adaptación de Bajo Rango (LoRA). Las imágenes objetivo para SFT se generan usando Qwen-Image-Lightning (elegido por su velocidad y renderizado de texto) y se filtran mediante OCR para asegurar que solo las salidas con texto correcto se utilicen como verdad de terreno (ground truth).
• Aprendizaje por Refuerzo (RL): El entrenamiento continúa desde los checkpoints de SFT utilizando el algoritmo FlowGRPO.
  • Recompensa de Consistencia Cíclica: Para guiar el RL sin modelos de recompensa explícitos de consistencia de producto, los autores proponen una recompensa proxy. Generan un pie de foto ($c_{gen}$) de la imagen editada utilizando un MLLM (Qwen3-VL) y computan la similitud de coseno entre su embedding y el embedding de la descripción original del producto ($c_{gt}$). Esto impone la preservación semántica de la identidad del producto.
  • Recompensa de OCR: Esto se combina con una recompensa basada en la Tasa de Error de Caracteres (CER) para penalizar explícitamente las alucinaciones de texto y los errores ortográficos.
  • Agregación: Se utiliza el algoritmo GDPO para agregar las recompensas de consistencia cíclica y de OCR con igual peso.

Contribuciones Clave

1. Dataset y Pipeline ProductConsistency: Un pipeline totalmente automatizado para generar imágenes de productos sintéticos con identidades de marca únicas y texto renderizado verificable, permitiendo una supervisión escalable para la edición centrada en productos.
2. Benchmark ProductConsistency: Una suite de evaluación rigurosa que consiste en 174 imágenes de productos en 8 categorías, emparejadas con 5 prompts de edición cada una (870 muestras), diseñada para evaluar la preservación de la identidad del producto, la fidelidad del texto y la consistencia visual.
3. Entrenamiento Consciente del Producto con Recompensas de Consistencia Cíclica: Un novedoso marco de RL que alinea los pies de foto de las imágenes generadas con las descripciones originales de los productos e incorpora recompensas basadas en OCR. Este enfoque apunta explícitamente al cumplimiento de instrucciones, la identidad semántica del producto y la fidelidad del texto.

Resultados

Los autores evaluaron sus modelos ajustados frente a bases sólidas (incluyendo HiDream-E1-1, OmniGen2, NanoBanana y GPT-Image-1) en el Benchmark ProductConsistency utilizando métricas de OCR, métricas perceptuales basadas en segmentación (Seg CLIP-I, Seg DINO-I) y evaluaciones basadas en MLLM (GPT-5.1).

• Mejoras Cuantitativas: Los modelos ajustados con el dataset ProductConsistency mostraron mejoras consistentes en todas las métricas.
  • Qwen-Image-Edit-2511: El SFT redujo la Tasa de Error de Caracteres (CER) de 1.0682 a 0.7803. La adición de RL con recompensas de Consistencia Cíclica redujo aún más el CER a 0.2080, lo que representa una reducción de 5 veces en la tasa de error de caracteres en comparación con el modelo base. Seg CLIP-I mejoró de 0.8728 a 0.9245.
  • Flux.1-Kontext-dev: Partiendo de una base sólida, el modelo logró el CER más bajo de 0.1204 y el mejor puntaje DINO-I de 0.8115 tras el entrenamiento SFT y RL.
• Evaluación Cualitativa y de MLLM: Las evaluaciones basadas en GPT confirmaron que las mejoras en las métricas automatizadas se tradujeron en ganancias perceptibles en la consistencia del producto, la fidelidad del texto (incluyendo fuente y color) y la estética general.
• Estudio de Ablación: El estudio comparó la recompensa de Consistencia Cíclica contra EditReward y las recompensas de Consistencia Visual Segmentada. Aunque la Consistencia Visual Segmentada logró puntuaciones automatizadas altas, sufrió de "hackeo de recompensa" (reward hacking), donde los modelos reproducían la imagen de entrada en lugar de realizar ediciones, lo que resultaba en una estética y un seguimiento de instrucciones deficientes. La recompensa de Consistencia Cíclica proporcionó una señal de entrenamiento más robusta, superando otras configuraciones tanto en evaluaciones automatizadas como en las basadas en GPT.

Significancia

El artículo afirma que su trabajo aborda una brecha crítica en el campo: la incapacidad de los modelos actuales de edición basados en instrucciones para mantener la identidad detallada del producto y la fidelidad del texto. Al introducir un dataset dedicado, un benchmark y un marco de entrenamiento centrado en la consistencia cíclica y las recompensas de OCR, los autores demuestran que modelar explícitamente la consistencia del producto es esencial para aplicaciones del mundo real en publicidad y comercio electrónico. Los resultados indican que el ajuste fino de potentes editores de código abierto con este marco específico produce ganancias sustanciales, haciéndolos competitivos o incluso superiores a los modelos cerrados en tareas de edición centradas en productos.