Résumé Technique : ProductConsistency

Problématique

Bien que les récentes avancées en matière d'édition d'images basée sur des instructions aient permis des modifications visuelles complexes à partir du langage naturel, les modèles actuels (qu'ils soient open source ou propriétaires) éprouvent des difficultés significatives dans les scénarios centrés sur les produits. Dans des domaines tels que la publicité, l'e-commerce et le marketing, les images éditées nécessitent une exactitude visuelle stricte. Les modèles existants échouent fréquemment à préserver l'identité fine des objets, déformant souvent la géométrie du produit, altérant les logos de marque ou hallucinant et faisant des fautes d'orthographe sur le texte présent à la surface des produits.

Un moteur principal de cet échec est l'absence de jeux de données et de benchmarks dédiés qui ciblent explicitement la cohérence de la marque et la fidélité du texte lors de l'édition. Les benchmarks existants ignorent souvent le texte rendu ou se concentrent sur des mises en page de type document plutôt que sur des objets photographiés. De plus, les modèles de récompense par apprentissage par renforcement (RL) actuels sont conçus pour la qualité esthétique générale ou le respect des instructions, échouant à capturer les contraintes spécifiques de préservation de l'identité du produit.

Méthodologie

Les auteurs proposent un cadre complet comprenant un nouveau jeu de données, un pipeline de génération de données synthétiques et une stratégie d'entraînement spécialisée impliquant l'ajustement supervisé (SFT) et l'apprentissage par renforcement (RL).

1. Jeu de données et pipeline de génération ProductConsistency

Le cœur du travail est un pipeline entièrement automatisé pour générer des images de produits synthétiques de haute qualité avec un texte vérifiable et des identités de marque uniques.

• Génération synthétique : Le pipeline définit 131 articles de produits uniques répartis en 8 catégories (ex: nourriture, boissons, cosmétiques). Un MLLM (GPT-o3-mini) génère des descriptions de produits diversifiées et des signatures de marque (nom, palette de couleurs, style de police).
• Synthèse d'image et filtrage : Les images sont générées à l'aide de GPT-Image-1 High. Pour garantir la fidélité du texte, une étape de filtrage rigoureuse basée sur l'OCR est appliquée. Une image est conservée uniquement si le texte détecté par un modèle OCR ($T_{ocr}$) correspond exactement au texte de référence spécifié dans le prompt ($T_{gt}$). Ce processus produit un ensemble de haute précision de 2 002 produits synthétiques avec un texte lisible.
• Division des données : Les données filtrées sont divisées en :
  • Jeu de données SFT : 87 242 échantillons utilisés pour l'ajustement supervisé.
  • Jeu de données RL : 869 images de produits uniques (dérivées de 1 133 produits uniques) sélectionnées sur la base d'une forte variance dans la performance des modèles de base, représentant des cas « sujets aux échecs » où l'optimisation est la plus bénéfique.
  • Benchmark : Un ensemble de test vérifié par l'humain de 174 images de produits (870 échantillons au total avec 5 prompts chacun) à travers 8 catégories.

2. Cadre d'entraînement

Les auteurs affinent deux modèles open-source : Qwen-Image-Edit-2511 et Flux.1-Kontext-dev.

• Ajustement Supervisé (SFT) : Les modèles sont entraînés sur le jeu de données SFT de 87k utilisant l'adaptation de bas rang (LoRA). Les images cibles pour le SFT sont générées via Qwen-Image-Lightning (choisi pour sa rapidité et son rendu de texte) et filtrées par OCR pour s'assurer que seules les sorties au texte correct sont utilisées comme vérité de terrain.
• Apprentissage par Renforcement (RL) : L'entraînement se poursuit à partir des checkpoints SFT en utilisant l'algorithme FlowGRPO.
  • Récompense de cohérence cyclique : Pour guider le RL sans modèles de récompense explicites de cohérence de produit, les auteurs proposent une récompense de substitution. Ils génèrent une légende ($c_{gen}$) à partir de l'image éditée en utilisant un MLLM (Qwen3-VL) et calculent la similitude cosinus entre son embedding et l'embedding de la description originale du produit ($c_{gt}$). Cela impose la préservation sémantique de l'identité du produit.
  • Récompense OCR : Celle-ci est combinée à une récompense basée sur le taux d'erreur de caractères (CER) pour pénaliser explicitement les hallucinations textuelles et les erreurs d'orthographe.
  • Agrégation : L'algorithme GDPO est utilisé pour agréger les récompenses de cohérence cyclique et d'OCR avec un poids égal.

Contributions Clés

1. Jeu de données et pipeline ProductConsistency : Un pipeline entièrement automatisé pour générer des images de produits synthétiques avec des identités de marque uniques et un texte rendu vérifiable, permettant une supervision évolable pour l'édition centrée sur le produit.
2. Benchmark ProductConsistency : Une suite d'évaluation rigoureuse composée de 174 images de produits à travers 8 catégories, associées à 5 prompts d'édition chacune (870 échantillons), conçue pour évaluer la préservation de l'identité du produit, la fidélité du texte et la cohérence visuelle.
3. Entraînement conscient du produit avec récompenses de cohérence cyclique : Un nouveau cadre de RL qui aligne les légendes d'images générées avec les descriptions de produits originales et incorpore des récompenses basées sur l'OCR. Cette approche cible explicitement l'adhérence aux instructions, l'identité sémantique du produit et la fidélité du texte.

Résultats

Les auteurs ont évalué leurs modèles affinés par rapport à des bases solides (incluant HiDream-E1-1, OmniGen2, NanoBanana et GPT-Image-1) sur le Benchmark ProductConsistency en utilisant des métriques OCR, des métriques perceptuelles basées sur la segmentation (Seg CLIP-I, Seg DINO-I) et des évaluations basées sur les MLLM (GPT-5.1).

• Améliorations Quantitatives : Les modèles affinés avec le jeu de données ProductConsistency ont montré des améliorations constantes sur toutes les métriques.
  • Qwen-Image-Edit-2511 : Le SFT a réduit le taux d'erreur de caractères (CER) de 1,0682 à 0,7803. L'ajout du RL avec les récompenses de cohérence cyclique a encore réduit le CER à 0,2080, représentant une réduction de 5 fois du taux d'erreur de caractères par rapport au modèle de base. Le score Seg CLIP-I est passé de 0,8728 à 0,9245.
  • Flux.1-Kontext-dev : Partant d'une base solide, le modèle a atteint le CER global le plus bas de 0,1204 et le meilleur score DINO-I de 0,8115 après l'entraînement SFT et RL.
• Évaluation Qualitative et MLLM : Les évaluations basées sur GPT ont confirmé que les améliorations des métriques automatisées se traduisaient par des gains perceptibles en termes de cohérence de produit, de fidélité du texte (y compris la police et la couleur) et d'esthétique globale.
• Étude d'Ablation : L'étude a comparé la récompense de cohérence cyclique à EditReward et aux récompenses de cohérence visuelle segmentée. Bien que la cohérence visuelle segmentée ait obtenu des scores automatisés élevés, elle a souffert de "reward hacking", où les modèles reproduisaient l'image d'entrée plutôt que d'effectuer des éditions, entraînant une faible esthétique et un faible respect des instructions. La récompense de cohérence cyclique a fourni un signal d'entraînement plus robuste, surpassant les autres configurations dans les évaluations automatisées et basées sur GPT.

Signification

L'article affirme que son travail comble une lacune critique dans le domaine : l'incapacité des modèles d'édition basés sur des instructions actuels à maintenir une identité de produit fine et la fidélité du texte. En introduisant un jeu de données dédié, un benchmark et un cadre d'entraînement centré sur la cohérence cyclique et les récompenses OCR, les auteurs démontent qu'un modélisation explicite de la cohérence du produit est essentielle pour les applications réelles dans la publicité et l'e-commerce. Les résultats indiquent qu'affiner de puissants éditeurs open-source avec ce cadre spécifique produit des gains substantiels, les rendant compétitifs ou supérieurs aux modèles propriétaires pour les tâches d'édition centrées sur le produit.