FireRed-Image-Edit-1.0 Technical Report

Ce rapport technique présente FireRed-Image-Edit, un transformateur de diffusion optimisé pour l'édition d'images par instruction, qui atteint des performances de pointe grâce à une vaste base de données de 1,6 milliard d'échantillons, une pipeline d'entraînement multi-étapes innovante et l'établissement du benchmark REDEdit-Bench.

L'essentiel

🎨 FireRed-Image-Edit : Le "Chef Cuisinier" de la Retouche Photo

Imaginez que vous avez une vieille photo de vacances un peu floue, ou une photo de vous avec un t-shirt que vous n'aimez plus. Vous voulez changer le fond, ajouter un chapeau, ou même modifier le texte sur un panneau publicitaire dans l'image. Avant, il fallait être un expert en Photoshop pour faire ça. Aujourd'hui, FireRed-Image-Edit est comme un chef cuisinier magique qui peut comprendre vos instructions à la voix et transformer votre photo instantanément.

Ce n'est pas juste un outil de retouche, c'est un modèle d'intelligence artificielle (IA) conçu par l'équipe "Super Intelligence" de Xiaohongshu (une grande application chinoise de style de vie). Voici comment ils ont fait pour créer ce chef d'œuvre, expliqué en trois étapes clés.

1. La Cuisine : Préparer les Ingrédients (Les Données) 🥦

Pour qu'un chef soit bon, il faut de bons ingrédients. Les chercheurs ont eu un problème : ils avaient besoin de millions de recettes (paires "image avant / image après") pour entraîner leur IA.

• Le défi : Ils avaient 1,6 milliard de "grains de riz" (données) bruts, mais beaucoup étaient cassés, sales ou inutiles.
• La solution : Ils ont construit une usine de tri ultra-sophistiquée.
  • Imaginez un tamis géant qui enlève les photos floues, celles avec des filigranes (logos d'eau), ou celles générées par d'autres IA (qui ressemblent trop à du plastique).
  • Ils ont ensuite créé des "recettes" (des instructions textuelles) très précises. Par exemple, au lieu de dire juste "change la couleur", ils apprennent à l'IA à dire "change la couleur du ciel en coucher de soleil rose, mais garde le visage de la personne intact".
  • Le résultat : Ils ont gardé les 100 millions de meilleurs ingrédients, parfaitement équilibrés entre la création de nouvelles images et la modification d'images existantes.

2. L'Apprentissage : L'École de Cuisine (L'Entraînement) 🎓

Une fois les ingrédients prêts, il faut apprendre au chef à cuisiner. C'est là que FireRed-Image-Edit se distingue par son intelligence.

• L'architecture (Le Cerveau) : Au lieu d'apprendre tout d'un coup, l'IA utilise une structure appelée "Diffusion Transformer". Imaginez un sculpteur qui commence par une grosse pierre brute et enlève petit à petit la pierre pour révéler la statue. L'IA fait la même chose avec le bruit pour révéler l'image.
• L'efficacité (Le Tri des ingrédients) : Souvent, les ordinateurs perdent du temps à attendre que les images soient toutes de la même taille (comme essayer de faire entrer des chaussures de tailles différentes dans la même boîte). FireRed utilise un "Trieur Intelligent" qui regroupe les images de tailles similaires pour que l'ordinateur travaille sans jamais s'arrêter.
• La Récompense (Le Maître Cuisinier) :
  • Pour le texte : Si vous demandez d'écrire "Bonjour" sur un mur, l'IA ne doit pas écrire "Bnjor" ou faire des lettres géantes qui dépassent. Ils ont créé un système de récompense spécial (comme un examen de calligraphie) qui vérifie que le texte est bien écrit et bien placé.
  • Pour le visage : Si vous changez les vêtements d'une personne, son visage ne doit pas changer ! L'IA a un "gardien de l'identité" qui vérifie en permanence que le nez et les yeux restent les mêmes, même si le reste bouge.

3. Le Test : Le Concours de Cuisine (Les Évaluations) 🏆

Comment savoir si ce chef est vraiment le meilleur ? Ils ont créé leur propre concours, appelé REDEdit-Bench.

• C'est comme un examen final avec 15 types de défis : changer un fond, ajouter un objet, retoucher un visage, modifier du texte, etc.
• Ils ont comparé FireRed-Image-Edit avec les géants du marché (comme les versions payantes de Google ou d'autres IA open-source).
• Le verdict : FireRed-Image-Edit a gagné ou égalé les meilleurs, même les systèmes payants très chers. Il est particulièrement doué pour :
  • La précision : Il fait exactement ce qu'on lui demande, sans ajouter de détails bizarres.
  • La conservation : Il ne gâche pas ce qu'on ne lui a pas demandé de toucher (comme le fond d'une photo).
  • Le texte : Il sait écrire et modifier des mots dans une image sans les déformer.

En résumé 🌟

FireRed-Image-Edit est une IA qui a appris à retoucher des photos en :

1. Mangeant des millions de photos triées au crible pour apprendre la différence entre une bonne et une mauvaise retouche.
2. Utilisant des techniques de "tri intelligent" pour apprendre plus vite et mieux.
3. Se faisant tester sur des défis réels (comme changer de vêtements ou modifier des panneaux) pour prouver qu'elle est aussi bonne, voire meilleure, que les outils professionnels.

C'est une avancée majeure car elle rend la retouche photo de haute qualité accessible, gratuite (open-source) et précise, comme si vous aviez un assistant personnel qui comprend parfaitement votre vision artistique.

Résumé technique

Titre : FireRed-Image-Edit : Un Transformateur de Diffusion pour l'Édition d'Images par Instruction

1. Problématique et Contexte

Le domaine de la synthèse d'images (Text-to-Image) a connu une évolution rapide, mais l'édition d'images par instruction (Instruction-Based Image Editing) fait face à des défis majeurs :

• Polarisation de l'écosystème : Les modèles propriétaires (ex: Nano Banana Pro, Seedream) offrent d'excellents résultats mais sont des "boîtes noires" sans reproductibilité. À l'inverse, les modèles open-source tendent à augmenter massivement leur nombre de paramètres (jusqu'à 32 milliards), rendant l'entraînement et le déploiement coûteux et inefficaces.
• Défauts des approches actuelles : Il existe un manque de données d'entraînement de haute qualité spécifiquement conçues pour l'édition, ainsi qu'une absence de benchmarks standardisés capables d'évaluer la fidélité sémantique, la cohérence et la qualité esthétique de manière holistique.
• Objectif : Développer un modèle open-source performant, efficace et robuste, capable de rivaliser avec les systèmes propriétaires grâce à une ingénierie de données rigoureuse et des méthodes d'entraînement optimisées, plutôt qu'à la simple augmentation de la taille du modèle.

2. Méthodologie

L'approche de FireRed-Image-Edit repose sur trois piliers principaux : l'ingénierie des données, l'optimisation de l'entraînement et une nouvelle stratégie d'évaluation.

A. Ingénierie des Données (Data Engineering)

• Corpus d'entraînement : Construction d'une base de données massive de 1,6 milliard d'échantillons (900M paires Texte-Image et 700M paires d'édition Image-Image), issus de sources diverses (Open-source, moteur de production interne, web).
• Filtrage et Nettoyage : Après un processus rigoureux de déduplication (niveaux global, par paire et multi-métrique), de filtrage photométrique, de suppression d'artefacts et de détection de contenu généré par IA (AIGC), plus de 100 millions d'échantillons de haute qualité sont retenus.
• Équilibre : Le jeu de données final est équilibré à 50/50 entre génération (T2I) et édition (I2I) pour assurer une compréhension sémantique solide et une stabilité de l'entraînement.
• Moteur de Production de Données : Utilisation de trois stratégies pour générer des paires d'édition :
  1. Contrôle par instruction : Modèles experts guidés par des instructions textuelles.
  2. Contrôle structuré : Utilisation de masques (SAM) et de points clés (pose) pour un contrôle spatial précis.
  3. Synthèse sans modèle : Utilisation de templates 3D et de filtres algorithmiques pour des modifications déterministes.
• Annotation : Un moteur de légendage (Captioning Engine) génère des descriptions structurées, des instructions concises et des formulations "style utilisateur" pour couvrir un spectre large de complexité linguistique.

B. Architecture et Optimisation de l'Entraînement

• Architecture : Basée sur un Transformateur de Diffusion Multimodal (MM-DiT) à double flux, héritant d'une base open-source (Qwen-Image). Elle intègre des tokens d'images de référence et des instructions textuelles dans un flux unifié.
• Efficacité de l'entraînement :
  • Multi-Condition Aware Bucket Sampler : Regroupement des images par rapport d'aspect et nombre d'images d'entrée pour minimiser le remplissage (padding) et optimiser l'utilisation GPU.
  • Alignement d'instruction stochastique : Mélange et suppression aléatoire des références d'images avec réindexation dynamique des prompts pour éviter le surapprentissage à des ordres spatiaux fixes.
• Stratégie d'Optimisation Multi-étapes :
  1. Pré-entraînement : Apprentissage de vocabulaire visuel et de connaissances mondiales sur des données brutes.
  2. Continued Pre-training (CT) : Affinement avec des données synthétiques denses et équilibrage par clusters sémantiques.
  3. Supervised Fine-Tuning (SFT) : Alignement strict sur des instructions d'édition avec des données filtrées manuellement.
  4. Reinforcement Learning (RLHF) :
     • DPO (Direct Preference Optimization) : Utilisation d'une Optimisation de Gradient Asymétrique pour renforcer les échantillons positifs et stabiliser l'apprentissage.
     • DiffusionNFT : Apprentissage en ligne avec des récompenses basées sur des modèles VLM et OCR (pour l'édition de texte) afin d'améliorer la fidélité textuelle et la mise en page.
• Perte de Cohérence (Consistency Loss) : Une perte différentiable basée sur la reconnaissance faciale est appliquée dynamiquement (selon le niveau de bruit) pour préserver l'identité des sujets lors de l'édition.

C. Benchmark : REDEdit-Bench

• Introduction d'un nouveau benchmark complet contenant 1 673 paires d'édition bilingues (Chinois-Anglais) couvrant 15 catégories (ajout/suppression de sujets, modification de texte, retouche beauté, etc.).
• Évaluation multidimensionnelle incluant l'alignement avec l'instruction, la préservation du contexte, le réalisme et l'esthétique, utilisant des juges humains et des modèles VLM automatisés.

3. Résultats Clés

Les expériences menées sur REDEdit-Bench, ImgEdit et GEdit démontrent des performances de pointe (SOTA) :

• Performance Globale : FireRed-Image-Edit surpasse la plupart des modèles open-source (comme Qwen-Image-Edit, FLUX.2, LongCat) et rivalise avec les systèmes propriétaires fermés (Nano Banana Pro, Seedream 4.0/4.5).
• Évaluation Humaine : Le modèle obtient les scores les plus élevés pour la préservation de la cohérence (ne modifiant que les zones ciblées) et un alignement fort avec les instructions, surpassant les concurrents open-source.
• Édition de Texte : Grâce à la récompense Layout-Aware OCR, le modèle excelle dans la modification de texte (changement de contenu, style, police) tout en maintenant la cohérence visuelle et la mise en page, un domaine où de nombreux modèles échouent.
• Cas d'usage spécifiques :
  • Essai Virtuel (Try-on) : Transfert précis de vêtements avec préservation de la pose et des accessoires.
  • Retouche Basse Niveau : Restauration de photos anciennes et amélioration de la clarté.
  • Édition Créative : Capacité à interpréter des instructions complexes et abstraites pour restructurer des scènes.

4. Contributions Principales

1. Ingénierie de Données à Grande Échelle : Création d'un corpus de 100M+ échantillons hautement filtrés et équilibrés, combinant données réelles et synthétiques, avec un pipeline de production de données automatisé et itératif.
2. Méthodologies d'Entraînement Innovantes :
   • Introduction de l'optimisation de gradient asymétrique pour le DPO.
   • Utilisation de DiffusionNFT avec des récompenses OCR sensibles à la mise en page.
   • Mise en œuvre d'une perte de cohérence dynamique pour la préservation d'identité.
   • Techniques d'efficacité système (Bucket Sampling, FSDP/HSDP) permettant un entraînement stable sur de grandes échelles.
3. REDEdit-Bench : Un nouveau standard d'évaluation plus complet que les benchmarks existants, intégrant des tâches de beauté et d'amélioration basse résolution, avec une évaluation bilingue et multidimensionnelle.
4. Open Source et Reproductibilité : Le modèle, le code, le benchmark et les données sont publiés pour favoriser la recherche future, démontrant qu'une ingénierie soignée peut rivaliser avec le "brute-force scaling" des modèles propriétaires.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de l'édition d'images générative. Il démontre que la qualité des données et l'optimisation méthodologique sont aussi critiques que la taille du modèle. En offrant un modèle open-source performant capable de gérer des tâches complexes (édition de texte, préservation d'identité, retouche esthétique) avec une grande précision, FireRed-Image-Edit démocratise l'accès à des outils d'édition de niveau professionnel. Cela ouvre la voie à des applications pratiques dans le design graphique, la mode, la restauration de photos et la création de contenu, tout en fournissant une base solide pour la recherche académique future sur l'alignement et le contrôle des modèles de diffusion.