RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous avez une photo magnifique, mais elle vous semble un peu "plate". Vous voulez lui donner de la vie, la rendre plus dramatique, ou peut-être lui ajouter une touche de nostalgie chaleureuse. C'est là qu'intervient RETOUCHIQ, le nouveau super-héros de la retouche photo décrit dans cet article.

Voici comment cela fonctionne, expliqué simplement avec des images du quotidien :

1. Le Problème : Le Dilemme du Chef Cuisinier

Jusqu'à présent, les ordinateurs étaient excellents pour suivre des recettes précises (comme "ajoute 2 grammes de sel"). Mais la retouche photo, c'est comme la cuisine créative : si vous dites à un chef "rendez ce plat plus réconfortant", il peut le faire de mille façons différentes (plus de beurre, plus de lumière, des épices douces...).

Les anciens systèmes d'intelligence artificielle avaient un gros problème : ils essayaient de comparer votre photo finale à une seule "photo parfaite" de référence. C'est comme si un juge de concours de cuisine disait : "Ce plat n'est pas bon parce qu'il ne ressemble pas exactement à la photo du livre de cuisine". Or, en art, il n'y a pas qu'une seule bonne réponse !

2. La Solution : Le Chef et le Critique Gourmand

L'équipe d'Adobe a créé RETOUCHIQ, qui fonctionne comme un duo d'experts :

L'Agent (Le Chef) : C'est un robot très intelligent qui comprend vos mots. Si vous dites "Je veux une ambiance de soirée d'été dorée", il ne se contente pas de deviner. Il réfléchit : "Ah, il faut augmenter la température, baisser un peu les ombres, et ajouter de la saturation". Il agit comme un vrai photographe professionnel qui utilise des logiciels complexes (comme Lightroom) pour appliquer ces réglages précis.
Le Récompenseur (Le Critique Gourmand) : C'est la grande innovation. Au lieu de comparer la photo à une référence fixe, ce "critique" est lui-même une intelligence artificielle très sophistiquée. Il regarde votre photo retouchée et vous dit : "Hmmm, c'est bien, mais est-ce que ça correspond vraiment à l'idée de 'soirée d'été' ?". Il invente ses propres critères de jugement à chaque fois (comme la luminosité, l'équilibre des couleurs, l'émotion) et donne une note.

3. L'Entraînement : Apprendre par l'Erreur (et la Récompense)

Comment apprend-on à ce duo ?

L'Observation (Apprentissage Supervisé) : D'abord, on montre au "Chef" des milliers de photos avant/après faites par de vrais humains. Il apprend à imiter leurs gestes.
L'Expérience (Apprentissage par Renforcement) : Ensuite, le "Chef" commence à essayer des choses par lui-même. Il propose une retouche.
- Le "Critique" regarde le résultat.
- Si le résultat est cool, le Critique dit : "Bravo !" (Récompense positive).
- Si le résultat est raté (trop sombre, couleurs bizarres), le Critique dit : "Non, ça ne colle pas à ta demande".
- Le Chef apprend de cette erreur et essaie une autre combinaison la prochaine fois.

4. Le Secret : Le Critique qui comprend le Chef

Il y a un petit piège : parfois, le "Critique" est entraîné avec des exemples de photos "ratées" qui sont très simples (comme juste baisser la luminosité). Mais le "Chef", lui, fait des retouches complexes et subtiles. Le Critique risque de ne pas comprendre ce que fait le Chef.

Pour résoudre ça, les chercheurs ont inventé une méthode appelée PGRT. C'est comme si le Critique regardait le Chef travailler en direct, avec ses propres méthodes complexes, et apprenait à juger ses travaux spécifiques. Cela permet au Critique de devenir un juge beaucoup plus juste et précis, ce qui aide le Chef à devenir encore meilleur.

En Résumé

RETOUCHIQ est comme un assistant personnel de retouche photo qui :

Comprend vos envies artistiques floues ("rendez ça plus magique").
Agit avec des outils professionnels pour modifier la photo.
S'auto-évalue grâce à un critique intelligent qui lui apprend à faire de mieux en mieux, sans avoir besoin d'une photo de référence parfaite.

C'est un pas de géant pour transformer une simple commande textuelle en une œuvre d'art visuelle, rendant la retouche photo accessible à tous, même sans être un expert en logiciels !

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Le domaine de la retouche d'images professionnelles (via des logiciels comme Adobe Lightroom) fait face à un défi majeur : la nature subjective de l'esthétique.

Limites des approches existantes : Les modèles actuels, qu'ils soient basés sur des agents MLLM (Multimodal Large Language Models) ou sur des modèles de diffusion, peinent à respecter les instructions utilisateur tout en préservant la structure de l'image.
Le problème de la récompense : L'entraînement par apprentissage par renforcement (RL) nécessite des signaux de récompense fiables. Cependant, les récompenses traditionnelles basées sur des règles (comparaison pixel-à-pixel avec une image de référence "vérité terrain") échouent dans la retouche créative. Une même instruction (ex: "rendre l'image plus dramatique") peut avoir plusieurs résultats valides et différents. Se fier à une seule référence figée rend l'entraînement instable et imprécis.
Le besoin : Il existe un manque d'agents capables de transformer des instructions textuelles complexes en paramètres d'édition exécutables précis, tout en s'adaptant à des préférences esthétiques variables sans altérer le contenu sémantique de l'image.

2. Méthodologie : RETOUCHIQ

RETOUCHIQ est un agent MLLM conçu pour effectuer une édition d'images exécutable basée sur des instructions, en utilisant des outils professionnels. Le pipeline repose sur trois piliers principaux :

A. Architecture et Flux de Travail

Le système prend en entrée une image originale ( $I_0$ ) et une instruction utilisateur ( $g$ ). Il génère deux sorties :

Une trace de raisonnement : Une explication textuelle de l'intention esthétique et de la stratégie d'édition.
Une séquence d'opérations : Des paramètres techniques exécutables (ex: {Exposition: +0.9, Température: 5695, Saturation: 30}).

B. Préparation des Données

Contrairement aux travaux précédents qui synthétisent des images par des presets, RETOUCHIQ utilise des paires d'images "avant/après" réelles issues de trajectoires d'édition humaines.

Un annotateur MLLM est utilisé pour inférer l'intention de l'utilisateur ( $g$ ) et générer le processus de raisonnement ( $q$ ) qui a conduit aux paramètres d'édition ( $e$ ).
Un jeu de données de 190 000 paires instruction-raisonnement a été créé et filtré pour garantir la cohérence.

C. Entraînement en Deux Étapes

Supervised Fine-Tuning (SFT) : Le modèle politique (Policy Model) est entraîné à imiter les processus de raisonnement et les actions d'édition des experts humains. Cela établit une base solide pour la compréhension sémantique.
Reinforcement Learning (RL) avec Modèle de Récompense Généraliste (GRM) :
- Le GRM (Generalist Reward Model) : Au lieu de comparer l'image à une référence fixe, le GRM est un MLLM affiné qui génère dynamiquement un ensemble de métriques d'évaluation spécifiques au cas (ex: "équilibre des blancs", "vibe automnale") et attribue ensuite un score scalaire basé sur ces métriques.
- PGRT (Policy-Guided Reward Training) : C'est une contribution clé. Les méthodes classiques utilisent des images "faibles" générées par perturbation aléatoire pour l'entraînement du récompenseur. Les auteurs ont constaté un décalage de distribution (distribution shift) entre ces perturbations simples et les edits complexes générés par le modèle politique. Le PGRT résout cela en entraînant le modèle de récompense sur des données générées par le modèle politique lui-même, alignant ainsi les distributions de données pour une évaluation plus précise.

3. Contributions Clés

RETOUCHIQ : Le premier cadre de travail intégrant un agent MLLM capable de traduire des instructions naturelles en paramètres d'édition exécutables via un logiciel professionnel, en gérant la subjectivité de la retouche.
Modèle de Récompense Généraliste (GRM) : Une approche innovante qui remplace les récompenses basées sur des règles fixes par un modèle capable de raisonner et de générer ses propres métriques d'évaluation contextuelles.
PGRT (Policy-Guided Reward Training) : Une nouvelle stratégie d'entraînement RL qui utilise les sorties du modèle politique pour affiner le modèle de récompense, éliminant le biais introduit par les perturbations synthétiques et améliorant la stabilité de l'apprentissage.
Nouveau Benchmark (RETOUCHEVAL) : Création d'un jeu de données de référence de 300 paires image-instruction, divisé en trois catégories : amélioration de la qualité, transformation de style, et retouche locale.

4. Résultats Expérimentaux

Les expériences comparent RETOUCHIQ à des MLLM généralistes (GPT-5, Gemini), des agents existants (JarvisArt, MonetGPT) et des modèles de diffusion (Flux-Pro).

Performance Quantitative : Sur le benchmark RETOUCHEVAL, RETOUCHIQ (version RL) surpasse significativement tous les autres modèles, y compris les meilleurs agents et modèles de diffusion, sur les métriques de cohérence sémantique (SC), de qualité perceptive (PQ) et de score global (O).
- Exemple : Dans la catégorie "Transformation de style", RETOUCHIQ-GRM obtient un score de 7.34 contre 7.13 pour JarvisArt et 6.42 pour Flux-Pro.
Qualité Perceptive : Les résultats qualitatifs montrent que RETOUCHIQ évite les distorsions d'identité fréquentes chez les modèles de diffusion et les "sur-éditions" des MLLM généralistes. Il produit des edits qui respectent mieux l'intention utilisateur tout en conservant la structure originale.
Efficacité du PGRT : L'analyse montre que l'utilisation de PGRT améliore à la fois la précision du modèle de récompense (meilleure capacité à distinguer les bons edits des mauvais) et les performances finales du modèle politique par rapport à un entraînement avec des données de perturbation classiques.

5. Signification et Impact

Ce travail marque une avancée significative dans l'intersection entre l'intelligence artificielle générative et l'édition d'images professionnelle :

Passage du "Boîte Noire" au Contrôle Exécutable : Contrairement aux modèles de diffusion qui génèrent de nouvelles images de manière stochastique, RETOUCHIQ offre un contrôle transparent et paramétrable, essentiel pour les professionnels.
Résolution de la Subjectivité : En introduisant un modèle de récompense capable de raisonner sur des métriques dynamiques plutôt que de se fier à une vérité terrain fixe, le papier propose une solution robuste au problème de la subjectivité esthétique en RL.
Futur de l'Édition Assistée : RETOUCHIQ démontre le potentiel des agents MLLM guidés par des récompenses généralistes pour devenir des assistants d'édition flexibles, explicables et de niveau professionnel, capables de comprendre des nuances artistiques complexes.