BeautyGRPO: Aesthetic Alignment for Face Retouching via Dynamic Path Guidance and Fine-Grained Preference Modeling

Le papier présente BeautyGRPO, un cadre d'apprentissage par renforcement qui aligne le retoucheur de visages sur les préférences esthétiques humaines grâce à un modèle de récompense entraîné sur un jeu de données de préférences fines et à une nouvelle méthode de guidage dynamique des trajectoires (DPG) qui stabilise l'exploration stochastique pour préserver l'identité faciale tout en éliminant les imperfections.

L'essentiel

📸 BeautyGRPO : Le "Coach de Beauté" Intelligent pour les Photos de Visage

Imaginez que vous voulez retoucher une photo de votre visage. Vous avez deux objectifs contradictoires :

1. Effacer les petits défauts (boutons, taches, rides d'expression).
2. Garder votre identité (vos grains de beauté, la texture naturelle de votre peau, vos traits uniques).

C'est comme essayer de polir un diamant sans le rayer, ou comme faire un gâteau parfait sans enlever le goût du chocolat !

Les anciennes méthodes de retouche photo avaient un gros problème : elles étaient soit trop rigides (elles copiaient bêtement des photos de référence, rendant la peau comme du plastique), soit trop chaotiques (elles essayaient de "deviner" la beauté, mais finissaient par ajouter du bruit et des artefacts bizarres).

BeautyGRPO est une nouvelle solution qui résout ce dilemme grâce à trois ingrédients magiques.

---

1. Le "Jury de Goût" Ultra-Spécialisé (Le Modèle de Récompense) 🧐

Avant, les ordinateurs apprenaient à retoucher en regardant des photos étiquetées par des humains, comme un élève qui copie un modèle au tableau. Le problème ? Ils apprenaient à imiter le modèle, pas à comprendre ce qui est beau.

L'analogie : Imaginez un chef cuisinier qui apprend à faire un gâteau en copiant exactement la recette d'un livre, sans jamais goûter le résultat. Il risque de faire un gâteau moelleux mais sans saveur.

La solution BeautyGRPO :
Les chercheurs ont créé une base de données géante (FRPref-10K) avec 10 000 paires de photos. Ils ont entraîné un "Juge IA" (un modèle de récompense) qui agit comme un jury de critique culinaire. Ce juge ne se contente pas de dire "c'est joli", il analyse 5 détails précis :

• La peau est-elle lisse mais pas en plastique ?
• Les boutons sont-ils partis ?
• La texture est-elle naturelle ?
• Les grains de beauté sont-ils là ?
• L'image est-elle nette ?

Ce juge donne un "score" à chaque retouche, guidant l'IA vers ce que les humains trouvent vraiment beau.

---

2. La "Boussole Dynamique" (Guidage de Trajectoire Dynamique) 🧭

C'est la partie la plus ingénieuse. Pour apprendre, l'IA doit "explorer" : elle doit essayer des choses nouvelles, comme un artiste qui fait des croquis avant de peindre. Mais dans la retouche de visage, si l'IA explore trop, elle perd le fil et crée des images floues ou bizarres (comme si elle avait trop bu de café !).

L'analogie : Imaginez que vous essayez de trouver le meilleur chemin pour aller au travail.

• L'ancienne méthode (RL classique) : Vous laissez le vent vous pousser au hasard. Vous pouvez finir dans un champ de fleurs magnifique, mais aussi dans une flaque de boue.
• La méthode BeautyGRPO (DPG) : Vous avez un GPS intelligent. Il vous dit : "Reste sur la route principale (la haute fidélité), mais tu as le droit de faire un petit détour pour voir une vue plus belle (l'exploration), tant que tu reviens sur la route principale."

Comment ça marche ?
Le système utilise une "image ancre" (une photo de référence de haute qualité) comme point de repère. À chaque étape de la création de l'image, il vérifie : "Est-ce qu'on s'éloigne trop de la route ?". Si oui, il corrige le tir doucement pour rester proche de la réalité, tout en permettant à l'IA de trouver des solutions plus belles que la photo de départ. C'est comme un danseur qui suit une chorégraphie précise mais qui ajoute sa propre grâce.

---

3. Le Résultat Final : La "Peau Parfaite" 🌟

Grâce à cette combinaison (un juge expert + un GPS intelligent), BeautyGRPO réussit là où les autres échouent :

• Pas de peau de plastique : La peau garde ses pores et sa texture naturelle.
• Pas de perte d'identité : Vos taches de rousseur ou vos rides d'expression restent, car elles font partie de vous.
• Des défauts effacés : Les boutons et les taches disparaissent proprement.

En résumé :
Si les anciennes méthodes étaient comme un photographe qui utilise un filtre "beauté" trop fort (effaçant tout), BeautyGRPO est comme un maquilleur professionnel et un chirurgien esthétique réunis : ils savent exactement où toucher pour améliorer la photo sans jamais faire perdre son âme au visage.

C'est une avancée majeure car elle ne se contente pas de copier des images, elle comprend ce que les humains trouvent beau, et elle le fait avec une précision chirurgicale.

Résumé technique

1. Problématique

Le retouche de visage (face retouching) vise à éliminer les imperfections subtiles (acné, taches, rougeurs) tout en préservant l'identité unique du sujet (grains de beauté, texture de la peau, rides naturelles). Ce domaine fait face à un compromis fondamental :

• Apprentissage supervisé (SFT) : Les méthodes actuelles reposent souvent sur l'apprentissage supervisé avec des données étiquetées. Elles sont limitées par une imitation au niveau des pixels, ce qui empêche d'aligner le modèle avec les préférences esthétiques subjectives humaines. Les résultats sont souvent rigides, artificiels ou trop lissés.
• Apprentissage par renforcement (RL) : Bien que le RL en ligne (comme FlowGRPO) excelle pour l'alignement sur les préférences humaines grâce à l'exploration stochastique, son application directe au retouche de visage pose problème. L'injection de bruit stochastique pour favoriser l'exploration crée une dérive (drift) qui s'accumule, générant des artefacts visuels et détruisant la haute fidélité requise pour les portraits.

2. Méthodologie : BeautyGRPO

Les auteurs proposent BeautyGRPO, un cadre d'apprentissage par renforcement conçu pour aligner le retouche de visage sur les préférences esthétiques humaines tout en maintenant une haute fidélité. La méthode repose sur trois piliers :

A. Construction du Dataset FRPref-10K

Pour pallier le manque de données de préférence fines, les auteurs ont créé FRPref-10K, un ensemble de données de 10 000 paires de préférences haute résolution.

• Dimensions clés : Les images sont annotées selon cinq dimensions critiques : lissage de la peau, élimination des taches, qualité de la texture, clarté et préservation de l'identité.
• Annotation hybride : Un pipeline combine l'évaluation de modèles de langage-vision (VLM) avec un raisonnement structuré et une vérification humaine pour garantir l'alignement avec le jugement esthétique humain.

B. Modèle de Récompense Spécialisé

Un modèle de récompense est entraîné sur FRPref-10K pour évaluer les différences perceptuelles subtiles.

• Stratégie d'entraînement : Il suit une approche en trois étapes (Initialisation par SFT, Auto-entraînement avec filtrage de cohérence, et Robustesse via GRPO) pour développer une capacité de raisonnement (Chain-of-Thought) précise sur les cinq dimensions esthétiques.

C. Algorithme : Dynamic Path Guidance (DPG)

C'est l'innovation centrale pour résoudre le conflit entre exploration (RL) et fidélité (retouche).

• Le problème : Les méthodes RL standard convertissent la trajectoire déterministe (ODE) en une équation différentielle stochastique (SDE) pour explorer, ce qui introduit du bruit indésirable sur les visages.
• La solution DPG : L'algorithme stabilise la trajectoire stochastique en la guidant dynamiquement vers un chemin ODE basé sur une "image ancre" (un exemple de haute qualité issu du dataset).
  • À chaque étape d'échantillonnage, DPG calcule un vecteur de correction pour ramener la trajectoire déviée vers le chemin de haute fidélité.
  • Il mélange ce vecteur de correction avec du bruit gaussien standard via un coefficient temporel ($\lambda$).
  • Résultat : Cela permet une exploration contrôlée (pour trouver de meilleures solutions esthétiques) tout en empêchant la dérive vers des artefacts, maintenant ainsi la stabilité du portrait.

3. Contributions Clés

1. FRPref-10K : Création d'un dataset de préférence à haute granularité couvrant cinq dimensions esthétiques spécifiques au visage.
2. Modèle de Récompense Fine : Entraînement d'un modèle capable de raisonner et d'évaluer des nuances perceptuelles (texture, lissage, identité) bien supérieures aux modèles de récompense génériques.
3. BeautyGRPO & DPG : Introduction d'un cadre RL qui intègre la Guidance de Chemin Dynamique pour concilier l'exploration stochastique nécessaire au RL et les contraintes de haute fidélité du retouche de visage.

4. Résultats Expérimentaux

Les expériences ont été menées sur des datasets FFHQR et "in-the-wild" (images réelles d'internet), comparant BeautyGRPO aux méthodes spécialisées (RetouchFormer, VRetouchEr) et aux modèles d'édition d'images généraux (NanoBanana, Flux.Kontext).

• Performances Quantitatives : BeautyGRPO surpasse systématiquement les méthodes de référence sur des métriques sans référence (NIQE, NIMA, MUSIQ, MANIQA, TOPIQ), indiquant une meilleure qualité naturelle et esthétique.
• Préservation de l'Identité : Le modèle maintient des scores élevés de similarité faciale (ArcFace), prouvant qu'il ne supprime pas les traits distinctifs (grains de beauté, rides).
• Étude Utilisateur : Dans une étude avec 100 participants, BeautyGRPO a obtenu un taux de victoire de 63,25 %, largement supérieur aux autres méthodes (la suivante étant à 12 %). Les utilisateurs ont préféré ses résultats pour leur équilibre entre élimination des défauts et réalisme de la texture.
• Qualité Visuelle : Contrairement aux modèles SFT (trop lissés) ou FlowGRPO standard (bruités), BeautyGRPO produit des visaux nets, avec une texture de peau naturelle et une élimination propre des taches.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine du retouche de visage automatisé :

• Il démontre que l'apprentissage par renforcement peut être adapté aux tâches de haute fidélité en surmontant le compromis exploration-fidélité grâce à la Dynamic Path Guidance.
• Il établit un nouveau standard pour l'évaluation esthétique, passant d'une métrique de reconstruction de pixels à une évaluation basée sur des préférences humaines multidimensionnelles.
• La méthode offre une solution pratique pour les applications mobiles et professionnelles (comme chez vivo, l'un des auteurs), permettant un retouche "intelligente" qui respecte l'identité du sujet tout en améliorant son apparence de manière réaliste.