BeautyGRPO: Aesthetic Alignment for Face Retouching via Dynamic Path Guidance and Fine-Grained Preference Modeling

Each language version is independently generated for its own context, not a direct translation.

Immagina di voler ritoccare una foto del tuo viso. Il tuo obiettivo è duplice: vuoi eliminare quel brufolo fastidioso o la pelle un po' spenta, ma allo stesso tempo non vuoi perdere la tua identità. Non vuoi sembrare una bambola di plastica o un alieno; vuoi sembrare te stesso, solo nella versione più luminosa e curata.

Fino a oggi, i computer facevano fatica a trovare questo equilibrio. O erano troppo rigidi (copiando pedissequamente le foto di esempio, risultando artificiali) o troppo "sognatori" (provando a inventare cose nuove ma finendo per creare rumore e distorsioni strane).

BeautyGRPO è la nuova soluzione che risolve questo problema. Ecco come funziona, usando delle metafore:

1. Il Problema: L'Artista che ha paura di sbagliare vs. L'Artista che sogna troppo

Immagina due tipi di artisti che devono ritoccare il tuo viso:

L'Artista Rigido (Metodi vecchi): Ha un manuale di istruzioni. Se la foto di esempio ha un punto rosso, lui lo cancella. Ma se la foto di esempio ha una macchia di nascita, lui la cancella pure, perché il manuale dice "cancella tutto ciò che non è pelle liscia". Risultato: sembri perfetto ma falso.
L'Artista Sognatore (Metodi con Intelligenza Artificiale "selvaggia"): Gli dici "rendimi bello". Lui prova mille cose. A volte indovina, ma spesso, nel tentativo di essere creativo, ti cambia la forma degli occhi o ti mette una pelle che sembra di gomma. È come se provasse a dipingere un ritratto mentre cammina su una corda: se sbaglia, cade nel caos (rumore digitale).

2. La Soluzione: BeautyGRPO e la sua "Bussola"

BeautyGRPO è come un Maestro d'Arte Digitale che ha imparato a bilanciare questi due estremi. Funziona in tre passi magici:

A. Ha un "Gusto" Infinito (Il Dataset FRPref-10K)

Prima di toccare la tua foto, questo sistema ha studiato 10.000 coppie di foto (prima e dopo). Non ha solo guardato i pixel, ma ha imparato a capire cosa piace agli umani.

Ha imparato che un brufolo va tolto, ma una lentiggine no.
Ha imparato che la pelle deve essere liscia, ma deve ancora sembrare pelle, non cera.
È come se avesse un assistente umano che gli dice: "No, quella pelle è troppo liscia, sembra di plastica. Riprova".

B. La Bussola Dinamica (Dynamic Path Guidance - DPG)

Questa è la parte più geniale. Quando l'AI prova a ritoccare la foto, fa dei "salti" nel vuoto per trovare la soluzione migliore (esplorazione). Senza una guida, questi salti la porterebbero fuori strada (creando quel rumore fastidioso).
BeautyGRPO usa una Bussola Dinamica:

Immagina di dover camminare su un sentiero di montagna (la foto perfetta) in mezzo alla nebbia.
La Bussola ti dice: "Ok, puoi esplorare e guardare intorno per trovare fiori o rocce interessanti (creatività), ma non allontanarti mai troppo dal sentiero principale (la tua identità e la qualità della foto)".
Se l'AI inizia a "vagare" troppo e rischia di creare un mostro, la Bussola la riporta dolcemente sul sentiero giusto, correggendo la rotta in tempo reale. Questo permette di essere creativi senza perdere la fedeltà alla realtà.

C. Il Giudice Esperto (Il Modello di Ricompensa)

Durante il processo, l'AI si auto-valuta. Non chiede "è simile alla foto originale?", ma chiede "è più bello secondo i gusti umani?".
Il sistema prova diverse versioni della tua foto e sceglie quella che ottiene il punteggio più alto dal suo "Giudice Esperto", che sa esattamente cosa significa "pelle naturale" e "bellezza autentica".

In sintesi: Perché è diverso?

Mentre gli altri metodi ti danno una foto che sembra uscita da un filtro di Instagram troppo aggressivo (pelle di plastica, brufoli rimasti o lentiggini cancellate), BeautyGRPO ti dà una foto che sembra essere stata fatta da un fotografo professionista che conosce i tuoi lineamenti.

Toglie i difetti: Sì, via i brufoli e le imperfezioni.
Mantiene la tua anima: Sì, le tue lentiggini, la tua texture della pelle e la tua forma del viso restano intatte.
Risultato: Una foto che ti fa dire: "Wow, sono proprio io, ma nel mio giorno migliore".

È come se avessimo insegnato all'Intelligenza Artificiale a non essere solo un "fotocopia", ma un vero estetista digitale che capisce la differenza tra "perfetto" e "naturale".

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

Il ritocco facciale digitale richiede un equilibrio delicato: rimuovere imperfezioni sottili (come acne, macchie e irregolarità della pelle) preservando al contempo le caratteristiche uniche dell'identità del soggetto (nei, pori, texture naturale, rughe espressive).
I metodi esistenti affrontano due limitazioni fondamentali:

Apprendimento Supervisionato (SFT): I modelli basati su dati etichettati tendono a imitare i pixel delle immagini di riferimento. Questo porta a un allineamento a livello di pixel ma fallisce nel catturare le preferenze estetiche umane soggettive, risultando spesso in ritocchi rigidi, innaturali o con texture "plastiche".
Apprendimento per Rinforzo (RL) Online: Sebbene l'RL sia efficace per l'allineamento alle preferenze, l'applicazione diretta di framework come FlowGRPO (che introducono rumore stocastico per l'esplorazione) nel ritocco facciale è problematica. Il rumore accumulato durante il campionamento stocastico (SDE) causa deviazioni dal manifold ad alta fedeltà, introducendo artefatti visibili e rumore, compromettendo la stabilità e la precisione richieste per i ritratti.

2. Metodologia

Gli autori propongono BeautyGRPO, un framework di Reinforcement Learning (RL) progettato specificamente per allineare il ritocco facciale alle preferenze estetiche umane mantenendo l'alta fedeltà. La metodologia si articola in tre componenti principali:

A. Dataset di Preferenza Fine-Grained: FRPref-10K

Per superare la mancanza di dati di valutazione specifici, gli autori hanno costruito FRPref-10K, un dataset di 10.000 coppie di preferenze ad alta risoluzione.

Dimensioni Chiave: Ogni immagine è valutata su cinque dimensioni critiche: Skin Smoothing (levigatura pelle), Blemish Removal (rimozione imperfezioni), Texture Quality (qualità texture), Clarity (chiarezza) e Identity Preservation (preservazione identità).
Annotazione Ibrida: Utilizza un pipeline che combina il ragionamento di modelli Vision-Language (VLM) come GPT-4o e Qwen2.5-VL con la verifica umana per garantire che i punteggi riflettano il giudizio estetico umano.

B. Modello di Ricompensa Specializzato

Sulla base di FRPref-10K, è stato addestrato un modello di ricompensa specializzato (basato su Qwen2.5-VL) che fornisce un feedback denso e interpretabile.

Strategia di Addestramento: Utilizza un approccio a tre stadi:
1. Inizializzazione SFT: Adattamento per generare ragionamenti strutturati (Chain-of-Thought) sulle cinque dimensioni.
2. Self-Training con Filtraggio: Selezione delle traiettorie di ragionamento coerenti.
3. Robustezza via GRPO: Miglioramento della robustezza attraverso l'ottimizzazione per preferenze, permettendo al modello di gestire casi ambigui e allinearsi meglio al giudizio umano.

C. BeautyGRPO con Dynamic Path Guidance (DPG)

Il cuore innovativo del lavoro è l'algoritmo Dynamic Path Guidance (DPG), che risolve il conflitto tra esplorazione stocastica (necessaria per l'RL) e fedeltà visiva (necessaria per il ritocco).

Il Conflitto: L'RL online standard converte la traiettoria deterministica ODE in un'equazione differenziale stocastica (SDE) per esplorare nuove soluzioni. Tuttavia, questo accumula rumore che degrada la qualità dell'immagine.
La Soluzione DPG:
- Ancoraggio: Utilizza immagini di riferimento ad alta preferenza (estratte da FRPref-10K) come "ancore" ( $x_{anchor}$ ) nel processo di campionamento, non come target di supervisione pixel-per-pixel.
- Replanning Dinamico: Ad ogni passo temporale, DPG calcola un percorso ODE basato sull'ancora e ricalcola una traiettoria guidata.
- Bilanciamento: Introduce un vettore di correzione che spinge la traiettoria verso l'ancora (per mantenere la fedeltà strutturale) ma lo mescola con rumore stocastico controllato. Un coefficiente temporale $\lambda(t)$ regola questo bilanciamento: forte guida all'inizio (per la struttura) e più esplorazione alla fine (per i dettagli sottili).
- Risultato: Permette al modello di esplorare soluzioni esteticamente superiori rispetto all'ancora stessa, senza deviare verso artefatti o rumore.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset FFHQR e "in-the-wild", confrontando BeautyGRPO con modelli specializzati (es. RetouchFormer, VRetouchEr), modelli di editing generici (es. NanoBanana, Flux.Kontext) e varianti RL (FlowGRPO).

Metriche Quantitative: BeautyGRPO supera tutti i baseline su metriche no-reference (NIQE, NIMA, MUSIQ, MANIQA, NRQM, TOPIQ), indicando una migliore qualità percettiva, realismo e appeal estetico. Mantiene punteggi elevati su ArcFace, confermando la preservazione dell'identità.
Qualità Visiva: I risultati mostrano una rimozione più accurata delle imperfezioni, una texture della pelle più naturale (evitando l'effetto "plastica" o eccessivamente levigata) e una migliore conservazione dei dettagli come nei e pori.
Studio Utenti: In uno studio con 100 partecipanti, BeautyGRPO ha ottenuto un tasso di vittoria (win rate) del 63.25%, nettamente superiore rispetto ai metodi concorrenti (che oscillavano tra il 6% e il 12%).
Ablation Study: Le analisi confermano che sia il modello di ricompensa specializzato che il meccanismo DPG sono essenziali per le prestazioni finali.

4. Contributi Chiave

FRPref-10K: Creazione di un dataset di preferenze su larga scala e fine-grained specifico per il ritocco facciale, coprendo dimensioni estetiche critiche spesso ignorate.
Modello di Ricompensa Estetico: Addestramento di un modello di ricompensa capace di valutare sottili differenze percettive e allinearsi al giudizio umano su più dimensioni.
BeautyGRPO & DPG: Proposta di un framework RL che introduce la Dynamic Path Guidance, risolvendo efficacemente il trade-off tra esplorazione e fedeltà, permettendo di scoprire ritocchi di qualità superiore senza introdurre artefatti.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nel campo dell'elaborazione delle immagini facciali. Dimostra che l'allineamento alle preferenze umane non deve avvenire a scapito della fedeltà visiva.

Superamento dei Limiti SFT: Sposta il paradigma dall'imitazione pixel-per-pixel all'ottimizzazione diretta delle preferenze estetiche.
Stabilità nell'RL: Offre una soluzione tecnica (DPG) per applicare l'RL online a compiti ad alta fedeltà come il ritocco facciale, dove la stabilità è cruciale.
Applicabilità Pratica: I risultati suggeriscono che BeautyGRPO può essere integrato in applicazioni di ritocco fotografico professionale e consumer per produrre risultati più naturali, realistici e graditi agli utenti, superando i limiti dei modelli generativi attuali che spesso alterano l'identità o creano texture innaturali.