Riepilogo Tecnico: Generazione di Immagini Personalizzata tramite Ottimizzazione Bayesiana con Human-in-the-loop

1. Definizione del Problema

Nonostante i rapidi progressi nei modelli di diffusione (ad es., FLUX, Stable Diffusion 3), rimane un divario fondamentale tra l'immagine mentale di un utente ($x^*$) e la migliore immagine ($x_p^*$) ottenibile attraverso il solo linguaggio dei prompt. Questo divario deriva dal fatto che lo spazio delle immagini è più dimensionale rispetto al linguaggio, il vocabolario dell'utente è limitato e i modelli congiunti linguaggio-immagine (come CLIP) possiedono imperfezioni intrinseche.

Sebbene gli utenti riescano spesso a identificare quando un'immagine generata è "più vicina" al loro target mentale rispetto a una precedente, essi faticano ad articolare i cambiamenti linguistici specifici necessari per colmare questo divario. I metodi esistenti che si affidano al prompting linguistico, o quelli che richiedono un esteso addestramento offline con grandi dataset (ad es., RLHF, DiffusionDPO), sono o insufficienti per l'iper-personalizzazione o computazionalmente costosi. Il documento inquadra questo scenario come un problema di ottimizzazione black-box con human-in-the-loop: come raffinare iterativamente un'immagine utilizzando solo il feedback preferenziale di un utente, senza avere accesso alla funzione di soddisfazione interna dell'utente o al target reale $x^*$.

2. Metodologia: MultiBO

Gli autori propongono MultiBO (Multi-Choice Preferential Bayesian Optimization), un framework interattivo e privo di addestramento (training-free), che ottimizza la generazione di immagini modificando le rappresentazioni interne di un modello di diffusione sulla base delle preferenze dell'utente.

Componenti Core

La metodologia affronta due sfide primarie: l'alta dimensionalità dello spazio delle immagini e la difficoltà di ottenere valutazioni numeriche precise dagli utenti.

A. Ottimizzazione Bayesiana Preferenziale Multi-Scelta (Multi-choicePBO)

Inveve del classico confronto a coppie (A vs. B), MultiBO presenta all'utente un insieme di $K$ immagini e chiede di selezionare le $N$ migliori opzioni ($N$-out-of-$K$).

• MultiwiseGPR: Per modellare la funzione di soddisfazione latente $f$ dell'utente da questo feedback complesso, gli autori introducono un modello di verosimiglianza MultiwiseGaussian Process Regression (MultiwiseGPR). Questo estende i modelli standard Binomial-Probit/Logit utilizzati nell'ottimizzazione della preferenza a coppie a un framework Multinomial-Logit. Esso mappa la probabilità che un utente selezioni un sottoinsieme specifico di immagini ai valori della funzione latente, permettendo al sistema di inferire $f$ in modo più efficiente con meno query.
• Funzione di Acquisizione Dynamic Balanced Subspace (DBS): L'Expected Improvement (EI) standard è computazionalmente intrattabile quando si ottimizza congiuntamente su $K$ scelte. Gli autori propongono DBS, una funzione di acquisizione leggera che:
  1. Calcola un singolo campione di Expected Improvement ($x_{EI}$).
  2. Costruisce $K$ punti "ancora" (vettori ponte) tra la stima migliore attuale ($\hat{x}^*$) e $x_{EI}$.
  3. Campiona perturbazioni da un sottospazio dinamico $\Omega \subseteq Y$. Questo sottospazio è determinato dal gap spettrale della matrice di covarianza del gradiente della posterior GPR, garantendo che le $K$ scelte presentate all'utente coprano le dimensioni visivamente più significative dello spazio latente pur mantenendo la diversità.

B. Warping della Self-Attention

L'ottimizzazione diretta nello spazio latente ad alta dimensionalità ($D \approx 16k$) è impraticabile. MultiBO ottimizza invece all'interno del meccanismo di self-attention del modello di diffusione (specificamente le matrici Query, Key e Value, $Q, K, V$).

• Spazio di Trasformazione: L'ottimizzazione è vincolata a uno spazio di trasformazioni di warping valide (una composizione di trasformazioni Affine e Thin-Plate Spline) applicate alle feature di attenzione.
• Razionale: La self-attention controlla gli attributi spaziali, la texture e la forma. Modificando (warping) queste feature, MultiBO può indurre cambiamenti semantici globali e locali senza il costo dimensionale dell'ottimizzazione nello spazio dei pixel. Ciò evita la necessità di cross-attention (che è legata al prompt testuale) e si concentra sul raffinamento dell'output visivo.

Workflow

1. Inizializzazione: Generare un'immagine iniziale $x_p^*$ da un prompt.
2. Iterazione (fino a $B$ round):
   • Il modulo DBS propone $K$ set di parametri di warping.
   • Questi parametri vengono applicati alle feature di self-attention del modello di diffusione per generare $K$ immagini candidate.
   • L'utente seleziona le $N$ migliori immagini.
   • Il modello MultiwiseGPR aggiorna la sua credenza posterior della funzione di soddisfazione $f$.
   • Il processo si ripete fino a esaurimento del budget $B$, restituendo l'immagine ottimizzata finale $\hat{x}^*$.

3. Contributi Chiave

1. Framework di Preferenza Multi-Scelta: Il documento dimostra che il feedback di preferenza $N$-out-of-$K$ fornisce informazioni significativamente più ricche rispetto ai confronti a coppie, riducendo l'onere delle query per l'utente. Questo è formalizzato matematicamente tramite la verosimiglianza MultiwiseGPR e la relativa funzione di acquisizione.
2. Ottimizzazione nello Spazio dell'Attenzione: A differenza dei metodi che ottimizzano i vettori di rumore o lo spazio dei pixel, MultiBO ottimizza le feature di self-attention ($Q, K, V$) utilizzando uno spazio di trasformazione di warping vincolato. Ciò bilancia la necessità di un editing espressivo con la fattibilità computazionale.
3. Personalizzazione Training-Free: L'approccio non richiede addestramento offline su grandi dataset o fine-tuning del modello di diffusione. Opera interamente durante l'inferenza, rendendolo agnostico rispetto al modello e adattabile alle preferenze individuali dell'utente.
4. Selezione del Sottospazio Dinamico: La funzione di acquisizione DBS identifica adattivamente le dimensioni più influenti per l'ottimizzazione, impedendo alla ricerca di collassare in variazioni ridondanti.

4. Risultati Sperimentali

Gli autori hanno valutato MultiBO contro cinque categorie di baseline: metodi di allineamento delle preferenze basati su addestramento (DiffusionDPO, IterComp), metodi di inferenza senza addestramento (DEMON, DNO, DAS) e varianti di MultiBO guidate da metriche.

• Allineamento al Target: MultiBO ha superato significativamente tutte le baseline nelle metriche CLIP-I2I e LPIPS (che misurano la similarità rispetto al target $x^*$), ottenendo risultati comparabili a un limite superiore "Oracle" guidato da L2. Notevolmente, ha superato le varianti in cui l'umano è stato sostituito da modelli di reward automatizzati (ad es., MultiBOCLIP-I2I), validando che il feedback umano cattura sfumature trascurate dalle metriche proxy.
• Metriche di Preferenza: MultiBO ha ottenuto punteggi competitivi o superiori sulle metriche di reward standard (ImageReward, Aesthetic, HPSv2) rispetto ai metodi basati su addestramento, nonostante l'assenza di dati di addestramento.
• Robustezza: A differenza di alcune baseline (ad es., DNO, DAS) che soffrivano di "reward hacking" (generazione di immagini scarse che ottenevano punteggi alti su specifiche metriche), MultiBO ha mantenuto l'integrità visiva.
• Valutazione Umana: In uno studio con 30 volontari, MultiBO ha ottenuto un tasso di vittoria del 70,82% nella selezione dell'immagine più vicina al target, superando significativamente tutte le baseline (la seconda migliore era al 15,60%).
• Studi di Ablazione:
  • Multiwise vs. Pairwise: Il feedback multi-scelta ($K=4$) ha converguto più velocemente e con una qualità maggiore rispetto al pairwise ($K=2$).
  • Dimensione del Set di Scelta: $K=4$ ha offerto il miglior compromesso tra guadagno di informazione e carico cognitivo dell'utente; $K=10$ ha portato a rendimenti decrescenti.
  • Selezione dei Layer: L'editing dei layer di self-attention medi e tardivi (decoder layers) ha prodotto il miglior controllo spaziale senza distruggere la struttura semantica.
  • Timesteps: L'editing durante i passi di denoising iniziali e intermedi ha fornito la maggiore libertà di guida (steering).

l. Significato e Rivendicazioni

Il documento sostiene che MultiBO riesce efficacementmente a colmare l'ultimo miglio tra l'immaginazione di un utente e l'output del modello generativo. La sua importanza risiede in:

• Efficienza: Raggiungere una personalizzazione ad alta fedeltà con solo circa 50 query dell'utente, evitando il costo computazionale di addestrare grandi modelli di reward.
• Design Centrato sull'Umano: Sfruttando la capacità umana di giudicare la qualità relativa (preferenza) piuttosto che la qualità assoluta (valutazione), il sistema bypassa i limiti del prompting linguistico e le imperfezioni dei modelli di reward.
• Praticità: Il metodo è privo di addestramento e agnostico rispetto al modello, offrendo una via percorribile per la generazione di immagini iper-personalizzate senza richiedere dataset massicci o hardware specializzato per l'addestramento.

Gli autori riconoscono i limiti, notando che l'ottimizzazione può stallare in scenari in cui le preferenze dell'utente sono ambigue (scelte ugualmente scarse o buone) e che lo spazio di warping vincolato può limitare l'ambito delle possibili edizioni rispetto all'ottimizzazione completa dello spazio latente. Il lavoro futuro propone di incorporare prior informati da modelli di reward pre-addestrati ed esplorare strategie di ottimizzazione ad alta dimensionalità più adatte alla geometria della diffusione latente.