Bias at the End of the Score

1. Il Problema

I modelli di ricompensa (Reward Models - RMs) sono diventati componenti fondamentali nei sistemi di generazione di immagini da testo (Text-to-Image o T2I). Vengono utilizzati per filtrare dataset, valutare la qualità delle immagini, fornire segnali di supervisione durante l'ottimizzazione dei parametri e filtrare i contenuti generati per sicurezza. Sebbene siano progettati come funzioni di valutazione neutre per la qualità, il loro comportamento in termini di robustezza e equità rispetto ai bias demografici è poco compreso.

Il paper identifica un problema critico: i RMs, sebbene addestrati per allinearsi alle preferenze umane o alla qualità estetica, codificano inconsapevolmente bias demografici (razza e genere). Quando questi modelli vengono utilizzati per ottimizzare le immagini (ad esempio, modificando il rumore iniziale per massimizzare il punteggio), tali bias non si limitano a influenzare la valutazione, ma alterano attivamente il contenuto generato, portando a:

• Iper-sessualizzazione sproporzionata dei soggetti femminili.
• Convergenza demografica verso soggetti bianchi.
• Rafforzamento di stereotipi di genere e razziali.

2. Metodologia

Gli autori hanno condotto un'audit su larga scala divisa in due parti principali, utilizzando diversi modelli di base (SDXL-Turbo, PixArt-α, SD-Turbo) e cinque RMs ampiamente utilizzati (PickScore, ImageReward, HPS, VQAScore, CLIP) più un punteggio estetico.

Parte I: Effetti dell'Ottimizzazione Guidata dalla Ricompensa

• Framework: Utilizzo del framework ReNO (Reward-based Noise Optimization), che ottimizza il vettore di rumore iniziale ($\epsilon_0$) di un modello generativo per massimizzare il punteggio del RM, mantenendo i parametri del modello congelati.
• Iper-sessualizzazione: Hanno generato immagini con prompt neutri o specifici per demografia e misurato l'aumento di contenuti NSFW (Not Safe For Work) e l'esposizione della pelle (Skin Exposure - SE) dopo l'ottimizzazione.
• Deriva Demografica (Demographic Drift): Hanno creato set di prompt "sottospecificati" (es. "una foto di un medico") e hanno inizializzato il rumore per generare soggetti di specifiche demografie (es. medico nero, medico asiatico). Hanno poi osservato come l'ottimizzazione guidata dal RM alterasse la percezione di razza e genere delle immagini finali.
• Classificazione: L'attributo demografico percepito è stato determinato confrontando gli embedding delle immagini generate con "ancore" derivate dal Chicago Face Database (CFD), utilizzando un encoder CLIP congelato.

Parte II: Valutazione Diretta dei Punteggi (Scoring)

• Dataset Controfattuali: Utilizzo di dataset come CausalFace, SocialCounterfactuals e PAIRS, che contengono immagini identiche nel contenuto semantico ma che differiscono solo per attributi demografici protetti (razza, genere).
• Analisi Statistica:
  • Regressione Lineare: Per quantificare quanto razza e genere predicono il punteggio del RM, controllando per il prompt.
  • Analisi di Ranking: Per determinare l'ordine di preferenza implicito dei RMs tra diversi gruppi demografici.
  • Correlazione con Dati Reali: Confronto dei punteggi con le statistiche occupazionali reali (Bureau of Labor Statistics USA) per verificare se i RMs premiano la conformità agli stereotipi occupazionali.

3. Contributi Chiave

1. Dimostrazione dell'Amplificazione del Bias: Dimostrano che l'uso dei RMs come ottimizzatori non migliora solo la qualità, ma introduce distorsioni sistematiche e dannose che non erano presenti nell'output iniziale.
2. Mappatura dei Bias Specifici: Identificano che diversi RMs hanno pattern di bias distinti ma convergenti (es. HPS e ImageReward spingono fortemente verso la razza bianca, PickScore verso l'iper-sessualizzazione femminile).
3. Collegamento tra Punteggio e Realtà: Evidenziano che i punteggi dei RMs riflettono le distribuzioni demografiche reali e gli stereotipi (es. le professioni a predominanza maschile ricevono punteggi più alti per volti maschili) piuttosto che una valutazione oggettiva della qualità dell'immagine.
4. Metodologia di Audit: Forniscono un protocollo rigoroso per testare la robustezza dei RMs sia in fase di ottimizzazione che di valutazione statica.

4. Risultati Principali

• Iper-sessualizzazione Disparata:

  • L'ottimizzazione con PickScore aumenta il tasso di classificazione NSFW e l'esposizione della pelle in modo sproporzionato per i soggetti femminili.
  • Per i soggetti femminili, PickScore aumenta il tasso NSFW del 19% in media, contro il 7% per i maschi (un aumento 2,7 volte maggiore).
  • Questo porta a immagini che mostrano pose sessualizzate, nudità o abbigliamento ridottissimo, anche quando il prompt non lo richiede.

• Convergenza Demografica (Race/Gender Drift):

  • Quando si ottimizzano immagini con ImageReward e HPS, i soggetti non bianchi (neri, asiatici, latini) tendono a "diventare" bianchi dopo l'ottimizzazione.
  • In particolare, ImageReward e HPS causano che oltre l'80% delle immagini di soggetti neri venga riclassificata come bianca dopo l'ottimizzazione positiva.
  • Anche il genere subisce deriva: le immagini etichettate come femminili vengono riclassificate come maschili in oltre il 39% dei casi con ImageReward.
  • Al contrario, l'ottimizzazione negativa (minimizzazione del punteggio) tende a preservare le identità non bianche, suggerendo che il bias è intrinseco alla direzione di massimizzazione del punteggio.

• Bias di Punteggio e Stereotipi:

  • I RMs assegnano sistematicamente punteggi più alti ai soggetti bianchi, indipendentemente dal contenuto del prompt (anche per prompt negativi come "disonesto").
  • Esiste una forte correlazione tra i punteggi dei RMs e la distribuzione reale del lavoro per genere: i volti maschili ricevono punteggi più alti per professioni a predominanza maschile e viceversa, ma i RMs tendono a penalizzare le donne anche in professioni a predominanza femminile più di quanto non facciano con gli uomini in professioni maschili.
  • VQAScore mostra un comportamento interessante: premia i soggetti bianchi per prompt positivi, ma li penalizza significativamente per prompt negativi, indicando una codifica latente di priorità demografiche.

5. Significato e Implicazioni

I risultati del paper mettono in discussione l'affidabilità dei Reward Models attuali come metriche neutre di qualità.

• Rischio per i Sistemi T2I: Qualsiasi pipeline che utilizzi questi RMs (per selezione "Best-of-N", fine-tuning o curatela dei dataset) applica implicitamente un filtro demografico distorto. Questo porta a una riduzione della diversità nei risultati generati e al rafforzamento di stereotipi dannosi.
• Necessità di Nuovi Standard: È urgente sviluppare procedure di raccolta dati e addestramento alternative per i RMs che siano consapevoli dei bias demografici. Le attuali pratiche di "allineamento" con le preferenze umane rischiano di codificare e amplificare i pregiudizi sociali esistenti.
• Impatto sulla Sicurezza: L'iper-sessualizzazione indotta dai RMs rappresenta un rischio di sicurezza significativo, specialmente per le applicazioni destinate a un pubblico generale, poiché può generare contenuti inappropriati senza che l'utente lo abbia richiesto esplicitamente.

In sintesi, il paper dimostra che "la fine della valutazione" (il punteggio del RM) non è un punto di arrivo neutro, ma un luogo dove i bias demografici vengono codificati, amplificati e tradotti in alterazioni visive concrete nelle immagini generate.