True to Tone? Quantifying Skin Tone Fidelity and Bias in Photographic-to-Virtual Human Pipelines

1. Il Problema

La riproduzione accurata del tono della pelle è fondamentale per il realismo, la preservazione dell'identità e l'equità nella generazione di Esseri Virtuali (Virtual Humans - VH). Tuttavia, le pipeline di creazione di avatar basate su input fotografici soffrono di diverse criticità:

• Mancanza di calibrazione: La maggior parte delle immagini di input non è calibrata colorimetricamente, introducendo inconsistenze.
• Bias di rendering: Gli strumenti di Computer Graphics (CG) storicamente utilizzano toni della pelle chiara come riferimento predefinito, portando a un "over-lightening" (schiarimento eccessivo) e a una rappresentazione errata delle pelli più scure.
• Ambiguità luce-albedo: È difficile distinguere tra la riflettanza intrinseca della pelle e l'illuminazione della scena, specialmente nelle foto non controllate.
• Conseguenze etiche: Questi errori tecnici si traducono in disparità percettive, dove gli avatar con toni di pelle scura sono percepiti come meno realistici, rafforzando il "Valle dell'Inquietante" (Uncanny Valley) e perpetuando bias razziali.

2. Metodologia

Gli autori propongono una metodologia completamente automatica e scalabile per valutare sistematicamente la fedeltà del tono della pelle lungo l'intera pipeline di generazione VH. Il flusso di lavoro integra estrazione del colore, illuminazione, ricolorazione delle texture e rendering in tempo reale.

Fasi principali del pipeline:

1. Dataset di Input: Utilizzo del Chicago Face Database (CFD), integrato con estensioni multirazziali e indiane, per un totale di 827 immagini facciali ad alta risoluzione.
2. Estrazione del Colore (4 Strategie):
   • Cheek: Campionamento geometrico basato sulle regioni delle guance (pratica comune ma sensibile alla luce).
   • MMM (Multidimensional Masking): Mascheramento multidimensionale basato sulla distribuzione del colore nello spazio CIELAB, filtrando i pixel in base alla luminosità e al clustering (K-means).
   • T-Cheek & T-MMM: Varianti delle strategie sopra che utilizzano il framework pre-addestrato TRUST (proposto da Feng et al.) per l'inverso rendering intrinseco. TRUST separa l'illuminazione ambientale dalle proprietà intrinseche della superficie (albedo), generando mappe di albedo invarianti alla luce prima del campionamento.
3. Generazione della Texture: Le texture degli avatar (MetaHuman in Unreal Engine) vengono ricolorate utilizzando due approcci:
   • Normalizzazione: Scala moltiplicativa per preservare le variazioni spaziali relative.
   • Mappa di Variazione: Approccio additivo che separa il colore globale dalle variazioni locali, cruciale per evitare la compressione dei dettagli nelle pelli scure.
4. Rendering: Gli avatar vengono renderizzati in Unreal Engine 5 sotto tre configurazioni di illuminazione:
   • CFD Light: Illuminazione ricostruita dalla foto originale (tramite armoniche sferiche).
   • Frontal Light: Illuminazione frontale da studio.
   • Paramount Light: Illuminazione da studio tipica.
5. Analisi Quantitativa:
   • $\Delta E$ (CIE76): Misura la differenza percettiva di colore nello spazio CIELAB.
   • ITA (Individual Typology Angle): Un angolo calcolato da $L^*$ e $b^*$ nello spazio CIELAB per classificare oggettivamente i fenotipi della pelle in 6 classi (da I, molto chiara, a VI, molto scura).

3. Contributi Chiave

• Framework di Valutazione Scalabile: Un sistema automatizzato che ha generato e analizzato 19.848 istanze renderizzate, permettendo un'analisi statistica robusta senza intervento manuale.
• Isolamento delle Variabili: La metodologia permette di disaccoppiare l'impatto delle strategie di estrazione del colore, dei metodi di ricolorazione e delle condizioni di illuminazione.
• Analisi Interattiva: Non si limita a valutare singoli componenti, ma esamina come le scelte in diverse fasi della pipeline interagiscono propagando errori e bias.
• Focus sulla Fedeltà Oggettiva: Utilizzo di metriche standardizzate ($\Delta E$ e ITA) per quantificare il bias in modo riproducibile, superando la soggettività delle annotazioni umane.

4. Risultati Principali

L'analisi statistica (test di Kruskal-Wallis) ha rivelato risultati significativi:

• Impatto del Metodo di Estrazione (Q1):

  • I metodi basati su TRUST (T-Cheek e T-MMM) hanno ridotto drasticamente gli errori rispetto alle controparti senza compensazione della luce.
  • T-MMM ha ottenuto l'errore medio più basso ($\Delta E \approx 3.77$), dimostrando che combinare informazioni facciali complete con la compensazione dell'illuminazione è la strategia più efficace.
  • I metodi tradizionali (Cheek, MMM) hanno prodotto errori superiori alla soglia di "differenza percettibile a colpo d'occhio".

• Sensibilità al Fenotipo (Q2):

  • È stata osservata una amplificazione dell'errore per le pelli più scure. L'errore ITA è aumentato sistematicamente dalla Classe I alla Classe VI.
  • Senza compensazione della luce, l'errore per la Classe VI era quasi 4 volte superiore a quello della Classe I.
  • I metodi basati su TRUST hanno attenuato questo trend, riducendo il divario, ma non eliminandolo completamente.

• Influenza dell'Illuminazione (Q3):

  • L'illuminazione è il fattore dominante per la fedeltà del colore.
  • La CFD Light (ricostruita dalla foto) ha prodotto gli errori più bassi.
  • La Frontal Light ha generato gli errori più alti, spesso schiarendo eccessivamente le pelli scure.
  • Solo i metodi basati su TRUST hanno mostrato una certa robustezza statistica attraverso le diverse condizioni di illuminazione.

• Analisi delle Transizioni di Classe:

  • La matrice di confusione ha mostrato che i fenotipi scuri (Classi V e VI) vengono raramente preservati; la maggior parte dei campioni viene riclassificata erroneamente in toni più chiari (compressione verso classi intermedie).

5. Significato e Conclusioni

Questo studio dimostra che le discrepanze nell'aspetto della pelle renderizzata non derivano da un singolo componente, ma dall'interazione complessa tra estrazione del colore, gestione della texture e illuminazione virtuale.

• Implicazioni Tecniche: Per ottenere un rendering equo e realistico, è imperativo integrare la compensazione dell'illuminazione intrinseca (come TRUST) nelle pipeline di estrazione del colore, specialmente per le pelli scure.
• Implicazioni Etiche: I risultati confermano l'esistenza di un bias sistemico nei pipeline attuali che tende a schiarire le pelli scure. L'uso di metriche oggettive come l'ITA permette di identificare e quantificare questi bias, fornendo una base per lo sviluppo di strumenti più inclusivi.
• Limitazioni e Futuro: Lo studio si basa su input non calibrati e un singolo motore di rendering. Il lavoro futuro dovrà includere studi percettivi con partecipanti umani per correlare le metriche computazionali con la percezione soggettiva di realismo e comfort visivo, e esplorare approcci di Machine Learning per mitigare automaticamente questi bias.

In sintesi, il paper offre un protocollo rigoroso per diagnosticare e migliorare l'equità nella generazione di avatar digitali, sottolineando che la fedeltà del tono della pelle è una questione sia tecnica che etica.