Large-Scale Dataset and Benchmark for Skin Tone Classification in the Wild

Questo lavoro presenta STW, un ampio dataset open-source e un benchmark per la classificazione delle tonalità della pelle basato sulla scala MST a 10 toni, introducendo SkinToneNet, un modello ViT che supera i metodi classici e permette un'analisi equa e affidabile di dataset pubblici.

L'essenziale

Immagina che l'intelligenza artificiale (AI) sia come un cuoco molto bravo, ma che ha imparato a cucinare guardando solo un libro di ricette molto vecchio e limitato. Se quel libro dice che "tutti i pomodori sono rossi", il cuoco sarà sorpreso e confuso quando gli darai un pomodoro verde o giallo.

Questo è esattamente il problema che gli autori di questo studio hanno scoperto: i computer spesso non capiscono bene le diverse tonalità della pelle umana.

Ecco come hanno risolto il problema, passo dopo passo:

1. Il Problema: La "Scaletta" sbagliata

Per anni, i computer hanno cercato di classificare la pelle umana usando una scala medica vecchia di 60 anni chiamata Fitzpatrick. È come se avessimo solo 6 colori di matite per disegnare un arcobaleno: non basta!
Inoltre, molti computer usano vecchie tecniche matematiche (come contare i pixel) che funzionano solo in laboratorio, con luci perfette. Quando provi a usarle nella vita reale (con il sole, l'ombra, o una foto sfocata), falliscono miseramente. È come cercare di leggere un libro con gli occhiali da sole: non vedi nulla.

2. La Soluzione: La "Scaletta" Migliore e il Nuovo Libro di Ricette

Gli autori hanno creato due cose fondamentali:

• Il Nuovo Libro di Ricette (Il Dataset STW): Hanno raccolto 42.000 foto di 3.500 persone diverse da tutto il mondo. Non hanno usato la vecchia scala da 6 colori, ma la Scala Monk (MST), che ha 10 toni di pelle. È come passare da un set di 6 matite a un set di 100 colori pastello: molto più preciso e inclusivo.
• Il Cuoco Super (SkinToneNet): Hanno addestrato un'intelligenza artificiale moderna (basata su una tecnologia chiamata Vision Transformer, che è come un occhio che guarda l'intera foto e capisce il contesto, non solo i singoli pixel). Questo "cuoco" è stato addestrato con il nuovo libro di ricette.

3. La Grande Scoperta: Vecchi Metodi vs. Intelligenza Artificiale

Gli autori hanno fatto una prova importante:

• I vecchi metodi (Computer Vision Classica): Hanno provato a usare le vecchie tecniche matematiche. Risultato? Hanno fallito. Quando hanno mostrato loro foto nuove (non viste prima), hanno indovinato quasi a caso, come se avessero lanciato un dado. È come se il cuoco avesse smesso di cucinare e avesse iniziato a tirare monete per decidere cosa servire.
• Il nuovo metodo (Deep Learning): Il nuovo modello "SkinToneNet" ha funzionato benissimo. Ha imparato a riconoscere le sfumature anche in condizioni difficili (luce scarsa, ombre, ecc.). Ha raggiunto un livello di precisione quasi uguale a quello degli esseri umani che hanno etichettato le foto.

4. L'Esperimento "Anti-Trucco"

C'era un trucco pericoloso in molti studi precedenti: a volte, la stessa persona appariva sia nelle foto di addestramento che in quelle di test. Era come se il cuoco avesse imparato a riconoscere il tuo viso invece di il colore della tua pelle.
Gli autori di questo studio hanno fatto un controllo rigoroso: hanno assicurato che ogni persona fosse presente solo nel gruppo di addestramento o solo in quello di test, mai in entrambi. Solo così potevano essere sicuri che il computer avesse imparato davvero a riconoscere i colori, non le persone.

5. Cosa hanno scoperto guardando le foto famose?

Hanno usato il loro nuovo modello "super-occhio" per analizzare dataset famosi usati in tutto il mondo (come CelebA o VGGFace2).
La sorpresa? Hanno scoperto che queste collezioni di foto sono sbilanciate. Ci sono tantissime persone con la pelle chiara e pochissime con la pelle molto scura (i toni 6-10 della scala). È come se in un'aula scolastica ci fossero 50 bambini biondi e solo 2 con i capelli neri: se impari a riconoscere i bambini solo da quella classe, non saprai mai riconoscere un bambino con i capelli neri quando ne vedi uno fuori.

In Sintesi

Questo lavoro è come aver dato agli informatici:

1. Una mappa molto più dettagliata del mondo (il dataset STW).
2. Un nuovo modo di guardare le cose (il modello SkinToneNet).
3. La prova che i vecchi metodi non funzionano più nella vita reale.

Perché è importante?
Perché se i computer non capiscono bene tutte le tonalità della pelle, possono fare errori ingiusti: dall'aprire male una porta automatica a un'analisi medica sbagliata. Questo studio ci dà gli strumenti per rendere l'intelligenza artificiale più equa e giusta per tutti, indipendentemente dal colore della pelle.

Nota importante: Gli autori avvertono che questo strumento deve essere usato solo per controllare se i computer sono giusti, non per spiare le persone o categorizzarle senza il loro consenso. È un termometro per la salute dell'AI, non un'arma.

Sommario tecnico

Titolo

Large-Scale Dataset and Benchmark for Skin Tone Classification in the Wild
(Dataset e Benchmark su larga scala per la classificazione del tono della pelle in ambienti non controllati)

1. Il Problema

I modelli di Deep Learning (DL) ereditano spesso pregiudizi dai dati di addestramento. Sebbene l'equità per genere ed etnia sia ben studiata, l'analisi fine del tono della pelle rimane una sfida a causa della mancanza di dataset granulari e annotati.

• Limiti degli approcci attuali: I metodi esistenti si basano spesso sulla scala medica Fitzpatrick (6 toni), progettata per la risposta alla radiazione UV e non rappresentativa della diversità visiva reale, o su dataset privati e piccoli che impediscono la riproducibilità.
• Bias metodologici: Molti studi confondono l'etnia (categorizzazione sociale) con il fenotipo (tracce fisiche come il colore della pelle). Inoltre, spesso si verificano problemi di "leakage" (perdita di dati) tra set di training e test quando lo stesso individuo appare in entrambi, portando a valutazioni di accuratezza fuorvianti.
• Carenza di dati: Manca un dataset su larga scala, open-access, che utilizzi la scala Monk Skin Tone (MST) a 10 toni, più granulare e rappresentativa della Fitzpatrick.

2. Metodologia

A. Il Dataset: Skin Tone in The Wild (STW)

Gli autori hanno creato il primo dataset open-access su larga scala specifico per l'analisi del tono della pelle in ambienti non controllati (in-the-wild).

• Composizione: 42.313 immagini di 3.564 individui.
• Origine dei dati: Combinazione di 7 dataset pubblici (LFW, Casia Face Africa, FairFace, CelebA, ecc.) per garantire una copertura demografica diversificata.
• Annotazione: Utilizzo della scala Monk Skin Tone (MST) a 10 toni.
  • È stato implementato un protocollo di annotazione gerarchico e rigoroso.
  • Un annotatore esperto ha etichettato l'intero dataset; due annotatori indipendenti hanno validato un sottoinsieme stratificato (1.000 individui).
  • Accordo inter-annotatore: Accordo grezzo del 38,8% (tipico per la percezione soggettiva della pelle), ma un'accuratezza "off-by-one" (errore di un solo tono) dell'88% e un ICC (Intraclass Correlation Coefficient) di 0,939, indicando un'eccellente coerenza.

B. Pipeline di Valutazione e Modelli

Lo studio confronta due approcci paradigmati:

1. SkinToneCCV (Classic Computer Vision):
   • Pipeline basata su segmentazione della pelle (Mediapipe), estrazione di descrittori di colore (istogrammi, momenti statistici, vettori di coerenza colore) e classificazione con algoritmi classici (Random Forest, SVM, KNN, MLP).
   • Include strategie di bilanciamento dei dati e ricerca degli iperparametri.
2. SkinToneNet (Deep Learning):
   • Basato su architetture di Deep Learning, in particolare Vision Transformer (ViT) e CNN (ResNet, DenseNet).
   • SkinToneNet è un modello ViT-Small pre-addestrato su ImageNet e fine-tunato su STW.
   • Utilizza una funzione di perdita ordinale (ordinal cross-entropy) per gestire la natura ordinale della scala MST.
   • Strategia di Split: Per evitare il data leakage, i dati sono stati divisi per individuo (IND), non per immagine (IMG), garantendo che tutti i volti della stessa persona siano presenti solo in un set (train, validazione o test).

C. Validazione e Benchmark

I modelli sono stati testati su:

• Dataset STW (split IND).
• Dataset out-of-domain non visti durante l'addestramento: MSTE (Monk Skin Tone Example), MSTE-G (Gold standard) e CCv2 (Casual Conversations V2).
• Audit di dataset facciali diffusi (CelebA, VGGFace2, FairFace, FACET) per valutarne la distribuzione dei toni della pelle.

3. Contributi Chiave

1. Dataset STW: Un dataset open-access di 42k immagini con annotazioni MST a 10 toni, privo di bias di etnia e focalizzato sul fenotipo.
2. SkinToneNet: Il primo modello DL capace di riconoscere il tono della pelle in-the-wild sulla scala MST a 10 toni con generalizzazione state-of-the-art.
3. Baseline CCV: La costruzione e valutazione rigorosa di un modello classico (SkinToneCCV) per dimostrare i limiti degli approcci tradizionali.
4. Metodologia Robusta: Un framework che evidenzia l'importanza critica dello split per individuo per evitare il leakage e l'uso di metriche di accuratezza "off-by-one" per valutare la coerenza con gli annotatori umani.

4. Risultati

• Fallimento dei Modelli Classici (CCV):
  • I modelli classici (SkinToneCCV) hanno ottenuto risultati vicini al caso casuale su dati out-of-domain (bAcc ~0,33, wOOAcc ~0,63).
  • Soffrono di overfitting sui toni più frequenti (2 e 7) e non riescono a generalizzare in ambienti non controllati.
• Successo del Deep Learning (SkinToneNet):
  • SkinToneNet (ViT-Small) ha raggiunto le migliori prestazioni, con un'accuratezza off-by-one (wOOAcc) del 90,1% su STW-test e 85,3% su MSTE.
  • Ha mostrato una generalizzazione superiore del 10-20% in accuratezza e del 30-60% in OOAcc rispetto ai baselines su dataset esterni (CCv2, MSTE).
  • L'analisi GradCam conferma che il modello si concentra correttamente sulla regione della pelle, utilizzando anche il contesto di forma e texture (capelli, viso intero) per migliorare la percezione sotto luci difficili.
• Audit dei Dataset Esistenti:
  • L'uso di SkinToneNet per analizzare dataset popolari (CelebA, VGGFace2, FairFace) ha rivelato uno squilibrio sistemico: quasi tutti mancano di rappresentanza significativa per i toni MST 6-10 (pelle scura), rendendo inaffidabili le valutazioni di equità basate su questi dataset.

5. Significato e Implicazioni

Questo lavoro fornisce un framework fondamentale per la ricerca sull'equità nell'IA:

• Strumento di Audit: SkinToneNet permette di valutare oggettivamente la rappresentatività dei dataset pubblici e dei modelli, identificando bias nascosti.
• Superamento dei Limiti Tradizionali: Dimostra che le pipeline classiche di computer vision sono inadeguate per la classificazione del tono della pelle in scenari reali, mentre i modelli basati su Transformer (ViT) offrono la robustezza necessaria.
• Impatto Etico: Gli autori sottolineano che questo strumento è progettato esclusivamente per l'audit di dataset e modelli. Sconsigliano fermamente l'uso per profilazione biometrica, sorveglianza o categorizzazione automatica di individui senza consenso, posizionando il lavoro come uno strumento per migliorare l'equità algoritmica piuttosto che per l'identificazione.

In sintesi, il paper colma un vuoto critico nella ricerca sulla visione artificiale fornendo dati, modelli e metodologie necessarie per costruire sistemi di riconoscimento facciale più equi e rappresentativi della diversità umana.