Large-Scale Dataset and Benchmark for Skin Tone Classification in the Wild

Este trabajo presenta un marco integral para la equidad en la clasificación de tonos de piel que incluye el gran conjunto de datos abierto STW, un benchmark que demuestra la superioridad del aprendizaje profundo sobre los métodos clásicos, y el modelo SkinToneNet, un ViT ajustado que logra un estado del arte en generalización para auditar la equidad en conjuntos de datos públicos.

Lo esencial

¡Hola! Imagina que la inteligencia artificial (IA) es como un estudiante muy inteligente que aprende a ver el mundo a través de miles de fotos. El problema es que, si este estudiante solo ve fotos de personas con piel muy clara o muy oscura, pero nunca ve los tonos intermedios, se vuelve un experto en esos extremos y un completo principiante en el resto.

Este artículo de investigación es como una gran reforma educativa para que estas máquinas aprendan a ver la piel humana de verdad, con todos sus matices. Aquí te lo explico con analogías sencillas:

1. El Problema: El "Mapa" Viejo y Roto

Antes, los científicos usaban un mapa antiguo para clasificar la piel llamado Escala de Fitzpatrick. Imagina que este mapa es como intentar describir todo el arcoíris usando solo 6 colores básicos: blanco, gris, marrón, negro, etc.

• El fallo: Es demasiado simple. No capta la belleza y la diversidad real de la piel humana. Además, muchos estudios usaban datos secretos o muy pequeños, como si un chef cocinara un plato secreto y luego dijera: "¡Es delicioso!", pero nadie podía probarlo ni repetir la receta.

2. La Solución: El Nuevo Mapa (STW)

Los autores crearon algo llamado STW (Skin Tone in The Wild).

• La analogía: Imagina que antes teníamos un mapa de un solo pueblo. Ahora, han creado un globo terráqueo completo con 42,000 fotos de 3,500 personas reales, tomadas en la calle, con sol, sombra, y en diferentes situaciones (no en un estudio de fotos perfecto).
• La regla de oro: Usaron una nueva regla llamada Escala Monk (MST) de 10 tonos. En lugar de solo "blanco" o "negro", ahora hay 10 pasos, como una escalera de colores que va desde la piel más clara hasta la más oscura, cubriendo cada matiz posible.

3. La Prueba de Fuego: ¿Funciona la IA o es un truco?

Para ver si las máquinas realmente aprenden, probaron dos métodos:

• Método Antiguo (Visión Clásica): Imagina a un robot que solo mide el color promedio de la piel con una regla matemática simple.
  • Resultado: ¡Fracasó! En el mundo real (con sombras, maquillaje, barbas), este robot se confundía tanto que sus respuestas eran casi como si estuviera lanzando un dado al azar.
• Método Nuevo (Deep Learning / SkinToneNet): Aquí usaron una red neuronal avanzada (llamada SkinToneNet), que es como darle al robot unos "gafas mágicas" que no solo miran el color, sino que entienden la textura, la forma de la cara y el contexto.
  • Resultado: ¡Funcionó increíblemente bien! El robot aprendió a distinguir los 10 tonos casi tan bien como los humanos expertos que etiquetaron las fotos.

4. El Truco Sucio: ¿Está "haciendo trampa"?

En el mundo de la IA, hay un error común llamado "fuga de datos".

• La analogía: Imagina que le das a un estudiante el examen de práctica con las respuestas incluidas. Si luego le das el mismo examen, sacará un 100%, pero no habrá aprendido nada.
• Lo que hicieron: Muchos estudios anteriores cometían este error: entrenaban a la máquina con fotos de "Juan" y luego la probaban con otra foto de "Juan". ¡Eso no es inteligencia, es memoria!
• Su innovación: Aseguraron que si "Juan" estaba en el entrenamiento, ninguna foto de "Juan" aparecía en la prueba. Así, cuando la máquina acertó, fue porque realmente entendió el concepto de "tono de piel", no porque reconoció a la persona.

5. La Verdad Incómoda: Auditando a los Gigantes

Usaron su nuevo robot (SkinToneNet) para revisar las bases de datos más famosas del mundo (como las que usan las redes sociales o los sistemas de reconocimiento facial).

• El hallazgo: Descubrieron que la mayoría de estas bases de datos están desbalanceadas. Tienen muchísimas personas de tonos medios (3, 4, 5) y muy pocas de los tonos extremos (muy claros o muy oscuros).
• La consecuencia: Esto significa que los sistemas actuales probablemente fallan o son injustos con las personas de piel muy oscura o muy clara, porque la IA nunca ha visto suficientes ejemplos de ellas.

En Resumen

Este trabajo es como limpiar el espejo de la inteligencia artificial.

1. Crearon el mejor espejo (dataset) para ver la diversidad real de la piel.
2. Demostraron que los métodos viejos no sirven para el mundo real.
3. Crearon un nuevo ojo (SkinToneNet) que ve con justicia.
4. Y nos advirtieron que, si no arreglamos los datos actuales, la tecnología seguirá siendo injusta con muchas personas.

Nota importante: Los autores aclaran que esta herramienta es para auditar y mejorar la justicia de los sistemas, no para vigilar a las personas o clasificarlas sin su permiso. Es una herramienta para hacer el mundo más justo, no para controlarlo.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Large-Scale Dataset and Benchmark for Skin Tone Classification in the Wild", presentado en español:

1. El Problema

El campo de la visión por computadora (CV) y el aprendizaje profundo (DL) sufren de sesgos algorítmicos significativos debido a la falta de datos de entrenamiento granulares y representativos, especialmente en el análisis del tono de piel. Los desafíos principales identificados son:

• Escalas Insuficientes: La mayoría de los métodos existentes dependen de la escala Fitzpatrick (6 tonos), diseñada originalmente para la respuesta médica a la radiación UV, la cual no representa adecuadamente la diversidad de tonos de piel humana ni ofrece suficiente granularidad.
• Falta de Datos Abiertos: Existen pocos conjuntos de datos de acceso abierto que utilicen la escala Monk Skin Tone (MST) de 10 tonos. Los existentes suelen ser privados, pequeños, o carecen de protocolos de anotación rigurosos.
• Fugas de Datos (Data Leakage): Muchos estudios anteriores cometen errores metodológicos al dividir los datos por imágenes en lugar de por individuos, permitiendo que la misma persona aparezca en los conjuntos de entrenamiento y prueba, lo que infla artificialmente la precisión.
• Ineficacia de Métodos Clásicos: Los enfoques de visión por computadora clásica (CCV) basados en descriptores de color y umbrales han demostrado tener un rendimiento deficiente en entornos "en la naturaleza" (in-the-wild), a menudo funcionando cerca del azar.

2. Metodología Propuesta

Los autores proponen un marco integral que aborda tanto la creación de datos como el desarrollo de modelos:

A. Nuevo Conjunto de Datos: STW (Skin Tone in The Wild)

• Escala: Utiliza la escala MST de 10 tonos, que ofrece una representación continua y más inclusiva que la escala Fitzpatrick.
• Escala y Composición: Contiene 42,313 imágenes de 3,564 individuos, recopiladas de siete conjuntos de datos públicos (LFW, FairFace, CelebA, Casia Face Africa, etc.).
• Protocolo de Anotación: Se implementó una interfaz de anotación jerárquica y estricta. Un anotador experto principal etiquetó todo el conjunto, mientras que dos anotadores independientes validaron una submuestra estratificada.
• Calidad: Se logró un acuerdo inter-anotador excelente (ICC de 0.939 y un 88% de precisión "off-by-one", es decir, errores solo en tonos adyacentes).
• Estrategia de División: Para evitar fugas de identidad, se implementaron dos estrategias de división: IMG (por imagen) e IND (por individuo), asegurando que todos los datos de una misma persona estén exclusivamente en un solo conjunto (entrenamiento, validación o prueba).

B. Modelos y Pipelines

Se compararon dos paradigmas:

1. SkinToneCCV (Visión Clásica): Un pipeline basado en descriptores de color manuales (histogramas multicanal, momentos estadísticos, vectores de coherencia de color) utilizando clasificadores tradicionales (Random Forest, SVM, KNN, etc.).
2. SkinToneNet (Deep Learning): Un modelo basado en Vision Transformer (ViT-Small) preentrenado en ImageNet y fine-tuneado en el conjunto STW.
   • Pérdida: Se utilizó una función de pérdida de entropía cruzada ordinal ponderada para manejar la naturaleza ordenada de los tonos de piel.
   • Aumento de Datos: Se aplicaron transformaciones geométricas y de iluminación (brillo, contraste, matiz) para mejorar la robustez.

C. Evaluación Rigurosa

• Se evaluó la generalización en datos fuera de dominio (out-of-domain) utilizando conjuntos de datos no vistos durante el entrenamiento: MSTE (Monk Skin Tone Example) y CCv2 (Casual Conversations V2).
• Se realizaron auditorías de sesgo en conjuntos de datos faciales populares (CelebA, VGGFace2, FairFace, FACET).

3. Contribuciones Clave

1. Dataset STW: El primer conjunto de datos de acceso abierto a gran escala diseñado específicamente para la clasificación de tonos de piel en la naturaleza, etiquetado con la escala MST de 10 tonos.
2. SkinToneNet: El primer modelo de aprendizaje profundo capaz de reconocer tonos de piel en la naturaleza sobre la escala MST de 10 tonos, logrando un estado del arte en generalización.
3. Benchmark de Visión Clásica: La construcción y evaluación exhaustiva de un pipeline de visión clásica (SkinToneCCV) para establecer una línea base rigurosa.
4. Análisis de Metodología: Demostración empírica de que las divisiones de datos por individuo (IND) son críticas para evitar fugas de datos y que los modelos clásicos fallan estrepitosamente en entornos no controlados.

4. Resultados Principales

• Desempeño de Modelos Clásicos vs. DL:
  • Los modelos de visión clásica (CCVm) obtuvieron resultados cercanos al azar en datos fuera de dominio (bAcc ~0.30-0.34), confirmando su incapacidad para generalizar en entornos "in-the-wild".
  • Los modelos de Deep Learning, específicamente SkinToneNet (ViT-Small), superaron significativamente a las líneas base. En el conjunto de prueba STW, alcanzó una precisión balanceada (bAcc) de 0.449 y una precisión "off-by-one" (wOOAcc) de 0.901.
• Generalización: SkinToneNet mostró una mejora del 10-20% en precisión y del 30-60% en precisión "off-by-one" en comparación con otros modelos en datasets como CCv2 y MSTE.
• Auditoría de Sesgos: Al aplicar SkinToneNet a conjuntos de datos populares (CelebA, VGGFace2, FairFace), se reveló un desequilibrio sistémico grave: casi todos carecen de representatividad significativa para los tonos de piel más oscuros (MST 6 a 10), lo que cuestiona la suposición de equidad en estos conjuntos de datos.
• Análisis de GradCAM: Las visualizaciones mostraron que el modelo ViT-Small aprendió a enfocarse en las regiones de la piel, pero también utilizó características de forma y textura (como el cabello) para ayudar a la percepción bajo iluminación desafiante.

5. Significado e Impacto

Este trabajo establece un nuevo estándar para la investigación sobre equidad en la visión por computadora relacionada con la piel:

• Herramienta de Auditoría: Proporciona una herramienta fiable para auditar la representatividad de tonos de piel en grandes conjuntos de datos públicos y modelos comerciales.
• Validación de Enfoques: Demuestra que los métodos clásicos de procesamiento de color son insuficientes para la clasificación de tonos de piel en la naturaleza y que el aprendizaje profundo con arquitecturas de contexto global (como ViT) es esencial.
• Ética: Los autores enfatizan que la herramienta debe usarse estrictamente para la auditoría de sesgos y la investigación, desaconsejando su uso para perfilado biométrico, vigilancia o categorización automática de individuos sin consentimiento.
• Futuro: Abre la puerta a futuras investigaciones sobre la clasificación de tonos de piel en diversos medios (libros, videos) y la corrección de desequilibrios en datasets existentes.

En resumen, el artículo no solo presenta un nuevo dataset y modelo de alto rendimiento, sino que también expone fallos metodológicos críticos en la literatura actual y proporciona un marco robusto para evaluar y mejorar la equidad en los sistemas de visión artificial.