Disentangling Model and Human Data Uncertainty in Apparent Facial Age Estimation

Resumen Técnico: Desentrañando la incertidumbre de los datos del modelo y del humano en la estimación de la edad facial aparente

Planteamiento del problema
La estimación de la edad facial es una tarea de regresión desafiante debido a la naturaleza subjetiva de la "edad aparente", la cual depende de rasgos de envejecimiento visual en lugar de la realidad cronológica. A diferencia de una regresión estándar donde existe un único valor de verdad (ground truth), la estimación de la edad aparente implica un desacuerdo humano inherente; diferentes anotadores pueden asignar edades distintas a la misma imagen basándose en sesgos individuales o percepciones culturales. En consecuencia, un modelo robusto no solo debe predecir la edad más probable, sino también cuantificar la fiabilidad de esa predicción. Los modelos de aprendizaje automático actuales suelen emitir una única estimación puntual, fallando al distinguir entre dos fuentes distintas de incertidumbre:

1. Incertidumbre Aleatoria: Ruido inherente en los datos (p. ej., el desacuerdo de los anotadores).
2. Incertidumbre Epistémica: Incertidumbre derivada de la falta de conocimiento del modelo (p. ej., datos de entrenamiento limitados, generalización deficiente).

Si bien existen métodos para desentrañar estas incertidumbres, la literatura reciente sugiere que a menudo no logran separarlas eficazmente en tareas de clasificación. No está claro si este desentrañamiento tiene éxito en tareas de regresión como la estimación de la edad.

Metodología
Los autores utilizan el conjunto de datos APPA-REAL, que contiene 7,591 imágenes anotadas por múltiples evaluadores humanos, proporcionando tanto la media de la edad aparente como la desviación estándar de esas calificaciones. Este conjunto de datos permite la supervisión directa de la incertidumbre aleatoria humana.

• Arquitectura del Modelo: El sistema propuesto es una arquitectura de regresión de múltiples salidas basada en un backbone DenseNet-121 (preentrenado en ImageNet). La red se ramifica en dos cabezales:
  • Un Cabezal de la Media que predice la edad aparente.
  • Un Cabezal de la Varianza que predice la desviación estándar (incertidumbre aleatoria), utilizando una activación Softplus para asegurar valores positivos.
• Estrategia de Entrenamiento: El modelo se entrena mediante un flujo de trabajo de tres fases: entrenamiento inicial de tarea única (solo media), entrenamiento multitarea (media y varianza) y ajuste fino (fine-tuning). El cabezal de la varianza es supervisado explícitamente utilizando la desviación estándar de los votos humanos del conjunto de datos, tratando el desacuerdo humano como la verdad fundamental para la incertidumbre aleatoria.
• Desentrañamiento de la Incertidumbre: Para separar la incertidumbre aleatoria de la epistémica, los autores emplean tres aproximaciones de Redes Neuronales Bayesianas (BNN):
  1. MC-DropConnect
  2. Flipout
  3. Deep Ensembles
     La incertidumbre epistémica se calcula como la varianza de las predicciones a través de múltiples pasadas hacia adelante (o miembros del ensamble) para la misma entrada, mientras que la incertidumbre aleatoria es la varianza aprendida de la distribución de salida.
• Diseño Experimental: Los modelos fueron entrenados en siete tamaños de subconjuntos diferentes del conjunto de datos (1%, 5%, 10%, 25%, 50%, 75%, 100%) para observar cómo las métricas de incertidumbre escalan con la disponibilidad de datos.

Contribuciones Clave

1. Supervisión Explícita de la Incertidumbre Humana: El estudio incorpora el desacuerdo de los anotadores humanos directamente en el proceso de entrenamiento, permitiendo que el modelo aprenda la incertidumbre aleatoria como un objetivo específico en lugar de inferirla indirectamente.
2. Desentrañamiento en Regresión: El artículo investiga si las incertidumbres aleatoria y epistémica pueden separarse con éxito en un entorno de regresión, contrastando con hallazgos previos en clasificación.
3. Análisis Empírico del Escalamiento de Datos: Los autores evalúan sistemáticamente cómo se comportan diferentes métodos de estimación de la incertidumbre a medida que cambia el volumen de datos de entrenamiento, probando específicamente la hipótesis de que la incertidumbre epistémica disminuye con más datos, mientras que la incertidumbre aleatoria permanece estable.

Resultados

• Tendencias de Incertidumbre:
  • Incertidumbre Aleatoria: Permaneció mayormente estable en todos los tamaños de conjunto de datos (estabilizándose en aproximadamente 18 años², o ~4.2 años de desviación estándar). Esto confirma que el desacuerdo humano es una propiedad inherente de los datos, independiente del tamaño de entrenamiento del modelo.
  • Incertidumbre Epistémica: Exhibió una relación inversa con el tamaño del conjunto de datos. A medida que aumentaban los datos de entrenamiento, la incertidumbre epistémica disminuía. DropConnect mostró la reducción más pronunciada (de ~12.9 años² con el 5% de datos a ~6.0 años² con el 100%), mientras que Deep Ensembles mantuvo una incertidumbre epistémica consistentemente baja independientemente del tamaño de los datos. Flipout mostró un comportamiento menos estable y no monotónico.
• Desempeño Predictivo:
  • Deep Ensembles logró la mejor precisión predictiva general (Error Absoluto Medio de 8.0 años con el 100% de los datos, $R^2$ de 0.61).
  • DropConnect le siguió de cerca (MAE de 8.3 años, $R^2$ de 0.58).
  • Flipout convergió más lentamente (MAE de 8.9 años, $R^2$ de 0.53).
• Generalización: Al ser probado en el conjunto de datos UTKFace, los modelos mostraron un aumento en las tasas de error. Sin embargo, las métricas de incertidumbre generalmente reflejaron esta degradación, con la incertidumbre epistémica aumentando para DropConnect y Ensembles, lo que sugiere que los modelos pueden detectar cambios en la distribución.

Significancia y Reivindicaciones
El artículo sostiene que el desentrañamiento de la incertidumbre no solo es factible en tareas de regresión, sino que es potencialmente más estable e interpretable que en las tareas de clasificación. Los resultados validan la distincción teórica entre los dos tipos de incertidumbre:

• La incertidumbre aleatoria se confirma como inherente a los datos, permaneciendo constante independientemente de la capacidad del modelo o el volumen de datos.
• La incertidumbre epistémica se confirma como dependiente del modelo, disminuyendo a medida que el modelo gana exposición a los datos.

Los autores concluyen que Deep Ensembles ofrece el desempeño predictivo bruto y la robustez más fuertes, mientras que DropConnect proporciona las tendencias epistémicas más sensibles e interpretables, lo que lo hace adecuado para aplicaciones que requieren una estimación de confianza precisa. El estudio destaca el valor de los modelos que pueden cuantificar por qué están inciertos (ruido de datos vs. falta de conocimiento), lo cual es crítico para aplicaciones de alto riesgo como la aplicación de restricciones de edad de contenido.

Limitaciones
Los autores señalan varias restricciones:

• Subconjuntos Pequeños: Los modelos entrenados con subconjuntos muy pequeños (1% de datos) sufrieron de subajuste (underfitting), lo que hace que sus estimaciones de incertidumbre no sean fiables.
• Sesgo del Conjunto de Datos: El conjunto de datos APPA-REAL está sesgado hacia el rango de edad de 20 a 40 años, lo que podría limitar la generalización a niños y ancianos.
• Homogeneidad Arquitectónica: El estudio se basó exclusivamente en DenseNet-121; los comportamientos de la incertidancia podrían diferir con otras arquitecturas como ResNet o Vision Transformers.
• Estabilidad del Método: Flipout demostró inestabilidad en sus aproximaciones de inferencia variacional, particularmente en tamaños de conjunto de datos intermedios.