Effect of Demographic Bias on Skin Lesion Classification

Resumen Técnico: Efecto del Sesgo Demográfico en la Clasificación de Lesiones Cutáneas

Planteamiento del Problema
Los modelos de aprendizaje profundo para imágenes médicas, aunque alcanzan un alto rendimiento diagnóstico general, suelen exhibir sesgos contra grupos demográficos específicos. En la clasificación de lesiones cutáneas, las disparidades de rendimiento pueden surgir de un sesgo de representación: desequilibrios sistemáticos en los datos de entrenamiento con respecto a atributos protegidos como el sexo y la edad del paciente. Estudios previos han examinado a menudo estos factores de forma aislada o dentro de una única modalidad de imagen sin un control sistemático sobre las distribuciones de los datos. Este estudio aborda la necesidad de una evaluación exhaustiva de cómo los sesgos demográficos controlados en los datos de entrenamiento influyen en el rendimiento del modelo y si estrategias de aprendizaje específicas pueden mitigar estos sesgos de manera efectiva.

Metodología
Los autores emplearon un riguroso flujo de trabajo experimental utilizando tres conjuntos de datos: un subconjunto curado del archivo ISIC (imágenes dermoscópicas) para el entrenamiento y la validación interna, y dos conjuntos de datos externos, PAD-UFES-20 (imágenes de smartphone) y DERM7PT (imágenes dermoscópicas), para la validación entre conjuntos de datos (cross-dataset).

• Construcción de Conjuntos de Datos mediante Programación Lineal (LP): Para garantizar un control preciso sobre las distribuciones demográficas, los autores utilizaron un método de programación lineal en lugar de un muestreo aleatorio. Esto les permitió generar conjuntos de datos de entrenamiento y validación con proporciones predefinidas específicas de sexo (que oscilan desde el 100% masculino hasta el 100% femenino) y edad (abarcando cinco grupos de edad: 0–50, 51–60, 61–70, 71–80 y 81+). Crearon siete escenarios distintos de distribución de sexo y tres esquemas de distribución de edad (sesgado hacia jóvenes, equilibrado, sesgado hacia mayores).
• Arquitecturas de Modelos: Se evaluaron tres arquitecturas basadas en ResNet-50:
  1. Línea Base de Tarea Única (Single-Task Baseline): Un modelo de clasificación binaria estándar para lesiones malignas frente a benignas.
  2. Modelo Multi-tarea Reforzador (Reinforcing Multi-Task Model): Un modelo con una cabeza auxiliar que predice el atributo demográfico (sexo o edad) junto con la tarea de clasificación primaria. Los autores señalan que "reforzador" se refiere a fortalecer la influencia de la señal demográfica para regularizar el codificador compartido, no al aprendizaje por refuerzo.
  3. Modelo Multi-tarea Adversario (Adversarial Multi-Task Model): Un modelo que emplea un esquema de entrenamiento adversario donde el codificador es penalizado por permitir que el atributo demográfico sea predicho a partir de las características aprendidas (minimizando la información mutua), utilizando una pérdida de correlación de Pearson de cuadrado negativo para la edad y entropía cruzada binaria para el sexo.
• Evaluación: Los modelos fueron entrenados en los conjuntos de datos sesgados y evaluados en un conjunto de prueba equilibrado (hold-out) para aislar el efecto del sesgo de entrenamiento. El rendimiento se midió utilizando el Área Bajo la Curva (AUC) para la clasificación y métricas como los puntajes de Brier, el Error Absoluto Medio (MAE) y la correlación de Pearson para las cabezas de predicción demográfica auxiliar. La validación entre conjuntos de datos se realizó sin ajuste fino (fine-tuning) para evaluar la generalización.

Contribuciones Clave

1. Control Extendido mediante Programación Lineal: El estudio extiende trabajos previos al controlar simultáneamente los subgrupos de sexo y edad, introduciendo cinco grupos de edad y tres distribuciones de edad sesgadas, mientras que el trabajo previo se centraba principalmente en el sexo.
2. Evaluación Sistemática de Estrategias: Los autores comparan sistemáticamente las estrategias de tarea única, reforzadora y de aprendizaje adversario a través de un rango granular de distribuciones demográficas, incluyendo desequilibrios extremos (por ejemplo, 95% masculino/5% femenino).
3. Generalización entre Conjuntos de Datos: El estudio introduce un nuevo conjunto de datos dermoscópicos externo (DERM7PT) junto con el de smartphone (PAD-UFES-20), permitiendo un análisis de cómo los cambios de dominio (dermoscópico vs. smartphone) interactúan con el sesgo demográfico.
4. Análisis de la Cabeza Auxiliar: El artículo proporciona un análisis detallado de las cabezas de predicción auxiliares en el modelo reforzador, utilizando su rendimiento (AUC, puntaje de Brier, MAE, correlación) como una herramienta diagnóstica para explicar el éxito o el fracaso de los mecanismos de mitigación de sesgo.

Result Resultados

• Sesgo Basado en el Sexo:
  • El Desequilibrio de Datos Impulsa el Sesgo: Los conjuntos de datos de entrenamiento específicos por sexo generalmente arrojaron el mejor rendimiento para ese sexo específico. El modelo base exhibió un sesgo significativo, funcionando mejor en el sexo mayoritario en los conjuntos de datos sesgados.
  • Limitaciones de la Mitigación: Los modelos reforzador y adversario lograron estrechar o eliminar las brechas de sesgo en los conjuntos de datos equilibrados y con mayoría femenina. Sin embargo, en entornos con mayoría masculina, estas estrategias fueron menos efectivas; los modelos continuaron funcionando mejor para los hombres que para las mujeres. La cabeza auxiliar del modelo reforzador no logró aprender un discriminador robusto en escenarios sesgados hacia los hombres (altos puntajes de Brier para el grupo femenino minoritario), lo que provocó un colapso del efecto de regularización.
  • Asimetría: Se observó una asimetría donde el entrenamiento dominado por hombres mejoró significamente el rendimiento masculino, pero el entrenamiento dominado por mujeres no produjo un impulso comparable para el rendimiento femenino en el conjunto de datos ISIC, lo que sugiere que los modelos pueden sobreajustarse a señales específicas de los hombres.
• Sesgo Basado en la Edad:
  • Declive Persistente: A diferencia del sesgo de sexo, que fue impulsado principalmente por el desequilibrio de los datos, los descensos de rendimiento relacionados con la edad persistieron incluso con un entrenamiento equilibrado. Los grupos de edad más jóvenes (A1: 0–50) alcanzaron consistentemente el mayor rendimiento, mientras que el rendimiento declinó progresivamente en los grupos de edad más avanzados.
  • Atajos y Correlación: La cabeza de predicción de edad auxiliar mostró una correlación moderada en entornos equilibrados, pero una fuerte correlación en entornos sesgados hacia edades avanzadas para la cohorte más joven, lo que sugiere que el modelo dependía de atajos específicos de la edad cuando las distribuciones estaban desequilibradas.
  • Beneficios del Entrenamiento Equilibrado: Aunque el entrenamiento equilibrado mejoró el rendimiento para la categoría de edad A4 en comparación con el entrenamiento sesgado hacia los más jóvenes, no eliminó la tendencia general de declive de rendimiento con la edad.
• Validación entre Conjuntos de Datos:
  • Impacto del Cambio de Dominio: La validación externa en PAD-UFES-20 (smartphone) y DERM7PT (dermoscópico) reveló caídas significativas de rendimiento en comparación con la validación interna, resaltando el impacto del cambio de dominio (modalidad de imagen y protocolo de adquisición).
  • Variación de Patrones de Sesgo: Los patrones de sesgo demográfico observados en el conjunto de datos ISIC no se replicaron totalmente en los conjuntos de datos externos. Por ejemplo, el modelo adversario mostró una mejora en el rendimiento para pacientes femeninas en cohortes dominadas por mujeres en el conjunto de datos PAD-UFES-20, contrastando con los resultados de ISIC.

Significancia y Reivindicaciones
El artículo sostiene que las brechas de rendimiento relacionadas con el sexo en la clasificación de lesiones cutáneas son impulsadas principalmente por los desequilibrios en los conjuntos de entrenamiento, los cuales pueden mitigarse parcialmente mediante estrategias de aprendizaje multi-tarea y adversario, particularmente cuando la clase minoritaria está suficientemente representada para entrenar las cabezas auxiliares. En contraste, las disparidades de rendimiento relacionadas con la edad parecen derivar de diferencias biológicas o fisiológicas intrínsecas (por ejemplo, cambios en la textura de la piel, arrugas) que persisten incluso con un muestreo equilibrado, lo que sugiere que el reequilibrio de datos por sí solo es insuficiente para la equidad de edad.

Los autores enfatizan que los mecanismos de sesgo son complejos y dependen del conjunto de datos. Concluyen que, si bien sus métodos avanzan en la IA equitativa al identificar fuentes específicas de disparidad, la interacción entre factores explícitos (distribución de datos, protocolos de adquisición) y factores implícitos (variaciones biológicas, diferencias geográficas) requiere un mayor desentrañamiento. El estudio sirve como un pilar para el desarrollo de sistemas de IA en salud más sofisticados al demostrar que se requieren diferentes estrategias de mitigación para diferentes tipos de sesgo demográfico.