Searching for Robust Augmentations to Improve Out-of-Domain Generalization in Dermoscopic Skin Cancer Classification

Resumen Técnico: Búsqueda de aumentos robustos para mejorar la generalización fuera del dominio en la clasificación de cáncer de piel dermoscópica

Planteamiento del problema
Los modelos de aprendizaje profundo para la clasificación de lesiones cutáneas dermoscópicas suelen lograr una alta precisión en los conjuntos de prueba internos, pero sufren una degradación significativa del rendimiento cuando se aplican a datos de nuevas fuentes (fuera del dominio, o OOD). Este "desplazamiento de dominio" surge de las variaciones en los dispositivos de imagen, la iluminación, el procesamiento del color y los artefactos de captura entre diferentes clínicas. Mientras que la investigación previa ha estudiado extensamente la selección de arquitecturas y la validación interna, existe una falta de análisis sistemático sobre qué clases específicas de aumentos de datos mejoran eficazmente la robustez ante estos desplazamientos a nivel de fuente. Además, los estudios de aumento existentes suelen optimizar para la validación dentro del dominio, sin abordar el desafío específico de transferir modelos a entornos de adquisición completamente nuevos.

Metodología
El estudio emplea un enfoque centrado en los datos para mejorar la generalización OOD para un clasificador binario de maligno frente a no maligno.

• Conjuntos de datos: El entrenamiento y la evaluación dentro del dominio utilizan una colección multifuente del Archivo ISIC (BCN20000, Derm12345, HIBA, BALD, MILK10k, ISIC 2016–2020) y Derm7pt. Para garantizar una evaluación OOD rigurosa, los conjuntos de datos HAM10000 e ISIC 2019–2020 se mantuvieron totalmente reservados como un conjunto de prueba disjunto de la fuente. Se utilizó un conjunto clínico cerrado independiente (Melanoscope) únicamente para la validación externa final sin influir en la selección del modelo.
• Arquitectura del modelo: Se utilizó un backbone ConvNeXt-Large, inicializado con pesos de ImageNet, con una cabeza de clasificación binaria.
• Búsqueda de aumentos: Los autores realizaron una búsqueda sistemática a través de tres categorías de aumentos:
  1. Aumentos individuales: Transformaciones geométricas y fotométricas individuales.
  2. Combinaciones fotométricas: Emparejamientos fijos o tríos de operadores basados en el color (por ejemplo, ColorJitter, PlanckianJitter, HEStain).
  3. Políticas compuestas: Configuraciones inspiradas en soluciones de competencias y en los propios hallazgos de los autores (por ejemplo, mix, kaggle_strong_hestain).
• Métricas de evaluación: La métrica principal fue el Área Bajo la Curva ROC (ROC-AUC). La evaluación incluyó pruebas dentro del dominio, la prueba OOD disjunta de la fuente y el conjunto independiente de Melanoscope. La significancia estadística se evaluó mediante intervalos de confianza de bootstrap y pruebas de DeLong. El estudio también empleó visualizaciones de t-SNE y Grad-CAM para evaluar cualitativamente la mezcla del espacio de características y los mapas de atención.

Contribuciones clave

1. Búsqueda sistemática de aumentos para OOD: A diferencia de otros estudios que clasifican los aumentos basándose en el rendimiento dentro del dominio, este trabajo busca explícitamente políticas que maximicen el rendimiento en conjuntos de prueba reservados a nivel de fuente.
2. Identificación de la dominancia fotométrica: El estudio identifica que las transformaciones fotométricas (ajustes de color e intensidad) son los principales motores de la robustez OOD, superando a las transformaciones puramente geométricas en este dominio específico.
3. La política "Mix": Los autores proponen una política de aumento compuesta específica llamada mix, que combina transformaciones fotométricas y geométricas moderadas. Se demuestra que esta política produce las mayores ganancias en OOD preservando la precisión dentro del dominio.
4. Protocolo de validación riguroso: El artículo distingue entre los resultados de cribado (estimaciones de punto de ejecución única) y las evaluaciones expandidas (múltiples semillas, intervalos de confianza y conjuntos externos independientes), proporcionando una visión transparente de la varianza y las limitaciones de los hallazgos.

Resultados

• Rendimiento fuera del dominio (OOD): La política mix logró la mayor ganancia en el conjunto de prueba OOD, mejorando el ROC-AUC en +0.0332 respecto al baseline en la fase de cribado. En la evaluación expandida (9,921 imágenes de fuentes reservadas), la mejora fue de +0.053 (IC 95%: +0.045 a +0.061, p < 0.001).
• Rendimiento dentro del dominio: La política mix también mantuvo un efecto positivo en la precisión dentro del dominio, mejorando el ROC-AUC en +0.0061, lo que demuestra que la robustez no se obtuvo a costa del rendimiento interno.
• Robustez a través de las semillas: La ventaja OOD de la política mix persistió en cuatro semillas de entrenamiento diferentes, con rangos de ROC-AUC no superpuestos (Baseline: 0.761–0.775; Mix: 0.806–0.829).
• Validación externa (Melanoscope): En el conjunto de datos independiente de Melanoscope, un único checkpoint mostró un aumento de la sensibilidad de 0.591 a 0.818. Sin embargo, los autores señalan que este resultado se basa en solo 22 casos malignos, no alcanza la significancia estadística en AUC (p = 0.22) y la ventaja desaparece al promediar entre múltiples semillas de entrenamiento.
• Análisis de características: Las visualizaciones de t-SNE indicaron que la política mix redujo el agrupamiento específico de la fuente en el espacio de características en comparación con el baseline. El análisis de Grad-CAM sugirió que el modelo aumentado se centraba de forma más compacta en la lesión en lugar de en los artefactos periféricos.
• Desglose específico por diagnóstico: La mejora OOD fue impulsada principalmente por un aumento en la especificidad de las queratosis benignas (reduciendo los falsos positivos) en lugar de una mejora significativa en la recuperación (recall) de melanoma, que se mantuvo baja (0.26–0.43) en todas las configuraciones.

Significancia y limitaciones
El artículo afirma que los aumentos que modelan las fuentes reales de desplazamiento de dominio (específicamente las variaciones fotométricas) pueden ser más críticos para la generalización OOD que maximizar la precisión dentro del dominio o cambiar la arquitectura del modelo. La política mix se presenta como un paso de línea base simple y reproducible que debería considerarse antes de la validación clínica de los sistemas de apoyo a la decisión.

Sin embargo, los autores califican explícitamente sus afirmaciones:

• Sesgo de selección: La política fue seleccionada utilizando datos de las mismas fuentes utilizadas para la evaluación OOD primaria (HAM10000 e ISIC 2019–2020). Por lo tanto, el tamaño del efecto reportado puede estar sesgado de forma optimista, y los resultados no constituyen una confirmación independiente de la generalización a fuentes enteramente nuevas.
• Evidencia externa limitada: La mejora en el conjunto de datos independiente de Melanoscope no fue estadísticamente significativa y no persistió a través de las semillas de entrenamiento, lo que indica que la robustez observada en las fuentes ISIC/HAM aún no se ha probado para transferirse a un entorno clínico completamente diferente.
• Utilidad clínica: Si bien la especificidad mejoró, la recuperación absoluta para el melanoma sigue siendo baja, lo que sugiere que el modelo es actualmente más adecuado para priorizar casos para revisión que para el diagnóstico autónomo.

Los autores concluyen que, si bien la política mix ofrece una base robusta, el trabajo futuro requiere un protocolo de selección disjunto de la fuente (por ejemplo, dejar una fuente fuera) y la validación en cohortes externas más grandes y diversas para confirmar una generalización imparcial.