Resumen Técnico: UniDerm – Un Modelo Fundacional de Dermatología Abierto

Planteamiento del Problema

Las enfermedades de la piel representan una carga de enfermedad global importante, pero el acceso a dermatólogos capacitados es severamente limitado, particularmente en países de ingresos bajos y medios. Si bien los modelos fundacionales han demostrado el potencial para extender la atención de nivel especialista, los sistemas de vanguardia actuales (por ejemplo, PanDerm) dependen de cohortes clínicas privadas que son inaccesibles para la mayoría de las instituciones de investigación. Además, estos sistemas suelen publicar únicamente los pesos del modelo sin los datos de entrenamiento o las recetas, lo que impide la reproducción independiente, la auditoría de sesgos o el refinamiento impulsado por la comunidad.

Un desafío técnico específico al aprovechar los datos públicos de dermatología es la limitación de "una imagen-muchos textos". Los conjuntos de datos públicos típicamente emparejan una única imagen de la piel con múltiples descripciones textuales heterogéneas (por ejemplo, diagnóstico, sitio corporal, conceptos visuales, pies de foto clínicos). El aprendizaje contrastivo estándar (por ejemplo, arquitecturas CLIP de dos torres) obliga a un único embedding de imagen fijo a alinearse con todos estos textos simultáneamente. Este efecto de promedio actúa como un filtro de paso bajo, descartando detalles de alta frecuencia y específicos de la tarea, y tratando las distintas señales de supervisión como ruido, lo que degrada la capacidad del modelo para distinguir características finas.

Metodología

Los autores presentan UniDerm, un modelo fundacional de dermatología totalmente abierto entrenado exclusivamente con datos de imagen-texto disponibles públicamente. La innovación central es el aprendizaje contrastivo de eliminación de ruido de supervisión, que aborda el problema de una imagen-muchos textos mediante dos mecanismos:

1. Arquitectura condicionada por instrucciones: A diferencia de los modelos de dos torres, UniDerm utiliza un transformador unificado de visión-lenguaje. Una imagen ($I$) y una instrucción de sistema en lenguaje natural ($S$) se concatenan en un único flujo de tokens. Esto permite al modelo generar diferentes embeddings específicos para la tarea para la misma imagen dependiendo de la instrucción (por ejemplo, "Diagnostique esta lesión" frente a "Identifique la red pigmentaria").
2. Objetivo de eliminación de ruido de supervisión: El objetivo de entrenamiento empareja el embedding de la imagen condicionado por la instrucción ($E(I, S)$) únicamente con el texto objetivo específico ($T$) que responde a esa instrucción. Esto descompone el problema de múltiples objetivos en problemas de un solo objetivo, recuperando la supervisión detallada que el promedio descartaría de otro modo.

Datos de entrenamiento y receta:

• Cuerpo: El modelo fue entrenado con 505,658 imágenes únicas de cinco fuentes (Derm1M, ISIC2019, SCIN, PubMed Central Open Access y BIOMEDICA), sumando más de 5.7 millones de pares de instrucción-objetivo.
• Síntesis: Los pares imagen-texto originales fueron expandidos en pares de instrucción-objetivo específicos para cada tarea mediante la síntesis de instrucciones multitarea (diagnóstico, codificación ICD-11, descripción morfológica, pie de foto clínico) y la aumentación de la ontología ICD-11 (usando definiciones oficiales y muestreo de hermanos negativos difíciles).
• Apertura: Los pesos del modelo, el código y la "receta de datos" (instrucciones para reconstruir el cuerpo de datos a partir de fuentes públicas) se publican todos bajo la licencia Apache-2.0. No se utilizaron cohortes clínicas privadas.

Variantes del modelo:

• UniDerm: Un transformador unificado de 2.07 mil millones de parámetros.
• UniDerm-VE-lite: Un modelo de 0.1 mil millones de parámetros derivado mediante la poda estructural del codificador visual de UniDerm y su destilación sin etiquetas, diseñado para el despliegue en hardware que solo posea CPU.

Contribuciones Clave

1. Sistema totalmente abierto: UniDerm es el primer modelo fundacional de dermatología donde los pesos, el código y la receta de datos son totalmente públicos, lo que permite la reproducción y auditoría independiente.
2. Aprendizaje contrastivo de eliminación de ruido de supervisión: Un paradigma de entrenamiento novedoso que resuelve el ruido introducido por el promedio de objetivos de texto heterogéneos, permitiendo al modelo aprender representaciones finas y específicas de la tarea a partir de datos públicos.
3. Eficiencia de etiquetas: El modelo alcanza un rendimiento de vanguardia utilizando significativamente menos etiquetas de expertos que los modelos de cohortes privadas.
4. Inferencia sensible al contexto: Al fusionar el contexto del paciente (edad, sitio, síntomas) directamente en el flujo de tokens, UniDerm mejora la precisión diagnóstica, mientras que los modelos de dos torres a menudo se degradan cuando se añade contexto.
5. Equidad en el rendimiento: El modelo demuestra robustez a través de los tonos de piel de Fitzpatrick, particularmente en pieles oscuras (FST V–VI), donde muchos sistemas existentes fallan.

Resultados

UniDerm fue evaluado en 11 evaluaciones que abarcan cinco continentes y ocho países, cubriendo dermatoscopia y fotografía clínica.

• Eficiencia de etiquetas: En el sondeo lineal de pocos disparos (10% de etiquetas), UniDerm superó al PanDerm de cohorte privada por 20.2 puntos porcentuales (ganancia relativa del 46.8%) en la precisión equilibrada media. Con el 30% de las etiquetas, UniDerm igualó el rendimiento de pleno etiquetado (100%) de PanDerm.
• Rendimiento Zero-Shot: UniDerm ocupó el primer lugar en las siete evaluaciones de diagnóstico zero-shot, superando tanto a los modelos de datos públicos como al PanDermLIP de cohorte privada.
• Estudios de lectores:
  • En el subconjunto Tschandl-948 (panel de 302 lectores), la detección de malignidad zero-shot de UniDerm (AUROC 0.917) igualó el consenso de los lectores (AUROC 0.914), y su versión de pocos disparos (AUROC 0.946) superó significativamente al mismo.
  • En la evaluación de Imágenes de Dermatología Diversas (DDI), UniDerm superó a todos los comparadores en el subgrupo FST V–VI (piel oscura) (AUROC 0.770 frente a 0.681 del siguiente mejor), siendo el único modelo que mejora en lugar de degradarse en pieles oscuras.
• Eficiencia: UniDerm-VE-lite (0.1B de parámetros) superó a PanDerm (0.3B de parámetros) en todas las evaluaciones, funcionando 3.1 veces más rápido en cuatro hilos de CPU sin necesidad de una GPU.
• Capacidades de búsqueda: UniDerm lideró en la búsqueda de concepto-a-imagen y en la búsqueda de evidencia transmodal, permitiendo a los clínicos recuperar imágenes basadas en características clínicas o descripciones textuales.

Significado y Reivindicaciones

El artículo argumenta que UniDerm demuestra que se puede construir IA médica de nivel especialista utilizando únicamente datos públicos, desafiando la premisa de que el rendimiento de grado clínico requiere cohortes privadas y propietarias.

• Democratización: Al eliminar la dependencia de datos privados y hardware costoso (mediante la variante ligera VE-lite), el modelo permite que comunidades con pocos recursos construyan, auditen y posean sus propias herramientas de diagnóstico en lugar de comprar productos propietarios.
• Transparencia y Responsabilidad: La total apertura permite la auditoría de sesgos independiente y el refinamiento iterativo por parte de la comunidad, abordando la naturaleza de "caja negra" de los sistemas de cohortes privadas.
• Generalizabilidad: Los autores postulan que el paradigma de eliminación de ruido de supervisión no es específico de la dermatología y podría servir como plantilla para otros campos médicos con abundancia de datos pero escasez de expertos, como la radiología y la patología.

Los autores mantienen una postura modesta, señalando que aunque el modelo alcanza las referencias de lectores publicados, estas son comparaciones retrospectivas. Enfatizan que se requiere una validación prospectiva y multisitio antes de que se puedan hacer afirmaciones de preparación clínica. Además, el corpus de entrenamiento está limitado por la licencia más restrictiva de sus componentes (CC BY-NC 4.0), y los autores publican una receta en lugar del corpus agregado bruto para cumplir con las licencias de datos.