🤖 machine learning

Conformal Risk Minimization for Semi-Supervised Domain Adaptation via Optimal Transport

Este artículo propone un marco de extremo a extremo para la Adaptación de Dominio Semi-Supervisada que integra la Minimización de Riesgo Conforme con el Transporte Óptimo para generar pseudoetiquetas, permitiendo el entrenamiento de modelos que producen conjuntos de predicción compactos y de cobertura válida a pesar de contar con datos de destino etiquetados limitados.

Autores originales: Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de alto riesgo del diagnóstico médico, un modelo de aprendizaje automático suele entrenarse con datos de un grupo de pacientes, pero debe utilizarse para diagnosticar a un grupo diferente. Este cambio en la población crea una brecha oculta: el modelo podría reconocer patrones que nunca ha visto antes, lo que provoca errores que podrían perjudicar a un paciente. Para generar confianza, los médicos necesitan más que una simple suposición; necesitan saber qué tan seguro está el modelo. Un método llamado predicción conformal ofrece una solución al proporcionar una lista de posibles diagnósticos en lugar de uno solo. Esta lista garantiza contener la respuesta correcta un porcentaje específico de las veces, proporcionando una red de seguridad a los clínicos. Sin embargo, surge un problema importante cuando estas listas se generan después de que el modelo ya ha sido entrenado. Debido a que el proceso de entrenamiento no consideró cómo se formarían estas listas, los resultados suelen ser demasiado extensos para ser útiles, conteniendo tantas posibilidades que un médico no puede tomar una decisión.

Investigadores de la Universidad de Duke han desarrollado un nuevo enfoque para solucionar este problema, específicamente para situaciones en las que los datos etiquetados para el nuevo grupo de pacientes son escasos. Crearon un sistema que enseña al modelo a pensar en el tamaño de sus futuras listas de diagnóstico mientras todavía está aprendiendo. Al combinar una técnica que alinea diferentes poblaciones de pacientes con un método que optimiza para obtener listas más pequeñas y precisas, construyeron un modelo que produce conjuntos compactos y fiables de diagnósticos potenciales. Su trabajo sugiere que, al planificar la incertidumbre durante la fase de entrenamiento en lugar de añadirla después, la IA médica puede volverse tanto más precisa como más práctica para el uso en el mundo real.

El desafío central que el equipo abordó se conoce como adaptación de dominio semisupervisada. Imagine a un médico que ha estudiado miles de imágenes de piel de un hospital, pero que ahora debe diagnosticar a pacientes en un hospital diferente donde solo hay un puñado de imágenes etiquetadas. Los pacientes del nuevo hospital podrían tener diferentes tonos de piel, condiciones de iluminación o equipos, lo que crea un "desplazamiento de distribución" que confunde al modelo. Los métodos tradicionales intentan cerrar esta brecha enseñando al modelo a ignorar las diferencias entre los dos hospitales y centrarse solo en las características que importan para el diagnóstico. Sin embargo, estos métodos suelen apuntar únicamente a la respuesta más probable. No les importa el tamaño de la red de seguridad que el modelo proporcionará eventualmente.

Cuando los investigadores aplican la predicción conformal a estos modelos preentrenados como un paso final, la red de seguridad a menudo se convierte en una red tan amplia que atrapa todo. Esto sucede porque el modelo nunca fue entrenado para minimizar el número de opciones que ofrece. El equipo de Duke se dio cuenta de que, para obtener una lista útil, el modelo debe ser entrenado con la lista en mente desde el principio. Propusieron un marco llamado CP-JDOT, que integra el objetivo de crear listas pequeñas y eficientes directamente en el proceso de entrenamiento. Esto permite que el modelo aprenda una representación de los datos que conduce naturalmente a predicciones más ajustadas y seguras.

Para que esto funcione con muy pocos ejemplos etiquetados del nuevo hospital, los investigadores utilizaron una herramienta matemática llamada transporte óptimo. Piense en esta herramienta como una forma de emparejar cada paciente no etiquetado del nuevo hospital con un paciente similar del antiguo, tomando efectivamente prestado el diagnóstico del antiguo paciente para guiar al nuevo. Esto crea "pseudoetiquetas" que actúan como un puente, permitiendo que el modelo aprenda de la abundancia de datos del hospital de origen mientras se adapta a las necesidades específicas del hospital de destino. El sistema luego utiliza el pequeño número de ejemplos etiquetados reales del hospital de destino para establecer un umbral de qué tan grandes deben ser las listas de predicción.

Los investigadores probaron su método en dos escenarios diferentes. Primero, utilizaron un benchmark estándar de reconocimiento de objetos que involucra imágenes de cuatro dominios diferentes: arte, clipart, productos y fotografías del mundo real. Simularon la difícil condición donde solo uno o tres ejemplos etiquetados por categoría estaban disponibles para el dominio de destino. En estas pruebas, su método produjo consistentemente listas de predicción más pequeñas que los mejores métodos existentes, reduciendo el número promedio de opciones en aproximadamente un cinco a diez por ciento. Esta mejora fue significativa incluso en casos donde la transferencia entre dominios era difícil, lo que sugiere que el enfoque es robusto.

También aplicaron el método a una tarea médica más crítica: la clasificación de lesiones cutáneas. Utilizando datos del conjunto de datos HAM10000 como fuente, probaron el modelo en cinco conjuntos de datos de destino que representan diversas condiciones de imagen de la piel. Aquí, los resultados fueron aún más impactantes. El nuevo método redujo el tamaño promedio de las listas de predicción hasta en un doce por ciento en comparación con enfoques anteriores. Esto significa que, para un médico que observa una lesión cutánea, el modelo ofrecería una lista mucho más corta de condiciones potenciales, haciendo que el diagnóstico sea más rápido y accionable, manteniendo al mismo tiempo la rigurosa garantía de que el diagnóstico correcto está incluido en la lista.

Más allá de simplemente hacer las listas más pequeñas, los investigadores demostraron que su marco de trabajo puede ajustarse para respetar reglas médicas específicas. En el diagnóstico del cáncer de piel, es peligroso tener una lista que incluya posibilidades benignas y malignas simultáneamente, ya que esto crea una señal confusa para el médico. El equipo modificó su pérdida de entrenamiento para penalizar tales listas contradictorias. Cuando hicieron esto, el número de listas mixtas y confusas disminuyó drásticamente, entre un sesenta y un setenta y cinco por ciento en los diferentes conjuntos de datos. La compensación fue un aumento muy ligero en el tamaño general de las listas, pero el resultado fue un conjunto de predicciones que no solo eran estadísticamente válidas, sino también semánticamente coherentes y clínicamente útiles.

Los hallazgos sugieren que la forma tradicional de entrenar modelos de IA —optimizando para una única respuesta correcta y luego tratando de arreglar la incertidumbre después— es fundamentalmente limitada. Al integrar el objetivo de la cuantificación de la incertidumbre eficiente directamente en el proceso de aprendizaje, el modelo aprende a producir salidas que son inherentemente mejores para la toma de decisiones de alto riesgo. Los investigadores demostraron que es posible entrenar un modelo que sea consciente de sus propias limitaciones y de la estructura de sus futuras predicciones, incluso cuando los datos son escasos. Este enfoque ofrece un camino prometedor hacia una IA médica que no solo sea precisa, sino también confiable y alineada con las necesidades prácticas de los clínicos.

Resumen Técnico: Minimización de Riesgo Conformal para la Adaptación de Dominio Semi-Supervisada mediante Transporte Óptimo

1. Definición del Problema

En aplicaciones clínicas de alto riesgo, los modelos de aprendizaje automático suelen enfrentarse a un cambio de distribución cuando se entrenan en una población de pacientes de origen (source) y se despliegan en una población de destino (target). Aunque la Adaptación de Dominio Semi-Supervisada (SSDA) aborda esto aprovechando datos etiquetados de origen y datos etiquetados limitados de destino para mejorar la precisión de la predicción puntual, los métodos de SSDA existentes no logran proporcionar una cuantificación de la incertidumbre con fundamentos sólidos.

La Predicción Conformal (CP) convencional ofrece garantías de cobertura libres de distribución, pero normalmente se aplica de forma post-hoc a modelos pre-entrenados. Este enfoque suele generar conjuntos de predicción prohibitivamente grandes porque el modelo subyacente fue optimizado para la precisión puntual, no para la geometría de las puntuaciones de no conformidad que dicta el tamaño del conjunto. Aunque la Minimización de Riesgo Conformal (CRM) integra la optimización del tamaño del conjunto directamente en el entrenamiento, tradicionalmente requiere grandes conjuntos de datos etiquetados para calcular los umbrales de no conformidad durante el entrenamiento, un recurso escaso en el régimen de SSDA.

El problema central abordado es: ¿Cómo podemos entrenar óptimamente los predictores conformes para tareas de adaptación de dominio semi-supervisada donde los datos etiquetados en el dominio de destino son limitados?

2. Metodología: CP-JDOT

Los autores proponen CP-JDOT, un marco de trabajo de extremo a extremo que integra la Minimización de Riesgo Conformal dentro de un marco de Adaptación de Dominio Conjunta (JDOT) utilizando Transporte Óptimo (OT). El método está diseñado para optimizar un modelo predictivo $f_\theta$ (que comprende una función de incrustación $g$ y un clasificador $h$ ) para producir conjuntos de predicción compactos y con cobertura válida en el dominio de destino.

2.1 Componentes Principales

El objetivo de entrenamiento minimiza una función de pérdida compuesta:
$\min_{\theta} L_{cls}(f_\theta) + \lambda_1 L_{DA}(f_\theta) + \lambda_2 L_c(f_\theta)$
Donde:

$L_{cls}$ : Pérdida de clasificación (adaptada para el aprendizaje entre dominios).
$L_{DA}$ : Pérdida de alineación de dominio.
$L_c$ : Pérdida de alineación conformal (penalizando los conjuntos de predicción grandes).

2.2 El Bucle de Entrenamiento

El algoritmo opera de manera iterativa estocástica utilizando dos minibatches: uno del conjunto de origen etiquetado ( $S$ ) y otro del conjunto de destino no etiquetado ( $T_u$ ).

Estimación del Umbral: En cada iteración, se calcula un cuantil diferenciable $(1-\alpha)$ de las puntuaciones de no conformidad utilizando el pequeño conjunto de destino etiquetado ( $T_l$ ). Este $\tau$ sirve como el umbral conformal.
Acoplamiento de Transporte Óptimo: El marco utiliza la Adaptación de Dominio Conjunta para mapear los dominios de origen y destino en un espacio latente compartido. Emplea el Transporte Óptimo (OT) para calcular un acoplamiento $\gamma$ entre las muestras de origen y las muestras de destino no etiquetadas. Este acoplamiento transfiere las etiquetas de origen a las instancias de destino como pseudoetiquetas, proporcionando la señal de supervisión necesaria para los datos de destino no etiquetados.
Optimización de la Pérdida: El modelo se actualiza mediante descenso de gradiente estocástico para minimizar una pérdida total que incluye:
- ERM de Origen: Error de Riesgo Empírico (ERM) estándar de entropía cruzada sobre los datos de origen etiquetados para estabilizar el entrenamiento.
- Alineación de Dominio ( $L_{DA}$ ): Utiliza Transporte Óptimo Geométrico (GOT) para alinear las distribuciones de características entre el origen y el destino.
- Clasificación Conformal ( $L_{cls}$ ): Una penalización diferenciable que asegura que el conjunto conformal para una muestra de destino incluya la etiqueta de origen propagada por el OT.
- Eficiencia Conformal ( $L_c$ ): Un término de penalización que minimiza la cardinalidad esperada (tamaño) de los conjuntos de predicción para las muestras de destino no etiquetadas.

2.3 Restricciones Específicas del Dominio

El marco permite la incorporación de conocimiento de dominio modificando la pérdida de clasificación por una pérdida de control ( $L_{control}$ ). Esto permite aplicar penalizaciones a composiciones de conjuntos específicas. Por ejemplo, en la clasificación de lesiones cutáneas, la pérdida puede penalizar los conjuntos de predicción que incluyen simultáneamente clases mutuamente excluyentes (por ejemplo, diagnósticos benignos y malignos), asegurando la coherencia semántica incluso si esto aumenta ligeramente el tamaño del conjunto.

3. Contribuciones Clave

Marco CP-JDOT: Un nuevo marco de entrenamiento SSDA que integra CRM dentro de un entorno de Adaptación de Dominio Conjunta con Transporte Óptimo. Este cierra la brecha entre el CRM supervisado y la SSDA aprovechando las pseudoetiquetas derivadas de OT para calibrar los predictores conformes en un espacio de características alineado globalmente utilizando solo un pequeño conjunto de datos de destino etiquetados.
Control de la Composición del Conjunto: El método demuestra que la incorporación del objetivo conformal directamente en el bucle de entrenamiento permite el uso de términos de penalización adaptados a los requisitos específicos del dominio. Esto permite controlar la composición del conjunto (por ejemplo, mitigando la "confusión de cobertura" al excluir clases conflictivas), produciendo conjuntos de predicción que son estadísticamente válidos y semánticamente significativos.
Superioridad Empírica: El análisis riguroso muestra que el enfoque de extremo a extremo supera consistentemente a los métodos de SSDA actuales seguidos de envoltorios (wrappers) conformes post-hoc. El método logra tamaños de conjunto de predicción promedio más pequeños mientras preserva las garantías de cobertura.

4. Resultados Experimentales

Los autores evaluaron CP-JDOT en dos entornos de referencia:

Office-Home: Un benchmark estándar de adaptación de dominio con 12 direcciones de transferencia de pares (Art, Clipart, Product, Real World) utilizando ResNet-34 en configuraciones de 1-shot y 3-shot.
Clasificación de Lesiones Cutáneas: Un entorno de imagen médica que transfiere de HAM10000 (origen) a cinco dominios de destino (PH2, Derm7pt, MSK, SONIC, UDA) utilizando ResNet-18 con 10 muestras de destino etiquetadas por clase.

Hallazgos Clave:

Reducción del Tamaño del Conjunto: CP-JDOT logró consistentemente los tamaños de conjunto de predicción promedio más pequeños, superando a los mejores baselines (por ejemplo, MME, CDAC, DECOTA) en aproximadamente un 5–10% en Office-Home y hasta un 12% en los conjuntos de datos de lesiones cutáneas.
Precisión vs. Eficiencia: Notablemente, CP-JDOT logró estas mejoras incluso cuando tenía hasta un 10% menos de precisión top-1 que los baselines de SSDT más fuertes. Esto respalda la hipótesis de que los objetivos de precisión convencionales están desalineados con la eficiencia del tamaño del conjunto de predicción conformal.
Control Semántico: En el estudio de ablación de lesiones cutáneas, reemplazar la pérdida estándar con $L_{control}$ redujo la proporción de "conjuntos conflictivos" (que contienen tanto clases benignas como malignas) en un 60–75% en todos los conjuntos de datos, con solo un modesto aumento en el tamaño promedio del conjunto.

5. Significado y Reivindicaciones

El artículo afirma que CP-JDOT proporciona una base útil para desarrollar modelos adaptativos de dominio donde la cuantificación de la incertidumbre no se trata como un paso de post-procesamiento separado. Al optimizar conjuntamente la adaptación de dominio y los objetivos conformes, el marco produce conjuntos de predicción que son:

Compactos: Significativamente más pequeños que los generados por la calibración post-hoc de modelos optimizados para la precisión.
Válidos en Cobertura: Manteniendo rigurosas garantías libres de distribución.
Clínicamente Accionables: Capaces de incorporar restricciones específicas del dominio (por ejemplo, excluir diagnósticos contradictorios) directamente en el proceso de entrenamiento.

Los autores enfatizan que este enfoque es particularmente crítico en entornos de alto riesgo como la atención médica, donde la composición de un conjunto de predicción (por ejemplo, evitar una mezcla de diagnósticos benignos y malignos) es tan importante como su tamaño para la toma de decisiones clínicas.