Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning

Planteamiento del Problema

El artículo aborda el Aprendizaje de Etiquetas Parciales de Instancia Múltiple (MIPL), un marco de supervisión débil que combina los desafíos del Aprendizaje de Instancia Múltiple (MIL) y el Aprendizaje de Etiquetas Parciales (PLL). En MIPL, cada ejemplo de entrenamiento consiste en una "bolsa" de instancias donde las instancias positivas no están identificadas (desafío de MIL), y la etiqueta verdadera está oculta dentro de un conjunto de etiquetas candidatas (desafío de PLL).

Aunque los métodos de MIPL existentes se centran en la desambiguación de etiquetas (identificar la etiqueta verdadera dentro del conjunto de candidatas), los autores identifican una brecha crítica: estos métodos suelen sufrir de una mala calibración del modelo. Los enfoques existentes producen puntuaciones de confianza que no reflejan la probabilidad empírica de corrección. Esto es particularmente problemático en aplicaciones sensibles a la decisión, como la clasificación de imágenes de patología, donde las puntuaciones de confianza guían el triaje y el diagnóstico. Los autores demuestran que adaptar ingenuamente las técnicas de calibración del aprendizaje totalmente supervisado (como la Pérdida Focal o la Pérdida Focal Inversa) al MIPL falla porque la ausencia de etiquetas de verdad de campo (ground-truth) conduce a predicciones subconfiadas o sobreconfiadas y a una reducción de la precisión de la clasificación.

Metodología

Los autores proponen una Pérdida de Desambiguación Calibrable (CDL) plug-and-play diseñada para mejorar tanto la precisión de la clasificación como la calibración sin comprometer el proceso de desambiguación.

1. Mecanismo Central:
La CDL modula un objetivo de desambiguación basado en el momento mediante un margen de predicción de tope contra competidor (top-vs-competitor). La función de pérdida se define como:
$$L_{CDL} = -\sum_{c \in S_i} w^{(t)}_{i,c} (1 - q^{(t)}_i + \Phi(\hat{p}^{(t)}_i))^\gamma \log(\hat{p}^{(t)}_{i,c})$$
Donde:

• $q^{(t)}_i$ es la probabilidad predicha de la etiqueta candidata con mayor rango.
• $\Phi(\hat{p}^{(t)}_i)$ representa la probabilidad de un "competidor".
• El término $(1 - \beta_i)^\gamma$ actúa como un factor de modulación, donde $\beta_i = q^{(t)}_i - \Phi(\hat{p}^{(t)}_i)$ es el margen.

2. Dos Variantes:
El método introduce dos instancias específicas basadas en cómo se define el competidor:

• CDL-CC (Candidato-contra-Candidato): El competidor es la segunda etiqueta candidata con mayor probabilidad. Esta variante enfatiza la separación a nivel de candidato.
• CDL-CN (Candidato-contra-No-Candidato): El competador es la probabilidad más alta entre las etiquetas que no son candidatas. Esta variante enfatiza la supresión de candidato-contra-no-candidato.

3. Ponderación Adaptativa:
La pérdida emplea una estrategia de actualización de pesos basada en el momento para las etiquetas candidatas. Las bolsas de bajo margen (casos ambiguos) retienen señales de desambiguación fuertes (peso de pérdida alto), mientras que las bolsas bien separadas reciben menos incentivo para un afilamiento excesivo de la probabilidad, mitigando así la sobreconfianza.

4. Integración:
La CDL está diseñada para integrarse perfectamente en los marcos de MIPL de espacio embebido existentes. Los autores combinan la CDL con tres mecanismos de atención establecidos:

• Mecanismo de Atención de Desambiguación (DAM)
• Mecanismo de Atención Aditiva Escalada (SAM)
• Mecanismo de Atención Sensible al Margen (MAM)
  Esto genera seis variantes (por ejemplo, DAMCC, SAMCN, MAMCC, etc.).

Análisis Teórico

El artículo proporciona un análisis teórico riguroso de la CDL desde tres perspectivas:

1. A nivel de Pérdida: Se demuestra que la CDL es una versión modulada por margen de la Pérdida de Desambiguación Basada en el Momento (MDL). Los límites teóricos prueban que la CDL preserva la señal de ajuste de la MDL para las bolsas de bajo margen (ambiguas) mientras reduce el peso de las predicciones bien separadas.
2. A nivel de Calibración: Los autores derivan un límite inferior y un límite de alineación de confianza de la pseudo-etiqueta. Demuestran que minimizar el riesgo de la CDL controla la alineación entre la confianza del modelo y los pesos de la pseudo-etiqueta, que es un componente clave del Error de Calibración Esperado (ECE).
3. A nivel de Optimización: El análisis de gradiente revela que la CDL introduce un término adicional de "moldeado de margen". Este término promueve explícitamente un aumento en el margen activo de tope-contra-competidor durante la optimización. Además, a través de las actualizaciones de momento, estos márgenes moldeados se transfieren recursivamente a los futuros pesos de las pseudo-etiquetas, asegurando que el efecto de calibración persista a través de las épocas.

Resultados Experimentales

Los autores evaluaron su enfoque en cuatro conjuntos de datos de referencia (MNIST-MIPL, FMNIST-MIPL, Birdsong-MIPL, SIVAL-MIPL) y siete conjuntos de datos del mundo real (incluyendo varias configuraciones de CRC-MIPL para la clasificación de cáncer colorrectal).

• Precisión de Clasificación: Los métodos propuestos superaron a seis líneas base de estado del arte de MIPL (MIPLGP, DEMIPL, ELIMIPL, MIPLMA, PROMIPL, FASTMIPL) en 67 de los 72 casos de referencia. Las mejoras fueron particularmente significativas en escenarios desafiantes con un mayor número de etiquetas falsos positivos (por ejemplo, una mejora de hasta el 23% en MNIST-MIPL con $r=3$).
• Desempeño de Calibración: Los métodos redujeron significativamente el Error de Calibración Esperado (ECE). En los conjuntos de datos de referencia, la CDL redujo el ECE en más del 50% en 26 de 60 casos, con una reducción media del 44.76%. En los conjuntos de datos del mundo real, los métodos lograron una reducción de más del 10% en el ECE en 33 de 42 casos.
• Diagramas de Fiabilidad: El análisis visual confirmó que, mientras que los métodos de línea base agrupaban las predicciones alrededor de valores de baja confianza (por ejemplo, 0.25) a pesar de la alta precisión, las variantes de CDL produjeron diagramas de fiabilidad donde la confianza predicha coincidía estrechamente con la precisión empírica.

Significancia y Contribuciones

El artículo reclama cuatro contribuciones primarias:

1. Identificación del Problema: Es el primer trabajo que identifica y caracteriza los problemas de calibración del modelo en MIPL, demostrando que los métodos existentes centrados en la desambiguación producen estimaciones de confianza mal calibradas.
2. Innovación Metodológica: La propuesta de la CDL, una función de pérdida plug-and-play con dos instancias complementarias (CC y CN) que equilibran la desambiguación y la calibración mediante la modulación del margen.
3. Fundamento Teórico: Un análisis teórico exhaustivo que establece la CDL como una MDL modulada por margen, derivando límites de calibración y explicando la dinámica de optimización mediante el análisis de gradiente y de momento.
4. Validación Empírica: Experimentos extensos que confirman que la CDL mejora consistentemente tanto la precisión de la clasificación como el desempeño de la calibración en diversos conjuntos de datos de referencia y del mundo real, incluyendo la clasificación de imágenes de patología.

Los autores concluyen que la CDL ofrece una solución robusta para MIPL, permitiendo la construcción de modelos predictivos que no solo son precisos, sino también fiables en sus estimaciones de confianza, lo cual es crucial para el despliegue en el mundo real en campos como el diagnóstico médico.