Improving Detection of Rare Nodes in Hierarchical Multi-Label Learning

Resumen Técnico: Mejora de la Detección de Nodos Raros en el Aprendizaje Multietiqueta Jerárquico

Planteamiento del Problema
La clasificación jerárquica multietiqueta (HML, por sus siglas en inglés) presenta un desafío persistente: permitir que los modelos realicen predicciones en niveles más profundos y granulares de una jerarquía. Esta dificultad surge de la rareza natural de ciertas clases (nodos) y de la restricción jerárquica de que los nodos hijos son casi siempre menos frecuentes que sus padres. En consecuencia, los modelos estándar suelen fallar al predecir nodos finos y raros, que son frecuentemente críticos para obtener conocimientos científicos (por ejemplo, la detección de especies raras en imágenes del fondo marino o productos génicos raros en dominios médicos).

Los enfoques existentes para el desequilibrio en HML dependen a menudo del remuestreo basado en observaciones (por ejemplo, el sobremuestreo de observaciones raras). Los autores argumentan que esto es subóptimo porque conlleva el riesgo de enfatizar excesivamente los nodos padres comunes que están co-etiquetados con los hijos raros. Además, tratar la observación completa como una unidad única no logra abordar el desequilibrio específico inherente a los nodos individuales dentro de la jerarquía. Asimismo, las funciones de pérdida estándar no consideran adecuadamente la incertidumbre del modelo, lo cual es crucial para identificar qué nodos requieren más atención durante el entrenamiento.

Metodología
Los autores proponen un objetivo de pérdida ponderada para redes neuronales que combina dos componentes distintos para abordar el desequilibrio a nivel de nodo y la incertidumbre, basado en el marco de la Red Neuronal de Clasificación Jerárquica Multietiqueta Coherente (C-HMCNN).

1. Ponderación de Desequilibrio por Nodo:
   En lugar de ponderar según la frecuencia de las observaciones, el método asigna pesos basados en la frecuencia de los nodos individuales y sus descendientes.

• Reescalado: Para evitar que los nodos comunes reciban pesos cercanos a cero (lo que eliminaría sus gradientes informativos), los autores introducen un parámetro de peso mínimo ($\tilde{w}_0$).
• Aplicación: Los pesos se aplican únicamente a las anotaciones positivas ($y_i=1$) de los nodos, mientras que las anotaciones negativas permanecen sin ponderar (peso de 1). Esto incentiva al modelo a aprender los nodos raros sin ignorar por completo los comunes.

2. Ponderación Focal mediante la Cuantificación de la Incertidumbre:
   Inspirado en la Pérdida Focal (Focal Loss), este componente enfatiza los nodos donde el conjunto de modelos (ensemble) exhibe una alta incertidumbre. Los autores utilizan un conjunto de modelos ($\Theta$) para cuantificar la incertidumbre, explorando varias métricas:

• Promedio de Modelo Bayesiano Binario (bBMA): Utiliza la varianza de las predicciones medias del conjunto, ajustada para la confianza binaria.
• Incertidumbre de Margen Puerta (GMU): Una métrica basada en la relación señal-ruido que captura la varianza a través de las predicciones del modelo incorporando una puerta de confianza.
• Incertidumbre Epistémica: Medida mediante la divergencia de Kullback–Leibler (KL) o Jensen-Shannon (JS) entre las predicciones de los modelos en el conjunto.
• Implementación: El término focal se calcula como $(U_0 + U(\Theta(X))^k)$, donde $U$ es la medida de incertidumbre, $U_0$ es una puerta mínima y $k$ es un factor exponencial. Este término se calcula sin gradientes para evitar el colapso del conjunto.

La función de pérdida final ($L_{focal}$) multiplica el término de ponderación de desequilibrio, el término de ponderación focal y la pérdida de "restricción máxima" ($L_{MC}$) utilizada en C-HMCNN para satisfacer las restricciones jerárquicas.

Contribuciones Clave

1. Ponderación de Desequilibrio: El artículo proporciona evidencia de que definir la ponderación de desequilibrio a nivel de nodo (independiente de la distribución de las observaciones) es más efectivo que el remuestreo basado en observaciones para tareas de HML. Demuestra que un parámetro de peso mínimo específico ($\tilde{w}_0$) es crucial para equilibrar la compensación entre la exhaustividad (recall) y la precisión.
2. Ponderación Focal: Los autores adaptan el concepto de cuantificación de la incertidumbre para el contexto de HML. Proporcionan evidencia de que incorporar términos de incertidumbre (específicamente bBMA y GMU) en la función de pérdida mejora significativamente la detección de nodos raros.
3. Evaluación Exhaustiva: El estudio evalúa estos métodos a través de 16 conjuntos de datos de productos génicos (jerarquías FUN y GO) y un conjunto de datos de imágenes bentónicas (BenthicNet-E), cubriendo tanto estructuras de árbol como de Grafo Acíclico Dirigido (DAG).

Resultos Experimentales

• Conjuntos de Datos de Productos Génicos: La ponderación propuesta por nodo (con $\tilde{w}_0 = 0.25$) mejoró la exhaustividad hasta un factor de cinco en comparación con las líneas base (None, LPROS, HROS-PD) en conjuntos de datos específicos. Aunque esto a veces incurrió en una compensación en la precisión, la puntuación F1 mostró ganancias estadísticamente significativas.
• Ponderación Focal: Al combinarse con la ponderación de desequilibrio, los términos focales (bBMA y GMU) mejoraron aún más las puntuaciones F1 y la exhaustividad. El rendimiento de la ponderación focal escaló positivamente con el tamaño del conjunto, lo que sugiere que un conjunto más grande proporciona una estimación de la incertidumbre más fiable.
• Incertidumbre Epistémica: Contrariamente a las hipótesis iniciales, las medidas de incertidumbre epistémica (divergencia KL/JS) tuvieron un rendimiento inferior al de bBMA y GMU. Los autores sugieren que esto puede deberse a que la incertidumbre aleatoria domina la incertidumbre total en redes bien entrenadas.
• Modelos de Visión (BenthicNet-E): El enfoque mostró los beneficios más significativos cuando el codificador era subóptimo (ruidoso o con inicialización aleatoria) o cuando los datos de entrenamiento eran limitados. A medida que el codificador se entrenaba completamente y los datos abundaban, las ganancias relativas disminuían, aunque las mejoras en los nodos raros persistieron.
• Enfoques Combinados: La combinación de la ponderación propuesta con LPROS (un método de remuestreo) produjo mejoras adicionales en F1 y precisión en los conjuntos de datos de productos génicos, lo que sugiere efectos sinérgicos. Sin embargo, esta combinación no funcionó con la misma fuerza en el conjunto de datos de visión.

Significancia y Reivindicaciones
El artículo afirma que su enfoque permite la detección consistente de nodos raros en las profundidades de una jerarquía, un problema que suele ser ignorado por los modelos HML estándar debido al desequilibrio natural de los datos. La significancia radica en desplazar el enfoque de "observaciones raras" a "nodos raros", evitando así la trampa de reforzar los nodos padres comunes. Los autores sostienen que su método es particularmente efectivo para tareas de HML desafiantes donde la detección de nodos raros es un problema grave, como en dominios con codificadores subóptimos o datos limitados. Concluyen que, si bien los beneficios disminuyen con codificadores perfectos y datos abundantes, el método sigue siendo una estrategia robusta para mejorar la exhaustividad y las puntuaciones F1 en entornos jerárquicos desequilibrados del mundo real.