Addressing Imbalance in Multi-Label Data via Label-Specific Distance-based Oversampling

Resumen Técnico: Abordando el desequilibrio en datos multietiqueta mediante el sobremuestreo basado en la distancia específica de la etiqueta

Planteamiento del problema
La clasificación multietiqueta (MLC, por sus siglas en inglés) enfrenta un desafío crítico debido al desequilibrio inherente en las distribuciones de las etiquetas. Este desequilibrio se manifiesta de dos formas: el desequilibrio dentro de la etiqueta (donde las instancias relevantes para una etiqueta específica son mucho menores que las irrelevantes) y el desequilibrio entre etiquetas (donde las frecuencias de las etiquetas varían ampliamente). Además, existe un desequilibrio local dentro de los vecindarios de los puntos de datos, lo que complica el proceso de aprendizaje. La mayoría de los clasificadores multietiqueta existentes están sesgados hacia las clases mayoritarias y las etiquetas de alta frecuencia. Si bien el sobremuestreo es una solución flexible para equilibrar los conjuntos de datos de entrenamiento, los métodos actuales dependen excesivamente de la distancia euclidiana dentro de todo el espacio de características. Este enfoque no logra considerar la relevancia semántica variable de las características para las diferentes etiquetas. En consecuencia, las instancias sintéticas generadas por estos métodos suelen sufrir de inconsistencia de etiquetas entre los vecinos próximos, lo que conduce a la confusión de etiquetas, al sobreajuste y a una reducción de la diversidad, particularmente para las combinaciones de etiquetas raras.

Metodología: LSDMLO
El artículo propone el Sobremuestreo Multietiqueta Basado en la Distancia Específica de la Etiqueta (LSDMLO), un nuevo marco diseñado para generar instancias sintéticas más útiles y bien etiquetadas. La metodología procede en tres etapas principales:

1. Aprendizaje de pesos de características específicos de la etiqueta:
   En lugar de utilizar un espacio de características global, LSDMLO aprende pesos de características dispersos para cada etiqueta. Esto se logra optimizando una función objetivo convexa que combina:

   • La minimización de la pérdida al cuadrado entre las predicciones y las etiquetas reales.
   • La regularización de la norma $\ell_1$ para imponer dispersión, asegurando que solo las características pertinentes contribuyan a la predicción de cada etiqueta.
   • La regularización de grafos basada en las correlaciones de las etiquetas (derivadas de la similitud de coseno de los vectores de etiquetas) para explorar las relaciones complejas entre características y etiquetas.
     La optimización se resuelve utilizando el algoritmo de Gradiente Proximal Acelerado (APG). Los pesos resultantes se normalizan para formar una matriz de pesos de características específicos de la etiqueta ($\Theta$).

2. Ponderación de instancias y distancia específica de la etiqueta:
   Utilizando $\Theta$, el método define una métrica de distancia específica de la etiqueta. Esta distancia mide la proximidad entre instancias basándose únicamente en las características más relevantes para una etiqueta específica, en lugar de en todo el conjunto de características.
   Basándose en esta distancia, LSDMLO calcula un peso de instancia para la selección de semillas. El peso es la suma de dos componentes:

   • Peso de Desequilibrio Local: Mide qué tan cerca está una instancia de un límite de etiqueta evaluando el desacuerdo de etiquetas locales entre sus $k$-vecinos más cercanos (recuperados mediante la distancia específica de la etiqueta). Las instancias cercanas a los límites de etiquetas altamente desequilibradas reciben pesos más altos.
   • Peso de Correlación de Etiquetas: Evalúa la información de correlación que porta una instancia considerando tanto las dependencias globales de las etiquetas como la consistencia del vecindario local. Se priorizan las instancias ubicadas en regiones de límites superpuestos de etiquetas minoritarias correlacionadas.

3. Generación de instancias sintéticas:
   Las instancias sintéticas se generan utilizando una selección de ruleta basada en los pesos de instancia calculados. Para cada nueva instancia:

   • Se selecciona una instancia semilla.
   • Se elige una etiqueta minoritaria relevante para la semilla.
   • Se selecciona un vecino de referencia basado en la distancia específica de la etiqueta para esa etiqueta específica.
   • Generación de características: Las características numéricas se interpolan linealmente; las características nominales toman el valor más común entre la semilla y sus vecinos.
   • Asignación de etiquetas: Se emplea una estrategia inducida por la distancia específica de la etiqueta. Si la semilla y la referencia coinciden en una etiqueta, esa etiqueta se asigna. Si no coinciden, se asigna la etiqueta de la instancia (semilla o referencia) que esté más cerca de la instancia sintética en el subespacio de características específico de la etiqueta. Esto garantiza la consistencia de la etiqueta en el espacio de características pertinente.

Contribuciones clave

• Distancia específica de la etiqueta: La introducción de una métrica de distancia que pondera dinámicamente las características según su relevancia para etiquetas específicas, superando las limitaciones de la distancia euclidiana global en contextos multietiqueta.
• Selección de semillas consciente de la semántica: Un mecanismo de ponderación que prioriza las instancias cercanas a los límites de las etiquetas y aquellas que portan información rica de correlación de etiquetas, en lugar de depender de la proximidad geométrica pura o aleatoria.
• Asignación de etiquetas consistente: Una estrategia de generación que garantiza que las instancias sintéticas mantengan la consistencia de la etiqueta dentro del subespacio de características discriminativas, reduciendo el riesgo de confusión de etiquetas y sobreajuste.

Resultados experimentales
Los autores evaluaron LSDMLO en 13 conjuntos de datos multietiqueta en diversos dominios (texto, imagen, música, biología) utilizando cuatro clasificadores base (BR, MLkNN, RAkEL, CC), un clasificador consciente del desequilibrio (COCOA) y un modelo de aprendizaje profundo (C2AE).

• Rendimiento: LSDMLO logró los mejores rangos promedio en las cuatro métricas de evaluación (Macro-F, Macro-AUC, Macro-AUPR y Pérdida de Clasificación/Ranking Loss) en comparación con nueve métodos de muestreo de vanguardia (incluyendo MLSMOTE, MLSOL, MLBOTE, AEMLO y DR-SMOTE).
• Significancia estadística: Las pruebas de Wilcoxon signed-rank confirmaron que LSDMLO superó significativamente a sus competidores en la mayoría de los casos sin sufrir pérdidas significativas.
• Reducción del desequilibrio local: El estudio demostró que el uso de distancias específicas de la etiqueta reduce significativamente la métrica de Desequilibrio de Etiqueta Local (LImb) en comparación con la distancia euclidiana, particularmente en conjuntos de datos con distribuciones de etiquetas locales complejas.
• Sinergia con el clasificador base: El método mostró una efectividad superior cuando se combinó con aprendices base de alto rendimiento como C2AE y COCOA.

Significancia y afirmaciones
El artículo afirma que la principal significancia de LSDMLO radica en su capacidad para abordar el problema de la "inconsistencia de etiquetas" inherente a los métodos de sobremuestreo existentes. Al reconocer que diferentes etiquetas dependen de diferentes subconjuntos de características, LSDMLO genera datos sintéticos que son más realistas e informativos. Los autores sostienen que este enfoque mitiga eficazmente el sesgo hacia las clases mayoritarias y mejora el aprendizaje de las etiquetas minoritarias, especialmente en escenarios complejos donde las distribuciones de etiquetas locales son difíciles de aprender. El método se presenta como una solución flexible y agnóstica al clasificador que mejora el rendimiento de diversos algoritmos de aprendizaje multietiqueta.

Trabajo futuro
Los autores señalan que la investigación futura se centrará en desarrollar un marco de aprendizaje de distancia específica de la etiqueta más completo. Esto incluye la incorporación de la importancia de características globales y las correlaciones de las instancias, así como la exploración del modelado no lineal para capturar interacciones complejas entre características y etiquetas más allá de la actual formulación lineal dispersa. Además, planean investigar estrategias avanzadas de modelado de dependencia de etiquetas para capturar relaciones de orden superior más allá de las correlaciones de pares.