QC-SMOTE: Quality-Controlled SMOTE for Imbalanced Classification

Resumen Técnico: QC-SMOTE: SMOTE con Control de Calidad para la Clasificación Desbalanceada

1. Planteamiento del Problema

El desbalance de clases sigue siendo un desafío crítico en el aprendizaje supervisado, particularmente en dominios como la detección de fraudes, el diagnóstico médico y la detección de anomalías, donde la clase minoritaria representa eventos raros pero trascendentales. Los clasificadores estándar entrenados con datos desbalanceados suelen sesgarse hacia la clase mayoritaria, fallando al reconocer los patrones de la minoría. Los métodos de remuestreo basados en datos, específicamente la Técnica de Sobremuestreo de la Clase Minoritaria Sintética (SMOTE), se utilizan ampliamente para abordar esto mediante la interpolación entre instancias minoritarias, pero sufren una limitación geométrica fundamental.

SMOTE asume que la interpolación entre puntos minoritarios cercanos es inherentemente segura. Sin embargo, en la práctica, las muestras minoritarias suelen residir cerca de los límites de clase, dentro de regiones superpuestas o como valores atípicos aislados. Interpolar desde tales puntos puede generar muestras sintéticas que son ambiguas, ruidosas o más cercanas a la distribución de la clase mayoritaria que a la verdadera estructura de la minoría. Las variantes existentes intentan mitigar esto centrándose en los límites (por ejemplo, Borderline-SMOTE) o en la densidad (por ejemplo, Safe-Level-SMOTE), pero a menudo dependen de un único principio dominante (por ejemplo, énfasis en el límite o agrupamiento) y no logran acoplar la fiabilidad a nivel de muestra, la evaluación de calidad a nivel de candidato y la generación adaptativa al régimen dentro de un proceso unificado. En consecuencia, pueden amplificar el ruido en regiones dispersas o reducir la diversidad al concentrarse solo en regiones densas seguras.

2. Metodología: QC-SMOTE

Los autores proponen QC-SMOTE, un marco de sobremuestreo con control de calidad que desplaza el enfoque de un sobremuestreo impulsado por la cantidad hacia una construcción de datos consciente de la calidad. El método opera a través de cuatro etapas integradas:

A. Estimación de la Confiabilidad del Vecindario
En lugar de tratar todas las muestras minoritarias por igual, QC-SMOTE primero estima la fiabilidad de cada muestra minoritaria $x_i$ utilizando una puntuación de confiabilidad del vecindario compuesta $T(x_i)$. Esta puntuación combina tres métricas:

1. Soporte de nivel seguro ($S$): La proporción de vecinos de la clase objetivo en el vecindario de $k$-vecinos más cercanos.
2. Densidad local ($D$): El inverso de la distancia promedio a los vecinos minoritarios, favoreciendo regiones compactas.
3. Aislamiento de la mayoría ($R$): La distancia promedio a los vecinos no objetivo (mayoría), asegurando que la muestra no esté demasiado cerca del límite de la clase opuesta.
   Estos componentes se normalizan y ponderan para producir una puntuación final. Las muestras con alta confiabilidad se consideran semillas fiables para la generación, mientras que las muestras aisladas o contaminadas por el límite reciben puntuaciones bajas.

B. Asignación Ponderada por Fiabilidad
En lugar de generar muestras sintéticas de forma uniforme en todas las semillas minoritarias, QC-SMOTE asigna el esfuerzo de generación basándose en la puntuación de confiabilidad. A las muestras de alta confianza se les asignan más intentos de generación, mientras que los valores atípicos de baja confianza son suprimidos. Esto asegura que los datos sintéticos se concentren en regiones geométricamente fiables del espacio de características.

C. Selección de Candidatos Best-of-$K$ Guiada por IPQ
Para cada par semilla-vecino seleccionado, QC-SMOTE no acepta una única interpolación aleatoria. En su lugar, genera $K$ muestras candidatas y las evalúa utilizando una métrica de Pureza y Calidad de Interpolación (IPQ) antes de la aceptación. La evaluación involucra:

• Pureza Local: Midiendo la proporción de vecinos de la clase objetivo para el candidato.
• Pureza del Punto Medio: Evaluando la pureza del punto medio entre la semilla y su vecino para asegurar que la trayectoria de interpolación no cruce regiones ambiguas.
• Claridad de la Mayoría: Midiendo la distancia mínima a cualquier muestra de la clase mayoritaria para asegurar que el candidato esté suficientemente separado de la clase opuesta.
  Se selecciona el candidato con la puntuación de calidad combinada más alta.

D. Generación Adaptativa al Régimen y Degradación Gradual
El método adapta su comportamiento basándose en la razón de desbalance ($IR$) local y global y la puntuación de solapamiento ($OV$).

• En regímenes limpios y de bajo solapamiento, utiliza rangos de interpolación más amplios y menos comprobaciones de candidatos.
• En regímenes de alto solapamiento o desbalance severo, reduce el rango de interpolación, aumenta el número de candidatos ($K$) y aplica controles de calidad más estrictos.
• Degradación Gradual: Si el candidato con la puntuación más alta no cumple con los umbrales de pureza o claridad (lo que indica que la geometría local es demasiado poco fiable para la interpolación), el método recurre a la duplicación de la muestra minoritaria más fiable en el vecindario local. Esto evita la inyección de puntos sintéticos perjudiciales en regiones ruidosas.

3. Contribuciones Clave

El artículo describe cuatro contribuciones primarias:

1. Puntuación de Confiabilidad Compuesta: Una métrica novedosa que modela explícamente la fiabilidad de la muestra minoritaria integrando la densidad local, las características de nivel seguro y el aislamiento de la clase mayoritaria.
2. Mecanismo Best-of-$K$ Guiado por IPQ: Una estrategia de selección de candidatos que evalúa la calidad de las regiones de interpolación (incluyendo los puntos medios) antes de aceptar muestras sintéticas, yendo más allá de la simple interpolación de extremos.
3. Estrategia Adaptativa al Régimen: Un marco de generación que ajusta dinámicamente los rangos de interpolación y los criterios de selección según la severidad del desbalance y el solapamiento de clases, incluyendo un mecanismo de respaldo a la duplicación cuando la generación sintética no es segura.
4. Marco Unificado: Un enfoque práctico que acopla la fiabilidad a nivel de muestra, la calidad a nivel de candidato y la adaptación al régimen, abordando las limitaciones de los métodos que dependen de principios únicos.

4. Resultados Experimentales

Los autores evaluaron QC-SMOTE en 30 conjuntos de datos reales de clasificación binaria desbalanceada (que van desde desbalances leves a severos) utilizando validación cruzada estratificada repetida. El método se comparó contra un amplio conjunto de bases de SMOTE, incluyendo variantes recientes de calidad espacial como VS-SMOTE.

• Rendimiento General: QC-SMOTE logró el AUC-ROC (0.9321) y el Macro F1 (0.8408) promedio más fuertes entre todos los métodos comparados, asegurando 29 victorias en AUC-ROC y 17 victorias en Macro F1 en los 30 conjuntos de datos.
• Regímenes de Desbalance: Las ganancias de rendimiento fueron más pronunciadas en los regímenes de desbalance moderado y severo. En entornos de alto desbalance (IR $\ge$ 15), QC-SMOTE mejoró el Macro F1 de 0.7018 (VS-SMOTE) a 0.7621, demostrando su efectividad cuando las muestras minoritarias son escasas y la interpolación ingenua es poco fiable.
• Estudios de Ablación: Eliminar componentes clave (ponderación de confiabilidad, asignación de fiabilidad, pureza del punto medio de IPQ o filtrado de pureza) resultó en caídas significativas de rendimiento, particularmente en entornos de alto desbalance. Esto confirma que la combinación de estimación de fiabilidad y control de calidad a nivel de candidato es esencial.
• Eficiencia: Aunque QC-SMOTE es más lento que el SMOTE estándar (debido a la evaluación de candidatos), sigue siendo sustancialmente más eficiente que VS-SMOTE (aprox. 39.5$\times$ más lento que SMOTE frente a 208.7$\times$ para VS-SMOTE), ofreciendo un compromiso favorable entre costo computacional y rendimiento.
• Significancia Estadística: Las pruebas de rango firmado de Wilcoxon por pares confirmaron que QC-SMOTE proporciona mejoras estadísticamente significativas en AUC-ROC sobre todas las bases. Para Macro F1, fue significativamente mejor que la mayoría de las bases, aunque la diferencia con VS-SMOTE no fue estadísticamente significativa al nivel de 0.05, lo que indica que es altamente competitivo con los métodos existentes más fuertes.

5. Significación y Reivindicaciones

El artículo afirma que QC-SMOTE aborda una brecha crítica en el aprendizaje desbalanceado al cambiar el paradigma de un sobremuestreo "impulsado por la cantidad" a una construcción de datos "consciente de la calidad". Los autores argumentan que las ganancias de rendimiento en la clasificación desbalanceada no provienen simplemente de aumentar el número de muestras minoritarias, sino de controlar la fiabilidad de las regiones donde se generan dichas muestras.

La significación del trabajo radica en su demostración de que el sobremuestreo sintético es más efectivo cuando se guía conjuntamente por:

1. Fiabilidad de la muestra (estimar qué semillas son confiables).
2. Calidad del candidato (evaluar la trayectoria de interpolación y el punto resultante).
3. Adaptación al régimen local (ajustar el comportamiento basándose en el solapamiento y la severidad del desbalance).

Al integrar estos elementos, QC-SMOTE busca hacer que el sobremuestreo sintético sea más dependiente a través de condiciones de datos heterogéneas, particularmente en entornos de alto desbalance donde un pequeño número de muestras sintéticas no fiables puede distorsionar desproporcionadamente la frontera de decisión aprendida. Los autores posicionan a QC-SMOTE como una alternativa robusta que evita los problemas de la amplificación de ruido mientras mantiene la integración agnóstica al clasificador.