Resumen Técnico: Aprendizaje PU Enfocado a partir de Datos Desbalanceados

1. Declaración del Problema

El artículo aborda el desafío del aprendizaje Positivo-No Etiquetado (PU) en escenarios caracterizados por un desbalance de clases severo y ejemplos positivos difíciles de detectar. En muchas aplicaciones del mundo real (por ejemplo, detección de fraude, identificación de genes de enfermedades, detección de errores financieros), los datos de entrenamiento consisten en un pequeño conjunto de instancias positivas etiquetadas y un gran grupo de instancias no etiquetadas. El grupo no etiquetado está dominado por instancias negativas, pero contiene positivas ocultas.

Los métodos existentes de aprendizaje PU a menudo dependen de suposiciones simplificadas que fallan en entornos prácticos:

• Desbalance de Clases: Muchos métodos asumen distribuciones equilibradas o dependen de suficientes positivos etiquetados, lo cual es raro cuando la clase positiva está subrepresentada.
• Mecanismos de Etiquetado: La mayoría de los métodos asumen la hipótesis de Selección Completamente al Azar (SCAR), donde los positivos etiquetados son un subconjunto aleatorio de todos los positivos. Sin embargo, los datos del mundo real a menudo siguen la hipótesis de Selección al Azar (SAR) o la hipótesis de Brecha Probabilística (PG), donde es menos probable que se etiqueten los ejemplos positivos que se asemejan a los negativos.
• Positivos Difíciles: Cuando los ejemplos positivos se superponen significativamente con la distribución negativa (el escenario PG), los estimadores de riesgo estándar luchan por distinguirlos, lo que conduce a un rendimiento deficiente.

Los autores argumentan que los métodos actuales de vanguardia (por ejemplo, nnPU, PUHDT) o bien fallan bajo las hipótesis SAR/PG o dependen de manipulación de datos (remuestreo, filtrado en dos pasos) que puede no ser robusto en entornos altamente desbalanceados.

2. Metodología

El método propuesto, denominado iFPU (PU Enfocado Desbalanceado), introduce un nuevo estimador de riesgo no negativo que integra la Pérdida Focal en el marco de aprendizaje PU.

2.1 Fundamento Teórico

El enfoque se basa en los estimadores de riesgo imparciales para aprendizaje PU (uPU) y los estimadores de riesgo no negativos (nnPU). En el aprendizaje PU estándar, el riesgo $R(g)$ se aproxima utilizando positivos etiquetados ($P$) y datos no etiquetados ($U$) reemplazando el término de riesgo negativo $R_N^-(g)$ con una expresión que involucra $U$ y $P$:
$$\tilde{R}_{PU}(g) = \pi_P \tilde{R}_P^+(g) - \pi_P \tilde{R}_P^-(g) + \tilde{R}_U^-(g)$$
donde $\pi_P$ es la probabilidad a priori de la clase. Para evitar riesgos empíricos negativos (que causan sobreajuste en redes neuronales), el método nnPU aplica una restricción no negativa: $\max\{0, \tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g)\}$.

2.2 Estimador de Riesgo Enfocado

Los autores observan que en entornos desbalanceados, el riesgo estándar está dominado por los datos no etiquetados, lo que hace que el modelo descuide los pocos ejemplos positivos difíciles de distinguir. Para abordar esto, reemplazan la pérdida de entropía cruzada estándar con la Pérdida Focal [50].

La Pérdida Focal reduce el peso de los ejemplos fáciles (aquellos con alta probabilidad de clasificación correcta) y aumenta el peso de los ejemplos difíciles. La pérdida focal para una probabilidad $p_t$ se define como:
$$FL(p_t) = -(1-p_t)^\gamma \log(p_t)$$
donde $\gamma$ controla el parámetro de enfoque.

Los autores derivan el estimador de riesgo iFPU sustituyendo los términos de pérdida estándar en la ecuación de riesgo PU con la formulación de pérdida focal:
$$\tilde{R}_{iFPU}(g) = \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (1-g(x_i))^\gamma \log(g(x_i)) + \max\left\{0, \frac{1}{n_U} \sum_{i=1}^{n_U} -(g(x_i))^\gamma \log(1-g(x_i)) - \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (g(x_i))^\gamma \log(1-g(x_i)) \right\}$$

2.3 Procedimiento de Entrenamiento

El proceso de entrenamiento utiliza optimización estocástica (SGD). Una característica clave del algoritmo es el manejo de la restricción no negativa:

• Si el término $(\tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g))$ es no negativo, el modelo actualiza los parámetros utilizando el gradiente del riesgo completo.
• Si el término es negativo (indicando un posible sobreajuste o violación de la restricción no negativa), el modelo realiza un paso de ascenso de gradiente sobre el término de diferencia para empujarlo de nuevo hacia la no negatividad, en lugar de simplemente ignorar el gradiente.

El método está diseñado para ser de extremo a extremo, compatible con cualquier clasificador basado en minimización de costos (por ejemplo, MLPs, XGBoost), sin requerir preprocesamiento de datos ni remuestreo.

3. Contribuciones Clave

1. Estimador de Riesgo Novel: La derivación de un estimador de riesgo no negativo específicamente adaptado para datos PU desbalanceados utilizando Pérdida Focal, que se dirige explícitamente a ejemplos positivos difíciles de clasificar.
2. Relajación de Suposiciones: El método se evalúa bajo las hipótesis SCAR y SAR, demostrando robustez en escenarios donde existe sesgo de etiquetado (es decir, es menos probable que se etiqueten los positivos que se asemejan a los negativos).
3. Integración de Extremo a Extremo: A diferencia de los métodos en dos pasos que requieren identificar negativos confiables primero, iFPU se integra directamente en el bucle de entrenamiento de clasificadores estándar (MLP y XGBoost).
4. Validación en el Mundo Real: El método se aplica a un problema desafiante del mundo real: detección de errores financieros, donde los datos PU surgen naturalmente debido a la detección tardía de errores.

4. Resultados Experimentales

Los autores evaluaron iFPU en 14 conjuntos de datos desbalanceados disponibles públicamente y un conjunto de datos financiero del mundo real.

4.1 Conjuntos de Datos de Referencia

• Configuración: 14 conjuntos de datos con ratios de desbalance variables. Los experimentos se ejecutaron bajo las hipótesis SCAR y SAR con el 25%, 50% y 75% de los ejemplos positivos etiquetados.
• Comparadores: Se comparó contra uPU, nnPU, i-nnPU, NNIF (dos pasos), PUHDT, PUHRF, LBE y SAREM.
• Rendimiento:
  • Bajo SCAR, iFPU (usando XGBoost) logró resultados comparables al estado del arte PUHRF (Bosque Aleatorio Hellinger PU), sin diferencia estadísticamente significativa en la mayoría de los casos.
  • Bajo la hipótesis más desafiante SAR, iFPU superó significativamente a la mayoría de los competidores. En el escenario más difícil (25% de positivos etiquetados), iFPU superó a PUHRF en 5 puntos porcentuales en PR-AUC.
  • El método mostró robustez ante estimaciones incorrectas de la probabilidad a priori de la clase, manteniendo el rendimiento incluso cuando la priori estaba significativamente subestimada.

4.2 Aplicación en el Mundo Real: Detección de Errores Financieros

• Contexto: Detección de errores financieros en informes anuales (2003–2014) donde los errores son raros y a menudo no detectados durante años (escenario SAR/PG).
• Configuración: Se comparó contra líneas base supervisadas (TabTransformer con pérdida focal calibrada, Fin-SVM, RUSBoost) y métodos PU (PUHRF).
• Resultados:
  • El iFPUXGB propuesto logró la mayor R-precisión de 19.95%, superando al modelo TabTransformer anterior de vanguardia (17.63%) y a PUHRF (18.22%).
  • Los resultados indican que modelar el problema como aprendizaje PU (reconociendo positivos ocultos) produce un rendimiento significativamente mejor que tratar los datos no etiquetados como negativos.

5. Significado y Afirmaciones

El artículo afirma que iFPU representa una solución de vanguardia para el aprendizaje PU en entornos desbalanceados, particularmente donde se cumple la hipótesis de Brecha Probabilística.

• Robustez: La capacidad del método para rendir bien bajo hipótesis SAR sin requerir manipulación compleja de datos o remuestreo se destaca como una ventaja importante sobre los métodos basados en árboles o en dos pasos existentes.
• Practicidad: La exitosa aplicación a la detección de errores financieros demuestra la utilidad del método en dominios del mundo real de alto riesgo donde los datos etiquetados son escasos y sesgados.
• Flexibilidad: Al depender de un marco de minimización de riesgo compatible con varios clasificadores (MLP, XGBoost), el enfoque ofrece una alternativa flexible a los algoritmos PU especializados.

Los autores notan modestamente que, aunque evitaron el ajuste de hiperparámetros para garantizar una comparación justa, una optimización adicional de los parámetros de XGBoost y de la pérdida focal podría potencialmente producir resultados aún más fuertes. También identifican el escalado de temperatura para la calibración y las extensiones a entornos multiclase como direcciones de investigación futura.