A proposal for PU classification under Non-SCAR using clustering and logistic model

1. El Problema: Aprendizaje con Datos Positivos y No Etiquetados (PU)

El estudio aborda el problema del Aprendizaje con Datos Positivos y No Etiquetados (PU). En este escenario, el conjunto de datos de entrenamiento contiene únicamente ejemplos positivos ($Y=1$) y datos no etiquetados ($S=0$). Sin embargo, los datos no etiquetados son una mezcla de verdaderos negativos ($Y=0$) y positivos no detectados ($Y=1$).

• La variable sustituta ($S$): Se observa una variable $S \in \{0, 1\}$ que indica si una muestra está etiquetada ($S=1$, por lo tanto $Y=1$) o no ($S=0$). Si $S=0$, la etiqueta verdadera $Y$ puede ser 0 o 1.
• El desafío del SCAR: La mayoría de los métodos existentes asumen la condición SCAR (Selected Completely At Random), que implica que la probabilidad de que un ejemplo positivo sea etiquetado es independiente de sus características ($P(S=1|Y=1, X) = c$).
• La realidad No-SCAR: En muchas aplicaciones prácticas (como diagnósticos médicos o encuestas con subregistro), la etiqueta depende de las características del ejemplo ($X$). Esto viola la condición SCAR, convirtiéndose en un escenario No-SCAR (o SAR - Selected At Random), donde la probabilidad de etiquetado es una función desconocida $e(x)$. Los métodos tradicionales suelen fallar o degradarse significativamente en estas condiciones.

2. Metodología Propuesta

Los autores proponen un algoritmo híbrido que combina clustering para "limpiar" las etiquetas y regresión logística (con variantes Lasso) para el modelado final. El objetivo es ser computacionalmente eficiente y robusto ante la violación de la condición SCAR.

A. El Algoritmo de "Pecking" (Procedimiento de Picoteo)

El núcleo de la propuesta es un procedimiento iterativo de limpieza de datos basado en el clustering 2-means:

1. Muestreo y Fusión: Se selecciona aleatoriamente un porcentaje $q\%$ de las muestras positivas conocidas ($S=1$) y se añaden al conjunto de muestras no etiquetadas ($S=0$), creando un conjunto $C^q_0$.
2. Clustering 2-means: Se aplica el algoritmo de clustering 2-means sobre $C^q_0$ para obtener dos clústeres: $C_{0,0}$ y $C_{0,1}$.
3. Asignación de Etiquetas Limpias:
   • El clúster que contiene una mayor proporción de las muestras originales $S=1$ se etiqueta como positivo ($\hat{Y}=1$).
   • El otro clúster se etiqueta como negativo ($\hat{Y}=0$).
   • Las muestras originales $S=1$ que no fueron seleccionadas en el paso 1 se mantienen como positivas.
4. Repetición y Promedio: Este proceso se repite $R$ veces (en el estudio, $R=5$).
5. Modelado Final:
   • Escenario 1 (Logística Pura): Se ajusta una regresión logística sobre los datos con las etiquetas limpias ($\hat{Y}$) y se promedian los coeficientes de las $R$ repeticiones.
   • Escenario 2 (LassoJoint): Se aplica el método LassoJoint (que combina selección de variables Lasso y un modelo logístico conjunto) sobre los datos limpiados. Se evalúan dos variantes:
     • Estricta: Promedia coeficientes solo de características seleccionadas en todas las repeticiones.
     • No estricta: Promedia coeficientes de características seleccionadas en cualquier repetición.

B. Generación de Escenarios No-SCAR

Para validar el método, los autores desarrollaron una técnica para generar datos sintéticos y reales bajo condiciones No-SCAR. Utilizan variables de alta varianza para crear una función de propensión ($e(x)$) que determina la probabilidad de etiquetado, asegurando que la selección dependa de las características $X$ y no sea aleatoria.

3. Contribuciones Clave

1. Algoritmo de Limpieza Computacionalmente Eficiente: A diferencia de métodos basados en redes generativas adversarias (GANs) o algoritmos jerárquicos complejos, la propuesta utiliza 2-means, lo que la hace rápida y escalable.
2. Robustez ante Violación de SCAR: El estudio demuestra que el enfoque de clustering ("Pecking") puede recuperar información sobre los verdaderos negativos y positivos ocultos incluso cuando la condición SCAR no se cumple.
3. Evaluación de LassoJoint en Contextos No-SCAR: Se analiza por primera vez (en este contexto) cómo el método LassoJoint, diseñado originalmente para SCAR, se comporta bajo perturbaciones de la condición de selección.
4. Reproducibilidad: Se proporciona código completo en R y se utilizan 12 conjuntos de datos (11 reales de UCI y 1 sintético) para una validación exhaustiva.

4. Resultados Experimentales

Los experimentos se realizaron en 11 conjuntos de datos reales (como adult, diabetes, spambase) y uno sintético, variando la frecuencia de etiquetas $c$ (0.3, 0.5, 0.8).

• Rendimiento General:
  • El método Clust (basado en clustering) mostró una alta precisión en casi todos los conjuntos de datos, superando al método "Naive" (que asume erróneamente que todos los no etiquetados son negativos).
  • Las variantes LassoJoint (estricta y no estricta) mostraron un rendimiento similar o ligeramente superior al método Clust en términos de AUC (Área bajo la curva ROC) y F1-score, especialmente en conjuntos de datos complejos.
• Impacto del Parámetro $q$: No existe una regla única para el porcentaje de muestreo $q$. Sin embargo, los promedios sugieren que valores altos ($q \approx 1$, es decir, usar todas las positivas conocidas) tienden a funcionar mejor en general, aunque en algunos casos específicos valores bajos ($q \approx 0.25$) son óptimos.
• Eficiencia Computacional:
  • Los métodos Naive y Clust son significativamente más rápidos que los métodos que requieren validación cruzada con Lasso (LassoJoint).
  • El método LassoJoint es más lento debido al costo de la selección de variables, pero ofrece mejores métricas de clasificación en escenarios donde la relación entre características y etiquetas es compleja.
• Comparación con SCAR: En escenarios donde la condición SCAR sí se cumple, el método LassoJoint (diseñado para ello) es óptimo. Sin embargo, el método Clust mantiene un rendimiento sólido incluso en este escenario, lo que sugiere su versatilidad.

5. Significado y Conclusión

El estudio concluye que el enfoque propuesto es una solución viable y robusta para el aprendizaje PU en el mundo real, donde la suposición de selección aleatoria (SCAR) rara vez se cumple.

• Versatilidad: El algoritmo de "Pecking" con clustering 2-means no solo es efectivo para escenarios de una sola muestra, sino que también es aplicable al aprendizaje PU de casos y controles.
• Mejora de la Calidad: A medida que aumenta la frecuencia de etiquetas ($c$), todos los métodos mejoran, convergiendo hacia un problema de clasificación totalmente etiquetado. No obstante, en rangos bajos y medios de $c$ (donde el problema es más difícil), la combinación de limpieza por clustering y regularización Lasso ofrece la mejor compensación entre precisión y eficiencia.
• Implicación Práctica: Para aplicaciones donde los datos están sesgados (subregistro no aleatorio), confiar únicamente en métodos que asumen SCAR es peligroso. La propuesta de los autores ofrece una vía alternativa que no requiere conocer la función de propensión $e(x)$, utilizando únicamente la estructura de los datos para inferir las etiquetas verdaderas.

En resumen, el trabajo presenta una metodología práctica que democratiza el uso de técnicas PU avanzadas en escenarios de datos sucios y sesgados, priorizando la eficiencia computacional sin sacrificar significativamente la precisión predictiva.