A proposal for PU classification under Non-SCAR using clustering and logistic model

Título: Uma proposta para classificação PU sob condição Não-SCAR usando agrupamento e modelo logístico

Autores: Konrad Furmańczyk e Kacper Paczutkowski (Instituto de Tecnologia da Informação, Universidade de Ciências da Vida de Varsóvia, Polônia).

---

1. O Problema

O estudo aborda o problema de Aprendizado a partir de Dados Positivos e Não Rotulados (PU - Positive-Unlabeled). Neste cenário, o conjunto de dados de treinamento contém apenas exemplos positivos (rotulados como $S=1$) e exemplos não rotulados ($S=0$). A dificuldade central reside no fato de que os exemplos não rotulados podem ser, na realidade, positivos ou negativos.

A maioria dos métodos existentes de PU assume a condição SCAR (Selected Completely At Random), onde a probabilidade de um exemplo positivo ser rotulado é independente das suas características ($X$). No entanto, em muitas aplicações reais (como diagnósticos médicos ou relatórios de pesquisas), essa condição não é satisfeita (Não-SCAR ou SAR - Selected At Random), pois a probabilidade de rotulação depende das variáveis do exemplo. O objetivo deste trabalho é desenvolver um método computacionalmente eficiente para lidar com a classificação PU quando a condição SCAR é violada e avaliar a robustez de métodos existentes (como o LassoJoint) a essa perturbação.

2. Metodologia Proposta

Os autores propõem um novo algoritmo de "limpeza" de clusters, denominado "Pecking" (picar), combinado com regressão logística. O processo funciona da seguinte maneira:

1. Preparação dos Dados ("Pecking"):
   • Uma proporção $q\%$ das observações rotuladas como positivas ($S=1$) é "puxada" e adicionada ao conjunto de observações não rotuladas ($S=0$), criando um conjunto temporário $C^q_0$.
2. Agrupamento (Clustering):
   • Aplica-se o algoritmo de 2-means (k-means com k=2) sobre o conjunto $C^q_0$.
   • Isso gera dois clusters: um com maior densidade de exemplos que originalmente eram $S=1$ e outro com menor densidade.
3. Rótulos Limpos (Cleaning):
   • O cluster com maior número de exemplos originalmente positivos ($S=1$) é reclassificado como positivo verdadeiro ($\hat{Y}=1$).
   • O outro cluster é reclassificado como negativo ($\hat{Y}=0$).
   • Os exemplos originais $S=1$ que não foram movidos permanecem positivos.
4. Modelagem e Repetição:
   • Um modelo de Regressão Logística (ou o método LassoJoint em suas variantes estrita e não estrita) é ajustado aos dados com os rótulos limpos ($\hat{Y}$).
   • Este processo é repetido $R$ vezes (no estudo, $R=5$).
   • Os coeficientes finais do modelo são obtidos pela média dos coeficientes das repetições. Para o LassoJoint, há duas variantes:
     • Estrita: Média apenas das características que aparecem em todas as repetições.
     • Não Estrita: Média das características que aparecem em qualquer repetição.

3. Contribuições Chave

• Algoritmo de Limpeza Computacionalmente Simples: Propõe o uso de 2-means para separar exemplos positivos ocultos nos dados não rotulados, evitando a complexidade de métodos baseados em Expectation-Maximization (EM) ou Redes Adversariais Generativas (GANs).
• Robustez ao Não-SCAR: Demonstra que a abordagem de agrupamento pode mitigar os efeitos da violação da condição SCAR, onde a probabilidade de rotulação depende das características dos dados.
• Avaliação do LassoJoint: Investiga como o método LassoJoint (projetado originalmente para SCAR) se comporta sob condições Não-SCAR, mostrando uma robustez moderada.
• Reprodutibilidade: O estudo fornece todo o código em R e suplementos detalhados, permitindo a reprodução completa dos experimentos.

4. Resultados Experimentais

Os autores testaram o método em 11 conjuntos de dados reais (do repositório UCI) e 1 conjunto sintético, comparando:

• Regressão Logística "Naive" (tratando $S$ como $Y$).
• Método de Cluster (proposto).
• LassoJoint (estrito e não estrito).
• Cenários com diferentes níveis de frequência de rótulos ($c = 0.3, 0.5, 0.8$).

Principais achados:

• Desempenho em Não-SCAR: O método de cluster ("clust") apresentou alta acurácia na maioria dos conjuntos de dados, superando o método "Naive".
• Desempenho do LassoJoint: O método LassoJoint mostrou-se robusto, especialmente quando a frequência de rótulos ($c$) é alta ($c \ge 0.8$). Em alguns casos, melhorou significativamente a métrica AUC (Área sob a Curva ROC) em comparação com o método de cluster puro.
• Parâmetro $q$: Não há uma regra única para o valor ideal de $q$ (proporção de dados "picados"). Os resultados sugerem que valores maiores (próximos de 1) tendem a funcionar melhor em média, mas valores menores (0.25) podem ser superiores dependendo das características específicas dos dados.
• Eficiência Computacional: O método de cluster e o "Naive" foram significativamente mais rápidos que os métodos que utilizam validação cruzada com Lasso (LassoJoint), tornando-os mais escaláveis para grandes conjuntos de dados.
• Cenário SCAR: Quando a condição SCAR é satisfeita, o LassoJoint (projetado para esse cenário) performou quase idealmente, mas o método de cluster também apresentou bons resultados, sugerindo sua versatilidade.

5. Significância e Conclusão

O trabalho é significativo porque oferece uma solução prática e eficiente para um problema comum em aprendizado de máquina: a violação da suposição de aleatoriedade na seleção de rótulos positivos.

• Aplicabilidade: O método é útil em cenários onde a rotulação é enviesada (ex: diagnósticos médicos onde apenas pacientes com sintomas graves são testados).
• Flexibilidade: A abordagem de "limpeza" via clustering pode ser aplicada tanto em cenários de PU de amostra única quanto em aprendizado caso-controle.
• Conclusão Final: A combinação de agrupamento simples (2-means) com modelos logísticos ou regularização Lasso oferece uma alternativa robusta e computacionalmente viável para classificação PU em condições Não-SCAR, superando métodos ingênuos e competindo bem com métodos mais complexos.