Resumo Técnico: Aprendizado PU Focado a partir de Dados Desequilibrados

1. Declaração do Problema

O artigo aborda o desafio do aprendizado Positivo-Não Rotulado (PU) em cenários caracterizados por desequilíbrio severo de classes e exemplos positivos de difícil detecção. Em muitas aplicações do mundo real (por exemplo, detecção de fraudes, identificação de genes de doenças, detecção de distorções financeiras), os dados de treinamento consistem em um pequeno conjunto de instâncias positivas rotuladas e um grande pool de instâncias não rotuladas. O pool não rotulado é dominado por instâncias negativas, mas contém positivas ocultas.

Métodos existentes de aprendizado PU frequentemente dependem de suposições simplificadoras que falham em configurações práticas:

• Desequilíbrio de Classes: Muitos métodos assumem distribuições equilibradas ou dependem de positivos rotulados suficientes, o que raramente é o caso quando a classe positiva está sub-representada.
• Mecanismos de Rotulagem: A maioria dos métodos assume a hipótese Selecionado Completamente ao Acaso (SCAR), onde os positivos rotulados são um subconjunto aleatório de todos os positivos. No entanto, dados do mundo real frequentemente seguem a hipótese Selecionado ao Acaso (SAR) ou a hipótese Gap Probabilístico (PG), onde exemplos positivos que se assemelham aos negativos têm menor probabilidade de serem rotulados.
• Positivos Difíceis: Quando exemplos positivos se sobrepõem significativamente à distribuição negativa (o cenário PG), estimadores de risco padrão lutam para distingui-los, levando a um desempenho pobre.

Os autores argumentam que os métodos atuais de última geração (por exemplo, nnPU, PUHDT) falham sob as hipóteses SAR/PG ou dependem de manipulação de dados (reamostragem, filtragem em duas etapas) que pode não ser robusta em configurações altamente desequilibradas.

2. Metodologia

O método proposto, denominado iFPU (Imbalanced Focused PU), introduz um novo estimador de risco não negativo que integra a Focal Loss ao framework de aprendizado PU.

2.1 Fundamentação Teórica

A abordagem baseia-se nos estimadores de risco não viesados para aprendizado PU (uPU) e estimadores de risco não negativos (nnPU). No aprendizado PU padrão, o risco $R(g)$ é aproximado usando positivos rotulados ($P$) e dados não rotulados ($U$), substituindo o termo de risco negativo $R_N^-(g)$ por uma expressão envolvendo $U$ e $P$:
$$\tilde{R}_{PU}(g) = \pi_P \tilde{R}_P^+(g) - \pi_P \tilde{R}_P^-(g) + \tilde{R}_U^-(g)$$
onde $\pi_P$ é o prior da classe. Para prevenir riscos empíricos negativos (que causam overfitting em redes neurais), o método nnPU aplica uma restrição não negativa: $\max\{0, \tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g)\}$.

2.2 Estimador de Risco Focado

Os autores observam que, em configurações desequilibradas, o risco padrão é dominado pelos dados não rotulados, fazendo com que o modelo negligencie os poucos exemplos positivos difíceis de distinguir. Para abordar isso, eles substituem a perda de entropia cruzada padrão pela Focal Loss [50].

A Focal Loss reduz o peso de exemplos fáceis (aqueles com alta probabilidade de classificação correta) e aumenta o peso de exemplos difíceis. A focal loss para uma probabilidade $p_t$ é definida como:
$$FL(p_t) = -(1-p_t)^\gamma \log(p_t)$$
onde $\gamma$ controla o parâmetro de foco.

Os autores derivam o estimador de risco iFPU substituindo os termos de perda padrão na equação de risco PU pela formulação da focal loss:
$$\tilde{R}_{iFPU}(g) = \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (1-g(x_i))^\gamma \log(g(x_i)) + \max\left\{0, \frac{1}{n_U} \sum_{i=1}^{n_U} -(g(x_i))^\gamma \log(1-g(x_i)) - \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (g(x_i))^\gamma \log(1-g(x_i)) \right\}$$

2.3 Procedimento de Treinamento

O processo de treinamento utiliza otimização estocástica (SGD). Uma característica chave do algoritmo é o tratamento da restrição não negativa:

• Se o termo $(\tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g))$ for não negativo, o modelo atualiza os parâmetros usando o gradiente do risco completo.
• Se o termo for negativo (indicando potencial overfitting ou violação da restrição não negativa), o modelo realiza um passo de ascensão de gradiente no termo de diferença para empurrá-lo de volta em direção à não negatividade, em vez de simplesmente ignorar o gradiente.

O método é projetado para ser end-to-end, compatível com qualquer classificador baseado em minimização de custo (por exemplo, MLPs, XGBoost), sem exigir pré-processamento de dados ou reamostragem.

3. Contribuições Principais

1. Novo Estimador de Risco: A derivação de um estimador de risco não negativo especificamente adaptado para dados PU desequilibrados usando Focal Loss, que visa explicitamente exemplos positivos difíceis de classificar.
2. Relaxação de Suposições: O método é avaliado sob as hipóteses SCAR e SAR, demonstrando robustez em cenários onde existe viés de rotulagem (ou seja, positivos que se assemelham aos negativos têm menor probabilidade de serem rotulados).
3. Integração End-to-End: Diferentemente de métodos em duas etapas que exigem a identificação de negativos confiáveis primeiro, o iFPU integra-se diretamente ao loop de treinamento de classificadores padrão (MLP e XGBoost).
4. Validação no Mundo Real: O método é aplicado a um problema desafiador do mundo real: detecção de distorções financeiras, onde dados PU surgem naturalmente devido ao atraso na detecção de erros.

4. Resultados Experimentais

Os autores avaliaram o iFPU em 14 conjuntos de dados desequilibrados publicamente disponíveis e em um conjunto de dados financeiro do mundo real.

4.1 Conjuntos de Dados de Referência

• Configuração: 14 conjuntos de dados com razões de desequilíbrio variadas. Os experimentos foram executados sob as hipóteses SCAR e SAR com 25%, 50% e 75% dos exemplos positivos rotulados.
• Comparadores: Comparado contra uPU, nnPU, i-nnPU, NNIF (duas etapas), PUHDT, PUHRF, LBE e SAREM.
• Desempenho:
  • Sob SCAR, o iFPU (usando XGBoost) alcançou resultados comparáveis ao estado da arte PUHRF (PU Hellinger Random Forest), sem diferença estatisticamente significativa na maioria dos casos.
  • Sob a hipótese mais desafiadora SAR, o iFPU superou significativamente a maioria dos concorrentes. No cenário mais difícil (25% de positivos rotulados), o iFPU superou o PUHRF em 5 pontos percentuais em PR-AUC.
  • O método mostrou robustez a estimativas incorretas do prior da classe, mantendo o desempenho mesmo quando o prior foi subestimado significativamente.

4.2 Aplicação no Mundo Real: Detecção de Distorções Financeiras

• Contexto: Detecção de distorções financeiras em relatórios anuais (2003–2014) onde as distorções são raras e frequentemente não detectadas por anos (cenário SAR/PG).
• Configuração: Comparado contra baselines supervisionadas (TabTransformer com focal loss calibrada, Fin-SVM, RUSBoost) e métodos PU (PUHRF).
• Resultados:
  • O iFPUXGB proposto alcançou a maior R-precisão de 19,95%, superando o modelo TabTransformer anterior de última geração (17,63%) e o PUHRF (18,22%).
  • Os resultados indicam que modelar o problema como aprendizado PU (reconhecendo positivos ocultos) produz desempenho significativamente melhor do que tratar dados não rotulados como negativos.

5. Significado e Alegações

O artigo afirma que o iFPU representa uma solução de última geração para aprendizado PU em configurações desequilibradas, particularmente onde a hipótese de Gap Probabilístico se mantém.

• Robustez: A capacidade do método de performar bem sob hipóteses SAR sem exigir manipulação complexa de dados ou reamostragem é destacada como uma grande vantagem sobre métodos existentes baseados em árvores ou em duas etapas.
• Praticidade: A aplicação bem-sucedida à detecção de distorções financeiras demonstra a utilidade do método em domínios do mundo real de alto risco, onde dados rotulados são escassos e enviesados.
• Flexibilidade: Ao depender de um framework de minimização de risco compatível com vários classificadores (MLP, XGBoost), a abordagem oferece uma alternativa flexível a algoritmos PU especializados.

Os autores observam modestamente que, embora tenham evitado o ajuste de hiperparâmetros para garantir comparação justa, uma otimização adicional dos parâmetros do XGBoost e da focal loss poderia potencialmente produzir resultados ainda mais fortes. Eles também identificam a escalagem de temperatura para calibração e extensões para configurações multiclasse como direções futuras de pesquisa.