From Local Geometry to Global Pseudo Labeling for Robust Positive Unlabeled Learning under Covariate Shift

Resumo Técnico: Da Geometria Local para a Rotulagem Pseudo-Label de Propósito Geral para Aprendizado Positivo-Não Rotulado Robusto sob Desvio de Covariável

Definição do Problema
Detectar o desvio de covariável — onde a distribuição de entrada $P(X)$ muda enquanto a função de rotulagem condicional $P(Y|X)$ permanece constante — é crítico para a implantação de sistemas de visão confiáveis. Enquanto a pesquisa existente foca pesadamente em adaptação ou generalização de domínio, a detecção explícita de tais desvios permanece subexplorada. Os métodos de detecção atuais são predominantemente totalmente supervisionados, exigindo exemplos rotulados tanto das distribuições originais (em distribuição) quanto das deslocadas. Esse requisito é frequentemente impraticável, particularmente quando amostras negativas (deslocadas) não estão disponíveis ou são caras de serem curadas.

Além disso, aplicar o aprendizado clássico de Positivo–Não Rotulado (PU) diretamente à detecção de desvio de covariável é problemático. Métodos clássicos de PU dependem de estimadores de risco não enviesados que assumem uma separabilidade suficiente entre as distribuições positivas e negativas. No entanto, sob desvio de covariável, os dados em distribuição e os deslocados frequentemente se sobrepõem significativamente no espaço de características. Essa sobreposição resulta em uma distância de variação total pequena e um risco Bayesiano intrínseco elevado, fazendo com que a estimativa de risco global se torne instável e sensível ao ruído.

Metodologia: S-PUNA
Para enfrentar esses desafios, os autores propõem o Spectral PU Neighborhood Annotation (S-PUNA), um framework orientado à geometria que aproveita a estrutura de variedade local das características visuais para descobrir progressivamente dados deslocados sem exigir supervisão global.

1. Expansão de Variedade Local:
   Ao contrário das abordagens clássicas de k-NN-PU que apenas propagam rótulos positivos, o S-PUNA constrói simetricamente conjuntos de âncoras positivos e negativos. Partindo de um espaço de características de um Vision Transformer (ViT) pré-treinado (especificamente o 6º bloco, escolhido por sua sensibilidade a nuances geométricas), o método inicializa conjuntos de pseudo-rótulos baseados em escores de distância do domínio positivo. Em seguida, ele expande iterativamente esses conjuntos identificando amostras que são estatisticamente inconsistentes com o suporte positivo atual, mas consistentes com a variedade negativa emergente.

2. Propagação Simétrica:
   Em cada iteração, o algoritmo calcula as distâncias médias para candidatos aos seus vizinhos mais próximos ($k$-nearest neighbors) em ambos os bancos positivos e negativos atuais. Um mecanismo de pontuação classifica os candidatos para expandir o conjunto positivo (amostras próximas aos positivos) e o conjunto negativo (amostras distantes dos positivos, mas que formam um cluster coerente). Esse processo iterativo refina a fronteira de decisão ao descobrir progressivamente a variedade negativa.

3. Critério de Parada por Entropia Espectral:
   Um desafio crítico na rotulagem pseudo-label iterativa é o "desvio semântico" (semantic drift), onde o algoritmo incorpora erroneamente amostras em distribuição no conjunto negativo. O S-PUNA introduz um novo critério de parada baseado em entropia espectral. Ao monitorar a distribuição de autovalores da matriz de covariância do conjunto negativo descoberto, o método mede sua dimensionalidade intrínseca e complexidade estrutural.

   • Base Teórica: Os autores provam (Lema 1) que, à medida que o conjunto negativo é contaminado por amostras positivas, a entropia espectral diminui estritamente.
   • Mecanismo: O processo de expansão é interrompido quando a entropia espectral se estabiliza ou diminui, indicando que a variedade negativa foi suficientemente capturada sem invadir regiões de sobreposição.

4. Destilação de Conhecimento:
   Uma vez que a expansão iterativa converge, a estrutura de vizinhança não paramétrica é destilada em um classificador de Rede Neural Profunda (DNN) paramétrico. Este passo suaviza a fronteira de decisão, reduzindo a variância enquanto preserva a separação geométrica local descoberta durante a fase de PU.

Principais Contribuições

• Nova Formulação de Problema: O artigo é o primeiro a investigar sistematicamente a detecção de desvio de covariável através da lente do aprendizado Positivo–Não Rotulado (PU), fornecendo insights teóricos sobre o porquê da minimização de risco PU global falhar sob sobreposição significativa.
• Framework S-PUNA: Introdução de um framework de rotulagem pseudo-label orientado à geometria que descobre progressivamente distribuições deslocadas via expansão de variedade local, em vez de estimativa de risco global.
• Critério de Entropia Espectral: Um mecanismo de parada principiado que detecta contaminação precoce e evita o desvio de pseudo-rotulagem, teoricamente justificado pela relação entre entropia espectral e contaminação de mistura.
• Benchmarks e Desempenho: Os autores estabelecem novos benchmarks de desvio de covariável e demonstram que o S-PUNA alcança um desempenho de estado da arte em cenários de PU, igualando-se notavelmente ao desempenho de métodos totalmente supervisionados.

Resultados Experimentais
Os autores avaliaram o S-PUNA em três benchmarks principais: ImageNet-1K, TinyImageNet e EuroSAT, cobrindo tanto desvios "próximos" (mudanças sutis de distribuição, ex: ImageNet-V2, GenImage) quanto desvios "distantes" (corrupções severas ou estilização, ex: ImageNet-C, ImageNet-R).

• Desempenho: O S-PUNA superou consistentemente os baselines clássicos de PU (ex: Dist-PU, DC-PU, saPU, LaGAM). No cenário de desvio próximo do ImageNet-1K, o S-PUNA alcançou 97,89% de AUROC, superando o baseline mais forte (Dist-PU com 84,48%) em mais de 13% e reduzindo a Taxa de Falso Positivo na taxa de Verdadeiro Positivo de 95% (FPR95) de 35,05% para 9,69%.
• Comparação com Métodos Supervisionados: Em vários cenários, o S-PUNA aproximou-se do desempenho de classificadores totalmente supervisionados, que servem como um limite superior. Por exemplo, no ImageNet-C, o S-PUNA alcançou 98,51% de AUROC, quase igualando o baseline supervisionado.
• Robustez: O método demonstrou forte generalização através de diferentes tipos de desvio e tamanhos de dataset (TinyImageNet, EuroSAT), mantendo alta estabilidade onde outros métodos de PU exibiram lacunas significativas de desempenho entre desvios próximos e distantes.
• Baselines Não Supervisionados: O artigo também destaca que métodos de detecção de anomalias ou OOD puramente não supervisionados (ex: ReAct, PatchCore) lutam significamente com desvios de covariável próximos, muitas vezes performando próximo ao acaso, enquanto o S-PUNA aproveita efetivamente a supervisão fraca para superar isso.

Significância e Alegações
O artigo argumenta que sinais estritamente supervisionados não são um pré-requisito para uma detecção de desvio de covariável confiável. Ao aproveitar efetivamente a estrutura geométrica intrínseca das representações de características, o aprendizado PU fracamente supervisionado pode alcançar um desempenho altamente robusto e de estado da arte. O trabalho preenche a lacuna entre as limitações teóricas da estimativa de risco PU global sob sobreposição e as necessidades práticas de detecção, oferecendo uma solução escalável para aplicações do mundo real onde dados deslocados rotulados não estão disponíveis. Os autores enfatizam que sua abordagem é particularmente eficaz em regimes de "desvio próximo", que são tipicamente os mais desafiadores para os detectores não supervisionados existentes.