Resumo Técnico: OverNaN - Sobreamostragem Consciente de NaN para Aprendizado Desbalanceado com Ausência Significativa

1. Declaração do Problema

Em aprendizado de máquina aplicado, particularmente nas ciências físicas, engenharia e biomedicina, valores ausentes frequentemente surgem de restrições estruturais (por exemplo, medições destrutivas, restrições éticas ou resultados condicionais) e não de ruído estocástico. Consequentemente, a ausência de dados pode carregar informações relevantes para o domínio. No entanto, pipelines padrão de aprendizado de máquina geralmente tratam valores ausentes como defeitos a serem eliminados via exclusão listwise ou imputação antes da análise.

Essa abordagem é particularmente prejudicial em cenários de aprendizado desbalanceado, onde classes minoritárias já estão sub-representadas. A exclusão remove desproporcionalmente amostras minoritárias, exacerbando o desbalanceamento, enquanto a imputação colapsa a incerteza em estimativas pontuais, introduzindo certeza artificial e viés potencial dependente do modelo. Além disso, técnicas de sobreamostragem sintética amplamente adotadas, como SMOTE e ADASYN, assumem implicitamente vetores de características completos, forçando os praticantes a imputar dados ausentes antes de gerar amostras sintéticas. Esse processo apaga os padrões de ausência estrutural antes que a sobreamostragem ocorra, potencialmente distorcendo os limites das classes e a geometria do espaço de características.

2. Metodologia: OverNaN

OverNaN é um framework leve de sobreamostragem consciente de NaN, projetado para abordar o desbalanceamento de classes sem apagar a estrutura de ausência. Ele estende métodos comuns de sobreamostragem sintética (SMOTE, ADASYN, ROSE) para operar diretamente em vetores de características incompletos, tratando o espaço de características como $(\mathbb{R} \cup \{\text{NaN}\})^d$ em vez de $\mathbb{R}^d$.

Princípios Centrais de Design

1. Integridade Estrutural: Valores ausentes são tratados como elementos estruturais, não como defeitos. Amostras sintéticas podem legitimamente conter NaNs se os dados originais suportarem tais padrões.
2. Sem Certeza Artificial: A sobreamostragem não introduz valores inferidos onde nenhum foi observado, evitando a codificação de suposições injustificadas.
3. Controle Explícito: Estratégias para lidar com ausências são explícitas e definidas pelo usuário, e não efeitos colaterais implícitos do pré-processamento.

Implementação Algorítmica

OverNaN modifica a definição de vizinhança e o processo de geração de amostras dos métodos existentes:

• Cálculo de Distância: Distâncias entre amostras $x_i$ e $x_j$ são computadas apenas no conjunto de dimensões observadas compartilhadas $\Omega_{ij} = \{k : x_{ik} \neq \text{NaN} \land x_{jk} \neq \text{NaN}\}$.
• Geração por Característica: Amostras sintéticas $\tilde{x}$ são geradas por característica. Para dimensões em $\Omega_{ij}$, ocorre interpolação padrão ($\tilde{x}_k = x_{ik} + \lambda(x_{jk} - x_{ik})$). Para dimensões fora de $\Omega_{ij}$, o valor é determinado por uma de três estratégias explícitas:
  1. Preservar-Padrão: Se uma característica estiver ausente em qualquer um dos pais, a amostra sintética mantém o NaN.
  2. Interpolação Seletiva: A interpolação ocorre apenas se ambos os pais tiverem valores observados; caso contrário, a característica permanece NaN.
  3. Ausência Probabilística: A ausência é amostrada de acordo com taxas de ausência empíricas por classe.

Características Computacionais

• Compatibilidade: OverNaN opera em arrays NumPy e DataFrames pandas, preservando tipos de contêiner e metadados.
• Complexidade: Ele delega a busca de vizinhos para bibliotecas existentes. Embora os cálculos de distância sejam restritos a subespaços observados, a complexidade assintótica permanece semelhante aos métodos subjacentes ($O(Nd)$ por consulta no pior caso).
• Paralelismo: A geração de amostras é embaraçosamente paralela, embora OverNaN aplique paralelismo conservadoramente no nível de lote para evitar condições de corrida com propagação de NaN.
• Estabilidade Numérica: Baseia-se no comportamento padrão IEEE 754 de NaN, propagando NaNs deliberadamente em vez de mascará-los, assumindo que aprendizes a jusante (por exemplo, ensembles baseados em árvores) são tolerantes a NaN.

3. Contribuições Principais

• Desenvolvimento de Framework: A introdução do OverNaN, que integra a consciência de NaN ao SMOTE, ADASYN e ROSE sem alterar suas suposições geométricas centrais, apenas o domínio de definição.
• Definição de Estratégias: A formalização de três estratégias distintas para lidar com ausências durante a sobreamostragem (Preservar, Seletiva, Probabilística), permitindo que os praticantes alinhem o método com o conhecimento do domínio.
• Suite de Validação: Uma suite de testes abrangente demonstrando funcionalidade em casos extremos (por exemplo, amostras minoritárias únicas, altas taxas de NaN) e integração com classificadores a jusante como XGBoost.
• Benchmarking: Avaliação empírica em cinco conjuntos de dados OpenML com ausência natural e uma aplicação específica em um conjunto de dados de Nanofolhas de Óxido de Grafeno onde a ausência é quimicamente significativa.

4. Resultados Experimentais

Conjuntos de Dados Sintéticos e Controlados

• Funcionalidade Básica: OverNaN reequilibrou com sucesso as classes sem imputação. Sob a estratégia padrão preserve_pattern, a taxa de NaN no conjunto reamostrado aumentou (já que amostras sintéticas herdam ausências dos pais), enquanto ROSENaN manteve taxas mais próximas das originais devido à sua perturbação baseada em kernel.
• Integração com Classificadores: Em uma tarefa controlada com XGBoost, todas as três variantes do OverNaN melhoraram o recall e as pontuações F1 da classe minoritária em comparação com uma linha de base. SMOTENaN e ROSENaN alcançaram recall e F1 perfeitos (1.000) na classe minoritária.
• Desempenho Comparativo: Em um conjunto de dados sintético com 11,9% de NaNs, SMOTENaN alcançou o maior ROC AUC (0,802) e a menor variância entre dobras cruzadas em comparação com pipelines envolvendo exclusão de características, exclusão de instâncias ou imputação por média seguida de SMOTE padrão.

Benchmarks do Mundo Real (OpenML)

Avaliado em cinco conjuntos de dados (labor, cylinder-bands, Titanic, soybean, car-evaluation):

• ROSENaN consistentemente alcançou a maior Precisão Balanceada Média, Macro F1 e ROC AUC entre os cinco conjuntos de dados.
• SMOTENaN forneceu ganhos modestos sobre a linha de base.
• ADASYN-NaN mostrou ROC AUC melhorado, mas métricas com limiar ligeiramente inferiores em média.
• Tempo de Execução: ROSENaN permaneceu computacionalmente eficiente (0,7s em média), enquanto ADASYN-NaN foi mais lento (16,5s) devido à estimativa de densidade adaptativa.

Aplicação: Nanofolhas de Óxido de Grafeno

Em uma tarefa de previsão de grupos carboxila em nanofolhas (taxa de NaN de 39,8%, onde a ausência indica a ausência estrutural de ligações específicas):

• SMOTENaN superou os pipelines "Excluir Características" e "Imputação + SMOTE", alcançando uma Precisão Balanceada de $0,997 \pm 0,005$ e F1 de $0,999 \pm 0,002$.
• Crucialmente, SMOTENaN preservou o significado estrutural das entradas ausentes (ou seja, não inventando comprimentos de ligação para ligações inexistentes) enquanto mantinha o espaço de características completo, enquanto a imputação introduziu valores sintéticos e a exclusão de características descartou descritores informativos.

Imputação vs. OverNaN

No conjunto de dados OpenML anneal (taxa de NaN de 64,98%), as variantes do OverNaN produziram Precisão Balanceada e pontuações Macro F1 estatisticamente indistinguíveis em comparação com pipelines "Imputar-então-Sobreamostrar". Isso sugere que a imputação não é uma pré-condição estrita para desempenho competitivo nessas configurações.

5. Significado e Alegações

O artigo postula que a ausência é frequentemente um sinal e não ruído, e eliminá-la antes da reamostragem pode distorcer o processo de aprendizado. O significado do OverNaN reside em:

1. Preservar Informação: Permite que os praticantes retenham padrões de ausência estrutural que refletem restrições experimentais ou realidades físicas, em vez de "reparar" dados com estimativas potencialmente enviesadas.
2. Incerteza Explícita: Incentiva o tratamento da incerteza como uma consideração de primeira classe, prevenindo a introdução de certeza artificial em dados sintéticos.
3. Aplicabilidade de Domínio: É especificamente direcionado a domínios científicos e de engenharia com conjuntos de dados pequenos, incompletos e desbalanceados, onde a ausência é inevitável e informativa.

Os autores afirmam explicitamente que OverNaN não é uma solução universal para dados ausentes; ele não modela mecanismos de ausência nem infere valores não observados. Destina-se como uma alternativa para configurações onde aprendizes a jusante podem lidar nativamente com NaNs e onde a ausência estrutural de dados é significativa. O framework prioriza interpretabilidade, controle sobre suposições e reprodutibilidade em vez de otimização agressiva ou capacidades de alto rendimento.