Resumen Técnico: OverNaN - Sobremuestreo Consciente de NaN para Aprendizaje Desbalanceado con Ausencia Significativa

1. Declaración del Problema

En el aprendizaje automático aplicado, particularmente dentro de las ciencias físicas, la ingeniería y la biomedicina, los valores faltantes a menudo surgen de restricciones estructurales (por ejemplo, mediciones destructivas, restricciones éticas o resultados condicionales) en lugar de ruido estocástico. En consecuencia, la ausencia de datos puede portar información relevante para el dominio. Sin embargo, las tuberías estándar de aprendizaje automático suelen tratar los valores faltantes como defectos que deben eliminarse mediante eliminación por lista o imputación antes del análisis.

Este enfoque es particularmente perjudicial en escenarios de aprendizaje desbalanceado donde las clases minoritarias ya están subrepresentadas. La eliminación elimina desproporcionadamente muestras minoritarias, exacerbando el desequilibrio, mientras que la imputación colapsa la incertidumbre en estimaciones puntuales, introduciendo certeza artificial y un sesgo potencial dependiente del modelo. Además, las técnicas de sobremuestreo sintético ampliamente adoptadas, como SMOTE y ADASYN, asumen implícitamente vectores de características completos, obligando a los practicantes a imputar datos faltantes antes de generar muestras sintéticas. Este proceso borra los patrones de ausencia estructural antes de que ocurra el sobremuestreo, distorsionando potencialmente los límites de clase y la geometría del espacio de características.

2. Metodología: OverNaN

OverNaN es un marco de sobremuestreo ligero y consciente de NaN diseñado para abordar el desequilibrio de clases sin borrar la estructura de ausencia. Extiende los métodos comunes de sobremuestreo sintético (SMOTE, ADASYN, ROSE) para operar directamente sobre vectores de características incompletos, tratando el espacio de características como $(\mathbb{R} \cup \{\text{NaN}\})^d$ en lugar de $\mathbb{R}^d$.

Principios de Diseño Central

1. Integridad Estructural: Los valores faltantes se tratan como elementos estructurales, no como defectos. Las muestras sintéticas pueden contener legítimamente NaNs si los datos originales apoyan tales patrones.
2. Sin Certeza Artificial: El sobremuestreo no introduce valores inferidos donde no se observaron ninguno, evitando la codificación de suposiciones injustificadas.
3. Control Explícito: Las estrategias para manejar la ausencia son explícitas y definidas por el usuario, en lugar de efectos secundarios implícitos del preprocesamiento.

Implementación Algorítmica

OverNaN modifica la definición de vecindad y el proceso de generación de muestras de los métodos existentes:

• Cálculo de Distancia: Las distancias entre muestras $x_i$ y $x_j$ se calculan solo sobre el conjunto de dimensiones observadas compartidas $\Omega_{ij} = \{k : x_{ik} \neq \text{NaN} \land x_{jk} \neq \text{NaN}\}$.
• Generación por Característica: Las muestras sintéticas $\tilde{x}$ se generan por característica. Para las dimensiones en $\Omega_{ij}$, ocurre la interpolación estándar ($\tilde{x}_k = x_{ik} + \lambda(x_{jk} - x_{ik})$). Para las dimensiones fuera de $\Omega_{ij}$, el valor se determina mediante una de tres estrategias explícitas:
  1. Preservar-Patrón: Si una característica está faltante en cualquiera de los padres, la muestra sintética conserva el NaN.
  2. Interpolación Selectiva: La interpolación ocurre solo si ambos padres tienen valores observados; de lo contrario, la característica permanece como NaN.
  3. Ausencia Probabilística: La ausencia se muestrea de acuerdo con las tasas de ausencia empíricas por clase.

Características Computacionales

• Compatibilidad: OverNaN opera sobre matrices de NumPy y DataFrames de pandas, preservando los tipos de contenedor y los metadatos.
• Complejidad: Delega la búsqueda de vecinos a bibliotecas existentes. Aunque los cálculos de distancia están restringidos a subespacios observados, la complejidad asintótica permanece similar a los métodos subyacentes ($O(Nd)$ por consulta en el peor de los casos).
• Paralelismo: La generación de muestras es paralelizable de manera trivial, aunque OverNaN aplica el paralelismo conservadoramente a nivel de lote para evitar condiciones de carrera con la propagación de NaNs.
• Estabilidad Numérica: Se basa en el comportamiento estándar de NaN de IEEE 754, propagando NaNs deliberadamente en lugar de enmascararlos, asumiendo que los aprendices aguas abajo (por ejemplo, ensembles basados en árboles) son tolerantes a NaNs.

3. Contribuciones Clave

• Desarrollo de Marco: La introducción de OverNaN, que integra la conciencia de NaN en SMOTE, ADASYN y ROSE sin alterar sus suposiciones geométricas centrales, solo el dominio de definición.
• Definición de Estrategias: La formalización de tres estrategias distintas para manejar la ausencia durante el sobremuestreo (Preservar, Selectiva, Probabilística), permitiendo a los practicantes alinear el método con el conocimiento del dominio.
• Suite de Validación: Una suite de pruebas exhaustiva que demuestra la funcionalidad en casos límite (por ejemplo, muestras minoritarias únicas, altas tasas de NaN) y la integración con clasificadores aguas abajo como XGBoost.
• Evaluación Comparativa: Evaluación empírica en cinco conjuntos de datos de OpenML con ausencia natural y una aplicación específica a un conjunto de datos de Nanoflakes de Óxido de Grafeno donde la ausencia es químicamente significativa.

4. Resultados Experimentales

Conjuntos de Datos Sintéticos y Controlados

• Funcionalidad Básica: OverNaN equilibró exitosamente las clases sin imputación. Bajo la estrategia preserve_pattern predeterminada, la tasa de NaNs en la muestra aumentó (ya que las muestras sintéticas heredan la ausencia de los padres), mientras que ROSENaN mantuvo tasas más cercanas a las originales debido a su perturbación basada en kernels.
• Integración con Clasificadores: En una tarea controlada con XGBoost, las tres variantes de OverNaN mejoraron la recuperación (recall) y las puntuaciones F1 de la clase minoritaria en comparación con una línea base. SMOTENaN y ROSENaN lograron una recuperación y F1 perfectas (1.000) en la clase minoritaria.
• Rendimiento Comparativo: En un conjunto de datos sintético con 11.9% de NaNs, SMOTENaN logró el ROC AUC más alto (0.802) y la varianza cruzada más baja en comparación con tuberías que involucraban eliminación de características, eliminación de instancias o imputación por media seguida de SMOTE estándar.

Evaluaciones Comparativas del Mundo Real (OpenML)

Evaluado en cinco conjuntos de datos (labor, cylinder-bands, Titanic, soybean, car-evaluation):

• ROSENaN logró consistentemente la mayor Precisión Balanceada Media, Macro F1 y ROC AUC en los cinco conjuntos de datos.
• SMOTENaN proporcionó ganancias modestas sobre la línea base.
• ADASYN-NaN mostró un ROC AUC mejorado pero métricas umbralizadas ligeramente más bajas en promedio.
• Tiempo de Ejecución: ROSENaN permaneció computacionalmente eficiente (0.7s en promedio), mientras que ADASYN-NaN fue más lento (16.5s) debido a la estimación de densidad adaptativa.

Aplicación: Nanoflakes de Óxido de Grafeno

En una tarea que predice grupos carboxilo en nanoflakes (tasa de NaN del 39.8%, donde la ausencia indica la ausencia estructural de enlaces específicos):

• SMOTENaN superó tanto a las tuberías "Eliminar Características" como a "Imputación + SMOTE", logrando una Precisión Balanceada de $0.997 \pm 0.005$ y un F1 de $0.999 \pm 0.002$.
• Crucialmente, SMOTENaN preservó el significado estructural de las entradas faltantes (es decir, no inventó longitudes de enlace para enlaces inexistentes) mientras mantenía el espacio de características completo, whereas la imputación introdujo valores sintéticos y la eliminación de características descartó descriptores informativos.

Imputación vs. OverNaN

En el conjunto de datos anneal de OpenML (tasa de NaN del 64.98%), las variantes de OverNaN produjeron Precisión Balanceada y puntuaciones Macro F1 estadísticamente indistinguibles en comparación con las tuberías "Imputar-luego-Sobremuestrear". Esto sugiere que la imputación no es un prerrequisito estricto para un rendimiento competitivo en estos entornos.

5. Significado y Afirmaciones

El artículo postula que la ausencia es a menudo una señal en lugar de ruido, y eliminarla antes del remuestreo puede distorsionar el proceso de aprendizaje. La importancia de OverNaN radica en:

1. Preservar Información: Permite a los practicantes retener patrones de ausencia estructural que reflejan restricciones experimentales o realidades físicas, en lugar de "reparar" datos con estimaciones potencialmente sesgadas.
2. Incertidumbre Explícita: Fomenta el tratamiento de la incertidumbre como una consideración de primera clase, evitando la introducción de certeza artificial en datos sintéticos.
3. Aplicabilidad de Dominio: Está dirigido específicamente a dominios científicos e ingenieriles con conjuntos de datos pequeños, incompletos y desbalanceados donde la ausencia es inevitable e informativa.

Los autores declaran explícitamente que OverNaN no es una solución universal para datos faltantes; no modela mecanismos de ausencia ni infiere valores no observados. Está destinado como una alternativa para configuraciones donde los aprendices aguas abajo pueden manejar NaNs de forma nativa y donde la ausencia estructural de datos es significativa. El marco prioriza la interpretabilidad, el control sobre las suposiciones y la reproducibilidad sobre la optimización agresiva o las capacidades de alto rendimiento.