Riepilogo Tecnico: OverNaN - Sovracampionamento Consapevole dei NaN per l'Apprendimento su Dati Sbilanciati con Assenze Significative

1. Enunciato del Problema

Nell'apprendimento automatico applicato, in particolare nelle scienze fisiche, nell'ingegneria e nella biomedicina, i valori mancanti spesso derivano da vincoli strutturali (ad esempio, misurazioni distruttive, restrizioni etiche o esiti condizionati) piuttosto che da rumore stocastico. Di conseguenza, l'assenza di dati può veicolare informazioni rilevanti per il dominio. Tuttavia, le pipeline standard di apprendimento automatico trattano tipicamente i valori mancanti come difetti da eliminare tramite cancellazione listwise o imputazione prima dell'analisi.

Questo approccio è particolarmente dannoso negli scenari di apprendimento su dati sbilanciati, dove le classi di minoranza sono già sottorappresentate. La cancellazione rimuove in modo sproporzionato i campioni di minoranza, esacerbando lo sbilanciamento, mentre l'imputazione collassa l'incertezza in stime puntuali, introducendo certezza artificiale e potenziali bias dipendenti dal modello. Inoltre, le tecniche di sovracampionamento sintetico ampiamente adottate, come SMOTE e ADASYN, assumono implicitamente vettori di caratteristiche completi, costringendo i praticanti a imputare i dati mancanti prima di generare campioni sintetici. Questo processo cancella i pattern di assenza strutturale prima che avvenga il sovracampionamento, distorcendo potenzialmente i confini di classe e la geometria dello spazio delle caratteristiche.

2. Metodologia: OverNaN

OverNaN è un framework di sovracampionamento leggero e consapevole dei NaN, progettato per affrontare lo sbilanciamento delle classi senza cancellare la struttura delle assenze. Estende i metodi comuni di sovracampionamento sintetico (SMOTE, ADASYN, ROSE) per operare direttamente su vettori di caratteristiche incompleti, trattando lo spazio delle caratteristiche come $(\mathbb{R} \cup \{\text{NaN}\})^d$ anziché $\mathbb{R}^d$.

Principi di Progettazione Fondamentali

1. Integrità Strutturale: I valori mancanti sono trattati come elementi strutturali, non come difetti. I campioni sintetici possono legittimamente contenere NaN se i dati originali supportano tali pattern.
2. Nessuna Certezza Artificiale: Il sovracampionamento non introduce valori inferiti dove non ne sono stati osservati, evitando la codifica di assunzioni ingiustificate.
3. Controllo Esplicito: Le strategie per la gestione delle assenze sono esplicite e definite dall'utente, piuttosto che effetti collaterali impliciti del pre-processing.

Implementazione Algoritmica

OverNaN modifica la definizione del vicinato e il processo di generazione dei campioni dei metodi esistenti:

• Calcolo della Distanza: Le distanze tra i campioni $x_i$ e $x_j$ sono calcolate solo sull'insieme delle dimensioni osservate condivise $\Omega_{ij} = \{k : x_{ik} \neq \text{NaN} \land x_{jk} \neq \text{NaN}\}$.
• Generazione per Caratteristica: I campioni sintetici $\tilde{x}$ sono generati per caratteristica. Per le dimensioni in $\Omega_{ij}$, avviene un'interpolazione standard ($\tilde{x}_k = x_{ik} + \lambda(x_{jk} - x_{ik})$). Per le dimensioni al di fuori di $\Omega_{ij}$, il valore è determinato da una delle tre strategie esplicite:
  1. Preserva-Pattern: Se una caratteristica è mancante in uno dei genitori, il campione sintetico mantiene il NaN.
  2. Interpolazione Selettiva: L'interpolazione avviene solo se entrambi i genitori hanno valori osservati; altrimenti, la caratteristica rimane NaN.
  3. Assenza Probabilistica: L'assenza è campionata secondo i tassi di assenza empirici per classe.

Caratteristiche Computazionali

• Compatibilità: OverNaN opera su array NumPy e DataFrame pandas, preservando i tipi di contenitore e i metadati.
• Complessità: Delega la ricerca dei vicini alle librerie esistenti. Sebbene i calcoli delle distanze siano limitati ai sottospazi osservati, la complessità asintotica rimane simile ai metodi sottostanti ($O(Nd)$ per query nel caso peggiore).
• Parallelismo: La generazione dei campioni è parallelizzabile in modo banale, sebbene OverNaN applichi il parallelismo conservativamente a livello di batch per evitare condizioni di gara con la propagazione dei NaN.
• Stabilità Numerica: Si basa sul comportamento standard IEEE 754 dei NaN, propagando i NaN deliberatamente anziché mascherarli, assumendo che gli apprenditori a valle (ad esempio, ensemble basati su alberi) siano tolleranti ai NaN.

3. Contributi Chiave

• Sviluppo del Framework: L'introduzione di OverNaN, che integra la consapevolezza dei NaN in SMOTE, ADASYN e ROSE senza alterarne le assunzioni geometriche fondamentali, ma solo il dominio di definizione.
• Definizione delle Strategie: La formalizzazione di tre distinte strategie per la gestione delle assenze durante il sovracampionamento (Preserva, Selettiva, Probabilistica), permettendo ai praticanti di allineare il metodo alla conoscenza del dominio.
• Suite di Validazione: Una suite di test completa che dimostra la funzionalità su casi limite (ad esempio, singoli campioni di minoranza, alti tassi di NaN) e l'integrazione con classificatori a valle come XGBoost.
• Benchmarking: Valutazione empirica su cinque dataset OpenML con assenze naturali e un'applicazione specifica a un dataset di Nanofogli di Ossido di Grafene, dove l'assenza è chimicamente significativa.

4. Risultati Sperimentali

Dataset Sintetici e Controllati

• Funzionalità di Base: OverNaN ha riequilibrato con successo le classi senza imputazione. Sotto la strategia predefinita preserve_pattern, il tasso di NaN nel campione ridisegnato è aumentato (poiché i campioni sintetici ereditano l'assenza dai genitori), mentre ROSENaN ha mantenuto tassi più vicini all'originale grazie alla sua perturbazione basata su kernel.
• Integrazione con il Classificatore: In un compito controllato con XGBoost, tutte e tre le varianti di OverNaN hanno migliorato il richiamo (recall) e il punteggio F1 della classe di minoranza rispetto a una baseline. SMOTENaN e ROSENaN hanno raggiunto un richiamo e un F1 perfetti (1.000) sulla classe di minoranza.
• Prestazioni Comparative: Su un dataset sintetico con l'11,9% di NaN, SMOTENaN ha ottenuto il ROC AUC più alto (0,802) e la varianza cross-fold più bassa rispetto alle pipeline che prevedevano l'eliminazione delle caratteristiche, l'eliminazione delle istanze o l'imputazione media seguita da SMOTE standard.

Benchmark Reali (OpenML)

Valutati su cinque dataset (labor, cylinder-bands, Titanic, soybean, car-evaluation):

• ROSENaN ha costantemente ottenuto la massima Accuratezza Bilanciata media, Macro F1 e ROC AUC sui cinque dataset.
• SMOTENaN ha fornito guadagni modesti rispetto alla baseline.
• ADASYN-NaN ha mostrato un ROC AUC migliorato ma metriche con soglia leggermente inferiori in media.
• Tempo di Esecuzione: ROSENaN è rimasto computazionalmente efficiente (0,7s in media), mentre ADASYN-NaN è stato più lento (16,5s) a causa della stima adattiva della densità.

Applicazione: Nanofogli di Ossido di Grafene

In un compito di previsione dei gruppi carbossilici sui nanofogli (tasso di NaN del 39,8%, dove l'assenza indica l'assenza strutturale di legami specifici):

• SMOTENaN ha superato sia le pipeline "Elimina Caratteristiche" che "Imputazione + SMOTE", raggiungendo un'Accuratezza Bilanciata di $0,997 \pm 0,005$ e un F1 di $0,999 \pm 0,002$.
• Crucialmente, SMOTENaN ha preservato il significato strutturale delle voci mancanti (cioè, non inventando lunghezze di legame per legami inesistenti) mantenendo l'intero spazio delle caratteristiche, mentre l'imputazione ha introdotto valori sintetici e l'eliminazione delle caratteristiche ha scartato descrittori informativi.

Imputazione vs OverNaN

Sul dataset OpenML anneal (tasso di NaN del 64,98%), le varianti di OverNaN hanno prodotto punteggi di Accuratezza Bilanciata e Macro F1 statisticamente indistinguibili rispetto alle pipeline "Imputa-poi-Sovracampiona". Ciò suggerisce che l'imputazione non è un prerequisito rigoroso per prestazioni competitive in queste impostazioni.

5. Significato e Affermazioni

Il paper sostiene che l'assenza è spesso un segnale piuttosto che rumore, e eliminarla prima del ridimensionamento può distorcere il processo di apprendimento. Il significato di OverNaN risiede in:

1. Preservazione delle Informazioni: Permette ai praticanti di mantenere i pattern di assenza strutturale che riflettono vincoli sperimentali o realtà fisiche, piuttosto che "riparare" i dati con stime potenzialmente biasate.
2. Incertezza Esplicita: Incoraggia il trattamento dell'incertezza come considerazione di prima classe, prevenendo l'introduzione di certezza artificiale nei dati sintetici.
3. Applicabilità al Dominio: È specificamente mirato ai domini scientifici e ingegneristici con dataset piccoli, incompleti e sbilanciati, dove l'assenza è inevitabile e informativa.

Gli autori affermano esplicitamente che OverNaN non è una soluzione universale per i dati mancanti; non modella i meccanismi di assenza né inferisce valori non osservati. È inteso come un'alternativa per contesti in cui gli apprenditori a valle possono gestire nativamente i NaN e in cui l'assenza strutturale dei dati è significativa. Il framework dà priorità all'interpretabilità, al controllo sulle assunzioni e alla riproducibilità rispetto all'ottimizzazione aggressiva o alle capacità ad alto throughput.