Knockoffs-based False Discovery Rate Control and Simplification for Deep Neural Networks

Sintesi Tecnica: Controllo del Tasso di Falsi Scoperti basato su Knockoffs e Semplificazione per Reti Neurali Profonde

Problematica
Le reti neurali profonde (DNN) sono strumenti potenti per gestire problemi di classificazione non lineari, ma spesso soffrono di un'elevata complessità computazionale a causa dell'alto numero di parametri e variabili di input. Molti di questi input possono essere irrilevanti rispetto al target di output, contribuendo a costi computazionali inutili e al potenziale overfitting. Sebbene esistano metodi di selezione delle variabili, il controllo del Tasso di Falsi Scoperti (FDR - False Discovery Rate) in contesti non lineari e ad alta dimensionalità utilizzando le DNN rimane una sfida. I metodi esistenti mancano di controllo sull'FDR, si affidano a meccanismi di attenzione che possono trascurare i contributi marginali delle feature, o comportano implementazioni complesse. Inoltre, vi è la necessità di metodi che non si limitino a selezionare le variabili, ma che semplifichino anche la struttura della rete per migliorarne l'efficienza.

Metodologia
Gli autori propongono un framework che integra il metodo dei Knockoffs (Barber e Candès, 2015) con le reti neurali regolarizzate $\ell_1$ per ottenere simultaneamente lo screening delle variabili con il controllo dell'FDR e la semplificazione della rete.

1. Costruzione dei Knockoff: Per ogni variabile di input originale $x_j$, viene generata una variabile knockoff $\tilde{x}_j$. Questi knockoff condividono le stesse proprietà distributive e correlazioni a coppie con le variabili originali, ma sono condizionalmente indipendenti dalla risposta. Ciò crea un "controllo negativo" per una selezione valida delle variabili.
2. Rete Neurale Regolarizzata: Il modello impiega una DNN con $L$ strati nascosti. Lo strato di input consiste in $2p$ neuroni ($p$ variabili originali e $p$ knockoff). La rete viene addestrata utilizzando una funzione di perdita che combina la cross-entropia binaria (o la cross-entropia categorica per la classificazione multi-classe) con un termine di regolarizzazione $\ell_1$.
3. Metrica di Importanza ($Z_{jd}^{(l)}$): Il nucleo del metodo consiste nel determinare il parametro di regolarizzazione $\lambda$ più grande per ogni peso $\theta_{jd}^{(l)}$ che impedisce a quest'ultimo di diventare zero. Questo valore, denotato come $Z_{jd}^{(l)}$, funge da misura dell'importanza del peso. Valori di $Z$ più elevati indicano pesi più critici.
4. Tre Algoritmi di Screening:
   • Filtro a Strato Singolo (OL - One Layer Filter): Calcola l'importanza della variabile basandosi esclusivamente sui valori aggregati di $Z$ dei pesi che collegano le variabili di input al primo strato nascosto.
     za Filtro a Strati Multipli (ML - Multiple Layers Filter): Aggrega l'importanza considerando il prodotto delle matrici dei pesi attraverso tutti gli strati, catturando efficacemente la struttura globale della rete.
   • Filtro di Aggregazione dei Pesi delle Variabili (VWA - Variable Weight Aggregation Filter): Un approccio d'insieme che esegue i filtri OL o ML più volte (ad esempio, 10 iterazioni) con diverse inizializzazioni casuali. Utilizza il voto maggioritario (hard voting) per selezionare le variabili che appaiono costantemente tra le varie esecuzioni, riducendo così la stocasticità inerente all'addestramento delle reti neurali.
5. Controllo dell'FDR: I metodi utilizzano la proprietà di simmetria tra le variabili originali e i loro knockoff per costruire una statistica di test $W_j$. Viene calcolato un valore di soglia $T$ dipendente dai dati per garantire che l'FDR empirico rimanga al di sotto di un livello target $q$.
6. Semplificazione della Rete (Riduzione dei Pesi - Reduce Weight): Sulla base dei valori di $Z$ ottenuti durante lo screening, i pesi con bassa importanza vengono rimossi (pruning). Questo processo può anche rimuovere interi neuroni se tutti i pesi in entrata o in uscita vengono eliminati, semplificando efficacemente l'architettura della rete.

Contributi Chiave

• Controllo dell'FDR in Modelli Non Lineari: Il paper estende l'applicazione dei Knockoff alle reti neurali profonde, fornendo un metodo rigoroso per la selezione delle variabili che controlla l'FDR in contesti non lineari dove i metodi tradizionali dei knockoff lineari falliscono.
• Integrazione di Screening e Semplificazione: Il framework proposto identifica simultaneamente le feature rilevanti e semplifica la struttura della rete tramite la rimozione di pesi e neuroni a bassa importanza, affrontando sia la selezione delle feature che l'efficienza del modello.
• Tre Algoritmi Distinti: L'introduzione dei filtri OL, ML e VWA offre flessibilità. Il filtro VWA affronta specificamente l'instabilità dell'addestramento delle reti neurali aggregando i risultati attraverso più esecuzioni, rendendo il processo di selezione delle feature più interpretabile e robusto.
• Validazione Empirica: Gli autori forniscono simulazioni estese e un'applicazione reale che dimostrano l'efficacia del loro approccio rispetto ai metodi esistenti come DeepLINK, DeepPINK e i Knockoff standard.

Risultati

• Studi di Simulazione:
  • I metodi proposti (particolarmente le varianti VWA) hanno raggiunto valori di FDR empirico vicini o inferiori al livello target ($q=0.1$) pur mantenendo un'elevata potenza statistica (la capacità di rilevare segnali reali) attraverso varie distribuzioni di dati (Normale, Chi-quadro) e architetture di rete.
  • Il VWA-OML (che aggrega sia OL che ML) ha mostrato prestazioni robuste, raggiungendo spesso un FDR vicino allo zero con un'alta potenza, superando i metodi a strato singolo o a singola esecuzione in termini di consistenza.
  • Rispetto ai metodi esistenti (Knockoffs, DeepLINK, DeepPINK, DFS, DeepLasso), il metodo proposto VWA-OML ha dimostrato una potenza superiore (0.97 rispetto a 0.12–0.30 degli altri in specifici test di classificazione binaria) mantenendo al contempo un rigoroso controllo dell'FDR.
• Semplificazione della Rete:
  • L'applicazione della strategia "Reduce Weight" ha ridotto significativamente il tempo di addestramento rispetto all'uso di tutte le variabili o della regolarizzazione Dropout, mantenendo o migliorando leggermente l'accuratezza della predizione.
  • Sul dataset del Cancro al Seno, il metodo ha selezionato con successo un sottoinsieme di variabili e semplificato la struttura della rete senza sacrificare le prestazioni predittive.
• Applicazione Reale (Dataset del Cancro al Seno):
  • Applicato al dataset Wisconsin Diagnostic Breast Cancer (30 feature, 569 istanze), i filtri hanno selezionato sottogruppi variabili di feature. Il filtro VWA-OML ha selezionato 21 variabili, mentre OL e ML ne hanno selezionate rispettivamente 13 e 10.
  • I modelli semplificati addestrati su queste variabili selezionate hanno dimostrato un'accuratezza competitiva e una riduzione del tempo computazionale rispetto ai modelli che utilizzano tutte le feature originali.

Significatività e Rivendicazioni
Il paper sostiene che la sua principale significatività risieda nel colmare il divario tra la rigorosa selezione statistica delle variabili (controllo dell'FDR) e le necessità pratiche del deep learning (gestione della non-linearità e della complessità del modello). Gli autori affermano che i loro metodi forniscono una "prestazione soddisfacente" nello screening delle variabili e nella semplificazione delle reti, offrendo un'alternativa valida ai meccanismi basati sull'attenzione o ai complessi metodi d'insieme che possono trascurare i contributi marginali delle feature.

Gli autori notano con modestia che, sebbene i metodi funzionino bene sotto le distribuzioni Normale e Chi-quadro, l'FDR empirico può superare il livello target sotto distribuzioni non gaussiane asimmetriche (es. Gamma), suggerendo che il controllo è dipendente dalla distribuzione. Essi sottolineano che l'approccio VWA migliora la stabilità e l'affidabilità mitigando la casualità dell'addestramento delle reti neurali, rendendo il processo di selezione delle feature più interpretabile e robusto. Il lavoro è posizionato come uno strumento applicabile a diversi campi come la genomica, l'imaging cerebrale e la fisica delle particelle, dove l'analisi di dati non lineari ad alta dimensionalità è critica.