Improving Performance in Classification Tasks with LCEN and the Weighted Focal Differentiable MCC Loss

Titolo: Miglioramento delle Prestazioni nei Compiti di Classificazione con LCEN e la Funzione di Perdita Differenziabile MCC Focalizzata Ponderata

1. Problema

Il lavoro affronta due sfide principali nel campo dell'apprendimento automatico per la classificazione:

1. Mancanza di interpretabilità e sparsità: Molti modelli ad alte prestazioni (come le reti neurali profonde) sono "scatole nere". Sebbene esistano metodi post-hoc (es. SHAP, LIME) per spiegarli, questi possono essere inaffidabili. È necessario un algoritmo che offra nativamente interpretabilità e sparsità (selezione delle caratteristiche) senza sacrificare le prestazioni.
2. Discrepanza tra funzione di perdita e metriche di valutazione: Nella classificazione, i modelli sono spesso addestrati minimizzando la Cross-Entropy (CE), ma valutati su metriche come il F1 Score o il Matthews Correlation Coefficient (MCC). Poiché la CE non è direttamente correlata a queste metriche e queste ultime non sono differenziabili, il modello con la CE più bassa non garantisce necessariamente le migliori prestazioni di classificazione.
3. Limitazione degli algoritmi esistenti: L'algoritmo LCEN (LASSO-Clip-EN), precedentemente introdotto per la selezione di caratteristiche non lineari e interpretabili, era limitato esclusivamente a compiti di regressione.

2. Metodologia

Gli autori hanno sviluppato due innovazioni principali:

• Adattamento dell'algoritmo LCEN per la classificazione:

  • L'algoritmo originale è stato modificato sostituendo la regressione lineare con regressione logistica sia nello step LASSO (penalità L1) che nello step Elastic Net (penalità combinata L1-L2).
  • Per la classificazione multiclasse, viene generato un set di caratteristiche per ogni classe. Un nuovo iperparametro, LCEN_clip_min_classes_selected, controlla il numero minimo di classi in cui una caratteristica deve apparire per non essere eliminata durante lo step di "clip".
  • L'algoritmo mantiene la sua natura interpretabile e la capacità di generare modelli sparsi.

• Valutazione della funzione di perdita diffMCC:

  • Viene valutata la funzione di perdita weighted focal differentiable MCC (diffMCC), proposta in lavori precedenti, su un set di dati più ampio rispetto alle sole applicazioni biologiche.
  • Questa funzione differenziabile mira a ottimizzare direttamente il MCC, superando i limiti della Cross-Entropy.

• Setup Sperimentale:

  • Sono stati testati quattro dataset reali (due binari: "Heart Failure" e "Bank Marketing"; due multiclasse: "Wine Quality" e "Glass Identification").
  • LCEN è stato confrontato con 10 altri modelli (LR, LASSO, EN, SVM, Random Forest, GBDT, AdaBoost, MLP con CE).
  • È stata effettuata una valutazione della selezione delle caratteristiche: i modelli sono stati riaddestrati utilizzando solo le caratteristiche selezionate da LCEN e confrontati con l'uso di tutte le caratteristiche o di caratteristiche selezionate da altri metodi (statistici o basati su conoscenza del dominio).

3. Contributi Chiave

1. Estensione di LCEN alla classificazione: Dimostrazione che LCEN può essere efficacemente adattato per compiti di classificazione binaria e multiclasse, mantenendo le proprietà di interpretabilità e sparsità.
2. Validazione della funzione di perdita diffMCC: Prove empiriche che l'uso di diffMCC porta a modelli MLP (Multi-Layer Perceptron) significativamente più performanti rispetto all'uso della Cross-Entropy ponderata su dataset non biologici.
3. Superiorità nella selezione delle caratteristiche: LCEN è stato dimostrato superiore ad altri metodi di selezione (inclusi test statistici e selezione guidata da esperti) nel migliorare le prestazioni dei modelli quando si utilizzano solo le caratteristiche selezionate.

4. Risultati

• Prestazioni di LCEN come modello:

  • LCEN ha raggiunto costantemente punteggi elevati di Macro F1 e MCC, superando la maggior parte dei modelli tradizionali e avvicinandosi o superando i modelli MLP in alcuni casi.
  • La sua performance è stata solo il 7,3% inferiore (Macro F1) e il 15,0% inferiore (MCC) rispetto al miglior modello assoluto per ogni dataset, ma con il vantaggio della sparsità.
  • LCEN ha eliminato in media il 56% di tutte le caratteristiche di input, creando modelli molto più semplici.

• Impatto della selezione delle caratteristiche di LCEN:

  • Ri-addestrare tutti i modelli utilizzando solo le caratteristiche selezionate da LCEN ha portato a miglioramenti statisticamente significativi nelle prestazioni (Macro F1 e MCC) in 3 su 4 dataset.
  • Nel dataset "Bank Marketing", l'uso delle caratteristiche selezionate da LCEN ha migliorato le prestazioni del 1,2% (F1) e del 7,5% (MCC) rispetto all'uso di tutte le caratteristiche, mentre la selezione basata su conoscenza del dominio (Moro et al., 2014) ha causato un crollo delle prestazioni.
  • I modelli MLP ri-addestrati con le caratteristiche LCEN sono risultati in media 78-88% più piccoli (in termini di parametri) mantenendo le stesse prestazioni.

• Prestazioni della funzione di perdita diffMCC:

  • I modelli MLP addestrati con diffMCC sono stati sempre i migliori tra tutti i metodi testati.
  • Rispetto ai modelli addestrati con Cross-Entropy, i modelli con diffMCC hanno ottenuto in media un +4,9% di Macro F1 e un +8,5% di MCC.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Unisce accuratezza e interpretabilità: Dimostra che è possibile ottenere modelli ad alte prestazioni per la classificazione che sono anche intrinsecamente interpretabili e sparsi, un requisito fondamentale per applicazioni critiche (medicina, ingegneria, scienze sociali).
• Supera i limiti della Cross-Entropy: Fornisce evidenze robuste che ottimizzare direttamente metriche di classificazione differenziabili (come il MCC) è superiore alla minimizzazione della Cross-Entropy in scenari complessi.
• Validità trasversale: Le tecniche proposte (LCEN modificato e diffMCC) non sono limitate a dati biologici, ma funzionano efficacemente su dati fisici, chimici e sociali.
• Efficienza dei dati: La capacità di LCEN di identificare le caratteristiche più rilevanti permette di ridurre la dimensionalità dei dati senza perdita di accuratezza, facilitando il deployment di modelli più leggeri e robusti.

In conclusione, il paper stabilisce LCEN come un algoritmo competitivo per la selezione delle caratteristiche e l'apprendimento automatico nella classificazione, mentre la funzione di perdita diffMCC si rivela uno strumento superiore per l'addestramento di reti neurali in compiti di classificazione.