Fuzzy Convolution Neural Networks for Tabular Data Classification

Sintesi Tecnica: Reti Neurali Convolutive Fuzzy per la Classificazione di Dati Tabulari

Enunciato del Problema
Sebbene le Reti Neurali Convolutive (CNN) abbiano ottenuto risultati straordinari nella classificazione di immagini e testi, la loro applicazione ai dati tabulari rimane poco esplorata e impegnativa. I dati tabulari mancano della struttura spaziale a griglia intrinseca e delle correlazioni locali presenti nelle immagini, che le CNN sono progettate per sfruttare. Gli approcci tradizionali di machine learning (ad esempio, Alberi Decisionali, SVM, Foreste Casuali) spesso si basano su caratteristiche create manualmente o su rappresentazioni esplicite basate su regole. Al contrario, le CNN standard faticano con i dati tabulari a causa della natura non spaziale delle relazioni tra le caratteristiche, della potenziale presenza di dimensioni ridotte dei dataset che portano all'overfitting e della difficoltà nel mappare vettori di caratteristiche a lunghezza variabile in tensori di input a dimensione fissa richiesti dai livelli convoluzionali. Inoltre, la natura "scatola nera" del deep learning spesso entra in conflitto con le esigenze di interpretabilità dei domini di dati strutturati come la finanza e la medicina.

Metodologia
Il documento propone un nuovo framework, la Rete Neurale Convolutiva Fuzzy (FCNN), progettata per colmare il divario tra logica fuzzy e deep learning per i dati tabulari. La metodologia prevede una pipeline in tre fasi:

1. Fuzzificazione: I valori grezzi delle caratteristiche provenienti da un vettore tabulare vengono mappati su valori di appartenenza fuzzy. Gli autori utilizzano cinque insiemi di termini (very_low, low, medium, high, very_high) rappresentati da funzioni di appartenenza trapezoidali. Questa fase converte i dati numerici precisi in gradi di appartenenza fuzzy, introducendo un livello di gestione dell'incertezza e robustezza al rumore.
2. Conversione in Immagine: I vettori di caratteristiche fuzzificati vengono trasformati in immagini 2D adatte all'elaborazione CNN. In questa mappatura, ogni caratteristica viene assegnata a una riga, e i cinque insiemi di termini corrispondono alle colonne. L'immagine risultante consiste in una griglia di forme quadrate dove l'area di ogni quadrato è proporzionale al corrispondente valore di appartenenza fuzzy. Questo crea una rappresentazione visiva del vettore di caratteristiche in cui i modelli locali possono essere estratti dai kernel convoluzionali.
3. Classificazione tramite Deep Learning: Le immagini generate vengono inviate ad architetture preesistenti di Reti Neurali Convolutive Profonde (DCNN). Lo studio implementa due modelli specifici: AlexNet e ResNet-50. Questi modelli vengono addestrati sui dataset di immagini generati per apprendere rappresentazioni gerarchiche ed eseguire la classificazione.

Contributi Chiave

• Architettura Innovativa: L'introduzione dell'architettura FCNN, che affronta specificamente la sfida di applicare le CNN ai dati tabulari strutturati sfruttando la logica fuzzy per creare rappresentazioni di immagini spazialmente significative.
• Strategia di Trasformazione dei Dati: Un metodo specifico per mappare i vettori di caratteristiche in immagini utilizzando valori di appartenenza fuzzy rappresentati da forme geometriche (quadrati), differenziandosi da approcci precedenti che si basavano su rapporti di caratteristiche o tecniche di embedding complesse.
• Valutazione Completa: Un'analisi comparativa rigorosa contro algoritmi di machine learning all'avanguardia, inclusi Alberi Decisionali (DT), Macchine a Vettori di Supporto (SVM), Classificatori Bayesiani, Foreste Casuali (RF) e Reti Neurali Fuzzy (FNN).

Risultati Sperimentali
Gli autori hanno valutato il framework FCNN su sei dataset artificialmente generati, complessi e rumorosi, non linearmente separabili: Half Kernel, Two Spirals, Cluster-in-Cluster, Crescent Moon, Corners e Outliers. Ogni dataset conteneva 400 campioni (70% per l'addestramento, 30% per il test).

• Prestazioni: I modelli FCNN proposti (utilizzando sia AlexNet che ResNet-50) hanno raggiunto una precisione del 100% sui dataset Two Spirals, Cluster-in-Cluster, Crescent Moon e Corners. Sui dataset Half Kernel e Outliers, hanno raggiunto una precisione rispettivamente del 99,19% e del 99,17%.
• Confronto: I modelli FCNN hanno costantemente superato o eguagliato le prestazioni degli algoritmi ML tradizionali. Ad esempio, mentre la Foresta Casuale ha raggiunto una precisione del 95% sul dataset Two Spirals, la FCNN ha raggiunto il 100%. Al contrario, SVM e Classificatori Bayesiani hanno faticato con certi dataset (ad esempio, SVM è sceso al 56,67% su Cluster-in-Cluster), mentre la FCNN ha mantenuto il 100%.
• Efficienza: I tempi di addestramento sono stati registrati su un desktop con un processore Pentium dual. AlexNet ha richiesto circa 4 minuti e 50 secondi per dataset, mentre la più profonda ResNet-50 ha richiesto circa 78 minuti. Gli autori notano che i tempi di esecuzione potrebbero essere ridotti utilizzando workstation accelerate da GPU.

Significato e Affermazioni
Il documento afferma che il modello FCNN offre un'alternativa praticabile per la classificazione di dati tabulari, dimostrando con successo che le tecniche di deep learning possono essere adattate per dati strutturati quando combinate con la logica fuzzy. Gli autori sostengono che il loro approccio apprende efficacemente rappresentazioni significative dai dati tabulari, ottenendo prestazioni competitive o superiori rispetto ai metodi esistenti.

Tuttavia, il documento mantiene una posizione modesta riguardo alle limitazioni e al lavoro futuro. Gli autori riconoscono che l'approccio è attualmente più adatto per dataset con un numero ridotto di caratteristiche, poiché il numero di forme nell'immagine mappata è proporzionale al prodotto del numero di caratteristiche e degli insiemi di termini, il quale è vincolato dalle dimensioni finite delle immagini. Il lavoro futuro delineato dagli autori include:

• Eliminare l'archiviazione intermedia "Datamart" inviando le immagini direttamente alle DCNN.
• Sperimentare diverse forme morfologiche (circolari, esagonali, ecc.) per le immagini mappate.
• Valutare altre funzioni di appartenenza (Gaussiane, triangolari) e altre architetture DCNN (VGG-16, GoogleNet).
• Implementare il modello in applicazioni reali.

Lo studio conclude che, sebbene rimangano delle sfide, il framework FCNN proposto promette di aprire nuove opportunità nello sfruttamento del deep learning per l'analisi di dati strutturati.