Fuzzy Convolution Neural Networks for Tabular Data Classification

Technische Zusammenfassung: Fuzzy-Convolutional-Neuronale-Netzwerke für die Klassifizierung tabellarischer Daten

Problemstellung
Während Convolutional Neural Networks (CNNs) bei der Klassifizierung von Bildern und Texten bemerkenswerte Erfolge erzielt haben, bleibt ihre Anwendung auf tabellarische Daten wenig erforscht und herausfordernd. Tabellarische Daten fehlen die inhärente räumliche Gitterstruktur und die lokalen Korrelationen, die in Bildern vorkommen und die CNNs ausnutzen sollen. Traditionelle maschinelle Lernansätze (z. B. Entscheidungsbäume, SVMs, Random Forests) verlassen sich oft auf handgefertigte Merkmale oder explizite regelbasierte Darstellungen. Im Gegensatz dazu haben Standard-CNNs Schwierigkeiten mit tabellarischen Daten aufgrund der nicht-räumlichen Natur von Merkmalsbeziehungen, der potenziellen Gefahr kleiner Datensatzgrößen, die zu Überanpassung führen, und der Schwierigkeit, Variablenlängen-Merkmalsvektoren auf feste Eingabetensoren abzubilden, die von Faltungsschichten erforderlich sind. Darüber hinaus steht die „Black-Box"-Natur des Deep Learnings oft im Konflikt mit den Anforderungen an die Interpretierbarkeit in strukturierten Datenbereichen wie Finanzen und Medizin.

Methodik
Der Artikel schlägt ein neues Framework vor, das Fuzzy Convolution Neural Network (FCNN), das entwickelt wurde, um die Lücke zwischen Fuzzy-Logik und Deep Learning für tabellarische Daten zu schließen. Die Methodik umfasst eine dreistufige Pipeline:

1. Fuzzifizierung: Rohdatenmerkmalswerte aus einem tabellarischen Vektor werden auf Fuzzy-Mitgliedschaftswerte abgebildet. Die Autoren nutzen fünf Term-Sets (very_low, low, medium, high, very_high), die durch trapezförmige Mitgliedschaftsfunktionen dargestellt werden. Dieser Schritt wandelt scharfe numerische Daten in Fuzzy-Mitgliedschaftsgrade um und führt eine Schicht zur Handhabung von Unsicherheit und Robustheit gegenüber Rauschen ein.
2. Bildkonvertierung: Die fuzzifizierten Merkmalsvektoren werden in für CNN-Verarbeitung geeignete 2D-Bilder transformiert. Bei dieser Abbildung wird jedes Merkmal einer Zeile zugewiesen, und die fünf Term-Sets entsprechen den Spalten. Das resultierende Bild besteht aus einem Gitter quadratischer Formen, wobei die Fläche jedes Quadrats proportional zum entsprechenden Fuzzy-Mitgliedschaftswert ist. Dies erzeugt eine visuelle Darstellung des Merkmalsvektors, bei der lokale Muster durch Faltungskerne extrahiert werden können.
3. Deep-Learning-Klassifizierung: Die generierten Bilder werden in bestehende Deep Convolutional Neural Network (DCNN)-Architekturen eingespeist. Die Studie implementiert zwei spezifische Modelle: AlexNet und ResNet-50. Diese Modelle werden auf den generierten Bilddatensätzen trainiert, um hierarchische Darstellungen zu lernen und Klassifizierungen durchzuführen.

Hauptbeiträge

• Neuartige Architektur: Die Einführung der FCNN-Architektur, die speziell die Herausforderung adressiert, CNNs auf strukturierte tabellarische Daten anzuwenden, indem Fuzzy-Logik genutzt wird, um räumlich aussagekräftige Bildrepräsentationen zu erstellen.
• Datentransformationsstrategie: Eine spezifische Methode zur Abbildung von Merkmalsvektoren auf Bilder unter Verwendung von Fuzzy-Mitgliedschaftswerten, die durch geometrische Formen (Quadrate) dargestellt werden, im Gegensatz zu früheren Ansätzen, die auf Merkmalsverhältnissen oder komplexen Einbettungstechniken basierten.
• Umfassende Evaluierung: Eine rigorose vergleichende Analyse gegenüber State-of-the-Art-Maschinellen-Lernalgorithmen, einschließlich Entscheidungsbäume (DT), Support Vector Machines (SVM), Bayes-Klassifikatoren, Random Forests (RF) und Fuzzy-Neuronale-Netzwerke (FNN).

Experimentelle Ergebnisse
Die Autoren bewerteten das FCNN-Framework auf sechs künstlich generierten, komplexen und verrauschten, nicht linear trennbaren Datensätzen: Half Kernel, Two Spirals, Cluster-in-Cluster, Crescent Moon, Corners und Outliers. Jeder Datensatz enthielt 400 Proben (70 % für das Training, 30 % für den Test).

• Leistung: Die vorgeschlagenen FCNN-Modelle (unter Verwendung von sowohl AlexNet als auch ResNet-50) erreichten 100 % Genauigkeit auf den Datensätzen Two Spirals, Cluster-in-Cluster, Crescent Moon und Corners. Auf den Datensätzen Half Kernel und Outliers erreichten sie 99,19 % bzw. 99,17 % Genauigkeit.
• Vergleich: Die FCNN-Modelle übertrafen die Leistung traditioneller ML-Algorithmen konsistent oder entsprachen ihr. Beispielsweise erreichte der Random Forest auf dem Two Spirals-Datensatz 95 % Genauigkeit, während das FCNN 100 % erreichte. Im Gegensatz dazu hatten SVM und Bayes-Klassifikatoren Schwierigkeiten mit bestimmten Datensätzen (z. B. sank SVM auf Cluster-in-Cluster auf 56,67 %), während FCNN 100 % beibehielt.
• Effizienz: Die Trainingszeiten wurden auf einem Desktop mit einem Pentium-Dual-Prozessor aufgezeichnet. AlexNet benötigte pro Datensatz etwa 4 Minuten und 50 Sekunden, während das tiefere ResNet-50 etwa 78 Minuten benötigte. Die Autoren stellen fest, dass die Ausführungszeiten durch GPU-beschleunigte Workstations reduziert werden könnten.

Bedeutung und Behauptungen
Der Artikel behauptet, dass das FCNN-Modell eine viable Alternative für die Klassifizierung tabellarischer Daten bietet und erfolgreich demonstriert, dass Deep-Learning-Techniken für strukturierte Daten angepasst werden können, wenn sie mit Fuzzy-Logik kombiniert werden. Die Autoren argumentieren, dass ihr Ansatz aussagekräftige Darstellungen aus tabellarischen Daten effektiv lernt und eine wettbewerbsfähige oder überlegene Leistung im Vergleich zu bestehenden Methoden erzielt.

Der Artikel behält jedoch eine bescheidene Haltung bezüglich Einschränkungen und zukünftiger Arbeiten bei. Die Autoren erkennen an, dass der Ansatz derzeit am besten für Datensätze mit einer geringen Anzahl von Merkmalen geeignet ist, da die Anzahl der Formen in der abgebildeten Bild proportional zum Produkt der Anzahl der Merkmale und Term-Sets ist, was durch endliche Bildgrößen begrenzt ist. Von den Autoren umrissene zukünftige Arbeiten umfassen:

• Die Eliminierung des intermediären „Datamart"-Speichers durch direkte Einspeisung von Bildern in DCNNs.
• Experimente mit verschiedenen morphologischen Formen (kreisförmig, sechseckig usw.) für die abgebildeten Bilder.
• Die Evaluierung anderer Mitgliedschaftsfunktionen (Gaußförmig, dreieckig) und DCNN-Architekturen (VGG-16, GoogleNet).
• Die Bereitstellung des Modells für reale Anwendungen.

Die Studie kommt zu dem Schluss, dass trotz verbleibender Herausforderungen das vorgeschlagene FCNN-Framework vielversprechend ist, um neue Möglichkeiten für den Einsatz von Deep Learning in der Analyse strukturierter Daten zu erschließen.