Fuzzy Convolution Neural Networks for Tabular Data Classification

Technische Samenvatting: Vage Convolutionele Neuronale Netwerken voor Classificatie van Tabelgegevens

Probleemstelling
Hoewel Convolutionele Neuronale Netwerken (CNN's) opmerkelijk succes hebben behaald bij de classificatie van afbeeldingen en tekst, blijft hun toepassing op tabelgegevens onderbelicht en uitdagend. Tabelgegevens missen de inherente ruimtelijke rasterstructuur en lokale correlaties die in afbeeldingen voorkomen en waar CNN's voor zijn ontworpen om gebruik van te maken. Traditionele machinelearningbenaderingen (bijvoorbeeld Beslissingsbomen, SVM's, Random Forests) vertrouwen vaak op handgemaakte kenmerken of expliciete regelgebaseerde representaties. Omgekeerd kampen standaard CNN's met problemen bij tabelgegevens vanwege het niet-ruimtelijke karakter van kenmerkrelaties, de mogelijkheid van kleine datasetgroottes die leiden tot overfitting, en de moeilijkheid om variabele lengte kenmerkvectoren te mappen naar vaste invoertensors die vereist zijn door convolutielagen. Bovendien botst de "black-box"-karakteristiek van deep learning vaak met de behoeften aan interpreteerbaarheid in gestructureerde datadomeinen zoals financiën en geneeskunde.

Methodologie
Het artikel stelt een nieuw kader voor, het Vage Convolutionele Neuronale Netwerk (FCNN), dat is ontworpen om de kloof te overbruggen tussen vage logica en deep learning voor tabelgegevens. De methodologie omvat een pijplijn in drie fasen:

1. Fuzzificatie: Ruwe kenmerkwaarden uit een tabelvector worden gemapt naar vage lidmaatschapswaarden. De auteurs maken gebruik van vijf termsets (zeer_laag, laag, medium, hoog, zeer_hoog) die worden weergegeven door trapeziumvormige lidmaatschapsfuncties. Deze stap zet scherpe numerieke data om in vage lidmaatschapsgraden, waardoor een laag van onzekerheidsbehandeling en robuustheid tegen ruis wordt geïntroduceerd.
2. Afbeeldingsconversie: De gefuzzificeerde kenmerkvectoren worden omgezet in 2D-afbeeldingen die geschikt zijn voor CNN-verwerking. Bij deze mapping wordt elke kenmerk toegewezen aan een rij, en de vijf termsets corresponderen met kolommen. Het resulterende beeld bestaat uit een raster van vierkante vormen waarbij de oppervlakte van elk vierkant evenredig is met de overeenkomstige vage lidmaatschapswaarde. Dit creëert een visuele representatie van de kenmerkvector waarbij lokale patronen kunnen worden geëxtraheerd door convolutiekernen.
3. Deep Learning Classificatie: De gegenereerde afbeeldingen worden ingevoerd in bestaande Deep Convolutional Neural Network (DCNN)-architecturen. De studie implementeert twee specifieke modellen: AlexNet en ResNet-50. Deze modellen worden getraind op de gegenereerde afbeeldingsdatasets om hiërarchische representaties te leren en classificatie uit te voeren.

Belangrijkste Bijdragen

• Nieuwe Architectuur: De introductie van de FCNN-architectuur, die specifiek ingaat op de uitdaging om CNN's toe te passen op gestructureerde tabelgegevens door gebruik te maken van vage logica om ruimtelijk betekenisvolle afbeeldingsrepresentaties te creëren.
• Data-transformatiestrategie: Een specifieke methode voor het mappen van kenmerkvectoren naar afbeeldingen met behulp van vage lidmaatschapswaarden die worden weergegeven door geometrische vormen (vierkanten), wat verschilt van eerdere benaderingen die leunden op kenmerkverhoudingen of complexe embeddingtechnieken.
• Uitgebreide Evaluatie: Een rigoureuze vergelijkende analyse tegen state-of-the-art machinelearningalgoritmen, waaronder Beslissingsbomen (DT), Support Vector Machines (SVM), Bayes-classificatoren, Random Forests (RF) en Vage Neuronale Netwerken (FNN).

Experimentele Resultaten
De auteurs hebben het FCNN-kader geëvalueerd op zes kunstmatig gegenereerde, complexe en ruizige niet-lineair scheidbare datasets: Half Kernel, Two Spirals, Cluster-in-Cluster, Crescent Moon, Corners en Outliers. Elke dataset bevatte 400 samples (70% voor training, 30% voor testen).

• Prestaties: De voorgestelde FCNN-modellen (met zowel AlexNet als ResNet-50) behaalden 100% nauwkeurigheid op de datasets Two Spirals, Cluster-in-Cluster, Crescent Moon en Corners. Op de datasets Half Kernel en Outliers behaalden ze respectievelijk 99,19% en 99,17% nauwkeurigheid.
• Vergelijking: De FCNN-modellen presteerden consequent beter dan of gelijk aan de prestaties van traditionele ML-algoritmen. Bijvoorbeeld, terwijl de Random Forest 95% nauwkeurigheid behaalde op de Two Spirals-dataset, bereikte de FCNN 100%. Daarentegen hadden SVM en Bayes-classificatoren moeite met bepaalde datasets (bijvoorbeeld daalde SVM naar 56,67% op Cluster-in-Cluster), terwijl FCNN 100% behield.
• Efficiëntie: Trainingstijden werden geregistreerd op een desktop met een Pentium-dualprocessor. AlexNet vereiste ongeveer 4 minuten en 50 seconden per dataset, terwijl de diepere ResNet-50 ongeveer 78 minuten vereiste. De auteurs merken op dat uitvoeringstijden kunnen worden verminderd met GPU-versnelde werkstations.

Betekenis en Beweringen
Het artikel beweert dat het FCNN-model een levensvatbaar alternatief biedt voor classificatie van tabelgegevens, en succesvol aantoont dat deep learning-technieken kunnen worden aangepast voor gestructureerde data wanneer ze worden gecombineerd met vage logica. De auteurs betogen dat hun benadering effectief betekenisvolle representaties leert uit tabelgegevens, en prestaties bereikt die concurrerend of superieur zijn ten opzichte van bestaande methoden.

Het artikel behoudt echter een bescheiden houding wat betreft beperkingen en toekomstig werk. De auteurs erkennen dat de benadering momenteel het meest geschikt is voor datasets met een klein aantal kenmerken, aangezien het aantal vormen in de gemapte afbeelding evenredig is met het product van het aantal kenmerken en termsets, wat beperkt wordt door eindige afbeeldingsgroottes. Toekomstig werk zoals geschetst door de auteurs omvat:

• Het elimineren van de tussenliggende "Datamart"-opslag door afbeeldingen direct aan DCNN's te leveren.
• Experimenteren met verschillende morfologische vormen (cirkelvormig, zeshoekig, enz.) voor de gemapte afbeeldingen.
• Het evalueren van andere lidmaatschapsfuncties (Gaussisch, driehoekig) en DCNN-architecturen (VGG-16, GoogleNet).
• Het implementeren van het model in real-life toepassingen.

De studie concludeert dat hoewel uitdagingen blijven bestaan, het voorgestelde FCNN-kader veelbelovend is voor het openen van nieuwe kansen bij het benutten van deep learning voor analyse van gestructureerde data.