Fuzzy Convolution Neural Networks for Tabular Data Classification

Résumé technique : Réseaux de neurones convolutifs flous pour la classification de données tabulaires

Énoncé du problème
Bien que les réseaux de neurones convolutifs (CNN) aient obtenu un succès remarquable dans la classification d'images et de textes, leur application aux données tabulaires reste sous-exploitée et difficile. Les données tabulaires manquent de la structure de grille spatiale inhérente et des corrélations locales présentes dans les images, que les CNN sont conçus pour exploiter. Les approches traditionnelles d'apprentissage automatique (par exemple, arbres de décision, SVM, forêts aléatoires) reposent souvent sur des caractéristiques conçues à la main ou des représentations explicites basées sur des règles. À l'inverse, les CNN standards peinent avec les données tabulaires en raison de la nature non spatiale des relations entre caractéristiques, du potentiel de petites tailles d'ensemble de données entraînant un surapprentissage, et de la difficulté à mapper des vecteurs de caractéristiques de longueur variable vers des tenseurs d'entrée de taille fixe requis par les couches convolutives. De plus, la nature de « boîte noire » de l'apprentissage profond entre souvent en conflit avec les besoins d'interprétabilité des domaines de données structurées comme la finance et la médecine.

Méthodologie
L'article propose un cadre novateur, le Réseau de Neurones Convolutif Flou (FCNN), conçu pour combler le fossé entre la logique floue et l'apprentissage profond pour les données tabulaires. La méthodologie implique un pipeline en trois étapes :

1. Fuzzification : Les valeurs brutes des caractéristiques issues d'un vecteur tabulaire sont mappées vers des valeurs d'appartenance floue. Les auteurs utilisent cinq ensembles de termes (très bas, bas, moyen, élevé, très élevé) représentés par des fonctions d'appartenance trapézoïdales. Cette étape convertit des données numériques précises en degrés d'appartenance flous, introduisant une couche de gestion de l'incertitude et de robustesse au bruit.
2. Conversion en image : Les vecteurs de caractéristiques fuzzifiés sont transformés en images 2D adaptées au traitement par CNN. Dans ce mappage, chaque caractéristique est assignée à une ligne, et les cinq ensembles de termes correspondent aux colonnes. L'image résultante consiste en une grille de formes carrées où la surface de chaque carré est proportionnelle à la valeur d'appartenance floue correspondante. Cela crée une représentation visuelle du vecteur de caractéristiques où des motifs locaux peuvent être extraits par des noyaux convolutifs.
3. Classification par apprentissage profond : Les images générées sont alimentées dans des architectures préexistantes de Réseaux de Neurones Convolutifs Profonds (DCNN). L'étude met en œuvre deux modèles spécifiques : AlexNet et ResNet-50. Ces modèles sont entraînés sur les ensembles de données d'images générés pour apprendre des représentations hiérarchiques et effectuer la classification.

Contributions clés

• Architecture novatrice : L'introduction de l'architecture FCNN, qui adresse spécifiquement le défi de l'application des CNN aux données tabulaires structurées en exploitant la logique floue pour créer des représentations d'images spatialement significatives.
• Stratégie de transformation des données : Une méthode spécifique pour mapper les vecteurs de caractéristiques vers des images en utilisant des valeurs d'appartenance floue représentées par des formes géométriques (carrés), se distinguant des approches précédentes qui reposaient sur des ratios de caractéristiques ou des techniques d'embedding complexes.
• Évaluation complète : Une analyse comparative rigoureuse contre des algorithmes d'apprentissage automatique de l'état de l'art, incluant les arbres de décision (DT), les machines à vecteurs de support (SVM), les classificateurs de Bayes, les forêts aléatoires (RF) et les réseaux de neurones flous (FNN).

Résultats expérimentaux
Les auteurs ont évalué le cadre FCNN sur six ensembles de données artificiellement générés, complexes et bruyants, non linéairement séparables : Half Kernel, Two Spirals, Cluster-in-Cluster, Crescent Moon, Corners et Outliers. Chaque ensemble de données contenait 400 échantillons (70 % pour l'entraînement, 30 % pour le test).

• Performance : Les modèles FCNN proposés (utilisant à la fois AlexNet et ResNet-50) ont atteint une précision de 100 % sur les ensembles de données Two Spirals, Cluster-in-Cluster, Crescent Moon et Corners. Sur les ensembles de données Half Kernel et Outliers, ils ont atteint des précisions de 99,19 % et 99,17 % respectivement.
• Comparaison : Les modèles FCNN ont constamment surpassé ou égalé la performance des algorithmes d'apprentissage automatique traditionnels. Par exemple, tandis que la forêt aléatoire a atteint 95 % de précision sur l'ensemble de données Two Spirals, le FCNN a atteint 100 %. En revanche, les classificateurs SVM et Bayes ont eu des difficultés avec certains ensembles de données (par exemple, le SVM est tombé à 56,67 % sur Cluster-in-Cluster), alors que le FCNN a maintenu 100 %.
• Efficacité : Les temps d'entraînement ont été enregistrés sur un bureau avec un processeur double cœur Pentium. AlexNet a nécessité environ 4 minutes et 50 secondes par ensemble de données, tandis que le ResNet-50 plus profond a nécessité environ 78 minutes. Les auteurs notent que les temps d'exécution pourraient être réduits en utilisant des stations de travail accélérées par GPU.

Importance et affirmations
L'article affirme que le modèle FCNN offre une alternative viable pour la classification de données tabulaires, démontrant avec succès que les techniques d'apprentissage profond peuvent être adaptées aux données structurées lorsqu'elles sont combinées avec la logique floue. Les auteurs soutiennent que leur approche apprend efficacement des représentations significatives à partir de données tabulaires, atteignant des performances compétitives ou supérieures par rapport aux méthodes existantes.

Cependant, l'article maintient une position modeste concernant les limites et les travaux futurs. Les auteurs reconnaissent que l'approche convient actuellement mieux aux ensembles de données comportant un petit nombre de caractéristiques, car le nombre de formes dans l'image mappée est proportionnel au produit du nombre de caractéristiques et des ensembles de termes, ce qui est contraint par les tailles d'images finies. Les travaux futurs décrits par les auteurs incluent :

• Éliminer le stockage intermédiaire « Datamart » en alimentant directement les images aux DCNN.
• Expérimenter avec différentes formes morphologiques (cercles, hexagones, etc.) pour les images mappées.
• Évaluer d'autres fonctions d'appartenance (Gaussienne, triangulaire) et architectures DCNN (VGG-16, GoogleNet).
• Déployer le modèle dans des applications réelles.

L'étude conclut que bien que des défis subsistent, le cadre FCNN proposé promet d'ouvrir de nouvelles opportunités pour exploiter l'apprentissage profond dans l'analyse de données structurées.