The Role of Feature Interactions in Graph-based Tabular Deep Learning

Each language version is independently generated for its own context, not a direct translation.

🕵️‍♂️ Le Détective et le Tableau de Bord : Pourquoi les IA se trompent sur les relations

Imaginez que vous essayez de prédire la météo de demain. Vous avez un tableau rempli de données : la température d'aujourd'hui, l'humidité, la vitesse du vent, la pression atmosphérique, etc.

Pour faire une bonne prédiction, une intelligence artificielle (IA) doit comprendre qui parle à qui dans ce tableau. Par exemple, la pression atmosphérique influence la vitesse du vent, qui elle-même influence les nuages. Ces liens entre les données sont ce qu'on appelle des interactions de caractéristiques.

Dans le monde de l'apprentissage automatique, on utilise des modèles très sophistiqués (appelés Deep Learning) pour trouver ces liens. Certains de ces modèles fonctionnent comme des réseaux de neurones graphiques (GTDL). On peut les voir comme des détectives qui dessinent une carte mentale : ils relient les points (les données) avec des lignes pour montrer qui influence qui.

Le problème ?
Selon les auteurs de ce papier (Elias Dubbeldam et son équipe de l'Université d'Amsterdam), ces détectives sont en train de faire des dessins très mauvais.

1. Le Détective qui dessine n'importe quoi

Les chercheurs ont créé des "fausses" données (des tableaux synthétiques) où ils connaissaient exactement la vérité : ils savaient quelles données étaient liées et lesquelles ne l'étaient pas. C'est comme si le détective avait la solution du puzzle dans sa poche.

Ils ont laissé les IA les plus modernes essayer de deviner ces liens.

Le résultat est décevant : Les IA ont dessiné des cartes de liens qui ressemblaient à du hasard. C'est comme si le détective avait dessiné des lignes entre des personnes qui ne se connaissent pas, et ignoré les vraies familles.
Pourquoi ? Parce que ces IA sont formées uniquement pour deviner la bonne réponse (la météo de demain), pas pour comprendre la structure du monde. Elles apprennent à tricher : elles trouvent des raccourcis mathématiques pour prédire le résultat sans jamais vraiment comprendre pourquoi les données sont liées.

L'analogie du restaurant : Imaginez un chef qui doit deviner l'ingrédient secret d'un plat. Au lieu de goûter et d'analyser les saveurs (comprendre les interactions), il regarde simplement la couleur du plat et devine "c'est du piment" parce que ça marche souvent. Il a la bonne réponse, mais il ne comprend pas la cuisine.

2. La preuve par le "Couteau de Pruning"

Pour prouver leur théorie, les chercheurs ont fait une expérience géniale. Ils ont pris ces mêmes IA et ils leur ont dit : "Attendez, on va vous donner la carte des liens réels. Vous n'avez le droit de connecter que les points qui sont vraiment liés."

C'est comme si on donnait au détective la carte officielle du crime et qu'on lui disait : "Ne dessine que ces lignes-là."

Le résultat ? La performance des IA a sauté en flèche.
La leçon : Quand on force l'IA à respecter la vraie structure des relations (la "vraie carte"), elle devient beaucoup plus précise. Cela prouve que le problème n'était pas la capacité de calcul, mais le fait qu'elles apprenaient la mauvaise structure.

3. Pourquoi est-ce important ?

Aujourd'hui, beaucoup de gens utilisent ces IA pour des choses sérieuses : diagnostics médicaux, prêts bancaires, gestion de l'énergie.

Le risque : Si l'IA a appris des liens faux (comme dire que la couleur des yeux influence la météo), elle peut être très précise sur des données connues, mais elle va échouer lamentablement dès qu'on lui donne une nouvelle situation (elle ne généralise pas).
L'espoir : Ce papier nous dit qu'il faut arrêter de se contenter de "prédire juste". Il faut que les IA apprennent à dessiner la bonne carte. Si elles comprennent la structure du monde, elles seront plus robustes, plus fiables et plus faciles à expliquer.

En résumé

Ce papier est un appel à la conscience pour les développeurs d'IA :

"Arrêtez de vous soucier uniquement du score final. Si votre modèle ne comprend pas la structure réelle des données (qui est lié à qui), il est fragile. Pour avoir une IA vraiment intelligente, il faut qu'elle apprenne à dessiner la bonne carte, pas juste à deviner la bonne réponse."

C'est un peu comme apprendre à un enfant à conduire : lui dire "tourne à gauche quand tu vois le panneau" (prédiction) est utile, mais lui expliquer pourquoi il faut tourner (comprendre la structure de la route) est ce qui le rendra un bon conducteur à long terme.

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé de l'article « The Role of Feature Interactions in Graph-based Tabular Deep Learning » (Le rôle des interactions de caractéristiques dans l'apprentissage profond tabulaire basé sur les graphes), publié dans les Transactions on Machine Learning Research.

1. Problématique

L'apprentissage profond (Deep Learning) peine à surpasser les méthodes traditionnelles basées sur les arbres (comme XGBoost) sur les données tabulaires. Une raison majeure est la difficulté à capturer les interactions complexes et spécifiques au jeu de données entre les caractéristiques (features).

Les méthodes récentes, appelées Apprentissage Profond Tabulaire Basé sur les Graphes (GTDL - Graph-based Tabular Deep Learning), tentent de résoudre ce problème en modélisant les interactions entre les caractéristiques sous forme de graphe (les nœuds sont les caractéristiques, les arêtes sont les interactions). Ces méthodes utilisent soit des mécanismes d'attention (comme les Transformers), soit des Réseaux de Neurones à Graphes (GNN).

Le problème central identifié par les auteurs :
Bien que ces méthodes prétendent apprendre la structure du graphe sous-jacent pour améliorer les prédictions, elles ne sont pas évaluées sur leur capacité à retrouver la structure réelle du graphe. La plupart des travaux existants se concentrent uniquement sur la précision prédictive et évaluent la structure apprise de manière qualitative (visualisation), sans connaître la "vérité terrain" (ground truth). Les auteurs soupçonnent que les mécanismes d'attention et de passage de messages (message-passing) ne capturent pas efficacement les interactions réelles, produisant des structures de graphes aléatoires ou des artefacts d'optimisation plutôt que des relations causales ou conditionnelles significatives.

2. Méthodologie

Pour analyser rigoureusement la capacité des méthodes GTDL à apprendre la structure du graphe, les auteurs proposent un cadre d'évaluation systématique basé sur des données synthétiques.

A. Génération de Données Synthétiques

Contrairement aux jeux de données réels où la structure du graphe est inconnue, les auteurs génèrent des données avec une structure de graphe de vérité terrain connue ( $G_{true}$ ). Deux pipelines sont utilisés :

Normales Multivariées (MVN) : Basées sur des modèles graphiques probabilistes (PGM). On échantillonne une structure de graphe, puis une matrice de covariance conditionnelle à cette structure, et enfin les données.
Modèles Causaux Structurels (SCM) : Basés sur des graphes acycliques dirigés (DAG). On génère des fonctions computationnelles non linéaires pour les nœuds enfants, puis on "moralise" et "marginalise" le DAG pour obtenir un graphe non dirigé sous-jacent.

Dans ces deux cas, un objectif ( $y$ ) est choisi parmi les caractéristiques, et les autres servent d'entrées ( $x$ ). La structure du graphe définit les dépendances conditionnelles réelles.

B. Métriques d'Évaluation

Pour quantifier la qualité du graphe appris, les auteurs utilisent le ROC AUC (Area Under the Receiver Operating Characteristic Curve) :

Ils comparent la matrice d'adjacence binaire réelle ( $A_{true}$ ) avec la matrice d'adjacence pondérée apprise ( $A_{pred}$ ) extraite du modèle (soit via les cartes d'attention, soit via les poids des arêtes des GNN).
Un ROC AUC de 0,5 indique une performance aléatoire, tandis qu'un score proche de 1,0 indique une récupération parfaite des interactions.

C. Protocole Expérimental

Les auteurs comparent plusieurs méthodes GTDL (FT-Transformer, FiGNN, T2G-Former, INCE) avec des baselines (BDgraph pour les PGM, XGBoost, TabPFN).
Deux scénarios sont testés pour chaque modèle :

Graphe Fully Connected : Le modèle apprend sur toutes les connexions possibles (configuration par défaut).
Graphe Élagué (Pruned) : On impose au modèle de n'utiliser que les arêtes présentes dans la vérité terrain ( $G_{true}$ ). Cela permet de mesurer le gain de performance si la structure était connue et correctement intégrée.

3. Contributions Clés

Cadre d'évaluation quantitatif : Introduction d'une méthodologie rigoureuse utilisant des données synthétiques avec vérité terrain pour évaluer la capacité des modèles GTDL à récupérer la structure du graphe, comblant un vide dans la littérature actuelle qui se contente d'évaluations qualitatives.
Preuve de l'échec de récupération structurelle : Démonstration empirique que les méthodes GTDL actuelles (basées sur l'attention et les GNN) échouent à apprendre des interactions de caractéristiques significatives, obtenant des scores ROC AUC proches de 0,5 (niveau aléatoire), même avec de grandes quantités de données.
Lien entre structure et performance : Mise en évidence que la précision prédictive s'améliore significativement lorsque la structure du graphe est contrainte à la vérité terrain, prouvant que la fidélité structurelle est un moteur de performance, pas seulement une question d'interprétabilité.
Analyse des mécanismes : Identification que les mécanismes d'attention et de message-passing, tels qu'ils sont implémentés actuellement, ne sont pas conçus pour modéliser efficacement les dépendances conditionnelles dans les données tabulaires.

4. Résultats Principaux

Qualité du graphe appris (ROC AUC) :
- Pour toutes les méthodes GTDL testées (FT-Transformer, FiGNN, INCE, T2G-Former), le ROC AUC est d'environ 0,5 sur les deux types de données (MVN et SCM). Cela signifie qu'elles ne distinguent pas les vraies interactions des fausses.
- En revanche, la méthode probabiliste BDgraph (non basée sur le deep learning) atteint un ROC AUC proche de 1,0 sur les données MVN et des scores raisonnables sur les données SCM, prouvant que la tâche est faisable mais que les modèles GTDL actuels ne la résolvent pas.
- L'augmentation de la taille de l'ensemble d'entraînement (jusqu'à $10^5$ échantillons) n'améliore pas la récupération du graphe par les GTDL.
Performance Prédictive (R²) :
- Lorsque le graphe est élagué pour ne garder que les vraies arêtes, la performance prédictive des modèles GTDL s'améliore par rapport à la configuration fully connected.
- Cet écart de performance est plus marqué lorsque la quantité de données d'entraînement est faible, suggérant que l'intégration correcte de l'induction de biais structurel est cruciale en régime de données limitées.
- Les modèles traitant la tâche au niveau des nœuds (node-level) bénéficient davantage de l'élagage que ceux traitant la tâche au niveau du graphe (graph-level).
Comparaison avec les baselines :
- TabPFN (un modèle fondationnel) surpasse généralement les GTDL, tandis que XGBoost reste compétitif.
- BDgraph excelle sur les données linéaires (MVN) mais échoue sur les données non linéaires (SCM), soulignant le besoin de modèles capables de capturer des non-linéarités tout en respectant la structure.

5. Signification et Implications

Ce travail remet en question l'hypothèse sous-jacente selon laquelle les mécanismes d'attention et les GNN appliqués aux données tabulaires apprennent automatiquement des relations de caractéristiques interprétables et utiles.

Pour la recherche : Il est nécessaire de développer de nouvelles architectures ou des régularisations qui forcent le modèle à apprendre la structure du graphe, et non seulement à minimiser l'erreur de prédiction. La fidélité structurelle doit être une priorité égale à la précision prédictive.
Pour la pratique : Les cartes d'attention ou les matrices d'adjacence extraites des modèles GTDL actuels ne doivent pas être utilisées pour l'interprétabilité ou l'explication des décisions, car elles ne reflètent pas la réalité des données.
Avenir : Les auteurs suggèrent de se concentrer sur l'apprentissage de la forme fonctionnelle des interactions (pas seulement la présence d'une arête) et d'étendre ces analyses à des données plus complexes (séries temporelles, bases de données relationnelles).

En résumé, l'article démontre que bien que les méthodes GTDL aient le potentiel théorique d'améliorer les prédictions tabulaires via la modélisation graphique, elles échouent actuellement à apprendre la structure sous-jacente, limitant ainsi leur efficacité et leur interprétabilité. La clé de l'amélioration réside dans le développement de méthodes capables d'induire correctement la structure du graphe.