The Role of Feature Interactions in Graph-based Tabular Deep Learning

Die Studie zeigt, dass aktuelle graphbasierte Deep-Learning-Methoden für Tabellendaten zwar auf der Modellierung von Feature-Interaktionen basieren, deren zugrundeliegende Graphstrukturen jedoch kaum korrekt rekonstruieren, was die Notwendigkeit unterstreicht, die Strukturmodellierung zu priorisieren, um die Vorhersagegenauigkeit zu verbessern.

Das Wesentliche

Hier ist eine einfache, bildhafte Erklärung der Forschungspaper „The Role of Feature Interactions in Graph-based Tabular Deep Learning" auf Deutsch.

Das große Rätsel: Warum Deep Learning bei Tabellen oft scheitert

Stell dir vor, du hast eine riesige Tabelle mit Daten vor dir – zum Beispiel die Gesundheitsdaten von 10.000 Patienten. Jede Spalte ist ein Merkmal (Alter, Blutdruck, Cholesterin, Raucherstatus), und du willst vorhersagen, ob jemand krank wird.

In der Welt der Künstlichen Intelligenz (KI) gibt es zwei Helden:

1. Die alten Hasen (Bäume): Algorithmen wie XGBoost sind wie erfahrene Detektive. Sie schauen sich die Daten an, finden einfache Regeln („Wenn Alter > 60 UND Cholesterin hoch, dann Risiko") und funktionieren bei Tabellen extrem gut.
2. Die neuen Stars (Deep Learning): Diese sind Meister in Bildern (Computer Vision) und Texten (NLP). Sie sind super kreativ, aber bei Tabellen oft wie ein Sportwagen auf einem Feldweg: Sie kommen nicht voran.

Warum? Weil Tabellen Daten komplexe Beziehungen haben. Das Alter beeinflusst den Blutdruck, der Blutdruck beeinflusst das Herz, und das Herz beeinflusst die Krankheit. Diese Beziehungen sind wie ein unsichtbares Netz.

Die Idee: Das „Graph-Deep-Learning" (GTDL)

Forscher haben eine Idee gehabt: „Warum behandeln wir diese Beziehungen nicht wie ein Straßennetz?"
Stell dir vor, jede Spalte in deiner Tabelle ist eine Stadt (ein Knoten). Die Beziehungen zwischen den Spalten sind Straßen (Kanten).

• GTDL-Modelle sind wie intelligente Navigationsgeräte, die versuchen, dieses Straßennetz zu zeichnen, während sie die Vorhersage treffen. Sie nutzen Techniken wie „Aufmerksamkeit" (Attention) oder „Nachrichtenweitergabe" (Message Passing), um zu lernen, welche Städte miteinander verbunden sind.

Die Hoffnung war: Wenn das KI-Modell das richtige Straßennetz versteht, wird es auch bessere Vorhersagen treffen.

Das Problem: Die KI zeichnet nur Unsinn

Die Autoren dieses Papers haben sich gedacht: „Lass uns testen, ob diese neuen Navigationsgeräte wirklich das richtige Netz zeichnen."

Dafür haben sie künstliche Welten erschaffen. Stell dir vor, sie haben ein Spielzeug-Universum gebaut, in dem sie genau wissen, welche Städte verbunden sind (das ist der „Ground Truth" oder die Wahrheit). Sie haben Daten aus diesem Universum generiert und den KI-Modellen gegeben.

Das schockierende Ergebnis:
Die KI-Modelle waren super darin, die Krankheit vorherzusagen (manchmal), aber wenn man sich ansah, welche Straßen sie gezeichnet hatten, war das Ergebnis reiner Zufall.

• Es war, als würde ein Architekt ein Haus bauen, das stabil steht, aber wenn man fragt: „Wo sind die tragenden Wände?", zeigt er auf die Fenster und die Tür.
• Die Modelle haben die wahren Verbindungen (z. B. dass Alter und Blutdruck direkt zusammenhängen) nicht erkannt. Sie haben stattdessen zufällige Linien gezogen, die nur zufällig gut funktionierten, um die Vorhersage zu machen.

Die Metapher:
Stell dir vor, du lernst eine Sprache, indem du nur die Antworten auswendig lernst, ohne die Grammatik zu verstehen. Du kannst vielleicht einen Satz richtig beantworten, aber wenn man dich fragt, warum das Wort „Hund" hier steht und nicht „Katze", hast du keine Ahnung. Die KI hat die „Grammatik" der Daten (die Graph-Struktur) nicht gelernt.

Der Experiment-Test: Was passiert, wenn wir die Wahrheit erzwingen?

Dann haben die Forscher einen zweiten Test gemacht. Sie haben den KI-Modellen gesagt: „Vergiss das Zeichnen. Wir geben dir das echte Straßennetz vor. Du darfst nur diese Straßen benutzen."

Das Ergebnis:
Die Vorhersagen wurden besser!

• Wenn die KI gezwungen wurde, nur die wahren Verbindungen zu nutzen, machte sie weniger Fehler.
• Das bedeutet: Die aktuellen Modelle sind so schlecht darin, das Netz selbst zu finden, dass sie sich durch das Rauschen (falsche Verbindungen) ablenken lassen. Wenn man ihnen die Struktur gibt, funktionieren sie besser.

Was bedeutet das für die Zukunft?

Die Botschaft des Papers ist klar:

1. Struktur ist wichtiger als nur Vorhersage: Es reicht nicht, nur eine hohe Trefferquote zu haben. Wenn das Modell nicht versteht, wie die Daten zusammenhängen, ist es nicht robust und nicht erklärbar.
2. Aktuelle Methoden sind blind: Die beliebten Techniken (Attention, GNNs), die bei Texten und Bildern funktionieren, scheitern hier daran, die echten Beziehungen in Tabellen zu finden. Sie optimieren nur die Punktzahl, nicht das Verständnis.
3. Wir müssen neu anfangen: Bevor wir diese Modelle auf riesige, echte Daten anwenden, müssen wir ihnen beibringen, das „Straßennetz" der Daten wirklich zu verstehen und nicht nur zufällige Muster zu finden.

Zusammenfassung in einem Satz

Aktuelle KI-Modelle für Tabellen sind wie Schüler, die die richtige Antwort auf eine Matheaufgabe hinschreiben, aber völlig falsch rechnen; sie müssen lernen, den Lösungsweg (die Struktur der Daten) wirklich zu verstehen, um besser zu werden.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „The Role of Feature Interactions in Graph-based Tabular Deep Learning" auf Deutsch:

1. Problemstellung

Tabulardaten zeichnen sich durch heterogene Merkmale aus, deren Beziehungen (Feature-Interaktionen) oft komplex, indirekt und datensatzspezifisch sind. Während Deep-Learning-Methoden in Bereichen wie NLP und Computer Vision erfolgreich sind, kämpfen sie bei tabularen Daten oft noch mit traditionellen, baumbasierten Algorithmen (z. B. XGBoost).

Ein vielversprechender Ansatz zur Verbesserung ist das Graph-based Tabular Deep Learning (GTDL). Dabei werden Merkmale als Knoten und ihre Interaktionen als Kanten in einem Graphen modelliert. Die bestehenden GTDL-Methoden (sowohl attention-basierte wie FT-Transformer als auch Graph Neural Networks wie FiGNN) optimieren jedoch primär die Vorhersagegenauigkeit. Ein kritisches Problem ist, dass diese Modelle die zugrunde liegende Graphenstruktur (welche Merkmale interagieren tatsächlich miteinander) nicht korrekt lernen. Die Autoren vermuten, dass die erlernten Graphenstrukturen eher Optimierungsartefakte sind als echte Datenabhängigkeiten, was die Interpretierbarkeit und möglicherweise die Generalisierungsfähigkeit einschränkt. Bisher fehlte es an einer systematischen Methode, um die Qualität der erlernten Feature-Interaktionen quantitativ zu bewerten, da reale Datensätze meist keine „Ground-Truth"-Graphenstrukturen besitzen.

2. Methodik

Um diese Lücke zu schließen, entwickelten die Autoren ein Evaluierungsframework, das zwei Hauptkomponenten umfasst:

• Synthetische Datensätze mit Ground-Truth-Graphen:
  Anstatt sich auf reale Daten zu verlassen, generierten die Autoren synthetische Daten mit bekannten, wahren Graphenstrukturen ($G_{true}$). Sie nutzten zwei Ansätze:

  1. Multivariate Normalverteilungen (MVN): Basierend auf probabilistischen grafischen Modellen (PGMs), wobei die Kovarianzmatrix aus einer G-Wishart-Verteilung unter der Bedingung eines zufälligen Graphen gesampelt wird.
  2. Strukturelle Kausale Modelle (SCM): Hier wird ein gerichteter azyklischer Graph (DAG) generiert, der durch Moralisation und Marginalisierung in einen ungerichteten Graphen umgewandelt wird. Die Daten werden durch nichtlineare Funktionen entlang des DAGs erzeugt.
     In beiden Fällen ist die wahre Adjazenzmatrix ($A_{true}$) bekannt, was einen direkten Vergleich mit den vom Modell erlernten Interaktionen ermöglicht.

• Quantitative Evaluierungsmetriken:

  • Strukturqualität: Die erlernte gewichtete Adjazenzmatrix ($A_{pred}$) wird mit der wahren binären Matrix ($A_{true}$) verglichen. Als Metrik dient die ROC-AUC (Receiver Operating Characteristic Area Under Curve). Ein Wert von 0,5 entspricht einem zufälligen Raten, während 1,0 eine perfekte Wiederherstellung der Struktur bedeutet.
  • Vorhersageleistung: Die Vorhersagegenauigkeit wird mittels des $R^2$-Scores gemessen.
  • Vergleichsszenarien: Die Modelle wurden in zwei Settings trainiert:
    1. Vollständig verbunden (Fully Connected): Der Standardansatz, bei dem alle Merkmale potenziell interagieren können.
    2. Gestutzt (Pruned): Die Interaktionen werden auf die wahren Kanten ($G_{true}$) beschränkt (Maskierung im Netzwerk), um zu testen, ob die Kenntnis der korrekten Struktur die Leistung verbessert.

• Bewertete Modelle:
  Die Studie verglich explizite GTDL-Methoden (FiGNN, T2G-Former, INCE) und implizite attention-basierte Methoden (FT-Transformer) mit einem probabilistischen grafischen Modell (BDgraph) und klassischen Baselines (XGBoost, TabPFN).

3. Wichtige Beiträge

1. Quantitatives Evaluierungsframework: Einführung eines standardisierten Ansatzes mit synthetischen Daten und ROC-AUC, um die Fähigkeit von GTDL-Modellen zu messen, echte Feature-Interaktionen zu lernen, anstatt sie nur qualitativ zu visualisieren.
2. Nachweis des Versagens bestehender Methoden: Die Studie liefert den empirischen Beweis, dass aktuelle State-of-the-Art GTDL-Modelle die wahre Graphenstruktur nicht lernen.
3. Kausalität zwischen Struktur und Leistung: Demonstration, dass die Einschränkung des Modells auf die wahre Graphenstruktur (Pruning) die Vorhersageleistung signifikant steigert, was zeigt, dass strukturelle Genauigkeit direkt mit besserer Generalisierung korreliert.

4. Ergebnisse

• Versagen beim Erlernen der Graphenstruktur:
  Alle getesteten GTDL-Modelle (FT-Transformer, FiGNN, INCE, T2G-Former) erreichten eine ROC-AUC von ca. 0,5 auf den synthetischen Datensätzen. Dies entspricht reinem Zufall. Selbst bei Erhöhung der Trainingsdatenmenge auf bis zu $10^5$Samples verbesserte sich dies nicht. Im Gegensatz dazu konnte das probabilistische Modell BDgraph die Struktur in linearen Szenarien (MVN) fast perfekt (ROC-AUC$\approx$ 1,0) und in nichtlinearen Szenarien (SCM) deutlich besser lernen.

  • Fazit: Die Attention-Mechanismen und Message-Passing-Schemata der aktuellen GTDL-Modelle erfassen Feature-Interaktionen nicht effektiv.

• Verbesserung der Vorhersageleistung durch korrekte Struktur:
  Wenn die Modelle auf die wahren Kanten beschränkt wurden (Pruning), verbesserte sich der $R^2$-Score signifikant, insbesondere bei geringen bis mittleren Datenmengen.

  • Interpretation: Vollständig verbundene Modelle müssen lernen, irrelevante Kanten zu ignorieren, was den Optimierungsraum vergrößert und zu Overfitting auf spuriose Korrelationen führt. Die explizite Nutzung der korrekten Struktur vereinfacht das Lernen und führt zu robusteren Vorhersagen.

• Einfluss der Datenmenge:
  Der Vorteil der strukturellen Beschränkung nimmt mit steigender Datenmenge ab, ist aber bei knappen Daten (wenige tausend Samples) entscheidend. Dies unterstreicht die Bedeutung von Induktionsverzerrungen (Inductive Biases) in der geometrischen Deep Learning.

• Architekturunterschiede:
  Modelle, die die Vorhersage als Node-Level-Task behandeln (Target-Token im Graph), profitierten stärker vom Pruning als Modelle, die es als Graph-Level-Task behandeln (Aggregation aller Knoten), wie z. B. FiGNN.

5. Bedeutung und Ausblick

Die Arbeit stellt einen Paradigmenwechsel in der Forschung zu tabularem Deep Learning dar:

• Struktur vor Genauigkeit: Es reicht nicht aus, nur die Vorhersagegenauigkeit zu optimieren. Für robuste und interpretierbare Modelle muss die korrekte Modellierung der Feature-Interaktionen (die Graphenstruktur) priorisiert werden.
• Kritik an der Interpretierbarkeit: Da die erlernten Graphenstrukturen der aktuellen Modelle nicht der Realität entsprechen, sind Visualisierungen von Attention-Maps oder Adjazenzmatrizen als Erklärungsmechanismen irreführend.
• Zukünftige Richtungen: Die Autoren fordern neue Methoden, die nicht nur die Existenz von Kanten lernen, sondern auch die funktionale Form der Interaktionen erfassen. Zudem sollte die Forschung auf komplexere Graphen und reale Datensätze mit bekannten Strukturen (z. B. Wissensgraphen) ausgeweitet werden.

Zusammenfassend zeigt das Paper, dass aktuelle GTDL-Methoden zwar mächtige Vorhersagemodelle sein können, aber als Werkzeuge zur Entdeckung von Datenstrukturen derzeit versagen. Die Integration von strukturellem Wissen (z. B. durch Pruning oder bessere Induktionsverzerrungen) ist der Schlüssel zu besseren und verständlicheren Modellen.