🤖 machine learning

Training Fair Tabular Foundation Models

Dieses Paper führt FairTFM ein, eine skalierbare Trainingsstrategie, die Fairness-Constraints direkt über synthetische Fairness-Aufgaben und eine Gradient Reversal Layer in Tabular Foundation Models integriert, was faire In-Context-Vorhersagen ohne Zugriff auf sensible Attribute ermöglicht und dabei eine wettbewerbsfähige Genauigkeit beibehält.

Ursprüngliche Autoren: Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

Veröffentlicht 2026-08-17

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel mithilfe eines superintelligenten, vorab trainierten KI-Assistenten zu lösen. Dieser Assistent hat Millionen von Fallakten gelesen und gelernt, Muster in Daten zu erkennen – wie ein erfahrener Detektiv, der aus nur wenigen Hinweisen sofort den Täter erraten kann. Dies ist die Welt der Tabular Foundation Models (Tabellarische Fundamentmodelle). Betrachten Sie diese als „universelle Detektive“, die in jeden neuen Fall eintauchen können – sei es bei der Vorhersage von Kreditbewilligungen, der Diagnose von Krankheiten oder der Entscheidung über Stipendien – ohne dafür von Grund auf neu trainiert werden zu müssen. Sie nutzen einen Trick namens In-Context Learning, was so ist, als würde man dem Detektiv ein paar Beispiele des aktuellen Falls in ein Notizbuch schreiben und sagen: „So lösen wir diese Fälle normalerweise; nun löse diesen hier.“

Aber hier liegt der Haken: Selbst die klügsten Detektive können verborgene Vorurteile haben. Wenn der Detektiv aus alten Fallakten gelernt hat, in denen bestimmte Gruppen von Menschen ungerecht behandelt wurden, könnte er unbeabsichtigt auch neue Menschen aus denselben Gruppen unfair behandeln. Dies ist das Problem der algorithmischen Fairness. In der realen Welt gibt es strenge Regeln (wie Antidiskriminierungsgesetze), die besagen, dass Entscheidungen nicht von sensiblen Merkmalen wie Geschlecht, Herkunft oder Alter abhängen dürfen. Die große Frage, die sich Wissenschaftler stellen, lautet: Können wir diese „universellen Detektive“ schon vor dem ersten echten Fall dazu lehren, fair zu sein, damit sie nicht erst nachträglich korrigiert werden müssen?

Dieses Paper stellt eine neue Methode namens FairTFM vor, die versucht, Fairness direkt in das Gehirn des Detektivs während dessen Training einzubauen. Anstatt das Modell nur darauf zu trimmen, genau zu sein, lehren die Forscher es, die „sensiblen“ Hinweise zu ignorieren, die eigentlich keine Rolle spielen sollten. Sie fanden heraus, dass sie durch einen geschickten Trainings-Trick ein Modell erschaffen können, das bereits beim ersten Blick fairere Vorhersagen trifft, ohne für jeden neuen Job neu trainiert werden zu müssen. Während das Modell manchmal einen winzigen Kompromiss bei seiner absoluten Genauigkeit eingehen muss, deuten die Ergebnisse darauf hin, dass es die Unfairness signifikant reduzieren kann – teilweise um über 70 % – während es seine Hauptaufgabe weiterhin hervorragend erfüllt.

Das Problem: Der „universelle Detektiv“ mit einem blinden Fleck

Tabulardaten sind lediglich Informationen, die in Zeilen und Spalten organisiert sind, wie eine riesige Tabelle. Jahrzehntelang war der beste Weg, Vorhersagen aus diesen Tabellen zu treffen, die Verwendung von baumbasierten Modellen (denken Sie an Flussdiagramme, die eine Serie von Ja/Nein-Fragen stellen). Doch vor kurzem ist ein neuer Typ von KI namens Tabular Foundation Model (TFM) entstanden. Diese sind wie die „Super-Detektive“ der Datenwelt. Sie werden auf massiven Datensammlungen trainiert, damit sie sich augenblicklich an neue Aufgaben anpassen können, indem sie nur wenige Beispiele nutzen, die im Moment der Vorhersage bereitgestellt werden.

Das Problem ist, dass diese Super-Detektive aus der Vergangenheit lernen, und die Vergangenheit ist oft voller Unfairness. Wenn die historischen Daten einer Bank zeigen, dass Frauen öfter Kredite verweigert wurden als Männer, ohne dass es einen guten Grund gab, könnte ein Standard-TFM dieses Muster erlernen und weiterhin Kredite an Frauen verweigern, selbst wenn dies illegal und falsch ist.

Normalerweise versuchen Datenwissenschaftler, dies zu beheben, indem sie die Daten vor dem Training „reinigen“ oder das Modell anpassen, nachdem es bereits trainiert wurde. Aber bei TFMs ist dies schwierig. Da diese Modelle darauf ausgelegt sind, „eingefroren“ zu zu sein (was bedeutet, dass wir ihre internen Gewichte nicht für jede neue Aufgabe ändern), können wir sie nicht einfach für jede spezifische Bank oder jedes Krankenhaus neu trainieren. Wir brauchen einen Weg, sie fair zu machen, bevor sie eingesetzt werden, damit sie bereit sind, fair zu sein, sobald sie nach einer Lösung gefragt werden.

Die Lösung: Den Detektiv lehren, die „falschen“ Hinweise zu ignorieren

Die Autoren dieses Papers, Patrik Kenfack und sein Team, schlagen eine neue Art des Trainings für diese Modelle vor, die FairTFM genannt wird. Ihre Idee ist simpel, aber kraftvoll: Während der Trainingsphase bringen sie dem Modell bei, ein Spiel zu spielen, bei dem es das Ergebnis vorhersagen muss, ohne die sensiblen Informationen zu verwenden.

Hier ist die Funktionsweise, erklärt anhand einer Analogie:

Stellen Sie sich vor, Sie trainieren einen Detektiv darauf, ein Rätsel darüber zu lösen, wer einen Keks gestohlen hat. Sie haben eine Liste von Hinweisen: die Tageszeit, die Art des Schuhabdrucks und die Lieblingsfarbe des Verdächtigen. Aber Sie haben auch einen „sensiblen“ Hinweis: das Geschlecht des Verdächtigen. Sie möchten, dass der Detektiv das Verbrechen basierend auf dem Schuhabdruck und der Zeit löst, aber nicht basierend auf dem Geschlecht.

Früher hätten Sie vielleicht versucht, den Geschlechts-Hinweis einfach zu verstecken. Aber der Detektiv ist schlau; er könnte das Geschlecht immer noch anhand anderer Hinweise (wie dem Schuhabdruck) erraten und diesen Vorteil nutzen, um unfaire Vorteile zu erlangen.

FairTFM nutzt ein zweiteiliges Trainingsspiel:

Das Hauptspiel: Der Detektiv versucht zu erraten, wer den Keks gestohlen hat (die Hauptvorhersage).
Das Anti-Schummel-Spiel: Gleichzeitig wird der Detektiv gezwungen, das Geschlecht des Verdächtigen allein basierend auf den Hinweisen zu erraten, die er zur Lösung des Verbrechens verwendet hat.

Hier kommt der magische Trick: Die Forscher verwenden ein spezielles Werkzeug namens Gradient Reversal Layer. Stellen Sie sich dies als ein „Rückwärtsgetriebe“ für das Gehirn des Detektivs vor. Wenn der Detektiv versucht, das Geschlecht zu erraten, dreht das Werkzeug die Rückmeldung um. Wenn der Detektiv das Geschlecht richtig errät, sagt das Werkzeug: „Nein, das ist schlecht! Du verlässt dich zu sehr auf das Geschlecht!“ und drängt den Detektiv dazu, diese Verbindung zu vergessen.

Durch die ständige Wiederholung dieses Prozesses mit tausenden verschiedenen fiktiven „Keksdiebstahl“-Szenarien (bei denen der sensible Hinweis zufällig von Geschlecht zu Alter zu Herkunft wechselt) lernt der Detektiv, das Verbrechen nur mit den relevanten Hinweisen zu lösen. Er lernt, eine mentale Landkarte der Welt aufzubauen, in der der Geschlechts-Hinweis unsichtbar ist.

Die Ergebnisse: Fairness, ohne den roten Faden zu verlieren

Das Team testete ihren neuen „fairen Detektiv“ (FairTFM) in 132 verschiedenen Aufgaben, die von der Vorhersage des Einkommens bis hin zur Prüfung, ob jemand erneut verhaftet wird, reichten. Sie verglichen ihn mit:

Standard-Detektiven: Die üblichen, super-genauen TFMs (wie TabPFN und TabICL), denen Fairness egal ist.
„Old-School“-Detektiven: Traditionelle Modelle wie Random Forests und logistische Regression.
Dem „fairen“ Konkurrenten: Einem anderen Modell namens FairPFN, das zwar versucht, fair zu sein, aber eine andere, komplexere Definition von Fairness nutzt.

Die Ergebnisse waren vielversprechend. Die Standard-TFMs, die extrem genau sind, waren in der Tat am präzisesten, aber auch am unfairsten. Sie machten große Fehler bei der Behandlung verschiedener Gruppen von Menschen.

FairTFM hingegen fand den „Sweet Spot“. Durch das Einstellen eines „Reglers“ (genannt $\lambda$ ), der steuert, wie hart das Modell versucht, fair zu sein, konnten die Forscher die perfekte Balance finden.

Der Kompromiss: Um faire Vorhersagen zu treffen, musste das Modell ein wenig von seiner rohen Genauigkeit opfern. Das Paper stellte fest, dass das Modell bei einem geringen Verlust an Genauigkeit (zwischen 2 % und 11 %) 32 % bis 75 % fairer war als die Standardmodelle.
Der „One-Shot“-Sieg: Das Beste daran ist, dass FairTFM dies in einem einzigen Durchlauf („single forward pass“) schafft. Man muss es nicht für jede neue Bank oder jedes Krankenhaus neu trainieren. Man gibt ihm einfach die Daten, und es liefert sofort eine faire Vorhersage.

Im Vergleich zum anderen „fairen“ Modell (FairPFN) schnitt FairTFM besser ab. FairPFN war zwar fair, aber wesentlich weniger genau. FairTFM gelang es, sowohl fair als auch genau zu sein, und übertraf FairPFN in fast jeder Metrik.

Was dies für die Zukunft bedeutet

Das Paper legt nahe, dass wir uns nicht zwischen einer smarten KI und einer fairen KI entscheiden müssen. Indem wir das Modell bereits während seiner „Kindheit“ (dem Pre-Training) darauf trainieren, sensible Attribute zu ignorieren, können wir ein Werkzeug erschaffen, das bereit ist, fair zu sein, sobald es in die reale Welt tritt.

Natürlich weisen die Autoren vorsichtig darauf hin, dass dies kein Zauberstab ist, der alle Diskriminierung löst. Das Modell muss dennoch an realen Daten getestet werden, und die Definition von „Fairness“ kann komplex sein. Aber diese Arbeit zeigt einen klaren Weg auf: Wir können Fundamentmodelle bauen, die nicht nur leistungsstark, sondern auch prinzipientreu sind, was sie für hochsensible Entscheidungen in der Finanzwelt, dem Gesundheitswesen und der Justiz sicherer und vertrauenswürdiger macht.

Kurz gesagt: Die Autoren haben gezeigt, dass wir mit dem richtigen Training unsere KI-Detektive dazu bringen können, Verbrechen aufzuklären, ohne dass ihre Vorurteile ihnen im Weg stehen. Und das ist ein Gewinn für alle.

Technisches Resümee: Training fairer Tabular Foundation Models

Problemstellung

Tabular Foundation Models (TFMs), wie TabPFN und TabDPT, haben sich als State-of-the-Art-Methoden für tabellarische Vorhersageaufgaben etabliert, indem sie In-Context Learning (ICL) nutzen, um sich an neue Aufgaben ohne aufgabenspezifisches Training oder Hyperparameter-Tuning anzupassen. Da diese Modelle jedoch zunehmend in hochsensiblen Bereichen wie dem Gesundheitswesen und dem Finanzwesen eingesetzt werden, bleiben ihre Fairness-Eigenschaften weitgehend unerforscht. Bestehende Fairness-bewusste Trainingsverfahren, die typischerweise beim Pre-Processing, während des Trainings oder beim Post-Processing intervenieren, sind mit dem ICL-Paradigma inkompatibel. Beim ICL müssen Vorhersagen in einem einzigen Vorwärtspass unter Verwendung eines eingefrorenen Modells generiert werden, was die Anwendung aufgabenspezifischer Fairness-Constraints oder ein Retraining ausschließt. Zudem konzentrieren sich bestehende TFM-Fairness-Ansätze, wie etwa FairPFN, auf kausale Fairness-Konzepte (Counterfactual Fairness) statt auf die statistischen Gruppen-Fairness-Metriken (Demographic Parity, Equalized Odds, Equal Opportunity), die in tabellarischen Benchmarks üblich sind. Dies schafft eine Lücke: Es gibt keine skalierbare Methode, um sicherzustellen, dass TFMs durch ICL direkt faire Vorhersagen treffen, ohne zum Zeitpunkt der Inferenz Zugriff auf sensible Attribute zu benötigen oder eine aufgabenspezifische Optimierung zu erfordern.

Methodik

Die Autoren schlagen FairTFM vor, ein Framework, das Fairness-Constraints direkt in das Pretraining von Tabular Foundation Models integriert. Der Ansatz besteht aus zwei primären Komponenten:

1. Synthetische Generierung von Fairness-Aufgaben

Um ein skalierbares Fairness-bewusstes Pretraining zu ermöglichen, ohne auf jedes Datensatz mit gelabelten sensiblen Attributen angewiesen zu sein, führen die Autoren eine selbstüberwachte Task-Sampling-Strategie ein.

Prozess: Aus einem gesampelten Datensatz wird ein Eingangsmerkmal zufällig als sensibles Attribut ( $s$ ) festgelegt und aus dem Merkmalssatz entfernt.
Diskretisierung: Falls das ausgewählte Merkmal kontinuierlich ist, wird es mittels eines „Stick-Breaking“-Diskretisierungsschemas in eine kategoriale Variable umgewandelt. Dies beinhaltet das Sampling von Proportionen aus Beta-Verteilungen, um Mischgewichtungen mittels eines Dirichlet-Prozesses zu konstruieren, was datenabhängige, nicht-gleichmäßige Bins erzeugt.
Aufgabenbildung: Der Datensatz wird in Kontext- (Trainings-) und Query-Sets (Inferenz-Sets) aufgeteilt. Das sensible Attribut wird im Query-Set maskiert und sowohl während des Pretrainings als auch während der Inferenz durch einen lernbaren Parameter ersetzt, um sicherzustellen, dass das Modell während der Inferenz nicht auf den direkten Zugriff auf $s$ angewiesen ist.

2. Fairness-bewusste Architektur und Training

Das Modell erweitert die nanoTabPFN-Transformer-Architektur um einen dualen Head-Vorhersagemechanismus und adversarielles Lernen.

Architektur: Der Transformer verarbeitet Tripletts $(x_i, y_i, s_i)$ $(x_{i}, y_{i}, s_{i})$ , wobei $s_i$ $s_{i}$ das tokenisierte sensible Attribut ist. Er nutzt einen gemeinsamen Backbone und zwei Multi-Layer-Perceptron (MLP) Heads:
1. Label Prediction Head: Sagt das Ziel-Label $\hat{y}_{qy}$ voraus.
2. Sensitive Attribute Head: Sagt das sensible Attribut $\hat{s}_{qy}$ voraus.
Gradient Reversal Layer (GRL): Ein GRL wird vor dem Sensitive Attribute Head platziert. Während dieser Head darauf trainiert wird, den Vorhersagefehler für $s$ zu minimieren, multipliziert der GRL das Gradientensignal mit $-1$, bevor es an den gemeinsamen Transformer-Encoder zurückpropagiert wird. Dieses adversarielle Ziel zwingt den Encoder dazu, Repräsentationen zu lernen, die invariant gegenüber dem sensiblen Attribut sind, wodurch Informationen über $s$ effektiv unterdrückt werden, während das aufgabenrelevante Signal erhalten bleibt.
Trainingsziel: Das Modell wird mit einem gemeinsamen Cross-Entropy-Loss optimiert:
$L = CE(\hat{y}_{qy}, y_{qy}) + \lambda \cdot CE(\hat{s}_{qy}, s_{qy})$
Der Hyperparameter $\lambda$ steuert den Trade-off zwischen Vorhersagegenauigkeit und Fairness. Ein höheres $\lambda$ erhöht die Strafe für das Kodieren sensibler Informationen und drängt das Modell in Richtung der fairen Region der Pareto-Front.

Zentrale Beiträge

Skalierbare Synthese von Fairness-Aufgaben: Eine Strategie zur Generierung diverser Fairness-Aufgaben aus generischen Daten-Priors mittels Stick-Breaking-Gruppenkonstruktion, die keine vorab gelabelten sensiblen Attribute erfordert.
FairTFM-Architektur: Eine Transformer-basierte Architektur, die adversarielles Lernen (via GRL) nutzt, was faire Vorhersagen in einem einzigen Vorwärtspass ermöglicht. Sie verarbeitet sensible Attribute, die sich über Aufgaben hinweg ändern können und bei der Inferenz maskiert sind.
Umfassende empirische Evaluierung: Umfangreiche Tests auf 132 Fairness-Aufgaben (120 abgeleitet aus ACS PUMS und 12 aus anderen Benchmarks), die zeigen, dass FairTFM die statistischen Gruppen-Fairness-Metriken (Demographic Parity, Equalized Odds, Equal Opportunity) verbessert und gleichzeitig eine konkurrenzfähige Genauigkeit beibehält.

Experimentelle Ergebnisse

Die Autoren evaluierten FairTFM gegen Standard-ML-Baselines (LR, RF, XGBoost, KNN), rezente TFMs (TabPFNv2.5, TabICLv2) und die kausale-Fairness-Baseline FairPFN.

Fairness-Genauigkeits-Trade-off: Auf 120 ACS-basierten Aufgaben verbesserten FairTFM-Varianten die Fairness-Metriken (Demographic Parity, Equalized Odds, Equal Opportunity) konsistent um 32–75 % im Vergleich zur stärksten TFM-Baseline (TabPFNv2.5), bei einem Genauigkeitsverlust von lediglich 2–21 %.
Vergleich mit klassischen Methoden: FairTFM erzielte vergleichbare oder überlegene Leistungen gegenüber klassischen Baselines. Insbesondere bei $\lambda=0,7$ dominierte FairTFM die logistische Regression in allen Metriken, indem es sowohl eine höhere Genauigkeit als auch bessere Fairness bot.
Vergleich mit FairPFN: Während FairPFN (kausale Fairness) eine geringere Unfairness als unbeschränkte Modelle erreichte, litt es unter einem signifikanten Vorhersageverlust (niedrigster AUCROC). FairTFM lieferte Arbeitspunkte, die FairPFN Pareto-dominieren, also sowohl eine höhere Genauigkeit als auch bessere Fairness bieten.
Generalisierung: Das Modell generalisierte gut auf 12 Nicht-ACS-Benchmarks (z. B. Adult, COMPAS, German Credit) und zeigte, dass aus synthetischem Pretraining gelerntes Fairness-Verhalten über verschiedene Datenprovenanzen hinweg transferierbar ist.
Repräsentationsanalyse: Probing-Experimente bestätigten, dass FairTFM-Embeddings sensible Informationen selektiv entfernen (Reduktion der Vorhersage des sensiblen Attributs auf nahezu zufälliges Raten), während die Label-Vorhersagbarkeit erhalten bleibt.
Effizienz: Im Gegensatz zu klassischen fairness-bewussten Methoden (z. B. Exponentiated Gradient), die für jede neue Aufgabe und jeden Constraint ein Retraining erfordern, erreicht FairTFM diese Ergebnisse in einem einzigen Vorwärtspass ohne aufgabenspezifische Optimierung.

Bedeutung und Ansprüche

Das Paper behauptet, das erste Pretraining-Framework für Tabular Foundation Models zu präsentieren, das statistische Gruppen-Fairness-Konzepte (Demographic Parity, Equal Opportunity, Equalized Odds) während des Pretrainings berücksichtigt.

Die Bedeutung dieser Arbeit liegt in ihrer Fähigkeit, Fairness direkt in die Pretraining-Phase des Foundation Models zu integrieren, was faire Vorhersagen in einem einzigen Vorwärtspass ermöglicht – ohne die Notwendigkeit von Post-hoc-Korrekturen, aufgabenspezifischem Retraining oder dem Zugriff auf sensible Attribute zum Zeitpunkt der Inferenz. Die Autoren argumentieren, dass dieser Ansatz die Lücke zwischen der Effizienz von In-Context Learning und den ethischen Anforderungen der Entscheidungsfindung in Hochrisikobereichen schließt. Sie positionieren FairTFM nicht als Ersatz für spezialisierte Fairness-Methoden in jedem Szenario, sondern als skalierbares Fundament, das kompetitive Pareto-effiziente Lösungen über heterogene Aufgaben hinweg bietet und den Weg für zukünftige Arbeiten an besseren Fairness-Task-Priors und adaptiven Fairness-Verhaltens in Foundation Models ebnet.

Die Autoren räumen bescheiden Einschränkungen ein und merken an, dass ihr Pretraining auf synthetischen Priors beruht, die möglicherweise nicht alle semantischen Strukturen realer sensibler Attribute erfassen können, und dass FairTFM nicht auf jeder einzelnen Metrik oder Aufgabenkonfiguration alle spezialisierten Fairness-Baselines dominiert, insbesondere in strengeren Settings, in denen das Alter als sensibles Attribut fungiert.