🤖 machine learning

Training Fair Tabular Foundation Models

Dit artikel introduceert FairTFM, een schaalbare trainingsstrategie die rechtvaardigheidsbeperkingen direct integreert in Tabulaire Foundation Models via synthetische rechtvaardigheidstaken en een gradient reversal layer, wat eerlijke, in-context voorspellingen mogelijk maakt zonder toegang tot gevoelige attributen terwijl een concurrerende nauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

Gepubliceerd 2026-08-17

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen met behulp van een superintelligente, vooraf getrainde AI-assistent. Deze assistent heeft miljoenen dossiers gelezen en patronen in gegevens leren herkennen, zoals een ervaren detective die uit een paar aanwijzingen direct de dader kan raden. Dit is de wereld van Tabular Foundation Models. Beschouw deze als "universele detectives" die in elke nieuwe zaak kunnen springen — of het nu gaat om het voorspellen van leninggoedkeuringen, het diagnosticeren van ziekten of het beslissen wie een beurs krijgt — zonder dat ze vanaf nul opnieuw getraind hoeven te worden. Ze gebruiken een truc genaamd In-Context Learning, wat lijkt op het geven van een paar voorbeelden van de huidige zaak in een notitieblok en zeggen: "Hier is hoe we dit normaal gesproken oplossen; los deze nu maar op."

Maar hier zit een addertje onder het gras: zelfs de slimste detectives kunnen verborgen vooroordelen hebben. Als de detective heeft geleerd van oude dossiers waar bepaalde groepen mensen onrechtvaardig werden behandeld, kan hij per ongeluk ook nieuwe mensen uit diezelfde groepen onrechtvaardig behandelen. Dit is het probleem van algoritmische eerlijkheid. In de echte wereld zijn er strikte regels (zoals antidiscriminatiewetten) die stellen dat beslissingen niet mogen afhangen van gevoelige kenmerken zoals geslacht, ras of leeftijd. De grote vraag die wetenschappers stellen is: kunnen we deze "universele detectives" leren om eerlijk te zijn voordat ze ooit een echte zaak zien, zodat ze niet later gerepareerd hoeven te worden?

Dit artikel introduceert een nieuwe methode genaamd FairTFM, die probeert eerlijkheid direct in het brein van de detective te bakken tijdens de training. In plaats van de modellen alleen te leren om accuraat te zijn, leren de onderzoekers hen om de "gevoelige" aanwijzingen te negeren die er eigenlijk niet toe doen. Ze ontdekten dat ze door een slimme trainingsmethode een model kunnen creëren dat in één oogopslag eerlijkere voorspellingen doet, zonder dat het voor elke nieuwe taak opnieuw getraind moet worden. Hoewel het model soms een kleine afweging moet maken in hoe perfect accuraat het is, suggereren de resultaten dat het de oneerlijkheid aanzienlijk kan verminderen — soms met meer dan 70% — terwijl het nog steeds uitstekend presteert in zijn hoofdtaken.

Het Probleem: De "Universele Detective" met een Blinde Vlek

Tabulaire data zijn simpelweg informatie georganiseerd in rijen en kolommen, zoals een gigantisch spreadsheet. Decennialang was de beste manier om voorspellingen te doen uit deze spreadsheets het gebruik van boomgebaseerde modellen (denk aan stroomdiagrammen die een reeks ja/nee-vragen stellen). Maar onlangs is er een nieuw type AI opgekomen genaamd een Tabular Foundation Model (TFM). Dit zijn de "superdetectives" van de datawereld. Ze zijn getraind op enorme collecties data zodat ze direct kunnen adapteren aan nieuwe taken, waarbij ze slechts een paar voorbeelden gebruiken op het moment van de voorspelling.

Het probleem is dat deze superdetectives leren van het verleden, en het verleden is vaak vol onrechtvaardigheid. Als de historische data van een bank laten zien dat vrouwen vaker leningen werden geweigerd dan mannen zonder goede reden, kan een standaard TFM dit patroon leren en ook door te gaan met het weigeren van leningen aan vrouwen, zelfs als dat illegaal en fout is.

Meestal proberen datawetenschappers dit op te lossen door de data te "opschonen" vóór de training, of door het model aan te passen nadat het al getraind is. Maar bij TFMs is dit lastig. Omdat deze modellen ontworpen zijn om "bevroren" te zijn (wat betekent dat we hun interne gewichten niet veranderen voor elke nieuwe taak), kunnen we niet eenvoudig teruggaan en ze voor elke specifieke bank of ziekenhuis opnieuw trainen. We hebben een manier nodig om ze eerlijk te maken voordat ze worden ingezet, zodat ze klaar zijn om eerlijk te zijn op het moment dat ze gevraagd wordt een nieuw probleem op te lossen.

De Oplossing: De Detective Trainen om de "Verkeerde" Aanwijzingen te Negeren

De auteurs van dit artikel, Patrik Kenfack en zijn team, stellen een nieuwe manier voor om deze modellen te trainen genaamd FairTFM. Hun idee is simpel maar krachtig: tijdens de trainingsfase leren ze het model een spel te spelen waarbij het de uitkomst moet voorspellen zonder de gevoelige informatie te gebruiken.

Zo doen ze het, met behulp van een leuke analogie:

Stel je voor dat je een detective traint om een mysterie op te lossen over wie een koekje heeft gestolen. Je hebt een lijst met aanwijzingen: de tijd van de dag, het type schoenafdruk en de lievelingskleur van de verdachte. Maar je hebt ook een "gevoelige" aanwijzing: het geslacht van de verdachte. Je wilt dat de detective het misdrijf oplost op basis van de schoenafdruk en de tijd, maar niet op basis van geslacht.

In het verleden had je misschien geprobeerd de geslachtsaanwijzing gewoon te verbergen. Maar de detective is slim; hij kan het geslacht nog steeds raden op basis van andere aanwijzingen (zoals de schoenafdruk) en die gebruiken om een oneerlijk voordeel te behalen.

FairTFM gebruikt een tweeledig trainingsspel:

Het Hoofdspel: De detective probeert te raden wie het koekje heeft gestolen (de hoofdvraag).
Het Anti-Cheat Spel: Tegelijkertijd wordt de detective gedwongen om het geslacht van de verdachte te raden op basis van alleen de aanwijzingen die zij gebruikten om het misdrijf op te lossen.

Hier is de magische truc: De onderzoekers gebruiken een speciaal hulpmiddel genaamd een Gradient Reversal Layer. Denk aan dit als een "achteruitversnelling" voor het brein van de detective. Wanneer de detective het geslacht goed raadt, zegt het hulpmiddel: "Nee, dat is slecht! Je vertrouwt te veel op geslacht!" en duwt het de detective aan om die connectie te vergeten.

Door dit keer op keer te doen met duizenden verschillende fictieve "koekjesdiefstal"-scenario's (waarbij de gevoelige aanwijzing willekeurig verandert van geslacht naar leeftijd naar ras), leert de detective het misdrijf op te lossen met alleen de relevante aanwijzingen. Ze leren een mentale kaart van de wereld op te bouwen waar de geslachtsaanwijzing onzichtbaar is.

De Resultaten: Eerlijkheid Zonder de Draad Kwijt te raken

Het team testte hun nieuwe "Eerlijke Detective" (FairTFM) op 132 verschillende taken, variërend van het voorspellen van inkomen tot het controleren of iemand opnieuw wordt gearresteerd. Ze vergeleken het met:

Standaard Detectives: De gebruikelijke, supernauwkeurige TFMs (zo zoals TabPFN en TabICL) die geen rekening houden met eerlijkheid.
Ouderwetse Detectives: Traditionele modellen zoals Random Forests en Logistische Regressie.
De "Eerlijke" Concurrent: Een ander model genaamd FairPFN, dat probeert eerlijk te zijn maar een andere, complexere definitie van eerlijkheid gebruikt.

De resultaten waren veelbelovend. De standaard, supernauwkeurige TFMs waren inderdaad het meest accuraat, maar ze waren ook het meest oneerlijk. Ze maakten grote fouten in de manier waarop ze verschillende groepen mensen behandelden.

FairTFM vond echter een "sweet spot". Door een "knop" aan te passen (genaamd $\lambda$ ) die controleert hoe hard het model probeert eerlijk te zijn, konden de onderzoekers de perfecte balans instellen.

De Afweging: Om eerlijkere voorspellingen te krijgen, moest het model een klein beetje aan rauwe nauwkeurigheid inleveren. Het paper vond dat voor een kleine daling in nauwkeurigheid (tussen de 2% en 11%), het model 32% tot 75% eerlijker werd dan de standaardmodellen.
De "One-Shot" Overwinning: Het beste deel is dat FairTFM dit doet in één enkele forward pass. Je hoeft het niet voor elke nieuwe bank of ziekenhuis opnieuw te trainen. Je geeft het gewoon de data, en het produceert direct een eerlijke voorspelling.

Wanneer het werd vergeleken met de andere "eerlijke" model (FairPFN), kwam FairTFM als winnaar uit de bus. FairPFN was eerlijk, maar was veel minder accuraat. FairTFM slaagde erin om zowel eerlijk als accuraat te zijn, en versloeg FairPFN op bijna elke metriek.

Wat Dit Betekent voor de Toekomst

Het artikel suggereert dat we niet hoeven te kiezen tussen een slimme AI en een eerlijke AI. Door het model tijdens zijn "jeugd" (pre-training) te trainen om gevoelige attributen te negeren, kunnen we een hulpmiddel creëren dat klaar is om eerlijk te zijn op het moment dat het de echte wereld betreedt.

Natuurlijk merken de auteurs op dat dit geen toverstaf is die alle discriminatie oplost. Het model moet nog steeds getest worden op echte wereldgegevens, en de definitie van "eerlijkheid" kan complex zijn. Maar dit werk toont een duidelijke weg vooruit: we kunnen foundation models bou weinig die niet alleen krachtig zijn, maar ook principieel, waardoor ze veiliger en betrouwbaarder worden voor beslissingen met een hoge impact in de financiële sector, de gezondheidszorg en de rechtspraak.

Kortom, de auteurs hebben aangetoond dat we met de juiste training onze AI-detectives kunnen leren om misdaden op te lossen zonder dat hun vooroordelen in de weg zitten. En dat is een overwinning voor iedereen.

Technische Samenvatting: Training van Fair Tabular Foundation Models

Probleemstelling

Tabulaire Foundation Models (TFMs), zoals TabPFN en TabDPT, zijn opgekomen als state-of-the-art methoden voor tabulaire voorspellende taken, waarbij ze gebruikmaken van in-context learning (ICL) om zich aan te passen aan nieuwe taken zonder taakspecifieke training of hyperparameter-afstemming. Echter, naarmate deze modellen steeds vaker worden ingezet in domeinen met een hoog risico, zoals de gezondheidszorg en de financiële sector, blijven hun eerlijkheidseigenschappen (fairness properties) grotendeels onverkend. Bestaande technieken voor eerlijkheidsbewuste training, die doorgaans interveniëren tijdens de pre-processing, tijdens de training of tijdens de post-processing, zijn incompatibel met het ICL-paradigma. In ICL moeten voorspellingen worden gegenereerd in een enkele forward pass met een bevroren model, wat de toepassing van taakspecifieke eerlijkheidsrestricties of hertraining verhindert. Bov�ijn bestaande benaderingen voor TFM-eerlijkheid, zoals FairPFN, richten zich op causale eerlijkheidsbeginselen (counterfactual fairness) in plaats van op de statistische groepseerlijkheidsmetrieken (Demographic Parity, Equalized Odds, Equal Opportunity) die veel gebruikt worden in tabulaire benchmarks. Dit creëert een kloof: er is geen schaalbare methode om ervoor te zorgen dat TFMs eerlijke voorspellingen genereren direct via ICL zonder toegang tot gevoelige attributen op het moment van inferentie of zonder dat daarvoor taakspecifieke optimalisatie vereist is.

Methodologie

De auteurs stellen FairTFM voor, een framework dat eerlijkheidsrestricties direct integreert in de pretraining van tabulaire foundation models. De aanpak bestaat uit twee primaire componenten:

1. Synthetische Generatie van Fairness-taken

Om schaalbare eerlijkheidsbewuste pretraining mogelijk te maken zonder afhankelijk te zijn van gelabelde gevoelige attributen in elke dataset, introduceren de auteurs een zelf-gesuperviseerde taak-samplingstrategie.

Proces: Vanuit een gesamplede dataset wordt één inputkenmerk willekeurig aangewezen als het gevoelige attribuut ( $s$ ) en verwijderd uit de kenmerkenset.
Discretisatie: Als het geselecteerde kenmerk continu is, wordt het omgezet in een categorische variabele met behulp van een "stick-breaking" discretisatieschema. Dit houdt in dat proporties worden gesampled uit Beta-distributies om menggewichten te construeren via een Dirichlet-proces, wat resulteert in data-afhankelijke, niet-uniforme bins.
Taakvorming: De dataset wordt gesplitst in een context-set (training) en een query-set (inferentie). Het gevoelige attribuut wordt gemaskeerd in de query-set en vervangen door een leerbare parameter tijdens zowel de pretraining als de inferentie, wat ervoor zorgt dat het model niet leunt op directe toegang tot $s$ tijdens de inferentie.

2. Fairness-bewuste Architectuur en Training

Het model breidt de nanoTabPFN transformer-architectuur uit met een dual-head predictiemechanisme en adversarial learning.

Architectuur: De transformer verwerkt triplets $(x_i, y_i, s_i)$ $(x_{i}, y_{i}, s_{i})$ , waarbij $s_i$ $s_{i}$ het getokeniseerde gevoelige attribuut is. Het maakt gebruik van een gedeelde backbone en twee Multi-Layer Perceptron (MLP) heads:
1. Label Prediction Head: Voorspelt de doelvariabele $\hat{y}_{qy}$ .
2. Sensitive Attribute Head: Voorspelt het gevoelige attribuut $\hat{s}_{qy}$ .
Gradient Reversal Layer (GRL): Een GRL wordt geplaatst vóór de sensitive attribute head. Terwijl deze head wordt getraind om de voorspellingsfout voor $s$ te minimaliseren, vermenigvuldigt de GRL het gradiëntsignaal met $-1$ voordat het terug wordt gepropageerd naar de gedeelde transformer encoder. Dit adversarial objectief dwingt de encoder om representaties te leren die invariant zijn voor het gevoelige attribuut, waardoor informatie over $s$ effectief wordt onderdrukt terwijl het taakrelevante signaal behouden blijft.
Trainingsdoel: Het model wordt geoptimaliseerd met een gezamenlijke cross-entropy loss:
$L = CE(\hat{y}_{qy}, y_{qy}) + \lambda \cdot CE(\hat{s}_{qy}, s_{qy})$
De hyperparameter $\lambda$ regelt de afweging tussen voorspellende nauwkeurigheid en eerlijkheid. Een hogere $\lambda$ vergroot de straf voor het coderen van gevoelige informatie, waardoor het model richting de eerlijkere regio van de Pareto-frontier wordt geduwd.

Belangrijkste Bijdragen

Schaalbare Fairness-taak Synthese: Een strategie voor het genereren van diverse fairness-taken uit generieke data-priors met behulp van stick-breaking groepconstructie, wat geen vooraf gelabelde gevoelige attributen vereist.
FairTFM Architectuur: Een transformer-gebaseerde architectuur die gebruikmaakt van adversarial learning (via GRL) die eerlijke voorspellingen mogelijk maakt in een enkele forward pass. Het gaat om met gevoelige attributen die van identiteit veranderen tussen taken en die tijdens de inferentie gemaskeerd zijn.
Uitgebreide Empirische Evaluatie: Uitgebreide testen op 132 fairness-taken (120 afgeleid van ACS PUMS en 12 van andere benchmarks) tonen aan dat FairTFM de statistische groepseerlijkheidsmetrieken (Demographic Parity, Equalized Odds, Equal Opportunity) verbetert terwijl de nauwkeurigheid concurrerend blijft.

Experimentele Resultaten

De auteurs evalueerden FairTFM tegen standaard machine learning baselines (LR, RF, XGBoost, KNN), recente TFMs (TabPFNv2.5, TabICLv2) en de causale fairness baseline FairPFN.

Fairness-Accuracy Trade-off: Op 120 ACS-gebaseerde taken verbeterden FairTFM-varianten de fairness-metrieken (Demographic Parity, Equalized Odds, Equal Opportunity) consistent met 32–75% ten opzichte van de sterkste TFM-baseline (TabPFNv2.5), met een nauwkeurigheidsverlies van slechts 2–11%.
Vergelijking met Klassieke Methoden: FairTFM behaalde concurrerende of superieure prestaties vergeleken met klassieke baselines. Specifiek bij $\lambda=0.7$ domineerde FairTFM Logistic Regression op alle metrieken, met een hogere nauwkeurigheid en betere eerlijkheid.
Vergelijking met FairPFN: Hoewel FairPFN (causale eerlijkheid) minder oneerlijkheid vertoonde dan onbeperkte modellen, leed het onder een aanzienlijke voorspellingskost (laagste AUCROC). FairTFM bood werkpunten die de Pareto-frontier van FairPFN domineerden, met zowel hogere nauwkeurigheid als betere eerlijkheid.
Generalisatie: Het model generaliseerde goed naar 12 niet-ACS benchmarks (bijv. Adult, COMPAS, German Credit), wat aantoont dat geleerde eerlijkheid uit synthetische pretraining overdraagbaar is naar verschillende databronnen.
Representatie-analyse: Probing-experimenten bevestigden dat FairTFM-embeddings gevoelige informatie selectief verwijderen (waardoor de voorspellings-AUC van het gevoelige attribuut bijna naar random guessing daalt) terwijl de label-voorspelbaarheid behouden blijft.
Efficiëntie: In tegen tegenstelling tot klassieke fairness-bewuste methoden (zoals Exponentiated Gradient) die voor elke nieuwe taak en restrictie hertraining vereisen, bereikt FairTFM deze resultaten in een enkele forward pass zonder taakspecifieke optimalisatie.

Betekenis en Claims

Het artikel claimt het eerste pretraining framework voor tabulaire foundation models te presenteren dat rekening houdt met statistische groepseerlijkheidsbeginselen (Demographic Parity, Equal Opportunity, Equalized Odds) tijdens de pretraining.

De betekenis van dit werk ligt in het vermogen om eerlijkheid direct in de pretraining-fase van het foundation model te integreren, wat eerlijke voorspellingen mogelijk maakt in een enkele forward pass zonder behoefte aan post-hoc correctie, taakspecifieke hertraining of toegang tot gevoelige attributen tijdens de inferentie. De auteurs stellen dat deze aanpak de kloof overbrugt tussen de efficiëntie van in-context learning en de ethische vereisten van besluitvorming in domeinen met een hoog risico. Zij positioneren FairTFM niet als een vervanging voor gespecialiseerde fairness-methoden in elk scenario, maar als een schaalbare fundering die concurrerende, Pareto-efficiënte oplossingen biedt over heterogene taken, wat de weg vrijmaakt voor toekomstig werk op het gebied van betere fairness-taak-priors en adaptieve eerlijkheidsgedragingen in foundation models.

De auteurs erkennen bescheiden de beperkingen, waarbij zij opmerken dat hun pretraining steunt op synthetische priors die mogelijk niet alle semantische structuren van real-world gevoelige attributen vangen, en dat FairTFM niet op elke enkele metriek of taakconfiguratie domineert, met name in striktere settings waarbij leeftijd als gevoelig attribuut wordt gebruikt.