🤖 machine learning

Training Fair Tabular Foundation Models

Ce document introduit FairTFM, une stratégie d'entraînement évolutive qui incorpore des contraintes d'équité directement dans les modèles de fondation tabulaires via des tâches d'équité synthétiques et une couche de renversement de gradient, permettant des prédictions contextuelles équitables sans accès aux attributs sensibles tout en maintenant une précision compétitive.

Auteurs originaux : Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

Publié 2026-08-17

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre un mystère à l'aide d'un assistant IA super intelligent et pré-entraîné. Cet assistant a lu des millions de dossiers d'affaires et a appris à repérer des schémas dans les données, comme un détective chevronné capable de regarder quelques indices et de deviner instantanément le coupable. C'est le monde des Modèles de Fondation Tabulaires. Considérez-les comme des « détectives universels » capables de s'attaquer à n'importe quelle nouvelle affaire — qu'il s'agisse de prédire des approbations de prêts, de diagnostiquer des maladies ou de décider de l'attribution d'une bourse — sans avoir besoin d'être réentraînés de zéro. Ils utilisent une astuce appelée Apprentissage en Contexte (In-Context Learning), qui consiste à donner au détective quelques exemples de l'affaire actuelle dans un carnet de notes en disant : « Voici comment nous résolvons habituellement ces cas ; maintenant, résolvez celui-ci ».

Mais voici le piège : même les détectives les plus intelligents peuvent avoir des biais cachés. Si le détective a appris à partir de vieux dossiers où certains groupes de personnes ont été traités injustement, il pourrait accidentellement traiter de la même manière de nouvelles personnes appartenant à ces mêmes groupes. C'est le problème de l'équité algorithmique. Dans le monde réel, il existe des règles strictes (comme les lois anti-discrimination) qui stipulent que les décisions ne devraient pas dépendre de traits sensibles comme le genre, la race ou l'âge. La grande question que se posent les scientifiques est la suivante : peut-on apprendre à ces « détectives universels » à être équitables avant même qu'ils ne voient une véritable affaire, afin qu'ils n'aient pas besoin d'être corrigés plus tard ?

Ce document présente une nouvelle méthode appelée FairTFM, qui tente d'intégrer l'équité directement dans le cerveau du détective lors de son entraînement. Au lieu d'apprendre simplement au modèle à être précis, les chercheurs lui apprennent à ignorer les indices « sensibles » qui ne devraient pas compter. Ils ont découvert qu'en utilisant une astuce d'entraînement ingénieuse, ils peuvent créer un modèle qui fait des prédictions plus équitables en un seul coup d'œil, sans avoir besoin d'être réentraîné pour chaque nouvelle tâche. Bien que le modèle doive parfois faire un léger compromis sur sa précision parfaite, les résultats suggèrent qu'il peut réduire considérablement l'iniquité — parfois de plus de 70 % — tout en accomplissant très bien sa tâche principale.

Le Problème : Le « Détective Universel » avec un angle mort

Les données tabulaires sont simplement des informations organisées en lignes et en colonnes, comme un immense tableur. Pendant des décennies, la meilleure façon de faire des prédictions à partir de ces feuilles de calcul était d'utiliser des modèles basés sur des arbres (pensez à des organigrammes qui posent une série de questions oui/non). Mais récemment, un nouveau type d'IA appelé Modèle de Fondation Tabulaire (TFM) a émergé. Ce sont comme les « super-détectives » du monde des données. Ils sont entraînés sur de vastes collections de données afin de pouvoir s'adapter instantanément à de nouvelles tâches, en utilisant seulement quelques exemples fournis au moment de la prédiction.

Le problème est que ces super-détectives apprennent du passé, et le passé est souvent rempli d'iniquités. Si les données historiques d'une banque montrent que les femmes se sont vu refuser des prêts plus souvent que les hommes sans raison valable, un TFM standard pourrait apprendre ce schéma et continuer à refuser des prêts aux femmes, même si cela est illégal et injuste.

Habituellement, pour corriger cela, les scientifiques des données tentent de « nettoyer » les données avant l'entraînement, ou modifient le modèle une fois qu'il est déjà entraîné. Mais avec les TFM, c'est délicat. Parce que ces modèles sont conçus pour être « gelés » (ce qui signifie que nous ne modifions pas leurs poids internes pour chaque nouvelle tâche), nous ne pouvons pas facilement revenir en arrière et les réentraîner pour chaque banque ou hôpital spécifique. Nous avons besoin d'un moyen de les rendre équitables avant leur déploiement, afin qu'ils soient prêts à être justes dès qu'on leur demande de résoudre un nouveau problème.

La Solution : Entraîner le Détective à Ignorer les « Mauvais » Indices

Les auteurs de ce document, Patrik Kenfack et son équipe, proposent une nouvelle façon d'entraîner ces modèles appelée FairTFM. Leur idée est simple mais puissante : pendant la phase d'entraînement, ils apprennent au modèle à résoudre un jeu où il doit prédire le résultat sans utiliser l'information sensible.

Voici comment ils font, en utilisant une analogie amusante :

Imaginez que vous entraînez un détective à résoudre un mystère sur l'auteur d'un vol de biscuit. Vous avez une liste d'indices : l'heure de la journée, le type d'empreinte de chaussure et la couleur préférée du suspect. Mais vous avez aussi un indice « sensible » : le genre du suspect. Vous voulez que le détective résolve le crime en se basant sur l'empreinte de chaussure et l'heure, mais pas sur le genre.

Par le passé, vous auriez pu essayer de simplement cacher l'indice du genre. Mais le détective est intelligent ; il pourrait encore deviner le genre grâce à d'autres indices (comme l'empreinte de chaussure) et utiliser cela pour obtenir un avantage injuste.

FairTFM utilise un jeu en deux parties :

Le Jeu Principal : Le détective essaie de deviner qui a volé le biscuit (la prédiction principale).
Le Jeu de la Triche : Simultanément, le détective est forcé de deviner le genre du suspect en se basant uniquement sur les indices utilisés pour résoudre le crime.

Voici le tour de magie : les chercheurs utilisent un outil spécial appelé Couche de Renversement de Gradient (Gradient Reversal Layer). Considérez cela comme une « marche arrière » pour le cerveau du détective. Lorsque le détective essaie de deviner le genre, l'outil inverse le feedback. Si le détective trouve le bon genre, l'outil dit : « Non, c'est mal ! Tu te bases trop sur le genre ! » et pousse le détective à oublier cette connexion.

En faisant cela encore et encore avec des milliers de différents scénarios de « vol de biscuits » fictifs (où l'indice sensible change du genre à l'âge ou à la race de manière aléatoire), le détective apprend à résoudre le crime en utilisant uniquement les indices pertinents. Il apprend à construire une carte mentale du monde où l'indice du genre est invisible.

Les Résultats : L'Équité sans Perdre le Fil

L'équipe a testé leur nouveau « Détectives Équitable » (FairTFM) sur 132 tâches différentes, allant de la prédiction de revenus à la vérification si quelqu'un sera réincarcéré. Ils l'ont comparé à :

Les Détectives Standards : Les habituels TFM super précis (comme TabPFN et TabICL) qui ne se soucient pas de l'équité.
Les Détectives de la Vieille École : Les modèles traditionnels comme les Forêts Aléatoires et la Régression Logistique.
Le Concurrent « Équitable » : Un autre modèle appelé FairPFN, qui tente d'être équitable mais utilise une définition de l'équité différente et plus complexe.

Les résultats étaient prometteurs. Les TFM standards, super précis, étaient effectivement les plus performants en termes de précision, mais ils étaient aussi les plus inéquitables. Ils commettaient de grosses erreurs dans la manière de traiter différents groupes de personnes.

FairTFM, cependant, a trouvé un juste milieu. En ajustant un « bouton » (appelé $\lambda$ ) qui contrôle la force avec laquelle le modèle essaie d'être équitable, les chercheurs pouvaient régler l'équilibre parfait.

Le Compromis : Pour obtenir des prédictions plus équitables, le modèle devait sacrifier un peu de sa précision brute. L'article a constaté qu'avec une faible baisse de précision (entre 2 % et 11 %), le modèle devenait 32 % à 75 % plus équitable que les modèles standards.
Le Succès du « One-Shot » : La meilleure partie est que FairTFM réalise cela en une seule passe directe. Vous n'avez pas besoin de le réentraîner pour chaque nouvelle banque ou hôpital. Vous lui donnez simplement les données, et il produit une prédiction équitable instantanément.

Comparé à l'autre modèle « équitable » (FairPFN), FairTFM s'est imposé. FairPFN était équitable, mais beaucoup moins précis. FairTFM a réussi à être à la fois équitable et précis, battant FairPFN sur presque toutes les mesures.

Ce que cela signifie pour l'avenir

L'article suggère que nous n'avons pas à choisir entre une IA intelligente et une IA équitable. En apprenant au modèle à ignorer les attributs sensibles pendant son « enfance » (pré-entraînement), nous pouvons créer un outil qui est prêt à être équitable dès qu'il entre dans le monde réel.

Bien sûr, les auteurs précisent que ce n'est pas une baguette magique qui résout toute discrimination. Le modèle doit toujours être testé sur des données réelles, et la définition de l'« équité » peut être complexe. Mais ce travail montre une voie claire : nous pouvons construire des modèles de fondation qui ne sont pas seulement puissants, mais aussi fondés sur des principes, les rendant plus sûrs et plus dignes de confiance pour des décisions à enjeux élevés dans la finance, la santé et la justice.

En bref, les auteurs ont montré qu'avec le bon entraînement, nous pouvons apprendre à nos détectives IA à résoudre des crimes sans laisser leurs biais entraver leur jugement. Et c'est une victoire pour tout le monde.

Résumé Technique : Entraînement de Modèles de Fondations Tabulaires Équitables

Énoncé du Problème

Les modèles de fondation tabulaires (TFM), tels que TabPFN et TabDPT, sont apparus comme des méthodes de pointe pour les tâches prédictives tabulaires, exploitant l'apprentissage en contexte (ICL) pour s'adapter à de nouvelles tâches sans entraînement spécifique à la tâche ou réglage d'hyperparamètres. Cependant, à mesure que ces modèles sont déployés dans des domaines à enjeux élevés comme la santé et la finance, leurs propriétés d'équité restent largement inexplorées. Les techniques existantes d'entraînement axées sur l'équité, qui interviennent généralement lors du pré-traitement, pendant l'entraînement ou lors du post-traitement, sont incompatibles avec le paradigme de l'ICL. Dans l'ICL, les prédictions doivent être générées en une seule passe directe (forward pass) en utilisant un modèle gelé, ce qui exclut l'application de contraintes d'équité spécifiques à la tâche ou un ré-entraînement. De plus, les approches de TFM actuelles concernant l'équité, telles que FairPFN, se concentrent sur des notions d'équité causale (équité contrefactuelle) plutôt que sur les métriques d'équité de groupe statistique (parité démographique, égalité des chances, égalité des chances de succès) couramment utilisées dans les benchmarks tabulaires. Cela crée une lacune : il n'existe aucune méthode évolutive pour garantir que les TFM produisent des prédictions équitables directement via l'ICL sans accès aux attributs sensibles au moment de l'inférence ou sans nécessiter d'optimisation spécifique à la tâche.

Méthodologie

Les auteurs proposent FairTFM, un cadre qui intègre des contraintes d'équité directement dans le pré-entraînement des modèles de fondation tabulaires. L'approche se compose de deux composantes principales :

1. Génération de Tâches d'Équité Synthétiques

Pour permettre un pré-entraînement axé sur l'équité et évolutif sans dépendre d'attributs sensibles étiquetés dans chaque jeu de données, les auteurs introduisent une stratégie d'échantillonnage de tâches auto-supervisée.

Processus : À partir d'un jeu de données échantillonné, une caractéristique d'entrée est désignée aléatoirement comme l'attribut sensible ( $s$ ) et est retirée de l'ensemble des caractéristiques.
Discrétisation : Si la caractéristique sélectionnée est continue, elle est convertie en une variable catégorielle à l'aide d'un schéma de discrétisation par "rupture de bâton" (stick-breaking). Cela implique d'échantillonner des proportions à partir de distributions Beta pour construire des poids de mélange via un processus de Dirichlet, créant ainsi des classes non uniformes dépendantes des données.
Formation de la tâche : Le jeu de données est divisé en ensembles de contexte (entraînement) et de requête (inférence). L'attribut sensible est masqué dans l'ensemble de requête et remplacé par un paramètre apprenable pendant le pré-entraînement et l'inférence, garantissant que le modèle ne repose pas sur l'accès direct à $s$ lors de l'inférence.

2. Architecture et Entraînement Axés sur l'Équité

Le modèle étend l'architecture transformer nanoTabPFN avec un mécanisme de prédiction à double tête et un apprentissage adversarial.

Architecture : Le transformer traite des triplets $(x_i, y_i, s_i)$ $(x_{i}, y_{i}, s_{i})$ , où $s_i$ $s_{i}$ est l'attribut sensible tokenisé. Il utilise un squelette (backbone) partagé et deux têtes MLP (Perceptron Multicouche) :
1. Tête de Prédiction de l'Étiquette : Prédit l'étiquette cible $\hat{y}_{qy}$ .
2. Tête de l'Attribut Sensible : Prédit l'attribut sensible $\hat{s}_{qy}$ .
Couche de Renversement de Gradient (GRL) : Une GRL est placée avant la tête de l'attribut sensible. Bien que cette tête soit entraînée pour minimiser l'erreur de prédiction de $s$ , la GRL multiplie le signal de gradient par $-1$ avant la rétropropagation vers l'encodeur transformer partagé. Cet objectif adversarial force l'encodeur à apprendre des représentations qui sont invariantes à l'attribut sensible, supprimant efficacement l'information sur $s$ tout en préservant le signal pertinent pour la tâche.
Objectif d'Entraînement : Le modèle est optimisé à l'aide d'une perte d'entropie croisée conjointe :
$L = CE(\hat{y}_{qy}, y_{qy}) + \lambda \cdot CE(\hat{s}_{qy}, s_{qy})$
L'hyperparamètre $\lambda$ contrôle le compromis entre la précision prédictive et l'équité. Un $\lambda$ plus élevé augmente la pénalité pour l'encodage de l'information sensible, poussant le modèle vers la région équitable de la frontière de Pareto.

Contributions Clés

Synthèse de Tâches d'Équité Évolutive : Une stratégie pour générer des tâches d'équité diverses à partir de priors de données génériques en utilisant une construction de groupe par rupture de bâton, ne nécessitant aucun attribut sensible pré-étiqueté.
Architecture FairTFM : Une architecture basée sur un transformer utilisant l'apprentissage adversarial (via GRL) qui permet des prédictions équitables en une seule passe directe. Elle gère des attributs sensibles dont l'identité change selon les tâches et qui sont masqués lors de l'inférence.
Évaluation Empirique Complète : Tests approfondis sur 132 tâches d'équité (120 dérivées de ACS PUMS et 12 d'autres benchmarks) démontrant que FairTFM améliore les métriques d'équité de groupe statistique (Parité Démographique, Égalité des Chances, Égalité des Chances de Succès) tout en maintenant une précision compétitive.

Résultats Expérimentaux

Les auteurs ont évalué FairTFM par rapport aux bases de référence classiques de l'apprentissage automatique (LR, RF, XGBoost, KNN), aux TFM récents (TabPFNv2.5, TabICLv2) et à la base de référence de l'équité causale FairPFN.

Compromis Équité-Précision : Sur 120 tâches basées sur ACS, les variantes de FairTFM ont systématiquement amélioré les métriques d'équité (Parité Démographique, Égalité des Chances, Égalité des Chances de Succès) de 32 à 75 % par rapport à la base de référence TFM la plus forte (TabPFNv2.5), avec des coûts de précision de seulement 2 à 11 %.
Comparaison avec les Méthodes Classiques : FairTFM a obtenu des performances compétitives ou supérieures par rapport aux bases de référence classiques. Spécifiquement, à $\lambda=0,7$ , FairTм a dominé la Régression Logistique sur toutes les métriques, offrant une précision et une équité plus élevées.
Comparaison avec FairPFN : Bien que FairPFN (équité causale) ait atteint une inégalité moindre que les modèles non contraints, il a souffert d'un coût prédictif important (AUCROC le plus bas). FairTFM a fourni des points de fonctionnement qui dominent Pareto FairPFN, offrant à la fois une meilleure précision et une meilleure équité.
Généralisation : Le modèle s'est bien généralisé à 12 autres benchmarks (ex: Adult, COMPAS, German Credit), montrant que l'équité apprise de l'entraînement de pré-entraînement synthétique se transfère à travers différentes provenances de données.
Analyse de Représentation : Les expériences de sondage ont confirmé que les plongements (embeddings) de FairTFM suppriment sélectivement l'information sensible (réduisant la prédiction de l'attribut sensible à un AUC proche du hasard) tout en préservant la prédictibilité de l'étiquette.
Efficacité : Contrairement aux méthodes d'équité classiques (ex: Exponentiated Gradient) qui nécessitent un ré-entraînement pour chaque nouvelle tâche et contrainte, FairTFM obtient ces résultats en une seule passe directe sans optimisation spécifique à la tâche.

Signification et Revendications

L'article affirme présenter le premier cadre de pré-entraînement pour les modèles de fondation tabulaires qui prend en compte les notions d'équité de groupe statistique (Parité Démographique, Égalité des Chances, Égalité des Chances de Succès) lors du pré-entraînement.

La signification de ce travail réside dans sa capacité à intégrer l'équité directement dans la phase de pré-entraînement du modèle de fondation, permettant des prédictions équitables en une seule passe directe sans besoin de correction post-hoc, de ré-entraînement spécifique à la tâche ou d'accès aux attributs sensibles lors de l'inférence. Les auteurs soutiennent que cette approche comble le fossé entre l'efficacité de l'apprentissage en contexte et les exigences éthiques de la prise de décision à enjeux élevés. Ils positionnent FairTFM non pas comme un remplacement des méthodes d'équité spécialisées dans chaque scénario, mais comme une fondation évolutive qui offre des solutions Pareto-efficaces compétitives à travers des tâches hétérogènes, ouvant la voie à des travaux futurs sur de meilleurs priors de tâches d'équité et des comportements d'équité adaptatifs dans les modèles de fondation.

Les auteurs reconnaissent modestement certaines limites, notant que leur pré-entraînement repose sur des priors synthétiques qui peuvent ne pas capturer toutes les structures sémantiques des attributs sensibles du monde réel, et que FairTFM ne domine pas systématiquement les bases de référence d'équité spécialisées sur chaque métrique ou configuration de tâche, particulièrement dans des contextes plus stricts impliquant l'âge comme attribut sensible.