💻 computer science

Correcting Class Imbalance in Prior-Data Fitted Networks for Tabular Classification

Cet article aborde le défi du déséquilibre des classes dans les réseaux ajustés aux données a priori (PFN) pour la classification tabulaire en adaptant des techniques d'atténuation classiques, révélant que le seuillage exploite l'étalonnage des PFN pour des performances supérieures tandis que le sous-échantillonnage offre des résultats comparables avec des coûts d'inférence réduits.

Auteurs originaux : Samuel McDowell, Nathan Stromberg, Lalitha Sankar

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Samuel McDowell, Nathan Stromberg, Lalitha Sankar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un détective pré-entraîné et ultra-intelligent nommé PFN. Ce détective a lu des millions d'histoires inventées durant son entraînement et est incroyablement doué pour résoudre de nouvelles affaires en se basant sur quelques indices seulement (une technique appelée « apprentissage en contexte »). Il n'a pas besoin de réentraîner son cerveau pour chaque nouveau travail ; il examine simplement les preuves que vous lui donnez et fait une hypothèse.

Cependant, ce détective a un angle mort majeur : le déséquilibre des classes.

Le Problème : Le biais de la « majorité »

Imaginez que vous demandiez au détective de trouver une pièce de monnaie rare et spécifique dans un tas de 1 000 pièces.

950 pièces sont des centimes communs (la classe majoritaire).
50 pièces sont des pièces d'or rares (la classe minoritaire).

Comme le détective a vu tant de centimes durant son entraînement, il devient paresseux. Lorsqu'il voit une nouvelle pièce, il devine simplement « centime » à chaque fois.

Résultat : Il a raison dans 95 % des cas (car la plupart des pièces sont des centimes).
Le hic : Il rate chaque pièce d'or. Si vous cherchez cette pièce d'or rare (comme une maladie rare ou une cyberattaque), le détective est inutile.

L'article pose la question : Comment réparer ce détective sans le faire réétudier pour un nouvel examen (réentraînement), ce qu'il ne peut pas faire ?

La Solution : Trois façons de modifier le détective

Les chercheurs ont essayé trois « astuces » différentes pour amener le détective à prêter attention aux pièces rares.

1. L'astuce « Abaisser la barre » (Seuillage)

Normalement, le détective dit : « Je suis sûr à 51 % que c'est une pièce d'or, donc je vais l'appeler pièce d'or. » Mais comme il est biaisé en faveur des centimes, il atteint rarement ce seuil de confiance de 51 % pour les pièces d'or.

Les chercheurs ont réalisé que le détective est en fait très honnête concernant ses niveaux de confiance (il est « bien calibré »). Il a juste besoin d'une petite pichenette.

La solution : Au lieu d'attendre une confiance de 51 %, nous disons au détective : « Si tu es même sûr à 10 % que c'est une pièce d'or, appelle-la pièce d'or ! »
L'analogie : C'est comme abaisser la note de passage à un examen. Si l'élève a généralement besoin de 90 % pour réussir, mais que l'examen est difficile, vous pourriez abaisser la barre à 60 % pour qu'il ne fasse pas échouer tout le monde.
Résultat : Cela a fonctionné étonnamment bien. Le détective a commencé à attraper les pièces d'or rares sans perdre trop de centimes. C'était la solution la plus simple et la plus efficace.

2. L'astuce « Cacher les centimes » (Sous-échantillonnage)

Au lieu de changer les règles, nous changeons les preuves. Nous prenons le tas de 1 000 pièces et nous jetons 900 des centimes, ne laissant que 50 centimes et 50 pièces d'or.

La solution : Le tas est maintenant équilibré. Le détective ne peut plus simplement deviner « centime » et avoir raison la plupart du temps ; il doit réellement examiner les indices.
Le bonus : Comme il y a moins de pièces à examiner, le détective résout l'affaire plus vite (moins de puissance de calcul nécessaire).
Résultat : Cela a également très bien fonctionné, presque aussi bien que l'astuce « Abaisser la barre ».

3. L'astuce « Pièces factices » (Suréchantillonnage et suréchantillonnage synthétique)

C'est ici que les autres méthodes ont essayé d'aider.

Suréchantillonnage : Nous prenons les 50 pièces d'or et nous les photocopions jusqu'à ce que nous en ayons 500.
Suréchantillonnage synthétique : Nous utilisons un robot pour inventer de nouvelles pièces d'or factices qui ressemblent aux vraies et nous les ajoutons au tas.
Le résultat : Ces méthodes ont échoué.
- Photocopier les pièces (Suréchantillonnage) a confondu le détective car le tas semblait étrange et « pointu ».
- Les pièces factices (Synthétiques) n'étaient pas assez bonnes pour enseigner quelque chose de nouveau au détective. En fait, elles ont rendu le détective moins bon pour repérer les vraies pièces rares.

La grande conclusion

L'article a montré que vous n'avez pas besoin de magie complexe en IA pour résoudre ce problème.

Ne générez pas de données factices. Cela ne fait qu'embrouiller les choses.
Ajustez la règle de décision. Dire simplement au modèle : « Sois plus enclin à deviner la chose rare », fonctionne mieux que presque tout le reste.
Éliminez les données courantes. Si vous avez trop de choses communes, jetez-en certaines. Cela rend le modèle plus rapide et plus équitable.

En bref : Le détective ultra-intelligent était simplement trop prudent concernant les éléments rares. En lui disant simplement d'être un peu moins prudent (en abaissant le seuil) ou en lui donnant un tas de preuves plus petit et plus équitable (sous-échantillonnage), il est devenu excellent pour trouver les choses rares qu'il ratait.

Résumé Technique : Correction du Déséquilibre de Classes dans les Réseaux Ajustés sur des Données Antérieures pour la Classification de Données Tabulaires

Énoncé du Problème
Les Réseaux Ajustés sur des Données Antérieures (Prior-Data Fitted Networks ou PFN), en particulier TabPFN, ont démontré des performances de pointe dans les tâches de classification de données tabulaires en exploitant l'apprentissage en contexte (ICL) sans mettre à jour les poids du modèle. Cependant, comme de nombreux classifieurs, les PFN souffrent considérablement lorsqu'ils sont appliqués à des données déséquilibrées en termes de classes. Dans de tels scénarios, bien que la précision moyenne puisse rester élevée, les performances sur les classes minoritaires se dégradent drastiquement, limitant l'utilité de ces modèles pour des applications critiques telles que la détection de maladies rares ou de cyberattaques.

Les stratégies d'atténuation standard pour le déséquilibre de classes se divisent en trois catégories : basées sur la fonction de perte (repondération), basées sur les données (rééchantillonnage) et basées sur la décision (seuillage). Cependant, la dynamique unique de l'ICL des PFN rend les stratégies basées sur la fonction de perte impossibles, car les poids du modèle ne sont pas mis à jour lors de l'inférence. De plus, les approches existantes basées sur les données, telles que la génération d'échantillons minoritaires synthétiques, ont montré une efficacité limitée et des coûts de calcul élevés dans ce contexte. Il existe un manque de techniques éprouvées pour traiter spécifiquement le déséquilibre au sein du cadre PFN.

Méthodologie
Les auteurs examinent les caractéristiques de calibration uniques des PFN pour développer et évaluer des stratégies de correction compatibles avec l'ICL. L'étude se concentre sur quatre techniques spécifiques :

Seuillage (Niveau Décision) : Ajustement de la frontière de décision par rapport au seuil standard de 0,5. Les auteurs émettent l'hypothèse que l'établissement du seuil $\tau$ égal à la probabilité a priori de la classe minoritaire ( $\pi_1$ ) peut contrebalancer le déséquilibre des données, minimisant efficacement le risque attendu $R$ défini par des coûts inégaux des faux négatifs et des faux positifs.
Sous-échantillonnage (Niveau Données) : Réduction du nombre d'échantillons de la classe majoritaire dans l'ensemble de contexte pour correspondre à la taille de la classe minoritaire, égalisant ainsi les probabilités a priori ( $\pi_0 = \pi_1$ ) sans générer de nouvelles données.
Sur-échantillonnage (Niveau Données) : Répétition des échantillons de la classe minoritaire dans l'ensemble de contexte pour équilibrer les probabilités a priori.
Sur-échantillonnage Synthétique (Niveau Données) : Génération d'échantillons minoritaires artificiels à l'aide d'un modèle générateur pour compléter l'ensemble de contexte.

Les expériences utilisent TabPFN-2.5 sur 11 tâches de classification binaire issues du benchmark OpenML-CC18. Les ensembles de données sont artificiellement déséquilibrés avec des probabilités a priori minoritaires ( $\pi_1$ ) variant de 0,05 à 0,3, tandis que l'ensemble de test reste équilibré. Les performances sont évaluées à l'aide de la précision par classe, de la précision équilibrée et de la Précision de la Classe la Plus Faible (WCA).

Principales Observations et Résultats
L'étude produit plusieurs observations critiques concernant le comportement des PFN et l'efficacité des méthodes de correction :

Caractéristiques de Calibration : Contrairement à de nombreux classifieurs non linéaires qui sont trop confiants ou peu confiants, les PFN présentent un biais spécifique : ils sont bien calibrés sur des données équilibrées mais deviennent biaisés vers la classe majoritaire lorsque les données sont déséquilibrées. Ce biais est constant et prévisible, suggérant qu'un simple seuillage peut efficacement le corriger.
Performance du Seuillage : Les résultats expérimentaux confirment que le seuil de décision optimal pour maximiser la précision équilibrée correspond étroitement à la probabilité a priori de la classe minoritaire ( $\tau = \pi_1$ ). Cette méthode atteint la meilleure précision équilibrée globale, améliorant considérablement les performances de la classe minoritaire avec une diminution minime de la précision de la classe majoritaire.
Efficacité du Sous-échantillonnage : Le sous-échantillonnage se compare favorablement au seuillage en termes de précision équilibrée et atteint la Précision de la Classe la Plus Faible (WCA) la plus élevée. Un avantage distinct du sous-échantillonnage est la réduction du coût de calcul de l'inférence, car la complexité de requête de TabPFN évolue de manière quadratique avec la taille du contexte.
Inefficacité du Rééchantillonnage : Le sur-échantillonnage et le sur-échantillonnage synthétique (TabPFGen) sous-performent par rapport au modèle de base. Le sur-échantillonnage conduit à un ajustement postérieur « pointu » dû à la répétition des échantillons, tandis que le sur-échantillonnage synthétique échoue à améliorer la précision car les échantillons générés proviennent de la même classe de modèle et de la même distribution de données, n'apportant aucune information nouvelle.

Signification et Revendications
L'article revendique que les performances des modèles PFN de pointe sur des données tabulaires déséquilibrées peuvent être considérablement améliorées grâce à des corrections simples et fondées sur des principes, plutôt que par des changements architecturaux complexes ou une génération de données.

La contribution principale est l'identification du fait que le biais de calibration spécifique des PFN vers la classe majoritaire permet une correction efficace via le seuillage (en fixant $\tau = \pi_1$ ) et le sous-échantillonnage. Les auteurs soulignent que ces méthodes sont :

Faciles à mettre en œuvre : Ne nécessitant ni réentraînement ni ajustement fin du modèle pré-entraîné.
Efficaces : Améliorant drastiquement la détection de la classe minoritaire tout en maintenant une précision équilibrée élevée.
Efficaces sur le plan computationnel : Particulièrement le sous-échantillonnage, qui réduit les coûts d'inférence.

Les auteurs concluent que, bien que ces méthodes simples traitent le problème immédiat du déséquilibre, elles peuvent laisser place à des gains de performance futurs grâce à des méthodes spécifiquement conçues pour les forces uniques des PFN. Ils notent également que l'extension de ces stratégies à la classification multi-classes reste un défi non trivial pour les travaux futurs.