🤖 machine learning

Counterfactual Residual Data Augmentation for Regression

Cet article propose l'Augmentation de Données par Résidus Contrefactuels (CRDA), une technique agnostique au modèle pour la régression tabulaire qui génère des échantillons d'entraînement réalistes en exploitant l'invariance des résidus sous de petites perturbations de caractéristiques, réduisant ainsi considérablement l'erreur quadratique moyenne dans des contextes de rareté de données et de bruit.

Auteurs originaux : Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à prédire le prix d'une maison. Vous n'avez qu'une petite pile de photos et d'étiquettes de prix (données) à lui montrer. Le robot regarde les photos, apprend qu'une grande maison dans un bon quartier coûte plus cher, et commence à faire des suppositions. Mais parfois, il se trompe. Peut-être ne savait-il pas qu'un acheteur spécifique était dans une urgence extrême pour acheter, ou que le vendeur était désespéré. Ces « erreurs » ou « surprises » sont appelées résidus.

Généralement, quand les données sont rares, le robot se contente de mémoriser les quelques exemples qu'il possède, ce qui est une mauvaise chose. Les méthodes traditionnelles pour corriger cela (comme dans l'édition d'images) consistent à retourner les images ou à changer les couleurs, mais cela ne fonctionne pas bien pour des chiffres comme les prix des maisons ou les statistiques médicales.

Ce document présente une nouvelle astuce appelée CRDA (Counterfactual Residual Data Augmentation - Augmentation de Données par Résidus Contrefactuels). Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Systématique » vs le « Bruit »

Considérez la prédiction du robot comme une recette en deux parties :

La partie Systématique : Ce qui est prévisible. « Si la maison fait 2 000 pieds carrés, le prix est de X $. » Le robot apprend cela très bien.
Le Résidu (Bruit) : Ce qui est imprévisible. « Mais attendez, cette maison spécifique s'est vendue pour X $+ 5 000$ parce que l'acheteur était émotif. »

L'idée majeure du papier est la suivante : la partie « acheteur émotif » (le bruit) reste la même même si nous changeons certains autres détails.

2. Le jeu du « Et si ? » (Contrefactuels)

Imaginez une maison avec un garage et un jardin.

Le robot sait qu'un plus grand garage signifie généralement un prix plus élevé (Systématique).
Le robot sait aussi que cette maison spécifique a eu un bond de prix étrange à cause d'une « guerre d'enchères » (Résidu).

CRDA demande : « Et si cette maison avait une finition de garage différente, mais la même guerre d'enchères ? »

Le papier soutient que changer la finition du garage change le prix de base, mais que cela ne change pas le fait qu'une guerre d'enchères a eu lieu. La « guerre d'enchères » (le résidu) est indépendante du garage.

3. Comment CRDA crée de nouvelles données

Au lieu de simplement deviner de nouveaux chiffres, le CRDA fait ceci :

Entraîner un robot de base sur les données originales.
Trouver les caractéristiques « sûres » : Il utilise un détective (un algorithme) pour déterminer quelles caractéristiques (comme la finition du garage) peuvent être modifiées sans perturber la « guerre d'enchères » (le résidu). Il évite de modifier les caractéristiques qui sont la guerre d'enchères (comme l'urgence de l'acheteur).
Créer un scénario « Et si ? » : Il prend une vraie maison, change la caractéristique « sûre » (par exemple, rend la finition du garage différente), calcule le nouveau prix de base, et réajoute exactement le même bruit de « guerre d'enchères » de la maison originale.
Résultat : Vous avez maintenant un nouvel exemple de maison, réaliste, que le robot n'a jamais vu auparavant, mais qui suit les mêmes règles de la réalité.

4. Pourquoi est-ce meilleur que les autres méthodes ?

Les anciennes méthodes (comme le mélange de données) : Imaginez prendre une maison de New York et une maison du Texas et les mélanger pour créer une maison « New-Tex ». Cette maison n'existe pas et perd le robot.
L'IA générative (Apprentissage profond) : Imaginez un robot qui essaie d'inventer une maison de toutes pièces. Il pourrait créer une maison qui semble réelle mais qui a un prix qui n'a aucun sens parce qu'il a oublié le « bruit » spécifique des données originales.
CRDA : C'est comme prendre une vraie maison, changer la couleur de la peinture, et garder exactement la même histoire sur la raison pour laquelle elle s'est vendue à ce prix. Cela crée des données qui sont fidèles aux modèles originaux.

5. Le filet de sécurité

Le papier admet que cette astuce ne fonctionne que si le robot est assez intelligent pour comprendre la partie « systématique » d'abord. Si le robot est trop limité, le « bruit » qu'il calcule n'est que du n'importe quoi, et changer les caractéristiques n'aidera pas.

Ainsi, le CRDA inclut un contrôle de sécurité :

Il teste les nouvelles données sur un test.
Si les nouvelles données rendent le robot plus intelligent, il les garde.
Si les nouvelles données confondent le robot, il les jette et s'en tient aux données originales.

Les Résultats

Les auteurs ont testé cette méthode sur 9 ensembles de données réels (comme la prédiction des prix des maisons, la qualité du vin et l'efficacité énergétique).

Pour les Réseaux de Neurones (MLP) : Cela a réduit les erreurs d'environ 23 % en moyenne.
Pour les Modèles d'Arbres (XGBoost) : Cela a réduit les erreurs d'environ 6 % en moyenne.
Il a systématiquement battu les autres méthodes sophistiquées de création de données, qui aggravaient souvent les choses.

En bref : Le CRDA est une façon d'étendre un petit ensemble de données en demandant « Et si ? » sur des détails spécifiques, tout en gardant soigneusement les parties « imprévisibles » de l'histoire exactement les mêmes. C'est une façon simple et sûre de donner plus d'entraînement à un robot sans lui mentir.

Résumé Technique : Augmentation de Données par Résidus Contrefactuels pour la Régression

Énoncé du Problème

Les tâches de régression réelles dans des domaines tels que la médecine, la finance et l'industrie souffrent fréquemment de la rareté des données, de coûts de collecte élevés et d'observations bruitées. Bien que l'augmentation de données soit un pilque de succès en vision par ordinateur et en traitement du langage naturel, les techniques existantes (par exemple, les transformations géométriques, Mixup) reposent souvent sur des symétries préservant les étiquettes ou des invariances spécifiques au domaine qui ne se transposent pas naturellement à la régression tabulaire. Par conséquent, les modèles d'apprentissage supervisé échouent souvent à capturer les processus sous-jacents lorsque les exemples d'entraînement sont limités, ce qui conduit au surapprentissage et à une faible généralisation.

Méthodologie : Augmentation de Données par Résidus Contrefactuels (CRDA)

Les auteurs proposent l'Augmentation de Données par Résidus Contrefactuels (CRDA), un cadre agnostique au modèle conçu pour synthétiser de nouveaux échantillons d'entraînement réalistes pour la régression tabulaire en exploitant l'invariance du bruit résiduel.

Intuition Fondamentale

La méthode est fondée sur l'observation selon laquelle, une fois qu'un régresseur a modélisé la composante systématique des données, le bruit restant (résidu) peut être considéré comme une composante invariante sous de petites perturbations de caractéristiques soigneusement sélectionnées. En préservant ce résidu tout en modifiant des caractéristiques spécifiques, la CRDA génère des échantillons contrefactuels qui adhèrent à la distribution de données sous-jacente sans nécessiter de données supplémentaires du monde réel.

Fondement Théorique

La CRDA opère sous l'hypothèse d'un Modèle de Structure Causale à Bruit Additif (SCM) :
$Y = g(X_P, X_R) + Z$
Où :

$Y$ est la variable cible.
$g(X_P, X_R)$ est la composante systématique (espérance conditionnelle).
$Z$ est le bruit structurel (résidu).
$X_P$ représente les caractéristiques perturbables et $X_R$ représente les caractéristiques fixes.

La méthode repose sur l'Hypothèse 3.1 (Invariance du Résidu) : Le terme de bruit $Z$ est indépendant des caractéristiques perturbables $X_P$ étant donné les caractéristiques fixes $X_R$ ( $P(Z | X_P, X_R) = P(Z | X_R)$ ). Cela implique que la perturbation de $X_P$ modifie la prédiction systématique mais n'altère pas le bruit spécifique à l'instance.

Flux de Travail Algorithmique

Le pipeline CRDA (Algorithme 1) procède comme suit :

Entraînement de Base : Un régresseur de base $\hat{g}$ (par exemple, MLP ou XGBoost) est entraîné sur l'ensemble de données original $D_{train}$ .
Calcul du Résidu : Les résidus empiriques sont calculés : $\hat{z}_i = y_i - \hat{g}(x_i)$ .
Sélection de Caractéristiques (Filtrage d'Indépendance) : Pour satisfaire l'Hypothèse 3.1, l'algorithme identifie un sous-ensemble de caractéristiques $X_P$ $X_{P}$ qui sont probablement indépendantes des résidus $\hat{Z}$ $\hat{Z}$ . Ceci est réalisé via :
- Algorithme PC : Une vérification de graphe causal pour supprimer les caractéristiques ayant des liens directs avec le résidu $\hat{Z}$ .
- Vérification de Corrélation : Suppression des caractéristiques fortement corrélées avec $\hat{Z}$ .
- Les caractéristiques restantes forment $X_P$ ; les autres forment $X_R$ .
Génération de Contrefactuels : Pour chaque échantillon d'entraînement, $M$ $M$ échantillons synthétiques sont générés :
- Perturbation de $X_P$ en utilisant un facteur d'échelle uniforme : $x'_{i,P} = x_{i,P} \cdot (1 + \delta)$ , où $\delta \sim \text{Unif}[-p, p]$ .
- Maintien de $X_R$ fixe.
- Calcul de l'étiquette contrefactuelle en préservant le résidu original : $y'_i = \hat{g}(x'_i) + \hat{z}_i$ .
Validation de Sécurité : Avant le réentraînement final, un test de Wilcoxon signé-rang compare les performances du modèle de base contre un modèle entraîné sur les données augmentées via une validation croisée K-fold. Si la p-valeur indique qu'il n'y a pas d'amélioration statistiquement significative, l'augmentation est rejetée et le modèle de base est conservé.
Réentraînement Final : Si la validation réussit, un modèle final est entraîné sur l'union des données originales et augmentées.

Principales Contributions

Nouveau Cadre d'Augmentation de Données : Une stratégie d'augmentation agnostique au modèle pour la régression tabulaire centrée sur le raisonnement contrefactuel et l'invariance du résidu, évitant le besoin d'heuristiques spécifiques au domaine.
Principe d'Invariance du Résidu : Une formalisation de la manière dont des caractéristiques spécifiques peuvent être perturbées sans corrompre la structure du bruit, fournissant une base théorique pour la sélection de caractéristiques dans l'augmentation.
Validation Empirique : Une évaluation complète sur des benchmarks synthétiques et des jeux de données réels (UCI, PMLB, Kaggle), démontrant des améliorations constantes pour les modèles neuronaux (MLP) et d'ensemble (XGBoost).

Résultats Expérimentaux

Les auteurs ont évalué la CRDA sur neuf jeux de données de référence avec des tailles d'échantillons variables, en la comparant à :

Baselines : Pas d'augmentation.
Concurrents : Augmentations de régression de pointe (C-Mixup, ADA) et modèles génératifs profonds (CTGAN, TVAE, TabDDPM).

Principales Conclusions :

Gains de Performance : En moyenne, la CRDA a réduit l'Erreur Quadratique Moyenne (MSE) de 22,9 % pour les régresseurs MLP et de 6,4 % pour les régresseurs XGBoost sur l'ensemble des jeux de données.
Robustesse : Contrairement aux méthodes géométriques (ex: ADA, C-Mixup) qui ont montré des modes de défaillance catastrophiques (augmentant le MSE de plus de 100 % dans certains cas) et les modèles génératifs profonds qui dégradent souvent les performances, la CRDA améliore ou maintient systématiquement les performances sans dégradation significative.
Dépendance à la Taille de l'Échantillon : La méthode est plus efficace dans un "point idéal" de tailles d'échantillons (ex: 2,5k–20k pour les MLP), où le modèle de base a appris le signal principal mais bénéficie encore d'une exploration localisée de l'espace des caractéristiques. Pour les très petits jeux de données, le modèle de base est trop imprécis pour produire des résidus significatifs ; pour les très grands jeux de données, la baseline est déjà optimale.
Mécanisme de Sécurité : La barrière de sécurité de Wilcoxon a réussi à empêcher l'augmentation dans les cas où elle n'aurait pas aidé (ex: lors de l'utilisation d'une baseline de régression linéaire faible), garantissant que la méthode ne dégrade pas la performance.

Signification et Revendications

Le papier positionne la CRDA comme un remède simple et efficace pour les contextes de régression à faibles échantillons et sujets au bruit. Sa signification réside dans :

Praticité : Elle ne nécessite aucune connaissance spécifique au domaine ni de modélisation générative complexe, ce qui la rend facilement applicable à divers régresseurs.
Fondement Théorique : En cadrant l'augmentation à travers le prisme des contrefactuels causaux et de l'invariance du résidu, elle offre une alternative fondée sur des principes aux méthodes d'interpolation heuristiques.
Fiabilité : La validation de sécurité intégrée garantit que la méthode agit comme un "garde-fou", empêchant la dégradation des performances dans les scénarios où les hypothèses d'augmentation (indépendance du résidu) sont violées ou lorsque la baseline est insuffisante.

Les auteurs concluent que la CRDA offre une approche robuste pour étendre les jeux de données sans nécessiter de nouvelles données réelles, réduisant efficacement la variance et améliorant l'ajustement du modèle dans les régimes de rareté de données. Des travaux futurs sont suggérés pour étendre ces principes aux tâches de classification et pour explorer des algorithmes de découverte causale plus robustes pour le partitionnement des caractéristiques.