Technische Samenvatting: Counterfactual Residual Data Augmentation voor Regressie

Probleemstelling

Regressietaken in de echte wereld binnen domeinen zoals de geneeskunde, financiën en productie kampen vaak met gegevensschaarste, hoge kosten voor gegevensverzameling en ruisgeobserveerde waarnemingen. Hoewel data-augmentatie een hoeksteen van succes is in computer vision en natuurlijke taalverwerking, vertrouwen bestaande technieken (bijv. geometrische transformaties, Mixup) vaak op label-behoudende symmetrieën of domeinspecifieke invarianties die niet natuurlijk vertalen naar tabulaire regressie. Gevolgen hiervan is dat supervised learning-modellen vaak falen in het vastleggen van onderliggende processen wanneer trainingsvoorbeelden beperkt zijn, wat leidt tot overfitting en een slechte generalisatie.

Methodologie: Counterfactual Residual Data Augmentation (CRDA)

De auteurs stellen Counterfactual Residual Data Augmentation (CRDA) voor, een model-agnostisch framework ontworpen om nieuwe, realistische trainingsmonsters te synthetiseren voor tabulaire regressie door gebruik te maken van de invariantie van residuele ruis.

Kerninzicht

De methode is geworteld in de observatie dat zodra een regressor het systematische component van de data modelleert, de resterende ruis (het residu) kan worden beschouwd als een invariante component onder kleine perturbaties van zorgvuldig geselecteerde kenmerken. Door dit residu te behouden terwijl specifieke kenmerken worden gewijzigd, genereert CRDA counterfactual monsters die voldoen aan de onderliggende datadistributie zonder dat er aanvullende real-world data nodig is.

Theoretische Fundering

CRDA opereert onder de aanname van een Additive-Noise Structural Causal Model (SCM):
$$Y = g(X_P, X_R) + Z$$
Waarbij:

• $Y$ de doelvariabele is.
• $g(X_P, X_R)$ het systematische component (conditionele verwachting) is.
• $Z$ de structurele ruis (residu) is.
• $X_P$ de perturbeerbare kenmerken representeert en $X_R$ de vaste kenmerken representeert.

De methode steunt op Aanname 3.1 (Residu-invariantie): De ruisterm $Z$ is conditioneel onafhankelijk van de perturbeerbare kenmerken $X_P$ gegeven de vaste kenmerken $X_R$ ($P(Z | X_P, X_R) = P(Z | X_R)$). Dit impliceert dat het perturberen van $X_P$ de systematische voorspelling verandert, maar de instantie-specifieke ruis niet wijzigt.

Algoritmische Workflow

De CRDA-pipeline (Algoritme 1) verloopt als volgt:

1. Baseline Training: Een basisregressor $\hat{g}$ (bijv. MLP of XGBoost) wordt getraind op de oorspronkelijke dataset $D_{train}$.
2. Residu Berekening: Empirische residuen worden berekend: $\hat{z}_i = y_i - \hat{g}(x_i)$.
3. Kenmerkselectie (Onafhankelijkheidsfiltering): Om aan Aanname 3.1 te voldoen, identificeert het algoritme een subset van kenmerken $X_P$ die waarschijnlijk onafhankelijk zijn van de residuen. Dit wordt bereikt via:
   • PC Algoritme: Een causale graafcontrole om kenmerken te verwijderen met directe randen naar het residu $\hat{Z}$.
   • Correlatiecheck: Het verwijderen van kenmerken die sterk gecorreleerd zijn met $\hat{Z}$.
   • De resterende kenmerken vormen $X_P$; de rest vormt $X_R$.
4. Counterfactual Generatie: Voor elk trainingsmonster worden $M$ synthetische monsters gegenereerd:
   • Perturbeer $X_P$ met een uniforme schaleringsfactor: $x'_{i,P} = x_{i,P} \cdot (1 + \delta)$, waarbij $\delta \sim \text{Unif}[-p, p]$.
   • Houd $X_R$ vast.
   • Bereken het counterfactual label door het oorspronkelijke residu te behouden: $y'_i = \hat{g}(x'_i) + \hat{z}_i$.
5. Veiligheidsvalidatie: Voordat de definitieve hertraining plaatsvindt, vergelijkt een Wilcoxon signed-rank test de prestaties van het baseline-model met een model dat getraind is op de geaugmenteerde data via K-fold cross-validatie. Als de p-waarde aangeeft dat er geen statistisch significante verbetering is, wordt de augmentatie afgewezen en wordt de baseline behouden.
6. Definitieve Hertraining: Indien de validatie slaagt, wordt een definitief model getraind op de unie van de originele en geaugmenteerde data.

Belangrijkste Bijdragen

1. Nieuw Data-augmentatie Framework: Een model-agnostische strategie voor tabulaire regressie gecentreerd rond counterfactual redeneren en residu-invariantie, waarbij de noodzaak voor domeinspecifieke heuristieken wordt vermeden.
2. Principe van Residu-invariantie: Een formalisering van hoe specifieke kenmerken kunnen worden geperturbeerd zonder de ruisstructuur te corrumperen, wat een theoretische basis biedt voor kenmerkselectie in augmentatie.
3. Empirische Validatie: Uitgebreide evaluatie over synthetische benchmarks en real-world datasets (UCI, PMLB, Kaggle), die consistente verbeteringen aantonen voor zowel neurale (MLP) als ensemble (XGBoost) modellen.

Experimentele Resultaten

De auteurs evalueerden CRDA op negen benchmark-datasets met variërende steekproefgroottes, waarbij het werd vergeleken met:

• Baselines: Geen augmentatie.
• Concurrenten: State-of-the-art regressie-augmentaties (C-Mixup, ADA) en diepe generatieve modellen (CTGAN, TVAE, TabDDPM).

Belangrijkste Bevindingen:

• Prestatiewinst: Gemiddeld reduceerde CRDA de Mean Squared Error (MSE) met 22,9% voor MLP-regressoren en met 6,4% voor XGBoost-regressoren over alle datasets.
• Robuustheid: In tegenstelling tot geometrische methoden (bijv. ADA, C-Mixup), die catastrofale faalmodi vertoonden (MSE met >100% verhoogd in sommige gevallen) en diepe generatieve modellen die vaak de prestaties verslechterden, verbeterde CRDA consequent de prestaties of behield het deze zonder significante degradatie.
• Afhankelijkheid van Steekproefgrootte: De methode is het meest effectief in een "sweet spot" van steekproefgroottes (bijv. 2,5k–20k voor MLPs), waar het basismodel de hoofdsignaal heeft geleerd maar nog steeds profiteert van lokale exploratie van de kenmerkruimte. Voor zeer kleine datasets is het basismodel te onnauwkeurig om betekenisvolle residuen te produceren; voor zeer grote datasets is de baseline al optimaal.
• Veiligheidsmechanisme: De Wilcoxon safety gate voorkwam succesvol augmentatie in gevallen waarin het niet zou helpen (bijv. bij het gebruik van een zwakke lineaire regressie baseline), waardoor werd gegarandeerd dat de methode de prestaties niet verslechtert.

Betekenis en Claims

Het artikel positioneert CRDA als een eenvoudige en efficiënte oplossing voor ruisgevoelige, kleine-steekproef regressie-settings. De betekenis ligt in:

• Praktiseerbaarheid: Het vereist geen domeinspecifieke kennis of complexe generatieve modellering, waardoor het gemakkelijk toepasbaar is op diverse regressoren.
• Theoretische Onderbouwing: Door augmentatie te kaderen vanuit de lens van causale counterfactuals en residu-invariantie, biedt het een principieel alternatief voor heuristische interpolatiemethoden.
• Betrouwbaarheid: De ingebouwde veiligheidsvalidatie zorgt ervoor dat de methode fungeert als een "vangrail", waardoor prestatieverslechtering wordt voorkomen in scenario's waarin de augmentatie-aannames (residu-onafhankelijkheid) worden geschonden of de base model onvoldoende is.

De auteurs concluderen dat CRDA een robuuste aanpak biedt om datasets uit te breiden zonder extra real-world data te vereisen, waardoor variantie effectief wordt verminderd en de modelfit wordt verbeterd in scenario's met datatekort. Toekomstig werk wordt gesuggereerd om deze principes uit te breiden naar classificatie-taken en om robuustere causale ontdekkingsalgoritmen voor de partitionering van kenmerken te verkennen.