🤖 machine learning

Counterfactual Residual Data Augmentation for Regression

Dieses Paper schlägt die Counterfactual Residual Data Augmentation (CRDA) vor, eine modellagnostische Technik für die tabellarische Regression, die durch die Ausnutzung der Invarianz von Residuen unter kleinen Merkmalsperturbationen realistische Trainingsbeispiele generiert und dadurch den mittleren quadratischen Fehler in datenarmen und verrauschten Szenarien signifikant reduziert.

Ursprüngliche Autoren: Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, den Preis eines Hauses vorherzusagen. Sie haben nur einen kleinen Stapel Fotos und Preisschilder (Daten) vor sich liegen, die Sie ihm zeigen können. Der Roboter betrachtet die Fotos, lernt, dass große Häuser in guten Nachbarschaften mehr kosten, und beginnt dann, Schätzungen abzugeben. Aber manchmal liegt er falsch. Vielleicht wusste er nicht, dass ein bestimmter Käufer in großem Zeitdruck war oder dass der Verkäufer verzweifelt war. Diese „Fehler“ oder „Überraschungen“ werden als Residuen bezeichnet.

Normalerweise neigt der Roboter dazu, einfach die wenigen Beispiele auswendig zu lernen, die er hat, wenn die Daten knapp sind, was schlecht ist. Traditionelle Methoden zur Behebung (wie in der Bildbearbeitung) beinhalten das Umdrehen von Bildern oder das Ändern von Farben, aber das funktioniert bei Zahlenwerten wie Hauspreisen oder medizinischen Statistiken nicht gut.

Dieses Paper stellt einen neuen Trick namens CRDA (Counterfactual Residual Data Augmentation) vor. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Systematische“ vs. das „Rauschen“

Betrachten Sie die Vorhersage des Roboters als ein Rezept aus zwei Teilen:

Der systematische Teil: Das Vorhersehbare. „Wenn das Haus 2.000 sq ft groß ist, beträgt der Preis X.“ Dies lernt der Roboter gut.
Das Residuum (Rauschen): Das Unvorhersehbare. „Aber warte, dieses spezifische Haus wurde für X + 5.000 $ verkauft, weil der Käufer emotional war.“

Die große Idee des Papers ist: Der Teil mit dem „emotionalen Käufer“ (das Rauschen) bleibt gleich, auch wenn wir einige andere Details ändern.

2. Das „Was wäre wenn“-Spiel (Kontrafaktika)

Stellen Sie sich ein Haus mit einer Garage und einem Garten vor.

Der Robot weiß, dass eine größere Garage normalerweise einen höheren Preis bedeutet (Systematisch).
Der Robot weiß auch, dass dieses spezifische Haus aufgrund eines „Bieterwettstreits“ einen seltsamen Preissprung hatte (Residuum).

CRDA fragt: „Was wäre, wenn dieses Haus ein anderes Garagen-Finish hätte, aber denselben Bieterwettstreit hätte?“

Das Paper argumentiert, dass das Ändern des Garagen-Finishs den Basispreis verändert, aber nicht den Umstand ändert, dass ein Bieterwettstreit stattgefunden hat. Der „Bieterwettstreit“ (das Residuum) ist unabhängig von der Garage.

3. Wie CRDA neue Daten erzeugt

Anstatt nur neue Zahlen zu raten, macht CRDA Folgendes:

Trainiere einen Basis-Roboter auf den Originaldaten.
Finde die „sicheren“ Merkmale: Es nutzt einen Detektiv (einen Algorithmus), um herauszufinden, welche Merkmale (wie das Garagen-Finish) geändert werden können, ohne den „Bieterwettstreit“ (das Residuum) zu verändern. Es vermeidet es, Merkmale zu ändern, die selbst Teil des „Bieterwettstreits“ sind (wie die Dringlichkeit des Käufers).
Erstelle ein „Was-wäre-wenn“-Szenario: Es nimmt ein echtes Haus, ändert das „sichere“ Merkmal (z. B. macht das Garagen-Finish anders), berechnet den neuen Basispreis und addiert exakt dasselbe „Bieterwettstreit“-Rauschen des ursprünglichen Hauses hinzu.
Ergebnis: Sie haben nun ein brandneues, realistisch aussehendes Hausbeispiel, das der Roboter noch nie gesehen hat, das aber denselben Regeln der Realität folgt.

4. Warum dies besser ist als andere Methoden

Alte Wege (wie das Mischen von Daten): Stellen Sie sich vor, Sie nehmen ein Haus aus New York und ein Haus aus Texas und vermischen sie zu einem „Neu-Tex“-Haus. Dieses Haus existiert nicht und verwirrt den Roboter.
Generative KI (Deep Learning): Stellen Sie sich einen Roboter vor, der versucht, ein Haus von Grund auf neu zu erfinden. Er könnte ein Haus erschaffen, das zwar echt aussieht, aber einen Preis hat, der keinen Sinn ergibt, weil er das spezifische „Rauschen“ der Originaldaten vergessen hat.
CRDA: Es ist, als würde man ein echtes Haus nehmen, die Farbe der Garage austauschen und die exakt gleiche Geschichte darüber beibehalten, warum es für diesen Preis verkauft wurde. Es erstellt Daten, die den ursprünglichen Mustern treu sind.

5. Das Sicherheitsnetz

Das Paper gibt zu, dass dieser Trick nur funktioniert, wenn der Roboter klug genug ist, um den „systematischen“ Teil zuerst zu verstehen. Wenn der Roboter zu dumm ist, ist das „Rauschen“, das er berechnet, nur Müll, und das Ändern von Merkmalen wird nicht helfen.

Deshalb enthält CRDA eine Sicherheitsprüfung:

Es testet die neuen Daten.
Wenn die neuen Daten den Roboter schlauer machen, behält es sie.
Wenn die neuen Daten den Roboter verwirren, wirft es sie weg und bleibt bei den Originaldaten.

Die Ergebnisse

Die Autoren testeten dies an 9 verschiedenen realen Datensätzen (wie der Vorhersage von Hauspreisen, Weinqualität und Energieeffizienz).

Für Neuronale Netze (MLP): Es reduzierte die Fehler um durchschnittlich etwa 23 %.
Für Baum-Modelle (XGBoost): Es reduzierte die Fehler um durchschnittlich etwa 6 %.
Es war konsequent besser als andere ausgeklügelte Datenerzeugungsmethoden, die die Dinge oft eher verschlechterten.

Kurz gesagt: CRDA ist eine Möglichkeit, einen kleinen Datensatz zu erweitern, indem man gezielt „Was wäre wenn?“-Fragen zu bestimmten Details stellt, während man die „unvorhersehbaren“ Teile der Geschichte exakt gleich hält. Es ist ein einfacher, sicherer Weg, einem Roboter mehr Übung zu geben, ohne ihn anzulügen.

Technisches Resümee: Counterfactual Residual Data Augmentation für die Regression

Problemstellung

Reale Regressionsaufgaben in Bereichen wie Medizin, Finanzen und Fertigung leiden häufig unter Datenknappheit, hohen Kosten bei der Datenerhebung und verrauschten Beobachtungen. Während die Datenaugmentation ein Eckpfeiler des Erfolgs in der Computer Vision und der natürlichen Sprachverarbeitung ist, verlassen sich bestehende Techniken (z. B. geometrische Transformationen, Mixup) oft auf labelerhaltende Symmetrien oder domänenspezifische Invarianzen, die sich nicht natürlich auf tabellarische Regression übertragen lassen. Infolgedessen versagen überwachte Lernmodelle oft darin, zugrunde liegende Prozesse zu erfassen, wenn die Trainingsbeispiele begrenzt sind, was zu Überanpassung (Overfitting) und schlechter Generalisierung führt.

Methodik: Counterfactual Residual Data Augmentation (CRDA)

Die Autoren schlagen die Counterfactual Residual Data Augmentation (CRDA) vor, ein modellagnostisches Framework, das darauf ausgelegt ist, neue, realistische Trainingsproben für die tabellarische Regression zu synthetisieren, indem es die Invarianz von Residuenfehlern ausnutzt.

Kernidee

Die Methode basiert auf der Beobachtung, dass, sobald ein Regressor die systematische Komponente der Daten modelliert hat, das verbleibende Rauschen (Residuum) als eine invariante Komponente unter kleinen Perturbationen sorgfältig ausgewählter Merkmale betrachtet werden kann. Durch die Bewahrung dieses Residuums bei gleichzeitiger Modifikation spezifischer Merkmale generiert CRDA kontrafaktische Stichproben, die der zugrunde liegenden Datenverteilung entsprechen, ohne zusätzliche reale Daten zu benötigen.

Theoretische Grundlage

CRDA operiert unter der Annahme eines Additiven-Noise-Strukturellen Kausalmodells (SCM):
$Y = g(X_P, X_R) + Z$
Wobei:

$Y$ die Zielvariable ist.
$g(X_P, X_R)$ die systematische Komponente (bedingte Erwartung) ist.
$Z$ das strukturelle Rauschen (Residuum) ist.
$X_P$ die perturbierbaren Merkmale (veränderbare Merkmale) darstellen und $X_R$ die fixen Merkmale darstellen.

Die Methode stützt sich auf Annahme 3.1 (Residuen-Invarianz): Der Rauschterm $Z$ ist bedingt unabhängig von den perturbierbaren Merkmalen $X_P$ gegeben die fixen Merkmale $X_R$ ( $P(Z | X_P, X_R) = P(Z | X_R)$ ). Dies impliziert, dass die Perturbation von $X_P$ zwar die systematische Vorhersage ändert, aber das instanzspezifische Rauschen nicht verändert.

Algorithmischer Ablauf

Die CRDA-Pipeline (Algorithmus 1) verläuft wie folgt:

Baseline-Training: Ein Basis-Regressor $\hat{g}$ (z. B. MLP oder XGBoost) wird auf dem ursprünglichen Datensatz $D_{train}$ trainiert.
Residuen-Berechnung: Empirische Residuen werden berechnet: $\hat{z}_i = y_i - \hat{g}(x_i)$ .
Merkmalsauswahl (Unabhängigkeitsfilterung): Um Voraussetzung 3.1 zu erfüllen, identifiziert der Algorithmus eine Teilmenge von Merkmalen $X_P$ $X_{P}$ , die wahrscheinlich unabhängig von den Residuen $\hat{Z}$ $\hat{Z}$ sind. Dies wird erreicht durch:
- PC-Algorithmus: Eine kausale Graphprüfung, um Merkmale zu entfernen, die direkte Kanten zum Residuum $\hat{Z}$ aufweisen.
- Korrelationsprüfung: Entfernen von Merkmalen, die stark mit $\hat{Z}$ korreliert sind.
- Die verbleibenden Merkmale bilden $X_P$ ; der Rest bildet $X_R$ .
Kontrafaktische Generierung: Für jede Trainingsstichprobe werden $M$ $M$ synthetische Stichproben generiert:
- Perturbation von $X_P$ mittels eines uniformen Skalierungsfaktors: $x'_{i,P} = x_{i,P} \cdot (1 + \delta)$ , wobei $\delta \sim \text{Unif}[-p, p]$ .
- Beibehaltung von $X_R$ als fix.
- Berechnung des kontrafaktischen Labels durch Bewahrung des ursprünglichen Residuums: $y'_i = \hat{g}(x'_i) + \hat{z}_i$ .
Sicherheitsvalidierung: Vor dem finalen Retraining vergleicht ein Wilcoxon-Vorzeichen-Rang-Test die Performance des Baseline-Modells gegenüber einem Modell, das auf den augmentierten Daten trainiert wurde, mittels K-Fold-Kreuzvalidierung. Wenn der p-Wert anzeigt, dass keine statistisch signifikante Verbesserung vorliegt, wird die Augmentation abgelehnt und die Baseline beibehalten.
Finales Retraining: Wenn die Validierung erfolgreich ist, wird ein finales Modell auf der Vereinigung der ursprünglichen und der augmentierten Daten trainiert.

Wichtigste Beiträge

Neues Data-Augmentation-Framework: Eine modellagnostische Strategie für die tabellarische Regression, die auf kontrafaktischem Denken und Residuen-Invarianz basiert und auf domänenspezifische Heuristiken verzichtet.
Prinzip der Residuen-Invarianz: Eine Formalisierung der Frage, wie spezifische Merkmale perturbiert werden können, ohne die Rauschstruktur zu korrumpieren, was eine theoretische Basis für die Merkmalsauswahl bei der Augmentation bietet.
Empirische Validierung: Umfassende Evaluierung über synthetische Benchmarks und reale Datensätze (UCI, PMLB, Kaggle), die konsistente Verbesserungen über neuronale (MLP) und Ensemble-Modelle (XGBoost) hinweg nachweist.

Experimentelle Ergebnisse

Die Autoren evaluierten CRDA auf neun Benchmark-Datensätzen mit variierenden Stichprobengrößen und verglichen es mit:

Baselines: Keine Augmentation.
Wettbewerber: State-of-the-Art Regression-Augmentationen (C-Mixup, ADA) und tiefe generative Modelle (CTGAN, TVAE, TabDDPM).

Wichtigste Erkenntnisse:

Leistungssteigerungen: Im Durchschnitt reduzierte CRDA den mittleren quadratischen Fehler (MSE) um 22,9 % für MLP-Regressoren und um 6,4 % für XGBoost-Regressoren über alle Datensätze hinweg.
Robustheit: Im Gegensatz zu geometrischen Methoden (z. B. ADA, C-Mixup), die katastrophale Fehlermodi zeigten (Erhöhung des MSE um >100 % in einigen Fällen), und tiefen generativen Modellen, die oft die Performance verschlechterten, verbesserte oder hielt CRDA die Performance konsistent oder stabil.
Abhängigkeit von der Stichprobengröße: Die Methode ist am effektivsten in einem „Sweet Spot“ der Stichprobengrößen (z. B. 2,5k–20k für MLPs), in dem das Basismodell das Hauptsignal gelernt hat, aber dennoch von einer lokalisierten Exploration des Merkmalsraums profitiert. Für sehr kleine Datensätze ist das Basismodell zu ungenau, um aussagekräftige Residuen zu erzeugen; für sehr große Datensätze ist die Baseline bereits optimal.
Sicherheitsmechanismus: Das Wilcoxon-Sicherheitsgate verhinderte erfolgreich die Augmentation in Fällen, in denen sie nicht helfen würde (z. B. bei Verwendung einer schwachen linearen Regressions-Baseline), wodurch sichergestellt wurde, dass die Methode die Performance nicht verschlechtert.

Bedeutung und Ansprüche

Das Paper positioniert CRDA als einfache und effiziente Lösung für rauschbehaftete Small-Sample-Regression-Settings. Die Bedeutung liegt in:

Praktikabilität: Es erfordert kein domänenspezifisches Wissen oder komplexe generative Modellierung, was es leicht anwendbar für verschiedene Regressoren macht.
Theoretische Fundierung: Durch die Rahmung der Augmentation durch die Linse kausaler Kontrafaktika und Residuen-Invarianz bietet es eine fundierte Alternative zu heuristischen Interpolationsmethoden.
Zuverlässigkeit: Die integrierte Sicherheitsvalidierung stellt sicher, dass die Methode als „Leitplanke“ fungiert und eine Verschlechterung der Performance verhindert, wenn die Annahmen der Augmentation (Residuen-Unabhängigkeit) verletzt werden oder das Basismodell unzureichend ist.

Die Autoren kommen zu dem Schluss, dass CRDA einen robusten Ansatz bietet, um Datensätze zu erweitern, ohne zusätzliche reale Daten zu benötigen, wodurch die Varianz effektiv reduziert und die Modellanpassung in datenarmen Regimes verbessert wird. Als zukünftige Arbeit wird vorgeschlagen, diese Prinzipien auf Klassifikationsaufgaben zu übertragen und robustere kausale Entdeckungsalgorithmen für die Merteilspartitionierung zu untersuchen.