🤖 machine learning

Counterfactual Residual Data Augmentation for Regression

यह शोध पत्र काउंटरफैक्चुअल रेजिडुअल डेटा ऑग्मेंटेशन (CRDA) का प्रस्ताव करता है, जो टैबुलर रिग्रेशन के लिए एक मॉडल-अज्ञेय तकनीक है जो छोटे फीचर परटर्बेशन्स के तहत रेजिडुअल्स की इनवेरिएंस का लाभ उठाकर यथार्थवादी प्रशिक्षण नमूने उत्पन्न करता है, जिससे डेटा-दुर्लभ और शोर वाले परिवेश में मीन स्क्वेर्ड एरर में काफी कमी आती है।

मूल लेखक: Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को घर की कीमत का अनुमान लगाना सिखाने की कोशिश कर रहे हैं। आपके पास उसे दिखाने के लिए केवल तस्वीरों और प्राइस टैग्स (डेटा) का एक छोटा सा ढेर है। रोबोट तस्वीरों को देखता है, यह सीखता है कि अच्छे इलाकों में बड़े घरों की कीमत अधिक होती है, और अनुमान लगाना शुरू कर देता है। लेकिन कभी-कभी, वह गलत हो जाता है। शायद उसे यह नहीं पता था कि कोई विशिष्ट खरीदार घर खरीदने के लिए बहुत जल्दबाजी में था, या विक्रेता बहुत हताश था। इन "गलतियों" या "आश्चर्यों" को रेसिडुअल्स (residuals) कहा जाता है।

आमतौर पर, जब डेटा कम होता है, तो रोबोट उपलब्ध कुछ उदाहरणों को रट लेता है, जो कि बुरा है। पारंपरिक तरीके (जैसे इमेज एडिटिंग में) तस्वीरों को पलटने या उनके रंग बदलने में शामिल होते हैं, लेकिन यह घर की कीमतों या मेडिकल आंकड़ों जैसे नंबरों के लिए अच्छी तरह काम नहीं करता है।

यह पेपर एक नया तरीका पेश करता है जिसे CRDA (काउंटरफैक्टुअल रेसिडुअल डेटा ऑग्मेंटेशन) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "सिस्टमैटिक" बनाम "नॉइज़" (The "Systematic" vs. The "Noise")

रोबोट के अनुमान को एक दो-भाग वाली रेसिपी के रूप में सोचें:

सिस्टमैटिक भाग (The Systematic Part): अनुमानित चीजें। "यदि घर 2,000 वर्ग फुट का है, तो कीमत $X है।" रोबोट इसे अच्छी तरह सीख लेता है।
रेसिडुअल/नॉइज़ (The Residual/Noise): अप्रत्याशित चीजें। "लेकिन रुकिए, इस विशेष घर की कीमत $X +$ 5,000 इसलिए थी क्योंकि खरीदार भावुक था।"

पेपर का बड़ा विचार यह है: "भावुक खरीदार" वाला हिस्सा (नॉइज़) वही रहता है, भले ही हम कुछ अन्य विवरण बदल दें।

2. "क्या होगा अगर" का खेल (The "What-If" Game - Counterfactuals)

कल्पना कीजिए कि आपके पास एक घर है जिसमें एक गैरेज और एक बगीचा है।

रोबोट जानता है कि एक बड़ा गैरेज आमतौर पर उच्च कीमत का संकेत देता है (सिस्टमैटिक)।
रोबोट यह भी जानता है कि इस विशेष घर की कीमत में उछाल एक "बोली की जंग" (bidding war) के कारण आया था (रेसिडुअल)।

CRDA पूछता है: "क्या होगा अगर इस घर का गैरेज का फिनिश अलग होता, लेकिन 'बोली की जंग' (bidding war) वही रहती?"

पेपर का तर्क है कि गैरेज का फिनिश बदलने से आधार मूल्य (base price) बदल जाता है, लेकिन यह उस तथ्य को नहीं बदलता कि "बोली की जंग" हुई थी। "बोली की जंग" (रेसिडुअल) गैरेज से स्वतंत्र है।

3. CRDA नया डेटा कैसे बनाता है

केवल नए नंबरों का अनुमान लगाने के बजाय, CRDA यह करता है:

मूल डेटा पर एक बेस रोबोट को प्रशिक्षित करता है।
"सुरक्षित" फीचर्स का पता लगाता है: यह एक जासूस (एक एल्गोरिदम) का उपयोग करता है यह पता लगाने के लिए कि कौन से फीचर्स (जैसे गैरेज का फिनिश) "बोली की जंग" (रेसिडुअल) को बिगाड़े बिना बदले जा सकते हैं। यह उन फीचर्स को बदलने से बचता है जो स्वयं "बोली की जंग" का हिस्सा हैं (जैसे खरीदार की तत्परता)।
एक "क्या होगा अगर" परिदृश्य बनाता है: यह एक वास्तविक घर लेता है, "सुरक्षित" फीचर को बदलता है (उदाहरण के लिए, गैरेज का फिनिश अलग करता है), नया आधार मूल्य (base price) कैलकुलेट करता है, और मूल घर के सटीक "बोली की जंग" वाले नॉइज़ को वापस जोड़ देता है।
परिणाम: अब आपके पास एक बिल्कुल नया, वास्तविक दिखने वाला घर का उदाहरण है जिसे रोबोट ने पहले कभी नहीं देखा है, लेकिन यह वास्तविकता के नियमों का पालन करता है।

4. यह अन्य तरीकों से बेहतर क्यों है

पुराने तरीके (जैसे डेटा मिक्स करना): कल्पना कीजिए कि आप न्यूयॉर्क के एक घर और टेक्सास के एक घर को मिलाकर एक "न्यू-टेक्स" (New-Tex) घर बना रहे हैं। वह घर अस्तित्व में ही नहीं है और रोबोट को भ्रमित करता है।
जेनरेटिव एआई (डीप लर्निंग): कल्पना कीजिए कि एक रोबोट शून्य से एक घर बनाने की कोशिश करता है। वह एक ऐसा घर बना सकता है जो असली दिखता है लेकिन उसकी कीमत तर्कहीन हो सकती है क्योंकि वह मूल डेटा के विशिष्ट "नॉइज़" को भूल गया है।
CRDA: यह एक वास्तविक घर को लेने, उसका पेंट बदलने और उस कहानी को बरकरार रखने जैसा है कि वह उस कीमत पर क्यों बिका। यह डेटा के मूल पैटर्न के प्रति वफादार (faithful) होता है।

5. सुरक्षा जाल (The Safety Net)

पेपर स्वीकार करता है कि यह ट्रिक तभी काम करती है जब रोबोट "सिस्टमैटिक" भाग को समझने के लिए पर्याप्त स्मार्ट हो। यदि रोबोट बहुत कम बुद्धिमान है, तो उसका "नॉइज़" केवल कचरा होगा, और फीचर्स बदलना मदद नहीं करेगा।

इसलिए, CRDA में एक सेफ्टी चेक शामिल है:

यह नए डेटा को एक टेस्ट पर आजमाता है।
यदि नया डेटा रोबोट को स्मार्ट बनाता है, तो यह उसे रख लेता है।
यदि नया डेटा रोबोट को भ्रमित करता है, तो यह उसे फेंक देता है और मूल डेटा पर ही टिक जाता है।

परिणाम

लेखकों ने 9 वास्तविक दुनिया के डेटासेट्स (जैसे घर की कीमतें, वाइन की गुणवत्ता और ऊर्जा दक्षता का अनुमान लगाना) पर इसका परीक्षण किया।

न्यूरल नेटवर्क (MLP) के लिए: इसने त्रुटियों को औसतन लगभग 23% कम कर दिया।
ट्री मॉडल्स (XGBoost) के लिए: इसने त्रुटियों को औसतन लगभग 6% कम कर दिया।
इसने लगातार अन्य फैंसी डेटा-निर्माण विधियों को पछाड़ दिया, जो अक्सर चीजों को और खराब कर देती हैं।

संक्षेप में: CRDA एक तरीका है जिससे छोटे डेटासेट को विस्तार दिया जाता है, यह पूछते हुए कि "क्या होगा अगर" विशिष्ट विवरणों के बारे में, जबकि कहानी के "अप्रत्याशित" हिस्सों को बिल्कुल समान रखा जाता है। यह रोबोट को झूठ बोले बिना उसे अधिक अभ्यास देने का एक सरल और सुरक्षित तरीका है।

तकनीकी सारांश: रिग्रेशन के लिए काउंटरफैक्चुअल रेसिडुअल डेटा ऑग्मेंटेशन (Counterfactual Residual Data Augmentation)

समस्या विवरण (Problem Statement)

चिकित्सा, वित्त और विनिर्माण जैसे डोमेन में वास्तविक दुनिया के रिग्रेशन कार्यों को अक्सर डेटा की कमी, डेटा संग्रह की उच्च लागत और शोर वाले अवलोकनों (noisy observations) का सामना करना पड़ता है। जबकि डेटा ऑग्मेंटेशन कंप्यूटर विज़न और नेचुरल लैंग्वेज प्रोसेसिंग में सफलता का एक आधार स्तंभ है, मौजूदा तकनीकें (जैसे, ज्योमेट्रिक ट्रांसफॉर्मेशन, Mixup) अक्सर लेबल-संरक्षण वाली समरूपता (label-preserving symmetries) या डोमेन-विशिष्ट अपरिवर्तनीयता (domain-specific invariances) पर निर्भर करती हैं जो टैबुलर रिग्रेशन में स्वाभाविक रूप से अनुवादित नहीं होती हैं। फलस्वरूप, जब प्रशिक्षण उदाहरण सीमित होते हैं, तो सुपरवाइज्ड लर्निंग मॉडल अंतर्निहित प्रक्रियाओं को पकड़ने में विफल रहते हैं, जिससे ओवरफिटिंग और खराब सामान्यीकरण (generalization) होता है।

कार्यप्रणाली: काउंटरफैक्चुअल रेसिडुअल डेटा ऑग्मेंटेशन (CRDA)

लेखक काउंटरफैक्चुअल रेसिडुअल डेटा ऑग्मेंटेशन (CRDA) का प्रस्ताव करते हैं, जो रेसिडुअल शोर (residual noise) की अपरिवर्तनीयता का लाभ उठाकर टैबुलर रिग्रेशन के लिए नए, यथार्थवादी प्रशिक्षण नमूनों को संश्लेषित करने के लिए डिज़ाइन किया गया एक मॉडल-अज्ञेय (model-agnostic) ढांचा है।

मुख्य अंतर्दृष्टि (Core Insight)

यह विधि इस अवलोकन पर आधारित है कि एक बार जब एक रिग्रेसर डेटा के व्यवस्थित घटक (systematic component) को मॉडल कर लेता है, तो शेष शोर (रेसिडुअल) को सावधानीपूर्वक चुने गए फीचर्स के सूक्ष्म परिवर्तनों के तहत एक अपरिवर्तनीय घटक के रूप में देखा जा सकता है। विशिष्ट फीचर्स को संशोधित करते हुए इस रेसिडुअल को सुरक्षित रखते हुए, CRDA काउंटरफैक्चुअल नमूने उत्पन्न करता है जो अतिरिक्त वास्तविक दुनिया के डेटा की आवश्यकता के बिना अंतर्निहित डेटा वितरण का पालन करते हैं।

सैद्धांतिक आधार (Theoretical Foundation)

CRDA एक एडिटिव-नॉइज़ स्ट्रक्चरल कॉज़ल मॉडल (Additive-Noise Structural Causal Model - SCM) के धारणा के तहत कार्य करता है:
$Y = g(X_P, X_R) + Z$
जहाँ:

$Y$ लक्ष्य चर (target variable) है।
$g(X_P, X_R)$ व्यवस्थित घटक (systematic component) है।
$Z$ स्ट्रक्चरल शोर (structural noise/residual) है।
$X_P$ परटर्बेबल फीचर्स (perturbable features) का प्रतिनिधित्व करता है और $X_R$ फिक्स्ड फीचर्स (fixed features) का प्रतिनिधित्व करता है।

यह विधि धारणा 3.1 (रेसिडुअल इनवेरिएंस) पर निर्भर करती है: शोर पद $Z$ , फिक्स्ड फीचर्स $X_R$ के दिए जाने पर, परटर्बेबल फीचर्स $X_P$ से स्वतंत्र है ( $P(Z | X_P, X_R) = P(Z | X_R)$ )। इसका तात्पर्य यह है कि $X_P$ को बदलने से व्यवस्थित भविष्यवाणी बदल जाती है लेकिन यह इंस्टेंस-विशिष्ट शोर को परिवर्तित नहीं करता है।

एल्गोरिदम वर्कफ़्लो (Algorithmic Workflow)

CRDA पाइपलाइन (एल्गोरिदम 1) इस प्रकार आगे बढ़ती है:

बेसलाइन ट्रेनिंग: मूल डेटासेट $D_{train}$ पर एक बेस रिग्रेसर $\hat{g}$ (जैसे, MLP या XGBoost) को प्रशिक्षित किया जाता है।
रेसिडुअल गणना: एम्पिरिकल रेसिडुअल्स की गणना की जाती है: $\hat{z}_i = y_i - \hat{g}(x_i)$ ।
फीचर चयन (इंडिपेंडेंस फ़िल्टरिंग): धारणा 3.1 को संतुष्ट करने के लिए, एल्गोरिदम उन फीचर्स के उपसमुच्चय $X_P$ $X_{P}$ की पहचान करता है जो रेसिडुअल $\hat{Z}$ $\hat{Z}$ के साथ स्वतंत्र होने की संभावना रखते हैं। यह निम्नलिखित माध्यम से प्राप्त किया जाता है:
- PC एल्गोरिदम: रेसिडुअल $\hat{Z}$ के साथ सीधे किनारों (edges) को हटाने के लिए एक कॉज़ल ग्राफ चेक।
- कोरिलेशन चेक: $\hat{Z}$ के साथ दृढ़ता से सह-संबंधित (correlated) फीचर्स को हटाना।
- शेष फीचर्स $X_P$ बनते हैं; बाकी $X_R$ बनते हैं।
काउंटरफैक्चुअल जनरेशन: प्रत्येक प्रशिक्षण नमूने के लिए, $M$ $M$ सिंथेटिक नमूने उत्पन्न किए जाते हैं:
- एक यूनिफॉर्म स्केलिंग फैक्टर का उपयोग करके $X_P$ को परटर्ब करें: $x'_{i,P} = x_{i,P} \cdot (1 + \delta)$ , जहाँ $\delta \sim \text{Unif}[-p, p]$ ।
- $X_R$ को स्थिर रखें।
- मूल रेसिडुअल को सुरक्षित रखते हुए काउंटरफैक्चुअल लेबल की गणना करें: $y'_i = \hat{g}(x'_i) + \hat{z}_i$ ।
सेफ्टी वैलिडेशन: अंतिम रिट्रेनिंग से पहले, एक विलकॉक्सन साइन्ड-रैंक टेस्ट (Wilcoxon signed-rank test) K-फोल्ड क्रॉस-वैलिडेशन के माध्यम से ऑगमेंटेड डेटा पर प्रशिक्षित मॉडल के प्रदर्शन की तुलना बेसलाइन मॉडल से करता है। यदि p-वैल्यू कोई सांख्यिकीय रूप से महत्वपूर्ण सुधार नहीं दर्शाता है, तो ऑग्मेंटेशन को अस्वीकार कर दिया जाता है, और बेसलाइन को बनाए रखा जाता है।
अंतिम रिट्रेनिंग: यदि वैलिडेशन पास हो जाता है, तो मूल और ऑगमेंटेड डेटा के संघ (union) पर एक अंतिम मॉडल प्रशिक्षित किया जाता है।

प्रमुख योगदान (Key Contributions)

नया डेटा ऑग्मेंटेशन फ्रेमवर्क: काउंटरफैक्चुअल रीजनिंग और रेसिडुअल इनवेरिएंस पर केंद्रित टैबुलर रिग्रेशन के लिए एक मॉडल-अज्ञेय रणनीति, जो डोमेन-विशिष्ट ह्यूरिस्टिक्स की आवश्यकता को समाप्त करती है।
रेसिडुअल इनवेरिएंस सिद्धांत: यह औपचारिक रूप से परिभाषित करना कि कैसे विशिष्ट फीचर्स को ऑग्मेंटेशन के लिए बिना शोर संरचना को दूषित किए परटर्ब किया जा सकता है, जो फीचर सिलेक्शन के लिए एक सैद्धांतिक आधार प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक बेंचमार्क और वास्तविक दुनिया के डेटासेट्स (UCI, PMLB, Kaggle) पर व्यापक मूल्यांकन, जो न्यूरल (MLP) और एन्सेम्बल (XGBoost) मॉडल्स में निरंतर सुधार प्रदर्शित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने नौ बेंचमार्क डेटासेट्स पर विभिन्न नमूना आकारों के साथ CRDA का मूल्यांकन किया, इसकी तुलना निम्नलिखित से की:

बेसलाइन्स: बिना ऑग्मेंटेशन के।
प्रतिस्पर्धी: अत्याधुनिक रिग्रेशन ऑग्मेंटेशन (C-Mixup, ADA) और डीप जेनेरेटिव मॉडल्स (CTGAN, TVAE, TabDDPM)।

मुख्य निष्कर्ष:

प्रदर्शन लाभ: औसतन, CRDA ने सभी डेटासेट्स के लिए MLP रिग्रेसर्स के लिए 22.9% और XGBoost रिग्रेसर्स के लिए 6.4% MSE (Mean Squared Error) को कम किया।
मजबूती (Robustness): ज्योमेट्रिक विधियों (जैसे, ADA, C-Mixup) के विपरीत, जो विनाशकारी विफलता मोड (कुछ मामलों में MSE को >100% बढ़ाना) दिखाते हैं, और डीप जेनेरेटिव मॉडल्स जो अक्सर प्रदर्शन को खराब करते हैं, CRDA ने महत्वपूर्ण गिरावट के बिना लगातार प्रदर्शन में सुधार किया या उसे बनाए रखा।
सैंपल साइज डिपेंडेंसी: यह विधि नमूना आकारों के एक "स्वीट स्पॉट" (जैसे, MLPs के लिए 2.5k–20k) में सबसे प्रभावी है, जहाँ बेस मॉडल ने मुख्य सिग्नल को सीख लिया है लेकिन अभी भी स्थानीयकृत फीचर स्पेस एक्सप्लोरेशन से लाभान्वित हो सकता है। बहुत छोटे डेटासेट्स के लिए, बेस मॉडल इतना सटीक नहीं होता कि सार्थक रेसिडुअल्स बना सके; बहुत बड़े डेटासेट्स के लिए, बेसलाइन पहले से ही इष्टतम होती है।
सेफ्टी मैकेनिज्म: विलकॉक्सन सेफ्टी गेट ने उन मामलों में ऑग्मेंटेशन को सफलतापूर्वक रोका जहाँ यह मदद नहीं कर सकता था (जैसे, जब एक कमजोर लीनियर रिग्रेशन बेसलाइन का उपयोग किया जा रहा हो), यह सुनिश्चित करते हुए कि विधि प्रदर्शन को खराब न करे।

महत्व और दावे (Significance and Claims)

यह पेपर CRDA को शोर-ग्रस्त, कम-नमूना रिग्रेशन सेटिंग्स के लिए एक सरल और कुशल समाधान के रूप में स्थापित करता है। इसका महत्व इसमें निहित है:

व्यावहारिकता: इसके लिए किसी डोमेन-विशिष्ट ज्ञान या जटिल जेनेरेटिव मॉडलिंग की आवश्यकता नहीं है, जिससे यह विभिन्न रिग्रेसर्स के लिए आसानी से लागू करने योग्य बन जाता है।
सैद्धांतिक आधार: ऑग्मेंटेशन को कॉज़ल काउंटरफैक्चुअल और रेसिडुअल इनवेरिएंस के लेंस के माध्यम से फ्रेम करके, यह ह्यूरिस्टिक इंटरपोलेशन विधियों के लिए एक सिद्धांतबद्ध विकल्प प्रदान करता है।
विश्वसनीयता: अंतर्निहित सुरक्षा सत्यापन यह सुनिश्चित करता है कि विधि एक "गार्डरेल" के रूप में कार्य करे, जो उन परिदृश्यों में प्रदर्शन में गिरावट को रोकता है जहाँ ऑग्मेंटेशन की धारणाएं (रेसिडुअल इंडिपेंडेंस) या बेस मॉडल अपर्याप्त होते हैं।

लेखक निष्कर्ष निकालते हैं कि CRDA अतिरिक्त वास्तविक डेटा की आवश्यकता के बिना डेटासेट का विस्तार करने का एक मजबूत दृष्टिकोण प्रदान करता है, जो प्रभावी रूप से वेरिएंस को कम करता है और मॉडल फिट में सुधार करता है। भविष्य के कार्य के रूप में इन सिद्धांतों को वर्गीकरण (classification) कार्यों तक विस्तारित करने और फीचर पार्टीशनिंग के लिए अधिक मजबूत कॉज़ल डिस्कवरी एल्गोरिदम तलाशने का सुझाव दिया गया है।