🤖 machine learning

Active Tabular Augmentation via Policy-Guided Diffusion Inpainting

यह शोध पत्र TAP को प्रस्तुत करता है, जो एक नवीन ढांचा है जो डिफ्यूजन इनपेंटिंग (diffusion inpainting) को लर्नर-कंडीशन्ड पॉलिसी (learner-conditioned policy) के साथ जोड़ता है ताकि उच्च-उपयोगिता वाले सिंथेटिक सारणीबद्ध डेटा (synthetic tabular data) को सक्रिय रूप से चुनने और इंजेक्ट करने का कार्य किया जा सके, जिससे वितरण संबंधी निष्ठा (distributional fidelity) और डाउनस्ट्रीम मॉडल प्रदर्शन के बीच के अंतर को पाटकर गंभीर डेटा की कमी के तहत वर्गीकरण और प्रतिगमन परिणामों में महत्वपूर्ण सुधार किया जा सके।

मूल लेखक: Zheyu Zhang, Shuo Yang, Bardh Prenkaj, Gjergji Kasneci

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zheyu Zhang, Shuo Yang, Bardh Prenkaj, Gjergji Kasneci

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए कर्मचारी (AI मॉडल) को काम करना सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक छोटा सा, मुड़ा-तुड़ा हुआ निर्देश मैनुअल (दुर्लभ डेटा/scarce data) है। उन्हें सिखाने में मदद करने के लिए, आप और अधिक निर्देश लिखने का निर्णय लेते हैं।

ज्यादातर लोग मौजूदा मैनुअल को देखकर और उसकी शैली की हुबहू नकल करके नए निर्देश लिखने की कोशिश करते हैं। वे सुनिश्चित करते हैं कि नए पन्ने पुराने पन्नों जैसे ही दिखें, जिनमें समान फॉन्ट और व्याकरण हो। यह वर्तमान AI टूल्स करते हैं: वे फिडेलिटी (Fidelity) पर ध्यान केंद्रित करते हैं (नकली डेटा को असली दिखाने पर)।

हालाँकि, इस शोध पत्र के लेखक, झेयू झांग (Zheyu Zhang) और उनके सहयोगियों ने एक समस्या को समझा: सिर्फ इसलिए कि एक नकली निर्देश असली दिखता है, इसका मतलब यह नहीं है कि वह कर्मचारी को सीखने में मदद करेगा। वास्तव में, यदि आप मैनुअल के आसान हिस्सों की बार-बार नकल करते रहेंगे, तो कर्मचारी ऊब जाएगा और उसमें कोई सुधार नहीं होगा। उन्हें ऐसे निर्देशों की आवश्यकता है जो उन्हें सीखने के लिए पर्याप्त चुनौती दें, लेकिन इतना कठिन भी न हों कि वे भ्रमित होकर हार मान लें।

यह शोध पत्र इस समस्या को हल करने के लिए TAP (Tabular Augmentation Policy) नामक एक नई प्रणाली पेश करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "फिडेलिटी बनाम यूटिलिटी" का अंतर (The "Fidelity vs. Utility" Gap)

डेटा को एक शहर के मानचित्र (map) के रूप में सोचें।

पुराना तरीका (उच्च फिडेलिटी/High Fidelity): आप एक मानचित्रकार (cartographer) को शहर के केंद्र का एक सटीक, उच्च-रिज़ॉल्यूशन वाला नक्शा बनाने के लिए नियुक्त करते हैं जहाँ पहले से ही सभी रहते हैं। यह सुंदर और सटीक दिखता है, लेकिन यह कर्मचारी को बाहरी इलाकों या उन कठिन गलियों के बारे में कुछ भी नया नहीं बताता जहाँ वे भटक सकते हैं।
लक्ष्य (उच्च यूटिलिटी/High Utility): आप एक ऐसा नक्शा बनाना चाहते हैं जो विशेष रूप से उन कठिन गलियों को उजागर करे जहाँ कर्मचारी वर्तमान में भ्रमित है, ताकि वे वहां नेविगेट करने का अभ्यास कर सकें।

शोध पत्र इसे "फिडेलिटी-यूटिलिटी गैप" कहता है। डेटा को असली दिखाना (फिडेलिटी) अपने आप में उसे सीखने के लिए उपयोगी (यूटिलिटी) नहीं बनाता है।

2. समाधान: TAP एक "स्मार्ट ट्यूटर" के रूप में

केवल यादृच्छिक (random) नए पन्ने बनाने के बजाय, TAP एक स्मार्ट ट्यूटर की तरह काम करता है जो वास्तविक समय में छात्र को सीखते हुए देखता है। यह तीन तरकीबों का उपयोग करता है:

A. "खाली स्थान भरें" का खेल (Diffusion Inpainting)

कल्पना कीजिए कि आपके पास एक वास्तविक निर्देश मैनुअल का पन्ना है, लेकिन आपने आधे शब्दों को काले मार्कर से ढक दिया है।

TAP एक शक्तिशाली AI (जिसे Diffusion Model कहा जाता है) का उपयोग यह अनुमान लगाने के लिए करता है कि गायब शब्द क्या होने चाहिए, उन शब्दों के आधार पर जो अभी भी दिखाई दे रहे हैं।
यह सुनिश्चित करता है कि नए निर्देश काम के वास्तविक नियमों के साथ सुसंगत रहें (उदाहरण के लिए, आप किसी व्यक्ति का "वेतन" नकारात्मक नहीं रख सकते)। इसे इनपेंटिंग (inpainting) कहा जाता है।

B. "मानसिक स्थिति" की जाँच (The Policy)

यही सबसे महत्वपूर्ण हिस्सा है। नया निर्देश लिखने से पहले, TAP छात्र से पूछता है: "अभी आप कहाँ संघर्ष कर रहे हैं?"

यदि छात्र "बिक्री" (Sales) में बहुत अच्छा है लेकिन "रिटर्न" (Returns) में बहुत खराब है, तो TAP "बिक्री" के और अधिक निर्देश लिखने में समय बर्बाद नहीं करेगा।
इसके बजाय, यह विशेष रूप से "रिटर्न" अनुभाग को लक्षित करता है। यह तय करता है कि क्या उत्पन्न करना है और छात्र की वर्तमान कमजोरियों के आधार पर मैनुअल में कब जोड़ना है। यह एक कोच की तरह है जो केवल यादृच्छिक ड्रिल नहीं कराता, बल्कि उस विशिष्ट ड्रिल को चुनता है जिसकी एथलीट को अभी आवश्यकता है।

C. "सुरक्षा जाल" (Gating and Windowed Commitment)

कभी-कभी, एक स्मार्ट ट्यूटर भी एक बुरा विचार सुझा सकता है। TAP में दो सुरक्षा जाँचें हैं:

द्वारपाल (The Gatekeeper): किसी भी नए निर्देश को जोड़ने से पहले, एक सख्त नियम-जांचकर्ता (Gate) इसकी जांच करता है। यदि नया निर्देश किसी तार्किक नियम को तोड़ता है (जैसे कि कहना कि एक व्यक्ति 200 साल का है), तो इसे तुरंत कचरे में फेंक दिया जाता है।
परीक्षण अवधि (The Trial Period): TAP केवल एक निर्देश नहीं जोड़ता और उम्मीद नहीं करता। यह नए निर्देशों का एक छोटा बैच एक "वेटिंग रूम" (window) में एकत्र करता है। यह देखने के लिए इस पूरे बैच का परीक्षण करता है कि क्या इससे छात्र वास्तव में बेहतर होता है। केवल तभी जब वह बैच सिद्ध रूप से मदद करता है, उसे स्थायी रूप से मैनुअल में जोड़ा जाता है। यदि बैच जोखिम भरा है, तो उसे हटा दिया जाता है।

3. परिणाम

लेखकों ने इस प्रणाली का परीक्षण सात वास्तविक दुनिया के डेटासेट्स (जैसे मेडिकल रिकॉर्ड, क्रेडिट स्कोर और ऊर्जा उपयोग) पर किया, जहाँ डेटा बहुत कम था।

परिणाम: TAP ने अन्य तरीकों को लगातार पछाड़ दिया। कुछ मामलों में, इसने AI की सटीकता में 15.6% तक सुधार किया और त्रुटियों को 32% तक कम कर दिया।
क्यों? क्योंकि TAP ने केवल "सुंदर" दिखने वाला नकली डेटा नहीं बनाया; इसने रणनीतिक नकली डेटा बनाया जो सीखने वाले के ज्ञान के विशिष्ट अंतराल (gaps) को भरता है।

सारांश उपमा

यदि पारंपरिक डेटा ऑग्मेंटेशन एक फोटोकॉपी मशीन की तरह है जो पाठ्यपुस्तक की अंतहीन प्रतियां बनाती है, तो TAP एक व्यक्तिगत ट्यूटर की तरह है जो:

पाठ्यपुस्तक को पढ़ता है।
आपकी क्विज़ लेता है।
पहचानता है कि आपको किन प्रश्नों में कठिनाई हुई।
केवल उसी विषय के लिए एक कस्टम अभ्यास प्रश्न लिखता है।
यह सुनिश्चित करने के लिए जाँच करता है कि प्रश्न का अर्थ सही है।
और केवल तभी इसे आपके अध्ययन गाइड में जोड़ता है जब यह वास्तव में आपके स्कोर को बेहतर बनाने में मदद करता है।

शोध पत्र निष्कर्ष निकालता है कि उन स्थितियों में जहाँ डेटा दुर्लभ है, हमें केवल नकली डेटा को "असली" दिखाने की चिंता करने के बजाय, इसे विशिष्ट शिक्षार्थी के लिए उपयोगी बनाने पर ध्यान केंद्रित करने की आवश्यकता है।

तकनीकी सारांश: पॉलिसी-गाइडेड डिफ्यूजन इनपेंटिंग के माध्यम से सक्रिय सारणीबद्ध संवर्धन (Active Tabular Augmentation)

1. समस्या विवरण: फिडेलिटी-यूटिलिटी गैप (Fidelity-Utility Gap)

यह शोध पत्र उन डोमेन में सारणीबद्ध डेटा (tabular data) के लिए डेटा संवर्धन (data augmentation) की चुनौती को संबोधित करता है जहाँ डेटा की अत्यधिक कमी (जैसे स्वास्थ्य सेवा, वित्त) होती है। जबकि जनरेटिव मॉडल (GANs, VAEs, Diffusion) ने उच्च वितरणात्मक फिडेलिटी (distributional fidelity) प्राप्त कर ली है—अर्थात ऐसे सिंथेटिक नमूने बनाना जो सांख्यिकीय रूप से वास्तविक डेटा के समान दिखते हैं—लेखकों का तर्क है कि यह विश्वसनीय रूप से बेहतर डाउनस्ट्रीम मॉडल प्रदर्शन में परिवर्तित नहीं होता है।

मुख्य समस्या को फिडेलिटी-यूटिलिटी गैप के रूप में पहचाना गया है:

फिडेलिटी (Fidelity): जनरेटर आमतौर पर संयुक्त वितरण $P(X, Y)$ से मेल खाने के लिए प्रशिक्षित होते हैं, जो अक्सर उच्च-घनत्व वाले क्षेत्रों (high-density regions) से नमूने लेते हैं जहाँ लर्नर (learner) पहले से ही आश्वस्त होता है।
यूटिलिटी (Utility): प्रभावी संवर्धन के लिए ऐसे नमूनों को इंजेक्ट करने की आवश्यकता होती है जो लर्नर के होल्ड-आउट इवैल्यूएशन लॉस (held-out evaluation loss) को कम कर सकें। ये उच्च-उपयोगी (high-utility) नमूने अक्सर निम्न-घनत्व वाले क्षेत्रों (जैसे निर्णय सीमा या कम कवर किए गए उप-जनसंख्या) में स्थित होते हैं जहाँ मॉडल अनिश्चित होता है।
परिणाम: उच्च-फिडेलिटी जनरेटर अक्सर ऐसे रेडंडेंट (redundant) नमूने उत्पन्न करते हैं जो सीमित लाभ प्रदान करते हैं, जबकि अनिश्चित नमूनों का सहज इंजेक्शन स्प्यूरियस (spurious) संबंधों को पेश कर सकता है या डोमेन बाधाओं का उल्लंघन कर सकता है, जिससे प्रदर्शन गिर जाता है।

यह शोध पत्र प्रस्तावित करता है कि संवर्धन को निष्क्रिय सैंपलिंग (passive sampling) के रूप में नहीं, बल्कि एक सक्रिय नियंत्रण प्रक्रिया (active control process) के रूप में देखा जाना चाहिए जो यह सीखती है कि क्या उत्पन्न करना है और इसे कब इंजेक्ट करना है, जो लर्नर की विकसित होती स्थिति पर आधारित हो।

2. कार्यप्रणाली: TAP (टेबुलर ऑगमेंटेशन पॉलिसी)

लेखक TAP का प्रस्ताव करते हैं, जो डिफ्यूजन इनपेंटिंग को एक हल्के, लर्नर-कंडीशन्ड पॉलिसी के साथ जोड़ता है ताकि जनरेशन को सुरक्षित रखते हुए उच्च-उपयोगिता वाले क्षेत्रों की ओर निर्देशित किया जा सके।

2.1. मुख्य घटक

डिफ्यूजन इनपेंटिंग (प्रस्ताव तंत्र):
- TAP एक प्री-ट्रेंड डिफ्यूजन मॉडल (TabDiff) को फ्रोजन बैकबोन के रूप में उपयोग करता है।
- पूर्ण रिकॉर्ड उत्पन्न करने के बजाय, यह इनपेंटिंग (inpainting) करता है: यह वर्तमान डेटासेट से एक वास्तविक "एंकर" रिकॉर्ड लेता है, कॉलम के एक उपसमूह (लेबल सहित) को स्थिर करता है, और शेष कॉलम को पुन: उत्पन्न करता है।
- यह सॉफ्ट फिजिबिलिटी (soft feasibility) सुनिश्चित करता है (नमूने डेटा मैनिफोल्ड के करीब रहते हैं) और कॉलम-दर-कॉलम निर्भरताओं का सम्मान करता है।
स्टेट-कंडीशन्ड पॉलिसी (State-Conditioned Policy):
- एक लर्न करने योग्य पॉलिसी $\pi$ वर्तमान लर्नर स्टेट $s_t$ को एक्शन $a_t = (c, \eta, \rho)$ में मैप करती है।
- स्टेट ( $s_t$ ): लक्षित कमियों (अल्प-कवर क्लास/बिन), प्रेडिक्टिव अनिश्चितता, हालिया गेट पास दरों और सैंपल डाइवर्सिटी को एनकोड करता है।
- एक्शन:
  - $c$ : एक लक्षित स्थिति (जैसे विशिष्ट क्लास या क्वांटाइल बिन) चुनता है।
  - $\eta$ : एक मास्क टेम्पलेट (एक्सप्लोरेटरी बनाम कंजर्वेटिव) चुनता है।
  - $\rho$ : एक्सप्लोरेशन स्ट्रेंथ को नियंत्रित करता है (कितने कॉलम को पुन: उत्पन्न किया जाए)।
- पॉलिसी को KL-रेगुलराइज्ड प्रेफरेंस लर्निंग के माध्यम से अनुकूलित किया जाता है, जिसमें एक प्लग-इन यूटिलिटी एस्टीमेटर का उपयोग यह फीडबैक देने के लिए किया जाता है कि क्या किसी एक्शन ने लर्नर में सुधार किया।
सुरक्षा तंत्र (व्यवहार्यता और प्रतिबद्धता):
- पॉइंटवाइज गेटिंग (Pointwise Gating): एक हार्ड फ़िल्टर किसी भी ऐसे उम्मीदवार को अस्वीकार कर देता है जो डोमेन बाधाओं (जैसे अमान्य कैटेगोरिकल मान, आउट-ऑफ-रेंज नंबर) का उल्लंघन करता है। यह हार्ड फिजिबिलिटी को लागू करता है।
- विंडोड कमिटमेंट (Windowed Commitment): नमूनों को तुरंत इंजेक्ट करने के बजाय, TAP $K$ स्टेप्स के विंडो के दौरान स्वीकृत उम्मीदवारों को एक पूल में संचित करता है। पूल को केवल तभी ट्रेनिंग सेट में कमिट किया जाता है जब अनुमानित पूल्ड यूटिलिटी एक थ्रेशोल्ड $\tau$ और एक कैलिब्रेटेड एरर मार्जिन $\epsilon_t$ से अधिक हो। यह शोर वाले यूटिलिटी अनुमानों के कारण होने वाले हानिकारक इंजेक्शन को रोकता है।

2.2. अनुकूलन उद्देश्य (Optimization Objective)

लक्ष्य निर्णय चरणों के अनुक्रम पर अपेक्षित अंतिम यूटिलिटी (डाउनस्ट्रीम लॉस में कमी) को अधिकतम करना है। यूटिलिटी कमिटमेंट समय के ऊपर टेलिस्कोप होती है, जिससे पॉलिसी को एक ऐसा प्रक्षेपवक्र (trajectory) सीखने की अनुमति मिलती है जो उच्च-उपयोगिता वाले क्षेत्रों के अन्वेषण और कंजर्वेटिव इंजेक्शन की सुरक्षा के बीच संतुलन बनाता है।

3. मुख्य योगदान

फिडेलिटी-यूटिलिटी गैप का औपचारिककरण: शोध पत्र वितरण मिलान (distributional matching) और डाउनस्ट्रीम यूटिलिटी के बीच के अंतर को औपचारिक रूप से परिभाषित करता है, संवर्धन को एक विकसित होते लर्नर के तहत एक अनुक्रमिक नियंत्रण समस्या के रूप में फ्रेम करता है।
TAP फ्रेमवर्क: एक स्टेट-कंडीशन्ड पॉलिसी पेश करता है जो टारगेट, टेम्पलेट और एक्सप्लोरेशन कंट्रोल्स का उपयोग करके डिफ्यूजन इनपेंटिंग को निर्देशित करता है। यह सुरक्षित इंजेक्शन सुनिश्चित करने के लिए हार्ड गेटिंग और विंडोड कमिटमेंट को एकीकृत करता है।
अनुभवजन्य सत्यापन (Empirical Validation): सात वास्तविक दुनिया के डेटासेट्स और पांच कमी स्तरों पर निरंतर सुधार प्रदर्शित करता है। TAP मजबूत जनरेटिव बेसलाइन्स (SMOTE, TVAE, CTGAN, TabDDPM, आदि) और पैसिव सैंपलिंग रणनीतियों को पछाड़ देता है।

4. प्रायोगिक परिणाम

प्रयोग सात डेटासेट्स (जैसे MiceProtein, Credit-G, Steel, Insurance) पर किए गए, जिनका ट्रेनिंग सेट आकार 20 से 500 नमूनों के बीच था।

प्रदर्शन लाभ: TAP ने मजबूत बेसलाइन्स की तुलना में डाउनस्ट्रीम क्लासिफिकेशन एक्यूरेसी में 15.6 प्रतिशत अंक तक सुधार किया और रिग्रेशन RMSE में 32% तक की कमी की।
मजबूती (Robustness): बेसलाइन्स के विपरीत, जो अत्यधिक कमी के तहत प्रदर्शन को कम (नेगेटिव यूटिलिटी) कर सकते हैं, TAP ने सभी परीक्षण किए गए परिदृश्यों में सकारात्मक यूटिलिटी लाभ बनाए रखा।
मैकेनिज्म विश्लेषण:
- लर्नबिलिटी बनाम इन्फॉर्मेटिवनेस: डायग्नोस्टिक्स ने दिखाया कि TAP सफलतापूर्वक उन नमूनों को लक्षित करता है जो दोनों रूप से सूचनात्मक (निर्णय सीमाओं के पास) और सीखने योग्य (वर्तमान मॉडल के अनुरूप) हैं, जिससे अस्पष्ट सीमा वाले "हानिकारक टेल" (harmful tail) नमूनों से बचा जा सके।
- एब्लेशन स्टडीज: पॉलिसी (फिक्स्ड स्ट्रैटेजी का उपयोग), गेटिंग, या विंडोड कमिटमेंट को हटाने से प्रदर्शन में काफी कमी आई या टेल रिस्क बढ़ गया, जो सभी घटकों की आवश्यकता की पुष्टि करता है।
- एस्टिमेटर स्वतंत्रता: फ्रेमवर्क तब भी प्रभावी रहा जब ऑनलाइन यूटिलिटी एस्टीमेटर (TabPFN) को सरल एन्सेम्बल्स द्वारा प्रतिस्थापित किया गया, जो दर्शाता है कि पॉलिसी विशिष्ट एस्टीमेटर पर ओवरफिट होने के बजाय सामान्य इंजेक्शन पैटर्न सीखती है।

5. महत्व और दावे

शोध पत्र का दावा है कि TAP सक्रिय नियंत्रण (Optimizing for $P(Y|X)$ improvement) के माध्यम से कम-डेटा वाली सारणीबद्ध सेटिंग्स के लिए विश्वसनीय संवर्धन को आगे बढ़ाता है, न कि केवल निष्क्रिय सैंपलिंग (Mimicking $P(X,Y)$ ) के माध्यम से।

विश्वसनीयता: मैनिफोल्ड-लोकल डिफ्यूजन को हार्ड फिजिबिलिटी गेट्स और कंजर्वेटिव विंडोड कमिटमेंट के साथ जोड़कर, TAP हानिकारक सिंथेटिक डेटा के जोखिम को कम करता है, जो वित्त और स्वास्थ्य सेवा जैसे उच्च-जोखिम वाले डोमेन में महत्वपूर्ण है।
दक्षता: विधि पॉलिसी लर्निंग के लिए एक ट्रेनिंग-फ्री इवैल्यूएटर (TabPFN) का उपयोग करती है, जिससे प्रत्येक चरण में डाउनस्ट्रीम मॉडल को पुन: प्रशिक्षित करने की कम्प्यूटेशनल लागत से बचा जा सकता है।
सीमाएँ: लेखक स्वीकार करते हैं कि अनुक्रमिक इंजेक्शन (sequential injection) वन-शॉट जनरेशन की तुलना में ओवरहेड पेश करता है, हालांकि वे इसे विंडो-लेवल कैशिंग के माध्यम से कम करते हैं। वे यह भी नोट करते हैं कि जबकि TAP हानिकारक इंजेक्शन के जोखिम को कम करता है, उच्च-जोखिम वाले सेटिंग्स में ऐतिहासिक असमानताओं को रोकने के लिए सिंथेटिक डेटा संवर्धन को अभी भी सावधानी से लागू किया जाना चाहिए।

कार्य यह निष्कर्ष निकालता है कि प्रभावी संवर्धन के लिए केवल यथार्थवादी डेटा उत्पन्न करना ही पर्याप्त नहीं है, बल्कि लर्नर के साथ फीडबैक लूप के माध्यम से उपयोगी डेटा उत्पन्न करना सीखना आवश्यक है, एक क्षमता जिसे TAP पॉलिसी-गाइडेड डिफ्यूजन के माध्यम से प्रदर्शित करता है।