🤖 machine learning

Inference-Time Refinement Closes the Synthetic-Real Gap in Tabular Diffusion

यह शोधपत्र TARDIS को प्रस्तुत करता है, जो एक इन्फरेंस-टाइम रिफाइनमेंट फ्रेमवर्क है जो एक फ्रोजन प्री-ट्रेंड डिफ्यूजन बैकबोन के आउटपुट को ऑप्टिमाइज़ करने के लिए द्विदिश चैम्फर रिफाइनमेंट (Bidirectional Chamfer Refinement) का उपयोग करता है, जिससे सिंथेटिक-रियल गैप कम होता है और डाउनस्ट्रीम टास्क परफॉर्मेंस बिना रीट्रेनिंग के वास्तविक डेटा पर प्रशिक्षित मॉडल्स से भी बेहतर प्राप्त होती है।

मूल लेखक: Eugenio Lomurno, Filippo Balzarini, Francesco Benelle, Francesca Pia Panaccione, Matteo Matteucci

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eugenio Lomurno, Filippo Balzarini, Francesco Benelle, Francesca Pia Panaccione, Matteo Matteucci

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (एक AI मॉडल) को कार चलाना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आप उन्हें असली सड़कों और असली ट्रैफिक के साथ अभ्यास करने देते हैं। लेकिन कभी-कभी, आप ऐसा नहीं कर सकते क्योंकि सड़कें निजी, खतरनाक या संवेदनशील जानकारी से भरी होती हैं। इसलिए, आप उन्हें प्रशिक्षित करने के लिए एक सिम्युलेटर (सिंथेटिक डेटा) बनाते हैं जो बिल्कुल वास्तविक दुनिया जैसा दिखता है और महसूस होता है।

लंबे समय से, यह "सिम्युलेटर" अच्छा रहा है, लेकिन पूरी तरह से वास्तविक दुनिया जितना अच्छा नहीं है। सिम्युलेटर पर प्रशिक्षित छात्र हमेशा उन छात्रों से थोड़ा खराब प्रदर्शन करते हैं जो असली सड़कों पर प्रशिक्षित हुए थे। शोधकर्ता इसे ठीक करने के लिए शून्य से बेहतर सिम्युलेटर बनाने की कोशिश कर रहे हैं, जो हर बार एक परफेक्ट वीडियो गेम इंजन को ज़ीरो से बनाने जैसा है। यह महंगा है, धीमा है, और अक्सर फिर भी कम ही रह जाता है।

यह पेपर TARDIS नामक एक नया दृष्टिकोण पेश करता है। सिम्युलेटर को फिर से बनाने के बजाय, TARDIS एक स्मार्ट कोच की तरह काम करता है जो सिम्युलेटर द्वारा पहले से ही कई अभ्यास परिदृश्य (scenarios) उत्पन्न करने के बाद हस्तक्षेप करता है। यह पूरे इंजन को फिर से प्रशिक्षित किए बिना, वास्तविक समय में सिम्युलेटर में सुधार करता है।

यहाँ बताया गया है कि TARDIS कैसे काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:

1. "ओवर-प्रोडक्शन" चरण (चरण I)

कल्पना कीजिए कि एक फैक्ट्री खिलौना कारें बना रही है। वास्तविक दुनिया से मेल खाने के लिए ठीक 100 कारें बनाने के बजाय, TARDIS फैक्ट्री को 5,000 कारें बनाने के लिए कहता है (जरूरत से 50 गुना अधिक)। यह संभावित अभ्यास परिदृश्यों का एक विशाल "पूल" बनाता है। इनमें से अधिकांश ठीक होंगे, लेकिन कुछ अजीब होंगे, और कुछ एकदम सटीक।

2. "रियल-टाइम स्टीयरिंग" चरण (चरण II)

यही असली जादू है। जैसे ही फैक्ट्री इन 5,000 कारों का उत्पादन कर रही होती है, TARDIS केवल उन्हें उत्पादन लाइन से नीचे नहीं गिरने देता। इसके पास एक GPS (जिसे "रिप्रजेंटेशन मैप" कहा जाता है) है जो जानता है कि एक "असली" कार कैसी दिखती है।

उपमा: कल्पना कीजिए कि एक मूर्तिकार संगमरमर के ब्लॉक को तराश रहा है। यह देखने के बजाय कि मूर्ति बनने के बाद वह कैसी दिखती है, मूर्तिकार तराशते समय लगातार वास्तविक व्यक्ति की फोटो के साथ उसके आकार की जांच करता है।
तंत्र: TARDIS बाइडायरेक्शनल चैफर रिफाइनमेंट (BCR) नामक एक गणितीय नियम का उपयोग करता है। यह उत्पन्न डेटा को बनते समय ही धीरे से वास्तविक डेटा की ओर धकेलता है। यह एक चुंबकीय क्षेत्र की तरह है जो नकली कारों को असली कारों के आकार के करीब खींचता है, जिससे यह सुनिश्चित होता है कि वे "अजीब दुनिया" में न भटक जाएं।

3. "फाइनल कट" चरण (चरण III)

एक बार जब फैक्ट्री ने 5,000 कारें बना लीं, तो TARDIS केवल पहली 100 कारें नहीं चुनता। यह एक टैलेंट स्काउट की तरह काम करता है। यह सभी 5,000 कारों को देखता है और वास्तविक फोटो के साथ उनके मिलान के आधार पर उन्हें रैंक करता है। यह उन शीर्ष 100 को चुनता है जो सबसे अधिक "यथार्थवादी" हैं और बाकी को हटा देता है।

"दो-तरफा" जांच: पेपर इस बात पर जोर देता है कि यह जांच बाइडायरेक्शनल (दो-तरफा) है। यह केवल यह नहीं देख रहा है कि "क्या यह नकली कार असली कार जैसी दिखती है?" (फिडेलिटी/विश्वसनीयता)। यह यह भी जांचता है कि "क्या वास्तविक कार के इस बैच में एक नकली जुड़वां मौजूद है?" (कवरेज/व्याप्ति)। यह सुनिश्चित करता है कि AI केवल एक विशिष्ट वास्तविक कार को याद न कर ले और उसे बार-बार कॉपी न करे (जो कि बुरा होगा); यह सुनिश्चित करता है कि नकली डेटा वास्तविक दुनिया की पूरी विविधता को कवर करता है।

यह क्यों महत्वपूर्ण है

लेखकों ने इसका परीक्षण 15 अलग-अलग डेटासेट्स पर किया (मधुमेह की भविष्यवाणी करने से लेकर संगीत की पसंद का विश्लेषण करने तक)। यहाँ उन्हें क्या मिला:

असली चीज़ को पछाड़ना: 15 में से 11 मामलों में, TARDIS के परिष्कृत नकली डेटा पर प्रशिक्षित AI ने वास्तव में वास्तविक डेटा पर प्रशिक्षित AI की तुलना में बेहतर प्रदर्शन किया।
गति: यह पूरी "कोचिंग" प्रक्रिया एक मानक, पुराने कंप्यूटर ग्राफिक्स कार्ड पर 1 से 80 मिनट के बीच लेती है। आपको सुपरकंप्यूटर की आवश्यकता नहीं है।
गोपनीयता: क्योंकि यह सिस्टम "कवरेज" की जांच करता है (यह सुनिश्चित करता है कि यह केवल वास्तविक रिकॉर्ड को कॉपी-पेस्ट न करे), नकली डेटा सुरक्षित रहता है और गलती से निजी जानकारी लीक नहीं करता है।

मुख्य निष्कर्ष

पेपर का तर्क है कि "नकली डेटा" और "वास्तविक डेटा" के बीच का अंतर ऐसी समस्या नहीं है जिसे आपको शून्य से बेहतर जनरेटर बनाकर हल करना होगा। यह एक ऐसी समस्या है जिसे आप बाद में आउटपुट को परिष्कृत (refine) करके हल कर सकते हैं।

इसे ऐसे सोचिए: आपको किसी भूमिका को पूरी तरह से निभाने के लिए एक बेहतर अभिनेता को काम पर रखने की आवश्यकता नहीं है; कभी-कभी, आपको बस कैमरा चलने के दौरान प्रदर्शन का मार्गदर्शन करने के लिए एक बेहतर निर्देशक की आवश्यकता होती है। TARDIS वही निर्देशक है, जो एक अच्छे प्रदर्शन को एक आदर्श प्रदर्शन में बदल देता है।

तकनीकी सारांश: इन्फरेंस-टाइम रिफाइनमेंट टैबुलर डिफ्यूजन में सिंथेटिक-रियल गैप को कम करता है

1. समस्या विवरण (Problem Statement)

डिफ्यूजन-आधारित जनरेटरों द्वारा सिंथेटिक टैबुलर डेटा में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करने के बावजूद, एक निरंतर "सिंथेटिक-रियल गैप" बना हुआ है: वास्तविक डेटा पर प्रशिक्षित डाउनस्ट्रीम लर्नर्स, सिंथेटिक डेटा पर प्रशिक्षित लर्नर्स की तुलना में शायद ही कभी उपयोगिता (utility) का मुकाबला कर पाते हैं। इस अंतर को पाटने के लिए मौजूदा दृष्टिकोण विशेष रूप से ट्रेनिंग-टाइम इंटरवेंशन पर केंद्रित रहे हैं, जैसे कि आर्किटेक्चरल एडवांस (जैसे, TabDiff, TabSyn), स्केलिंग, या मोनोलिथिक जनरेटर्स को फिर से प्रशिक्षित करना। ये विधियाँ केवल मामूली लाभ देती हैं और लगातार रियल-डेटा उपयोगिता के स्तर तक पहुँचने में विफल रहती हैं।

यह शोध पत्र तर्क देता है कि यह अंतर मुख्य रूप से ट्रेनिंग-टाइम की समस्या नहीं है, बल्कि एक इन्फरेंस-टाइम समस्या है। जबकि इमेज सिंथेसिस में इन्फरेंस-टाइम गाइडेंस (जैसे, क्लासिफायर-फ्री गाइडेंस, चैमर गाइडेंस) सफल रही है, टैबुलर डेटा में इसका अनुप्रयोग तीन विशिष्ट चुनौतियों के कारण बाधित रहा है:

मिश्रित-प्रकार के फीचर स्पेस (Mixed-type feature spaces): टैबुलर डेटा में एक मानक डिफरेंशिएबल डिस्टेंस मेट्रिक का अभाव होता है जो ग्रेडिएंट-आधारित गाइडेंस के अनुकूल हो।
मानकीकृत प्रतिनिधित्व का अभाव: इमेजेस (जो CLIP का उपयोग करती हैं) के विपरीत, टैबुलर डेटा के पास एक एकीकृत एम्बेडिंग स्पेस नहीं है।
दोहरे उद्देश्य (Dual objectives): "ट्रेन-ऑन-सिंथेटिक-टेस्ट-ऑन-रियल" (TSTR) सेटिंग के लिए फिडेलिटी (सिंथेटिक-टू-रियल निकटता) और कवरेज (रियल-टू-सिंथेटिक मैनिफोल्ड कवरेज) के बीच संतुलन बनाना आवश्यक है, जिसे मानक गाइडेंस अक्सर अनदेखा कर देती है।

2. कार्यप्रणाली: TARDIS

लेखक TARDIS (Tabular generation through Refinement, Distillation, and もnd Inference-time Sampling) पेश करते हैं, जो एक फ्रोज़न (frozen) प्री-ट्रेंड टैबुलर डिफ्यूजन बैकबोन (विशेष रूप से TabDiff) के आउटपुट को बिना पुन: प्रशिक्षण के परिष्कृत (refine) करता है। इसका मूल सिद्धांत बाइडायरेक्शनल चैमर रिफाइनमेंट (BCR) है, जो दो पूरक स्तरों पर सिंथेटिक उम्मीदवारों और वास्तविक डेटा के बीच एक सममित (symmetric) चैमर फंक्शनल को कम करता है: सैंपलिंग के दौरान निरंतर रूप से और सैंपलिंग के बाद असतत (discretely) रूप से।

यह फ्रेमवर्क तीन चरणों में कार्य करता है:

चरण I: ओवरसैंपलिंग (Oversampling)

सिस्टम लेटेंट स्पेस से $M \cdot N_r$ कार्डिनैलिटी (जहाँ $N_r$ वास्तविक डेटासेट का आकार है और $M=50$ फिक्स्ड है) का एक ओवरसैम्पल्ड नॉइज़ पूल $D_{noise}$ खींचता है। यह रेडंडेंसी आगामी रिफाइनमेंट के लिए एक कैंडिडेट पूल प्रदान करती है।

चरण II: बाइडायरेक्शनल चैमर गाइडेंस (निरंतर रिफाइनमेंट)

रिवर्स डिफ्यूजन प्रक्रिया के दौरान, प्रेडिक्टेड स्कोर $\epsilon_\theta(x_t, t)$ को एक वास्तविक संदर्भ बैच $x_r$ के सापेक्ष बाइडायरेक्शनल चैमर फंक्शनल $C$ के ग्रेडिएंट द्वारा विक्षेपित (perturb) किया जाता है।

रिप्रेजेंटेशन मैप ( $\phi$ ): मिश्रित-प्रकार के डेटा को संभालने और डिफरेंशिएबिलिटी प्रदान करने के लिए, सिस्टम एक रिप्रेजेंटेशन मैप $\phi$ $ϕ$ का उपयोग करता है। सर्च स्पेस दो विकल्पों की अनुमति देता है:
- आइडेंटिटी मैपिंग (Identity mapping): इसे z-स्कोर-नॉर्मलाइज्ड फीचर्स पर लागू किया जाता है।
- $\beta$ -VAE मैपिंग: वास्तविक डेटा पर प्रशिक्षित एक एनकोडर जो फीचर्स को एक लेटेंट स्पेस में मैप करता है, जिससे विषमता (heterogeneity) समाहित हो जाती है।
स्कोर परटर्बेशन (Score Perturbation): विक्षेपित स्कोर $\tilde{\epsilon}_\theta = \epsilon_\theta - \Gamma(t) \cdot \nabla_{x_t} C(x_t, x_r)$ है। यह जनरेशन को वास्तविक-डेटा मैनिफोल्ड की ओर निर्देशित करता है।
हाइपरपैरामीटर ट्यूनिंग: एक ट्री-स्ट्रक्चर्ड पारज़न एस्टिमेटर (TPE) सर्च प्रत्येक डेटासेट के लिए गाइडेंस पैरामीटर्स (शेड्यूल $\Gamma(t)$ , रेफरेंस बैचिंग, और $\phi$ प्रकार) को ट्यून करता है।

चरण III: रिफाइनमेंट सिलेक्शन (असतत रिफाइनमेंट)

कैंडिडेट पूल $D_{cand}$ उत्पन्न करने के बाद, सिस्टम पोस्ट-हॉक बैच रैंकिंग के माध्यम से अंतिम सिंथेटिक डेटासेट $D_{syn}$ (कार्डिनैलिटी $K \cdot N_r$ ) का चयन करता है।

चैमर सैंपलर (Chamfer Sampler): बैचों को उसी चैमर फंक्शनल $C$ द्वारा रैंक किया जाता है जिसका उपयोग चरण II में किया गया था। शीर्ष-रैंक वाले बैचों को रखा जाता है। यह उन "ऑफ-मैनिफोल्ड" उम्मीदवारों को हटा देता है जो निरंतर गाइडेंस के बावजूद बच गए थे।
जेनरेटिव नॉलेज डिस्टिलेशन (GKD): एक वैकल्पिक चरण जहाँ वास्तविक डेटा पर प्रशिक्षित एक टीचर क्लासिफायर उम्मीदवारों को सॉफ्ट टारगेट्स के साथ रीलेबल करता है। यह मुख्य रूप से लो-कार्डिनैलिटी व्यवस्था ( $K \le 1$ ) में प्रभावी है।
सर्च स्ट्रैटेजी: पांच सैंपलर वेरिएंट्स (जिसमें चैमर, MDSampler, स्ट्रैटिफाइड आदि शामिल हैं) और GKD टॉगल पर एक इनर ग्रिड सर्च, प्रत्येक TPE ट्रायल के लिए वैलिडेशन उपयोगिता को अधिकतम करने वाले कॉन्फ़िगरेशन का चयन करता है।

3. प्रमुख योगदान

इन्फरेंस-टाइम रिफाइनमेंट फ्रेमवर्क: TARDIS पहला ऐसा फ्रेमवर्क है जो इन्फरेंस-टाइम रिफाइनमेंट को टैबुलर डिफ्यूजन पर लागू करता है, यह प्रदर्शित करते हुए कि एक फ्रोज़न बैकबोन को बिना पुन: प्रशिक्षित किए महत्वपूर्ण रूप से सुधारा जा सकता है।
बाइडायरेक्शनल चैमर रिफाइनमेंट (BCR): लेखक BCR को एक एकीकृत सिद्धांत के रूप में प्रस्तावित करते हैं जो निरंतर स्कोर-लेवल गाइडेंस और असतत बैच रैंकिंग को एक ही सममित चैमर फंक्शनल के तहत जोड़ता है। यह TSTR सेटिंग्स में निहित फिडेलिटी-कवरेज ट्रेड-ऑफ को संबोधित करता है।
मिश्रित-प्रकार के डेटा को संभालना: डेटा-विशिष्ट रिप्रेजेंटेशन मैप $\phi$ (या तो आइडेंटिटी या $\beta$ -VAE एनकोडर) का परिचय ग्रेडिएंट-आधारित गाइडेंस को टैबुलर डेटा पर लागू करने में सक्षम बनाता है, जो कैनोनिकल मेट्रिक की कमी को दूर करता है।
"इन्फरेंस-टाइम" परिकल्पना का अनुभवजन्य सत्यापन: यह कार्य प्रमाण प्रदान करता है कि सिंथेटिक-रियल गैप काफी हद तक इन्फरेंस-टाइम पर हल किया जा सकता है, जो ध्यान को "बेहतर जनरेटर्स" से बदलकर "मौजूदा जनरेटर्स के बेहतर रिफाइनमेंट" की ओर ले जाता है।

4. प्रयोगात्मक परिणाम

इस फ्रेमवर्क का मूल्यांकन 15 विषम टैबुलर बेंचमार्क्स (बाइनरी क्लासिफिकेशन, मल्टीक्लास क्लासिफिकेशन, और रिग्रेशन) पर XGBoost को डाउनस्ट्रीम लर्नर के रूप में उपयोग करते हुए TSTR प्रोटोकॉल के तहत किया गया।

डाउनस्ट्रीम उपयोगिता (Downstream Utility): TARDIS ने वास्तविक डेटा पर प्रशिक्षित मॉडल्स की तुलना में औसत +8.6% सुधार प्राप्त किया (95% CI [+3.3, +16.4], Wilcoxon $p=0.016$ ), और 15 में से 11 डेटासेट्स पर स्पष्ट जीत दर्ज की।
बैकबोन सुधार: TARDIS ने सभी 15 डेटासेट्स पर अंडरलाइंग TabDiff बैकबोन में सुधार किया (औसत +12.9%, $p < 10^{-4}$ )।
एब्लेशन स्टडीज (Ablation Studies):
- ओवरसैंपल-एंड-सेलेक्ट घटक (चरण I और III) को हटाने से प्रदर्शन TabDiff पर औसत +1.4% तक गिर गया, जो सिद्ध करता है कि असतत चयन (discrete selection) महत्वपूर्ण है।
- सर्च ने लगातार BCR-एलाइनड कॉन्फ़िगरेशन (गाइडेड पूल + चैमर सैंपलर) को 9 में से 15 डेटासेट्स पर चुना, जो BCR को डोमिनेंट रिफाइनमेंट पैटर्न के रूप में मान्य करता है।
फिडेलिटी, डायवर्सिटी और प्राइवेसी: TARDIS ने मैनिफोल्ड फिडेलिटी (प्रिसिजन) और डायवर्सिटी (रिकॉल) में बैकबोन के बराबर प्रदर्शन किया। प्राइवेसी मेट्रिक्स (DCR-1 शेयर और NNDR) सुरक्षित रहे, जो दर्शाता है कि बाइडायरेक्शनल फंक्शनल ट्रेनिंग रिकॉर्ड्स पर कोलैप्स होने से रोकता है।
रनटाइम: एक सिंगल कंज्यूमर-ग्रेड GPU (Nvidia GTX 1080 Ti) पर, TARDIS इन्फरेंस प्रक्रिया में वॉल-क्लॉक समय का औसत 16.1 मिनट (रेंज 0.9 से 79.4 मिनट) जोड़ता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि टैबुलर डिफ्यूजन में सिंथेटिक-रियल गैप मुख्य रूप से ट्रेनिंग-टाइम की समस्या नहीं है। इसके बजाय, यह प्रदर्शित करता है कि स्टैंडर्ड हार्डवेयर पर 1 से 80 मिनट के भीतर प्री-ट्रेंड बैकबोन का इन्फरेंस-टाइम रिफाइनमेंट, रियल-डेटा उपयोगिता तक पहुँचने और उससे आगे निकलने के लिए पर्याप्त है।

इसका महत्व निम्नलिखित में निहित है:

पैराडाइम शिफ्ट: ध्यान आर्किटेक्चरल जटिलता और पुन: प्रशिक्षण से हटाकर पोस्ट-हॉक रिफाइनमेंट पर केंद्रित करना।
लागत-प्रभावशीलता: बड़े डिफ्यूजन मॉडल्स को पुन: प्रशिक्षित करने की कम्प्यूटेशनल लागत के बिना स्टेट-ऑफ-द-आर्ट उपयोगिता प्राप्त करना।
सामान्यीकरण (Generality): BCR सिद्धांत को डोमेन-ट्रांसफरेबल के रूप में प्रस्तुत किया गया है, जो केवल एक डिफरेंशिएबल रिप्रेजेंटेशन मैप और एक रेफरेंस बैच पर निर्भर करता है, जो टैबुलर डेटा से परे अनुप्रयोग का सुझाव देता है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि परिणाम वर्तमान में एक एकल बैकबोन (TabDiff) पर सत्यापित किए गए हैं और औपचारिक डिफरेंशियल प्राइवेसी गारंटी का दावा नहीं किया गया है, हालांकि प्राइवेसी प्रॉक्सी सुरक्षित हैं। भविष्य के कार्य के रूप में BCR को अन्य बैकबोन्स (TabSyn, TabDDPM) और मोडैलिटीज तक विस्तारित करने की पहचान की गई है।