📊 statistics

Conditioning Tree-Based Diffusions and Flows for Probabilistic Tabular Regression

यह शोध पत्र DiffGBM प्रस्तुत करता है, जो एक ऐसा ढांचा है जो टैबुलर रिग्रेशन के लिए ट्री-आधारित डिफ्यूजन मॉडल के डिज़ाइन विकल्पों—जैसे कि नॉइज़िंग पाथ और स्कोर-साइड रेसिपी—को स्पष्ट रूप से अनुकूलित करता है, और यह प्रदर्शित करता है कि एक साझा LightGBM सतह पर इन अक्षों को ट्यून करना विविध बेंचमार्क पर मानक न्यूरल-प्रेरित डिफ़ॉल्ट्स की तुलना में लगातार बेहतर प्रदर्शन करता है।

मूल लेखक: Silas Koemen

प्रकाशित 2026-08-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Silas Koemen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

पेड़ों के साथ अनुमान लगाने की कला

कल्पना कीजिए कि आप भविष्य की भविष्यवाणी करने की कोशिश कर रहे हैं, लेकिन एक क्रिस्टल बॉल के बजाय, आपके पास नंबरों से भरी एक विशाल, अव्यवस्थित स्प्रेडशीट है। शायद आप अनुमान लगाना चाहते हैं कि एक घर कितने में बिकेगा, एक कार कितनी तेज़ चलेगी, या एक मरीज अस्पताल में कितने समय तक रहेगा। डेटा साइंस की दुनिया में, इसे "रिग्रेशन" (regression) कहा जाता है। लंबे समय तक, इस काम के लिए सबसे अच्छे उपकरण "ट्री-बेस्ड" (tree-based) मॉडल थे। इन्हें "हाँ या ना" वाले सवालों की एक श्रृंखला के रूप में समझें जो डेटा को छोटे और छोटे बकेट में विभाजित करते हैं, जैसे कि कंप्यूटर द्वारा खेला जाने वाला "20 सवाल" का खेल। वे पैटर्न खोजने में अविश्वसनीय रूप से अच्छे हैं, लेकिन वे आमतौर पर आपको केवल एक ही उत्तर देते हैं: "घर $500,000 में बिकेगा।"

लेकिन क्या होगा अगर आप संभावनाओं की रेंज (सीमा) जानना चाहते हैं? क्या होगा अगर आप जानना चाहते हैं, "क्या 90% संभावना है कि यह $450k और$ 550k के बीच बिकेगा?" इसे "प्रोबेबिलिस्टिक रिग्रेशन" (probabilistic regression) कहा जाता है। हाल ही में, वैज्ञानिकों ने इन ट्री मॉडल्स को "डिफ्यूजन" (diffusion) नामक एक शानदार तकनीक के साथ मिलाने का एक तरीका खोजा है। डिफ्यूजन को एक ऐसी प्रक्रिया के रूप में कल्पना करें जहाँ एक स्पष्ट तस्वीर को धीरे-धीरे स्टैटिक शोर (static noise) में बदला जाता है और फिर कंप्यूटर को उस शोर को वापस तस्वीर में बदलने की प्रक्रिया को उल्टा करना सिखाया जाता है। डेटा के साथ ऐसा करके, कंप्यूटर केवल एक नंबर के बजाय, संभावित परिणामों का एक पूरा क्लाउड (बादल) बनाना सीख जाता है। हालाँकि, ट्रीज़ के साथ डिफ्यूजन को मिलाने की मूल रेसिपी एक अलग क्षेत्र (न्यूरल नेटवर्क) से ली गई थी और वह ट्री के सोचने के अनूठे तरीके में पूरी तरह फिट नहीं बैठती थी। यह एक साइकिल में रेस कार के इंजन का उपयोग करने जैसा था; यह काम तो करता था, लेकिन यह कुशल या पूरी तरह से ट्यून नहीं था।

पेपर का बड़ा विचार: रेसिपी को ट्यून करना

यह पेपर एक नई विधि पेश करता है जिसे DiffGBM कहा जाता है, जो उस साइकिल को एक कस्टम-बिल्ट इंजन देने जैसा है जो विशेष रूप से पेड़ों (trees) के लिए डिज़ाइन किया गया है। लेखक, साइलस कोमेन (Silas Koemen) ने महसूस किया कि मूल "डिफ्यूजन" रेसिपी में कुछ डिफ़ॉल्ट सेटिंग्स थीं जो पेड़ों को पीछे खींच रही थीं। उन्होंने केवल सेटिंग्स को ठीक नहीं किया; उन्होंने यह पूरी तरह से फिर से सोचा कि पेड़ को शोर को उलटने (reverse करने) के लिए कैसे सीखना चाहिए।

पेपर समस्या को ठीक करने के दो मुख्य तरीके प्रस्तुत करता है, जो एक ही कार के लिए दो अलग-अलग ड्राइविंग स्टाइल की तरह काम करते हैं:

"स्कोर-फ्लेक्स" ड्राइवर (सटीकता पहले): यह संस्करण "रेसिपी" के लिए ट्री को डयल्स (dials) के एक सेट के रूप में मानता है जिन्हें एक साथ घुमाया जा सकता है। एक कठोर नियम पुस्तिका का पालन करने के बजाय, मॉडल शोर को संभालने, डेटा को विभाजित करने और विशिष्ट डेटासेट के लिए समस्या के विभिन्न हिस्सों को वजन देने का सबसे अच्छा तरीका सीखता है। लेखक ने पाया कि इन डयल्स को एक साथ ट्यून करने से मॉडल काफी अधिक सटीक हो गया। 11 अलग-अलग वास्तविक दुनिया के डेटासेट्स (जैसे घर की कीमतों या ऊर्जा उपयोग की भविष्यवाणी करना) पर परीक्षणों में, इस ट्यून किए गए संस्करण ने हर एक पर मूल "प्रकाशित" रेसिपी को हरा दिया। यह ऐसा था जैसे यह पता लगाना कि कार सबसे अच्छा तब चलती है जब आप केवल ईंधन बदलने के बजाय ईंधन, टायर और सस्पेंशन को एक साथ एडजस्ट करते हैं।
"फ्लो-मैचिंग" ड्राइवर (गति पहले): यह संस्करण एक अलग दृष्टिकोण अपनाता है। शोर को चरण-दर-चरण अराजक तरीके से उलटने के बजाय, यह ट्री को एक सुचारू "वेलोसिटी फील्ड" (velocity field) सीखना सिखाता है—अनिवार्य रूप से, शोर से उत्तर तक सीधे बहने का एक नक्शा। यह कंप्यूटर को समाधान की ओर बड़े, आत्मविश्वासी कदम उठाने की अनुमति देता है। परिणाम? यह अविश्वसनीय रूप से तेज़ है। पेपर नोट करता है कि यह विधि मूल बेसलाइन की तुलना में 5.2 गुना तेज़ है। हालांकि यह बहुत बड़े डेटासेट्स पर "स्कोर-फ्लेक्स" ड्राइवर की तुलना में थोड़ा कम सटीक हो सकता है, लेकिन यह "कैलिब्रेटेड" होने में सर्वश्रेष्ठ है, जिसका अर्थ है कि अनिश्चितता के बारे में इसके अनुमान बहुत विश्वसनीय हैं। यह एक धीमे, सूक्ष्म कलाकार के बीच अंतर है जो हर विवरण को पूरी तरह से चित्रित करता है, और एक तेज़, आत्मविश्वासी स्केच कलाकार के बीच जो सेकंडों में दृश्य के सार को पकड़ लेता है।

पेपर क्या खारिज करता है और क्या पुष्टि करता है

लेखक इस बारे में बहुत स्पष्ट है कि क्या काम नहीं करता है। वे दिखाते हैं कि न्यूरल नेटवर्क के लिए उपयोग की जाने वाली सेटिंग्स (डिफ़ॉल्ट्स) को बस कॉपी करना एक गलती है। वे डिफ़ॉल्ट्स एक "बाइंडिंग कंस्ट्रेंट" (binding constraint) हैं, जिसका अर्थ है कि वे पेड़ों के प्रदर्शन को सीमित करते हैं। उन्होंने यह भी पाया कि अंतिम भविष्यवाणी चरण में यादृच्छिकता (stochasticity) जोड़ने से हमेशा चीजें बेहतर नहीं होती हैं। वास्तव में, सबसे तेज़ विधि के लिए, उस यादृच्छिकता को हटाना और एक नियतात्मक पथ (तर्क की सीधी रेखा) का उपयोग करना वास्तव में बेहतर समग्र सटीकता और गति देता है।

पेपर यह दावा नहीं करता है कि उसने डेटा साइंस की हर समस्या को हल कर दिया है। वे स्वीकार करते हैं कि कुछ बहुत विशिष्ट, बड़े डेटासेट्स पर, "स्कोर-फ्लेक्स" विधि स्पष्ट विजेता है, जबकि छोटे डेटासेट्स पर, "फ्लो-मैचिंग" विधि चमकती है। वे यह भी नोट करते हैं कि जबकि उनकी विधि मानक नंबर-क्रंचिंग के लिए महान है, इसका परीक्षण अभी तक टेक्स्ट से भरी टेबल्स या जटिल बहु-भाग वाले उत्तरों पर नहीं किया गया है।

निष्कर्ष (The Takeaway)

अंत में, यह पेपर सुझाव देता है कि जब आप चाहते हैं कि कंप्यूटर एक स्प्रेडशीट से संभावनाओं की रेंज का अनुमान लगाए, तो आपको इसे केवल एक जेनेरिक नियम पुस्तिका का पालन करने के लिए मजबूर नहीं करना चाहिए। इसके बजाय, आपको ट्री-बेस्ड मॉडल को अपने स्वयं के "शोर-लड़ने" (noise-fighting) की रणनीति को देखे गए विशिष्ट डेटा के अनुकूल होने देना चाहिए। ऐसा करके, आप ऐसी भविष्यवाणियां प्राप्त कर सकते हैं जो न केवल अधिक सटीक हैं बल्कि बहुत तेज़ और अधिक भरोसेमंद भी हैं। यह एक याद दिलाता है कि कभी-कभी, आगे बढ़ने का सबसे अच्छा तरीका एक बड़ा इंजन बनाना नहीं है, बल्कि उस इंजन को तब तक ट्यून करना है जब तक कि वह अपनी पूरी क्षमता से काम न करने लगे।

तकनीकी सारांश: संभाव्य सारणीबद्ध प्रतिगमन (Probabilistic Tabular Regression) के लिए कंडीशनिंग ट्री-बेस्ड डिफ्यूजन और फ्लो

समस्या विवरण
सारणीबद्ध डेटा (tabular data) पर संभाव्य प्रतिगमन (probabilistic regression) के लिए ऐसे मॉडलों की आवश्यकता होती है जो ग्रेडिएंट-बूस्टेड ट्रीज़ की प्रेडिक्टिव शक्ति को पूर्ण प्रेडिक्टिव डिस्ट्रीबशन्स के साथ जोड़ सकें, जो कैलिब्रेशन, निर्णय लेने और अनिश्चितता परिमाणीकरण (uncertainty quantification) के लिए उपयुक्त हों। जबकि ट्री-बेस्ड डिफ्यूजन मॉडल (जैसे, Treeffuser) ने एक शोर-परिवर्तित (noise-perturbed) कंडीशनल डेंसिटी के स्कोर का अनुमान लगाने के लिए LightGBM रिग्रेसर्स को प्रशिक्षित करके एक समाधान के रूप में उभर कर आया है, वे वर्तमान में न्यूरल डिफ्यूजन सेटिंग्स से विरासत में मिले डिज़ाइन डिफ़ॉल्ट्स को बनाए रखते हैं। ये डिफ़ॉल्ट्स—जिसमें नोइज़िंग पाथ, पैरामीटराइजेशन, ट्रेनिंग डिस्ट्रीब्यूशन, फीचर्स और सैंपलर शामिल हैं—अक्सर उप-इष्टतम (suboptimal) होते हैं क्योंकि वे हिस्टोग्राम-आधारित ट्री लर्नर्स के लिए उपयुक्त नहीं हैं। यह शोध पत्र तर्क देता है कि ये डिफ़ॉल्ट्स एक बाध्यकारी बाधा (binding constraint) के रूप में कार्य करते हैं: वह विशिष्ट सुपरवाइज्ड रिग्रेशन समस्या जिसे ग्रेडिएंट-बूस्टेड एन्सेम्बल हल करता है, इस बात से निर्धारित होती है कि इन कंडीशनिंग विकल्पों को कैसे कॉन्फ़िगर किया गया है।

कार्यप्रणाली: DiffGBM
लेखक DiffGBM प्रस्तुत करता है, जो Treeffuser का एक विस्तार है जो ट्री-बेस्ड डिफ्यूजन के कंडीशनिंग विकल्पों को निश्चित डिफ़ॉल्ट्स के बजाय स्पष्ट, ट्यून करने योग्य अक्षों (tunable axes) के रूप में मानता है। कार्यप्रणाली दो प्राथमिक अक्षों के माध्यम से विकसित की गई है:

स्कोर-साइड संशोधनों (The "Score-Flex" Space):
लेखक एक साझा LightGBM सतह पर स्कोर-बेस्ड डिफ्यूजन के लिए एक संयुक्त रूप से ट्यून करने योग्य रेसिपी प्रस्तावित करता है। मुख्य संशोधनों में शामिल हैं:
- कंडीशनल-मीन रेसिडुअलाइजेशन (Conditional-Mean Residualization): पहले एक क्रॉस-वैलिडेटेड LightGBM मीन प्रेडिक्टर $\hat{\mu}(x)$ फिट किया जाता है। डिफ्यूजन को $y$ के बजाय अवशेष (residual) $y - \hat{\mu}(x)$ पर लागू किया जाता है, जिससे कंडीशनल लोकेशन को स्कोर-रिग्रेशन टारगेट से बाहर निकाला जा सके।
- EDM प्रीकंडीशनिंग (EDM Preconditioning): EDM सिद्धांतों का पालन करते हुए, मॉडल एक डीनोइज़्ड टारगेट $D_\theta(y_t, t)$ का अनुमान लगाता है जिसे यूनिट वेरिएंस तक स्केल किया गया है, और बीजगणितीय रूप से स्कोर को पुनर्गठित करता है। यह ट्रीज़ के लिए रिग्रेशन टारगेट को स्थिर करता है, जिससे शोर के स्तरों के बीच शोर-अनुमान की मात्राओं (noise-prediction magnitudes) के एक्सट्रपलेशन की आवश्यकता समाप्त हो जाती है।
- लॉग-सिग्मा टाइम सैंपलिंग और फीचर्स: यूनिफॉर्म टाइम सैंपलिंग के बजाय, ट्रेनिंग डिस्ट्रीब्यूशन $\log \sigma(t) \sim \mathcal{N}(-1.2, 1.2^2)$ से नमूने लेता है। महत्वपूर्ण रूप से, इनपुट वेक्टर में एक स्पष्ट $\log \sigma(t)$ फीचर जोड़ा जाता है, जिससे ट्री स्प्लिट्स सीधे शोर के शासन (noise regime) पर कंडिशन कर पाते हैं।
- लॉस वेटिंग और हिस्टोग्राम रेजोल्यूशन: इन्हें नियंत्रित करने के लिए ट्यून करने योग्य आयामों के रूप में उजागर किया गया है कि मॉडल अपनी क्षमता कहाँ खर्च करे।
गौसियन-पाथ फ्लो मैचिंग (FM):
लेखक $p(y|x)$ के लिए एक गौसियन-पाथ फ्लो-मैचिंग ट्रेनर लागू करता है।
- वेलोसिटी फील्ड लर्निंग: सीधे स्कोर सीखने के बजाय, मॉडल ग्रेडिएंट-बूस्टेड ट्रीज़ के माध्यम से एक वेलोसिटी फील्ड $v_\theta$ सीखता है।
- बीजगणितीय स्कोर रिकवरी: किसी भी गौसियन पाथ के लिए, वेलोसिटी से कंडीशनल स्कोर को बीजगणितीय रूप से प्राप्त किया जा सकता है (लेम्मा 1), जिससे मॉडल को यदि आवश्यक हो तो स्टोकेस्टिक-इंटरपुलेंट सैंपलर में प्रवेश करने की अनुमति मिलती है।
- सैंपलर दक्षता: यह दृष्टिकोण नियत (deterministic), कम-चरण वाले ODE सैंपलर (विशेष रूप से एक 5-स्टेप Heun ODE) के उपयोग को सक्षम बनाता है, जो स्टोकेस्टिक SDEs की तुलना में अनुमान विलंबता (inference latency) को काफी कम कर देता है।
- पाथ विकल्प: लेखक लीनियर, ट्रिगोनोमेट्रिक और वेरिएंस-प्रिजर्विंग (VP) पाथ की तुलना करता है। वे नोट करते हैं कि जबकि VP पाथ इनपुट्स को यूनिट स्केल के करीब रखते हैं, इष्टतम पाथ डेटासेट और रेसिडुअलाइजेशन के बीच के अंतर्संबंध पर निर्भर करता है।

प्रमुख योगदान

कंडीशनल ट्री-बेस्ड प्रेडिक्शन के लिए फ्लो मैचिंग: एक गौसियन-पाथ FM ट्रेनर जो सीधे ग्रेडिएंट-बूस्टेड ट्रीज़ के साथ वेलोसिटी फील्ड सीखता है, जो सबसे सस्ता सैंपलर और सबसे बेहतर-कैलिब्रेटेड ऑपरेटिंग पॉइंट प्रदान करता है।
एक संयुक्त रूप से ट्यून करने योग्य स्कोर रेसिपी: स्कोर-साइड संशोधनों (रेसिडुअलाइजेशन, EDM प्रीकंडीशनिंग, लॉग-सिग्मा सैंपलिंग, स्पष्ट शोर फीचर्स, लॉस वेटिंग, और हिस्टोग्राम रेजोल्यूशन) को ट्यून करने योग्य अक्षों के रूप में उजागर करना। यह "स्कोर-फ्लेक्स" स्पेस प्रकाशित रेसिपी को एक विशेष मामले के रूप में प्रस्तुत करता है लेकिन डेटासेट-विशिष्ट अनुकूलन की अनुमति देता है।
रिग्रेशन कंडीशनिंग एक साझा बॉटलनेक के रूप में: पेपर का तर्क है कि दोनों अक्षों में प्रदर्शन लाभ हिस्टोग्राम ट्रीज़ के सीमित स्प्लिट रेजोल्यूशन के साथ प्रेरित सुपरवाइज्ड समस्या को बेहतर ढंग से मिलाने से आता है। बाधा उद्देश्यों के जनसंख्या-स्तरीय गुणों की नहीं, बल्कि सभी शोर स्तरों को एक साथ सेवा देने के लिए आवश्यक सीमित बिन आवंटन (finite bin allocation) की है।

प्रायोगिक परिणाम
विधि का मूल्यांकन ग्यारह मानक सारणीबद्ध प्रतिगमन बेंचमार्क (नौ UCI, दो scikit-learn) पर एक नेस्टेड ट्यूनिंग प्रोटोकॉल (ट्यूनिंग के लिए फोल्ड 0, मूल्यांकन के लिए फोल्ड 1–5) के साथ किया गया, जिसमें एक मैच किया गया 40-ट्रायल बजट का उपयोग किया गया।

सटीकता (Score-Flex): संयुक्त रूप से ट्यून किए गए स्कोर-फ्लेक्स रेसिपी ने सर्वश्रेष्ठ समग्र CRPS स्किल स्कोर (0.725 बनाम 0.699 बेसलाइन) और नॉर्मलाइज्ड CRPS (1.106 बनाम 1.248) प्राप्त किया। इसने हर एक डेटासेट पर प्रकाशित बेसलाइन को हराया (पेयर्ड विल्कॉक्सन $p < 10^{-3}$ )।
कैलिब्रेशन और गति (Flow Matching): DiffGBM-FM वेरिएंट सबसे बेहतर-कैलिब्रेटेड DiffGBM रो (50/90% स्तरों पर सबसे कम कवरेज एरर और उच्चतम PIT पास रेट) और सबसे सस्ता सैंपलर था। यह प्रतिस्पर्धी CRPS (0.707) बनाए रखते हुए प्रकाशित बेसलाइन से 5.2× तेज़ (61.3s कुल बनाम 196.3s) था।
एब्लेशन अध्ययन (Ablation Studies):
- अन्य परिवर्तनों के बिना स्कोर मॉडल के लिए Euler SDE के स्थान पर Heun ODE का उपयोग करने से सटीकता कम हो गई, जो दर्शाता है कि सैंपलर केवल एक मुफ्त स्पीडअप नहीं है।
- EDM प्रीकंडीशनिंग ने स्कोर-साइड प्रदर्शन में सबसे बड़ी छलांग प्रदान की।
- रेसिडुअलाइजेशन फ्लो मैचिंग के लिए महत्वपूर्ण था; इसके बिना, FM प्रदर्शन काफी गिर गया।
- स्टोकेस्टिक सैंपलर ( $\epsilon > 0$ ) ने समग्र CRPS या लेटेंसी पर डिटर्मिनिस्टिक सैंपलर ( $\epsilon = 0$ ) को पेरेटो-डोमिनेट (Pareto-dominate) नहीं किया, हालांकि वे उच्च अनिश्चितता वाले क्षेत्रों में टेल कवरेज (tail coverage) में सुधार कर सकते थे।

महत्व और दावे
पेपर का दावा है कि न्यूरल डिफ्यूजन सेटिंग्स से विरासत में मिले डिज़ाइन डिफ़ॉल्ट ही ट्री-बेस्ड संभाव्य प्रतिगमन के लिए प्राथमिक बाधा हैं। नोइज़िंग पाथ, पैरामीटराइजेशन और ट्रेनिंग डिस्ट्रीब्यूशन को ट्यून करने योग्य कंडीशनिंग विकल्पों के रूप में मानकर, DiffGBM सटीकता और कैलिब्रेशन दोनों में महत्वपूर्ण सुधार अनलॉक करता है।

लेखक इस बात पर जोर देते हैं कि "score-flex" और "flow-matching" दृष्टिकोण पूरक (complementary) हैं:

Score-Flex सटीकता का विकल्प है, जो बड़े डेटासेट के बढ़ने पर हावी होता है और सबसे बड़े डेटासेट पर जीतता है, हालांकि इसमें उच्च लेटेंसी और अपने स्टोकेस्टिक सैंपलर के कारण ढीला सेंट्रल कवरेज होता है।
Flow Matching तेज़ और बेहतर-कैलिब्रेटेड विकल्प है, जो छोटे-से-मध्यम डेटासेट पर जीतता है जहाँ इसका रेसिडुलाइज्ड फ्यू-स्टेप ODE सबसे मजबूत होता है।

पेपर निष्कर्ष निकालता है कि कोई भी एकल रेसिपी अक्ष सार्वभौमिक नहीं है; इष्टतम कॉन्फ़िगरेशन डेटासेट की विशेषताओं (जैसे, ct_slices जैसे लगभग-निश्चित डेटासेट बारीक हिस्टोग्राम बिन और शोर भविष्यवाणी को प्राथमिकता देते हैं) पर निर्भर करता है। यह कार्य स्थापित करता है कि हिस्टोग्राम स्प्लिट्स के सीमित रेजोल्यूशन को ट्री-बेस्ड डिफ्यूजन और फ्लो मॉडल की क्षमता को अनलॉक करने के लिए प्रेरित सुपरवाइज्ड समस्या को कंडीशन करना ही कुंजी है।

पेड़ों के साथ अनुमान लगाने की कला

पेपर का बड़ा विचार: रेसिपी को ट्यून करना

पेपर क्या खारिज करता है और क्या पुष्टि करता है

निष्कर्ष (The Takeaway)

इसी तरह के और पेपर