📊 statistics

Maximum Risk Minimization with Random Forests

यह शोध पत्र गणनात्मक रूप से कुशल और सांख्यिकीय रूप से सुसंगत रैंडम फ़ॉरेस्ट वेरिएंट पेश करता है जो आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण को बेहतर बनाने के लिए विविध वातावरणों में अधिकतम जोखिम को कम करते हैं, जो माध्य वर्ग त्रुटि, नकारात्मक पुरस्कार और रिग्रेट-आधारित जोखिमों के लिए नवीन गारंटी प्रदान करते हैं।

मूल लेखक: Francesco Freni, Anya Fries, Linus Kühne, Markus Reichstein, Jonas Peters

प्रकाशित 2026-03-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Francesco Freni, Anya Fries, Linus Kühne, Markus Reichstein, Jonas Peters

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो तीन बहुत अलग समूहों के लोगों के लिए एक ही रेसिपी बनाना चाहते हैं जो उनके लिए बिल्कुल सही हो:

तीखा पसंद करने वाले (The Spicy Lovers): वे गर्म जलवायु में रहते हैं और उन्हें तीव्र स्वाद पसंद है।
साधारण खाने वाले (The Mild Eaters): वे ठंडी जलवायु में रहते हैं और सादा, सरल भोजन पसंद करते हैं।
मीठा पसंद करने वाले (The Sweet Tooths): वे उष्णकटिबंधीय क्षेत्र में रहते हैं और केवल डेसर्ट खाते हैं।

पुराना तरीका (Standard Machine Learning):
अधिकांश शेफ (स्टैंडर्ड AI मॉडल्स) इन तीनों समूहों के सभी सामग्रियों का एक बड़ा बर्तन लेते हैं, उन्हें आपस में मिलाते हैं और एक "औसत" स्टू (stew) पकाते हैं।

समस्या: यह स्टू सभी के लिए ठीक है, लेकिन किसी के लिए भी बेहतरीन नहीं है। तीखा पसंद करने वालों को यह बहुत फीका लगेगा। साधारण खाने वालों को यह बहुत तीखा लगेगा। मीठा पसंद करने वाले सब्जियों को देखकर भ्रमित हो जाएंगे। यदि आप इसे एक नए समूह के लोगों (एक टेस्ट एनवायरनमेंट) को परोसते हैं जो प्रशिक्षण के दौरान वाले लोगों से भी अधिक चरम (extreme) हैं, तो यह व्यंजन पूरी तरह से आपदा साबित हो सकता है।

नया विचार (MaxRM Random Forests):
लेखक एक स्मार्ट रणनीति प्रस्तावित करते हैं जिसे मैक्सिमम रिस्क मिनिमाइजेशन (Maximum Risk Minimization - MaxRM) कहा जाता है। औसत व्यंजन बनाने के बजाय, वे पूछते हैं: "इन समूहों में से किसी भी समूह की सबसे खराब प्रतिक्रिया क्या हो सकती है, और मैं उस सबसे खराब प्रतिक्रिया को बेहतर बनाने के लिए रेसिपी में कैसे बदलाव कर सकता हूँ?"

वे अधिकतम निराशा (maximum disappointment) को कम करना चाहते हैं। उन्हें इस बात से फर्क नहीं पड़ता कि तीखा पसंद करने वाले कितने ज्यादा खुश हैं; उन्हें इस बात की चिंता है कि साधारण खाने वाले कितने नाखुश न हों।

यह वे कैसे करते हैं: शेफ का "जंगल" (The "Forest" of Chefs)

इसे हल करने के लिए, वे एक टूल का उपयोग करते हैं जिसे रैंडम फॉरेस्ट (Random Forest) कहा जाता है। कल्पना कीजिए कि आपके पास केवल एक शेफ नहीं है; आपके पास 100 अलग-अलग शेफ का एक पूरा जंगल है।

प्रत्येक शेफ भोजन चखता है और अपना छोटा सा समायोजन (adjustment) करता है।
एक स्टैंडर्ड फॉरेस्ट में, आप बस 100 शेफ की राय का औसत ले लेते हैं।
इस नए MaxRM फॉरेस्ट में, शेफ अलग तरह से मिलकर काम करते हैं। वे उन समूहों पर ध्यान केंद्रित करते हैं जिनके द्वारा भोजन को नापसंद करने की सबसे अधिक संभावना है (सबसे खराब स्थिति वाले परिदृश्य) और उन समूहों को बचाने के लिए विशेष रूप से रेसिपी को एडजस्ट करते हैं, भले ही इसके लिए दूसरों के लिए रेसिपी में थोड़ा बदलाव करना पड़े।

तीन रणनीतियाँ (कैसे करें - "How-To")

पेपर रेसिपी को एडजस्ट करने के तीन तरीकों का परीक्षण करता है:

"पोस्ट-हॉक" फिक्स (The Smart Tweak - बाद में किया गया सुधार):
- उपमा: शेफ पहले सामान्य रूप से स्टू पकाते हैं। फिर, वे विशेष रूप से तीखा पसंद करने वालों को ध्यान में रखकर उसे चखते हैं। यदि तीखा पसंद करने वाले इसे नापसंद करते हैं, तो वे वापस जाते हैं और केवल उस हिस्से के मसाले में बदलाव करते हैं जिसे तीखा पसंद करने वाले खाते हैं, बिना पूरे बर्तन को छेड़े।
- परिणाम: यह विजेता है। यह तेज़ है, सस्ता है और अविश्वसनीय रूप से अच्छा काम करता है। यह एक "सुरक्षा जाल" की तरह है जो मुख्य खाना पकाने के बाद सबसे खराब परिणामों को पकड़ लेता है।
"लोकल" फिक्स (The Local Fix):
- उपमा: हर बार जब एक शेफ एक नई सामग्री जोड़ता है, तो वह तुरंत जांचता है कि क्या इससे तीखा पसंद करने वालों को परेशानी हो रही है और उसे वहीं ठीक कर देता है।
- परिणाम: यह अच्छा काम करता है लेकिन इसे पकाने में बहुत समय लगता है (कंप्यूटेशनल रूप से महंगा है)।
"ग्लोबल" फिक्स (The Global Fix):
- उपमा: हर बार जब एक शेफ नमक का एक चुटकी डालता है, तो वह रुक जाता है और हर समूह के लिए पूरे बर्तन का पुनर्मूल्यांकन करता है ताकि संतुलन एकदम सही हो सके।
- परिणाम: यह सबसे गहन है लेकिन सबसे धीमा भी है। यह एक रूबिक क्यूब को हल करने जैसा है जहाँ हर चाल को हर संभावित परिणाम के विरुद्ध जांचा जाता है।

यह क्यों महत्वपूर्ण है (वास्तविक दुनिया का परीक्षण)

लेखकों ने एक वास्तविक समस्या पर इसका परीक्षण किया: कैलिफोर्निया में घरों की कीमतों की भविष्यवाणी करना।

समस्या: सैन फ्रांसिस्को में घरों की कीमतें ग्रामीण काउंटियों से बिल्कुल अलग होती हैं। एक मॉडल जो पूरे राज्य पर प्रशिक्षित है, वह सबसे महंगे या सबसे अनूठे क्षेत्रों में विफल हो जाता है।
परिणाम: उनका नया "MaxRM फॉरेस्ट" मानक मॉडलों की तुलना में सबसे कठिन काउंटियों (सबसे खराब स्थिति वाले परिदृश्यों) में कीमतों की भविष्यवाणी करने में बहुत बेहतर था। इसने केवल औसत का अनुमान नहीं लगाया; इसने यह सुनिश्चित किया कि जहाँ विफलता सबसे महंगी हो सकती है, वहाँ यह बुरी तरह विफल न हो।

मुख्य निष्कर्ष (The Big Takeaway)

एक ऐसी दुनिया में जहाँ डेटा कई अलग-अलग, बदलते स्रोतों (जैसे अलग-अलग मौसम के पैटर्न, अलग-अलग ग्राहक व्यवहार, या अलग-अलग चिकित्सा स्थितियां) से आता है, "सब कुछ औसत करने" का पुराना तरीका जोखिम भरा है।

यह पेपर हमें एक नया टूल देता है: एक ऐसा तरीका जो विशेष रूप से अपने सबसे बुरे दिन से बचने के लिए बनाया गया है। यह सुनिश्चित करता है कि भले ही भविष्य अतीत जैसा न हो, आपकी भविष्यवाणी विफल न हो। यह एक ऐसे घर को बनाने के बीच का अंतर है जो औसतन अच्छा दिखता है, और एक ऐसा घर बनाने का जो तूफान में भी ढहता नहीं है।

यहाँ Freni et al. के शोध पत्र "Maximum Risk Minimization with Random Forests" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रिग्रेशन (regression) परिवेश में आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण (generalization) की चुनौती को संबोधित करता है। पारंपरिक मशीन लर्निंग यह मानती है कि प्रशिक्षण (training) और परीक्षण (test) डेटा एक ही वितरण (distribution) से लिए गए हैं (i.i.d.)। हालाँकि, वास्तविक दुनिया के परिदृश्यों में, डेटा अक्सर कई अलग-अलग वातावरणों (environments) (जैसे, विभिन्न उप-जनसंख्याएँ, समय अवधि, या प्रयोगात्मक स्थितियाँ) से आता है जहाँ संयुक्त वितरण $P(X, Y)$ बदल सकता है।

लक्ष्य एक प्रेडिक्टर $f$ सीखना है जो देखे गए प्रशिक्षण वातावरणों $\mathcal{E}_{tr}$ के सेट में अधिकतम जोखिम (maximum risk) को कम करता है। इस सिद्धांत को मैक्सिमम रिस्क मिनिमाइजेशन (MaxRM) कहा जाता है, जो प्रशिक्षण वातावरणों के बीच सबसे खराब स्थिति (worst-case scenario) के लिए अनुकूलित होने का प्रयास करता है, जिससे उन अनदेखे परीक्षण वातावरणों के प्रति मजबूती (robustness) प्रदान होती है जो प्रशिक्षण वितरणों के उत्तल आवरण (convex hull) के भीतर आते हैं।

लेखक विशेष रूप से रैंडम फॉरेस्ट्स (Random Forests - RF) को अनुकूलित करने का लक्ष्य रखते हैं, जो एक अत्यधिक प्रभावी नॉन-पैरामीट्रिक एन्सेम्बल विधि है, ताकि MaxRM अनुकूलन समस्या को हल किया जा सके। मौजूदा MaxRM दृष्टिकोण अक्सर न्यूरल नेटवर्क (जो आर्किटेक्चर/हाइपरपैरामीटर के प्रति संवेदनशील होते हैं) या रैखिक मॉडल (जिनमें जटिल, शोर वाले डेटा के लिए लचीलेपन की कमी होती है) पर निर्भर करते हैं।

2. कार्यप्रणाली: MaxRM Random Forests (Methodology)

लेखक MaxRM-RF नामक एल्गोरिदमों के एक परिवार का प्रस्ताव करते हैं, जो वातावरणों में अधिकतम जोखिम को कम करने के लिए मानक रैंडम फॉरेस्ट्स को संशोधित करते हैं। वे तीन जोखिम परिभाषाओं पर विचार करते हैं:

मीन स्क्वेयर्ड एरर (MSE): मानक रिग्रेशन लॉस।
नेगेटिव रिवॉर्ड (NRW): एक नल मॉडल (null model) के सापेक्ष MSE (लिनियर मैक्सिमिन सेटिंग्स में उपयोग किया जाता है)।
रिग्रेट (Regret): फंक्शन क्लास $\mathcal{F}$ के भीतर सर्वोत्तम संभव प्रेडिक्टर के सापेक्ष MSE।

अनुकूलन समस्या को इस प्रकार स्वरूपित किया गया है:
$\min_{f \in \mathcal{F}} \max_{e \in \mathcal{E}_{tr}} \mathbb{E}_{P_e}[\ell(X, Y; f)]$

लेखक इसे प्राप्त करने के लिए तीन प्राथमिक रणनीतियाँ पेश करते हैं:

A. पोस्ट-हॉक एडजस्टमेंट (MaxRM-RF-posthoc)

तंत्र (Mechanism): मानक रैंडम फॉरेस्ट ट्री पहले बूटस्ट्रैप सैंपल्स और मानक स्प्लिटिंग मानदंडों का उपयोग करके उगाए जाते हैं। ट्री संरचना (इनपुट स्पेस का विभाजन) स्थिर होने के बाद, लीफ वैल्यूज ( $\theta$ ) को पुन: अनुकूलित किया जाता है।
अनुकूलन (Optimization): लीफ वैल्यूज को एक सेकंड-ऑर्डर कोन प्रोग्राम (SOCP) को हल करके निर्धारित किया जाता है, जो सभी वातावरणों में अधिकतम अनुभवजन्य जोखिम (empirical risk) को कम करता है।
लाभ: यह गणनात्मक रूप से कुशल है और बड़े डेटासेट के लिए स्केलेबल है।

B. लोकल स्प्लिटिंग स्ट्रैटेजी (MaxRM-RF-local)

तंत्र: ट्री निर्माण के दौरान, जब एक संभावित स्प्लिट (split) पर विचार किया जाता है, तो एल्गोरिदम सभी अन्य मौजूदा लीफ वैल्यूज को स्थिर रखते हुए नए चाइल्ड नोड्स के लिए लीफ वैल्यूज को अनुकूलित करता है।
प्रक्रिया: यह उस स्प्लिट का चयन करता है जो वातावरणों में अधिकतम जोखिम में सबसे बड़ी कमी लाता है।

C. ग्लोबल स्प्लिटिंग स्ट्रैटेजी (MaxRM-RF-global)

तंत्र: यह स्थानीय रणनीति के समान है, लेकिन प्रत्येक स्प्लिट के बाद, एल्गोरिदम केवल नए बनाए गए क्षेत्रों के बजाय ट्री के सभी क्षेत्रों के लिए लीफ वैल्यूज को एक साथ पुन: अनुकूलित करता है।
ट्रेड-ऑफ: हालांकि यह सैद्धांतिक रूप से अधिक शक्तिशाली है, लेकिन यह दृष्टिकोण गणनात्मक रूप से महंगा है।

D. ट्री वेटिंग (MaxRM-RF-w)

लीफ वैल्यूज को समान रूप से औसत करने ( $w_b = 1/B$ ) के बजाय, लेखक एन्सेम्बल के अधिकतम जोखिम को कम करने के लिए ट्री वेट्स $w$ को अनुकूलित करने का प्रस्ताव करते हैं। यह डेटा को दो सेटों में विभाजित करके किया जाता है: एक ट्री को प्रशिक्षित करने के लिए और दूसरा वेट्स को अनुकूलित करने के लिए।

अनुकूलन एल्गोरिदम (Optimization Algorithms):
लीफ वैल्यू ऑप्टिमाइज़ेशन (जो बड़े पैमाने का हो सकता है) को हल करने के लिए, लेखक प्रस्तावित करते हैं:

इंटिरियर-पॉइंट मेथड्स (Interior-point methods): डिफॉल्ट सॉल्वर (जैसे, CLARABEL, ECOS)।
एक्स्ट्राग्रेडिएंट मेथड (Extragradient Method): उन मामलों के लिए एक विकल्प जहाँ इंटीरियर-पॉइंट सॉल्वर विफल हो जाते हैं या बहुत धीमे होते हैं।
ब्लॉक-कोऑर्डिनेट डिसेंट (BCD): लीफ वैल्यूज के ब्लॉक्स को पुनरावृत्ति (iteratively) के माध्यम से अपडेट करता है।

3. प्रमुख योगदान (Key Contributions)

सैद्धांतिक गारंटी (Theoretical Guarantees)

ग्रुप DRO के साथ समानता: लेखक सिद्ध करते हैं (थ्योरम 3) कि प्रशिक्षण वातावरणों पर अधिकतम जोखिम को कम करना, प्रशिक्षण वितरणों के उत्तल आवरण (convex hull) ( $\mathcal{P}_{CVXH}$ ) पर सबसे खराब जोखिम को कम करने के बराबर है। यह MSE, नेगेटिव रिवॉर्ड, और रिग्रेट (रैंडम फॉरेस्ट्स के लिए एक नया विस्तार) के लिए लागू होता है।
अनदेखे वितरणों में सामान्यीकरण: यह मानते हुए कि कोवेरिएट वितरण (covariate distribution) वातावरणों में नहीं बदलता है, वे सिद्ध करते हैं कि MaxRM समाधान उस किसी भी वातावरण के लिए जोखिम को कम करता है जिसका कंडीशनल मीन (conditional mean) प्रशिक्षण कंडीशनल मीन के उत्तल आवरण में निहित है (प्रपोजिशन 6)।
कंसिस्टेंसी (Consistency): वे सिद्ध करते हैं कि पोस्ट-हॉक एडजस्टमेंट रणनीति के माध्यम से प्राप्त लीफ वैल्यूज जनसंख्या मिनिमाइजर्स (population minimizers) के सांख्यिकीय रूप से सुसंगत (statistically consistent) अनुमानक हैं (थ्योरम 12)। जैसे-जैसे सैंपल साइज $n \to \infty$ होता है, अनुभवजन्य समाधान जनसंख्या समाधान की ओर अभिसरित (converge) होता है।
मैगिंग (Magging) की सीमा: वे प्रदर्शित करते हैं (परिशिष्ट B) कि मैगिंग एस्टिमेटर (MaxRM के लिए एक पिछला स्टेट-ऑफ-द-आर्ट) तब अधिकतम जोखिम को कम करने में विफल रहता है जब कोवेरिएट वितरण ( $P_X$ ) वातावरणों के बीच बदलता है, जबकि MaxRM-RF सफल होता है।

एल्गोरिद्मिक नवाचार (Algorithmic Innovations)

न्यूरल नेटवर्क पर निर्भर रहे बिना मैक्सिमिन फ्रेमवर्क में रैंडम फॉरेस्ट्स का अनुकूलन।
MaxRM लीफ ऑप्टिमाइज़ेशन समस्या के लिए कुशल सॉल्वर (Extragradient, BCD) का विकास।
गैर-रेखीय, नॉन-पैरामीट्रिक सेटिंग के भीतर रिग्रेट रिस्क मेट्रिक के लिए MaxRM सिद्धांतों का विस्तार।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिम्युलेटेड डेटा (Simulated Data)

बेसलाइन के साथ तुलना: MaxRM-RF (विशेष रूप से पोस्ट-हॉक वेरिएंट) लगातार निम्नलिखित से बेहतर प्रदर्शन करता है:
- मानक रैंडम फॉरेस्ट (जो औसत जोखिम को कम करते हैं, सबसे खराब वातावरण को अनदेखा करते हैं)।
- न्यूरल नेटवर्क के साथ कार्यान्वित ग्रुप डिस्ट्रीब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन (Group DRO) (जिसने खराब प्रदर्शन किया और हाइपरपैरामीटर के प्रति संवेदनशील था)।
- मैगिंग (Magging): जब कोवेरिएट वितरण ( $P_X$ ) वातावरणों के बीच शिफ्ट होता है, तो MaxRM-RF, मैगिंग से काफी बेहतर प्रदर्शन करता है। मैगिंग केवल तभी अच्छा प्रदर्शन करता है जब $P_X$ अपरिवर्तित (invariant) हो।
रणनीति तुलना: पोस्ट-हॉक (Post-Hoc) रणनीति प्रदर्शन और गणनात्मक लागत के बीच सबसे अच्छा संतुलन प्रदान करती है, जो अधिक महंगी ग्लोबल रणनीति के लगभग समान परिणाम प्राप्त करती है लेकिन बहुत कम रनटाइम में।
मजबूती (Robustness): जैसे-जैसे वातावरणों की संख्या ( $K$ ) बढ़ती है, MaxRM-RF कम से कम सबसे खराब मामले की त्रुटि (worst-case error) बनाए रखता है।

वास्तविक दुनिया का डेटा (कैलिफोर्निया हाउसिंग)

डेटासेट: 20,640 ब्लॉक समूहों का उपयोग करके मेडियन हाउस वैल्यू की भविष्यवाणी करना, जहाँ काउंटियों को अलग-अलग वातावरण माना गया है।
सेटअप: क्रॉस-वैलिडेशन जहाँ मॉडलों को 20 काउंटियों पर प्रशिक्षित किया गया है और शेष काउंटियों पर परीक्षण किया गया है।
परिणाम: MaxRM-RF (MSE का उपयोग करके) ने 5 में से 4 फोल्ड्स में सबसे कम वर्स्ट-केस टेस्ट MSE प्राप्त किया, जिसमें 3 सुधार मानक रैंडम फॉरेस्ट की तुलना में सांख्यिकीय रूप से महत्वपूर्ण थे। इसने "कठिन" वातावरणों (जैसे, सैन फ्रांसिस्को, मारिन) के खिलाफ सफलतापूर्वक बचाव किया, जो मानक RF और लीनियर रिग्रेशन के लिए उच्च त्रुटि का कारण बनते थे।

5. महत्व और प्रभाव (Significance and Impact)

कारणता (Causality) और मजबूती (Robustness) को जोड़ना: यह कार्य MaxRM (वाया इनवेरियंस) के माध्यम से कॉज़ल इन्फरेंस की अवधारणा को रैंडम फॉरेस्ट के व्यावहारिक, उच्च-प्रदर्शन वाले उपकरण से जोड़ता है।
कोवेरिएट शिफ्ट को संभालना: पिछले MaxRM तरीकों (जैसे मैगिंग) के विपरीत, जो इनवेरिएंट कोवेरिएट्स का अनुमान लगाते हैं, यह विधि $P(Y|X)$ और मार्जिनल वितरण $P(X)$ दोनों के शिफ्ट के प्रति मजबूत है।
व्यावहारिक अनुप्रयोग: कुशल एल्गोरिदम और कंसिस्टेंसी सिद्ध करके, यह पेपर MaxRM को बड़े पैमाने के, शोर वाले रिग्रेशन समस्याओं के लिए सुलभ बनाता है जहाँ न्यूरल नेटवर्क बहुत अधिक जटिल या अस्थिर हो सकते हैं।
रिग्रेट मिनिमाइजेशन: रिग्रेट मिनिमाइजेशन का विस्तार मॉडल को क्लास के भीतर सर्वोत्तम संभव प्रेडिक्टर के सापेक्ष प्रदर्शन को मापने की अनुमति देता है, जो अधिक सूक्ष्म मजबूती गारंटी प्रदान करता है।

संक्षेप में, यह शोध पत्र MaxRM रैंडम फॉरेस्ट्स को मौजूदा OOD सामान्यीकरण विधियों के एक श्रेष्ठ, सैद्धांतिक रूप से आधारित और गणनात्मक रूप से व्यवहार्य विकल्प के रूप में स्थापित करता है, विशेष रूप से विषम डेटा वितरणों और कोवेरिएट शिफ्ट वाले परिदृश्यों में।