तकनीकी सारांश: कॉन्फॉर्मल प्रेडिक्शन में कवरेज-लंबाई मीट्रिक पर सवाल उठाना

1. समस्या विवरण (Problem Statement)

कॉन्फॉर्मल प्रेडिक्शन (CP) वितरण-मुक्त अनिश्चितता मात्रा निर्धारण (distribution-free uncertainty quantification) के लिए एक मानक ढांचा है, जिसका मूल्यांकन आमतौर पर दो मीट्रिक का उपयोग करके किया जाता है: सीमांत कवरेज (marginal coverage - वह प्रायिकता कि वास्तविक लेबल भविष्यवाणी सेट के भीतर आता है) और अंतराल लंबाई (interval length - भविष्यवाणी सेट का आकार, जहाँ छोटा होना आम तौर पर सटीकता के लिए बेहतर माना जाता है)।

यह शोध पत्र मूल्यांकन प्रतिमान (evaluation paradigm) में एक महत्वपूर्ण अंतराल की पहचान करता है: यह धारणा कि यदि कोई विधि वैध कवरेज और छोटी औसत अंतराल लंबाई प्राप्त करती है, तो वह स्वाभाविक रूप से व्यावहारिक तैनाती के लिए बेहतर है। लेखक तर्क देते हैं कि ये मानक मीट्रिक "हैक" किए जा सकते हैं—अर्थात, ऐसे प्रति-सहज निर्माणों द्वारा जो अस्थिरता (एक ही इनपुट के लिए असंगत आउटपुट) और अन्याय (उपयोगकर्ताओं के एक समूह के लिए सूचनाहीन भविष्यवाणियां प्रदान करना) की कीमत पर, कवरेज बनाए रखते हुए कृत्रिम रूप से अंतराल की लंबाई को कम कर देते हैं।

2. कार्यप्रणाली: प्रिजुडिशियल ट्रिक (Prejudicial Trick - PT)

कवरेज-लंबाई मीट्रिक की अपर्याप्तता को प्रदर्शित करने के लिए, लेखक एक सैद्धांतिक निर्माण पेश करते हैं जिसे प्रिजुडिशियल ट्रिक (PT) कहा जाता है। PT किसी भी आधारभूत (base) CP एल्गोरिदम पर लागू किया जाने वाला एक पोस्ट-हॉक संशोधन है।

तंत्र (Mechanism):
एक लक्षित मिसकवरेज दर $\alpha$ के लिए, PT एक पैरामीटर $p \in (1-\alpha, 1)$ के साथ संभाव्यतात्मक रूप से कार्य करता है:

1. नुल असाइनमेंट (Null Assignment): $1-p$ प्रायिकता के साथ, एल्गोरिदम एक नुल सेट (वर्गीकरण के लिए खाली सेट या रिग्रेशन के लिए एकल बिंदु/शून्य-लंबाई वाला अंतराल) लौटाता है।
2. समायोजित असाइनमेंट (Adjusted Assignment): $p$ प्रायिकता के साथ, एल्गोरिदम एक समायोजित मिसकवरेज दर $\alpha' = 1 - \frac{1-\alpha}{p}$ का उपयोग करके निर्मित भविष्यवाणी अंतराल लौटाता है। चूंकि $p < 1$ है, इसलिए $\alpha' > \alpha$ है, जिसके परिणामस्वरूप इस विशिष्ट रन के लिए एक व्यापक अंतराल प्राप्त होता है।

सैद्धांतिक औचित्य (Theoretical Justification):

• कवरेज संरक्षण (Coverage Preservation): सीमांत कवरेज संरक्षित रहता है क्योंकि अपेक्षित कवरेज $p \times (1-\alpha') + (1-p) \times 0 = p(1 - (1 - \frac{1-\alpha}{p})) = 1-\alpha$ है।
• लंबाई में कमी (Length Reduction): औसत अंतराल की लंबाई कम हो जाती है क्योंकि नुल सेट्स (लंबाई 0) को समायोजित अंतरालों के साथ औसत किया जाता है। शोध पत्र उन पर्याप्त स्थितियों (जैसे, लेम्मा 3.6, थ्योरम 3.7) को व्युत्पन्न करता है जिनके तहत यह मिश्रण एक बेस एल्गोरिदम की तुलना में स्पष्ट रूप से छोटा अपेक्षित अंतराल देता है, विशेष रूप से मॉडल मिसस्पेसिफिकेशन (model misspecification) के परिदृश्यों में।

3. मुख्य योगदान (Key Contributions)

A. PT का सैद्धांतिक विश्लेषण

लेखक PT के व्यवहार को समझाने के लिए एक कठोर सैद्धांतिक ढांचा प्रदान करते हैं:

• कवरेज गारंटी: थ्योरम 3.3 सिद्ध करता है कि PT सीमांत कवरेज बनाए रखता है। इसके अलावा, यदि आधारभूत एल्गोरिदम कंडीशनल कवरेज (conditional coverage) को संतुष्ट करता है, तो PT इसे भी विरासत में प्राप्त करता है। रिमार्क 3.5 सुझाव देता है कि PT कुछ विशिष्ट परिस्थितियों में विशिष्ट उपसमुच्चयों (subsets) पर कंडीशनल कवरेज में बेस एल्गोरिदम से भी बेहतर प्रदर्शन कर सकता है।
• लंबाई में सुधार: थ्योरम 3.7 और 3.10 उन पर्याप्त स्थितियों (लंबाई फलन की अवकलनीयता और अवतलता शामिल करते हुए) को स्थापित करते हैं जिनके तहत PT औसत अंतराल की लंबाई को स्पष्ट रूप से कम करता है। लेखक नोट करते हैं कि मॉडल मिसस्पेसिफिकेशन एक सामान्य वास्तविक दुनिया का परिदृश्य है जो इन शर्तों को पूरा करता है।
• विफलता के मामले: उदाहरण 4 दर्शाता है कि PT हमेशा लंबाई को कम नहीं करता है (उदाहरण के लिए, जब नॉन-कन्फॉर्मिटी स्कोर गाऊसी वितरण का पालन करते हैं), जो यह उजागर करता है कि सुधार सार्वभौमिक नहीं है बल्कि विशिष्ट वास्तविक सेटिंग्स में संभव है।

B. अंतराल स्थिरता (Interval Stability) का परिचय

ऐसे भ्रामक सुधारों का पता लगाने के लिए, शोध पत्र एक नया नैदानिक मीट्रिक प्रस्तावित करता है: अंतराल स्थिरता (Interval Stability - IS)।

• परिभाषा: IS अंशांकन डेटा (calibration data) के सापेक्ष, कई रन के दौरान एक निश्चित परीक्षण बिंदु के लिए अंतराल के आकार (या सेट माप) के अपेक्षित विचरण (variance) को मापता है।
• उद्देश्य: यह भविष्यवाणी सेट की असंगतता को मापता है। उच्च IS इंगित करता है कि एक ही इनपुट बार-बार निष्पादन के दौरान अलग-अलग भविष्यवाणी सेट देता है, जो संभावित रूप से शून्य-अर्थ वाले यादृच्छिक तत्वों (vacuous randomness) पर निर्भरता का संकेत देता है।
• प्रपोजिशन 4.2: सिद्ध करता है कि PT स्वाभाविक रूप से गैर-शून्य अंतराल स्थिरता पेश करता है, जबकि नियतात्मक (deterministic) बेसलाइन में शून्य स्थिरता होती है।

C. अनुभवजन्य सत्यापन (Empirical Validation)

लेखक विभिन्न डेटासेट और कार्यों में अपने निष्कर्षों को सत्यापित करते हैं:

• रिग्रेशन और वर्गीकरण: MEPS, BIKE, और CONCRETE जैसे डेटासेट पर प्रयोग दिखाते हैं कि PT-VCP नाममात्र कवरेज बनाए रखते हुए छोटी औसत लंबाई प्राप्त करता है (तालिका 2)।
• स्थिरता मीट्रिक: तालिका 3 दर्शाती है कि जबकि मानक VCP में शून्य अंतराल स्थिरता है, PT-VCP महत्वपूर्ण अस्थिरता प्रदर्शित करता है। लोकलाइज्ड CP (Localized CP), जो यादृच्छिक प्रशिक्षण प्रक्रियाओं पर निर्भर करता है, गैर-शून्य स्थिरता भी दिखाता है, जो मीट्रिक को व्यावहारिक स्टोकेस्टिसिटी (stochasticity) से जोड़ता है।
• सामान्यीकरण (Generalizability): यह घटना विभिन्न आधारभूत एल्गोरिदम (VCP, CQR, RAPS) और मूल्यांकन मानदंडों (p-value आधारित दक्षता) में देखी गई है, जो यह सुझाव देती है कि जोखिम केवल औसत लंबाई तक सीमित नहीं है।

4. महत्व और दावे (Significance and Claims)

यह शोध पत्र PT को एक व्यावहारिक समाधान के रूप में दावा नहीं करता है; बल्कि, यह CP मूल्यांकन समुदाय के लिए एक चेतावनीपूर्ण उदाहरण और एक "तनाव परीक्षण" (stress test) के रूप में कार्य करता है।

• मानक मीट्रिक को चुनौती: प्राथमिक दावा यह है कि कवरेज-लंबाई मीट्रिक व्यावहारिक उपयोगिता का आकलन करने के लिए अपर्याप्त है। एक विधि इन मीट्रिक पर श्रेष्ठ दिखाई दे सकती है, जबकि वह अस्थिरता और अन्याय (उपयोगकर्ताओं के एक यादृच्छिक समूह को कोई जानकारी प्रदान न करना) के कारण उच्च-जोखिम वाली तैनाती में विफल हो सकती है।
• रक्षात्मक लक्ष्य: इस कार्य का उद्देश्य उन जटिल CP विधियों को अपनाने से रोकना है जो लंबाई में भ्रामक लाभ प्राप्त करने के लिए समान "ट्रिक्स" (यादृच्छिक निर्माण जो प्रति-इंसटेंस विश्वसनीयता को कम करते हैं) पर अप्रत्यक्ष रूप से निर्भर करती हैं।
• सिफारिश: लेखक अंतराल स्थिरता को एक पूरक नैदानिक उपकरण के रूप में शामिल करने की वकालत करते हैं। वे सुझाव देते हैं कि किसी भी यादृच्छिक CP पाइपलाइन को कवरेज और लंबाई के साथ स्थिरता मीट्रिक भी रिपोर्ट करना चाहिए ताकि यह सुनिश्चित हो सके कि सुधार वास्तविक हैं और शून्य-अर्थ वाले यादृच्छिक तत्वों के परिणाम नहीं हैं।

संक्षेप में, शोध पत्र तर्क देता है कि "छोटे अंतराल बेहतर नहीं होते" यदि उनकी कमी उन तंत्रों के माध्यम से प्राप्त की जाती है जो व्यक्तिगत उपयोगकर्ताओं के लिए भविष्यवाणियों की निरंतरता और विश्वसनीयता से समझौता करते हैं।