📊 statistics

Conformal Prediction Sets for Instance Segmentation

यह शोध पत्र एक कॉन्फॉर्मल प्रेडिक्शन एल्गोरिदम प्रस्तुत करता है जो इंस्टेंस सेगमेंटेशन के लिए एडेप्टिव कॉन्फिडेंस सेट्स उत्पन्न करता है, जो यह प्रमाणित गारंटी प्रदान करता है कि सेट के भीतर कम से कम एक प्रेडिक्शन ग्राउंड ट्रुथ के साथ उच्च इंटरसेक्शन-ओवर-यूनियन प्राप्त करता है और विविध अनुप्रयोगों में संरचनात्मक अनिश्चितता को प्रभावी ढंग से कैप्चर करता है।

मूल लेखक: Kerri Lu, Dan M. Kluger, Stephen Bates, Sherrie Wang

प्रकाशित 2026-07-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kerri Lu, Dan M. Kluger, Stephen Bates, Sherrie Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप शहर के एक जटिल मानचित्र को देख रहे हैं, और आप स्क्रीन पर एक विशिष्ट स्थान की ओर इशारा करते हैं। आप कंप्यूटर से पूछते हैं, "यह क्या है?"

इंस्टेंस सेगमेंटेशन (Instance Segmentation - जो कि किसी चित्र में व्यक्तिगत वस्तुओं को खोजने और उनकी रूपरेखा बनाने का एक तकनीकी शब्द है) की दुनिया में, वर्तमान AI मॉडल अति-आत्मविश्वासी टूर गाइड की तरह हैं। वे एक जगह की ओर इशारा करेंगे और कहेंगे, "यह निश्चित रूप से एक पार्क है," और उसके चारों ओर एक एकल, स्पष्ट रेखा खींच देंगे। वे अधिकांश समय सही हो सकते हैं, लेकिन वे कभी यह स्वीकार नहीं करते, "वास्तव में, यह क्षेत्र थोड़ा धुंधला दिख रहा है; यह एक पार्क हो सकता है, या शायद एक गोल्फ कोर्स, या शायद दो छोटे पार्क आपस में मिल गए हैं।" वे एक उत्तर के साथ उच्च आत्मविश्वास देते हैं, भले ही वे अनिश्चित हों।

यह शोध पत्र कंप्यूटर से पूछने का एक नया तरीका पेश करता है: "मुझे संभावनाओं की एक सूची दें, और मुझे वादा करें कि उनमें से एक सही है।"

यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "एक और बस एक ही" वाला गाइड

वर्तमान AI मॉडल केवल एक ही "सर्वश्रेष्ठ" उत्तर चुनने की कोशिश करते हैं। लेकिन वास्तविक जीवन में, चीजें अक्सर अस्पष्ट होती हैं।

समस्या: यदि आप एक AI को सैटेलाइट इमेज में एक खेत के मैदान की रूपरेखा बनाने के लिए कहते हैं, तो वह एक ऐसी रेखा खींच सकता है जो खेत को दो हिस्सों में काट देती है (यह सोचकर कि यह दो खेत हैं) या दो खेतों को एक में मिला देती है।
दोष: मॉडल को यह पता नहीं चलता कि वह भ्रमित है। वह बस आपको एक मास्क (एक डिजिटल आउटलाइन) देता है और कहता है, "यही सत्य है।" यदि वह गलत है, तो आपके पास कोई चेतावनी नहीं होती।

2. समाधान: विकल्पों का "सुरक्षा जाल" (Safety Net)

लेखकों ने कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction) नामक एक विधि बनाई है। AI से एक उत्तर मांगने के बजाय, वे इसे एक कॉन्फिडेंस सेट (Confidence Set) बनाने के लिए कहते हैं—जो उसी स्थान के लिए विभिन्न संभावित रूपरेखाओं की एक छोटी टोकरी है।

इसे मौसम के पूर्वानुमान की तरह समझें।

पुराना तरीका: "दोपहर 2 बजे बारिश होगी।" (यदि नहीं होती है, तो पूर्वानुमान गलत था)।
नया तरीका: "दोपहर 1 बजे और 3 बजे के बीच बारिश होने की 90% संभावना है।" (भले ही आप सटीक मिनट नहीं जानते, लेकिन आपके पास एक ऐसा विंडो है जहाँ सत्य होने की गारंटी है)।

इस शोध पत्र में, वह "विंडो" विभिन्न आकृतियों का एक सेट है। एल्गोरिदम वादा करता है: "मैं आपको 3 या 4 अलग-अलग रूपरेखाओं की एक सूची दूंगा। मैं गारंटी देता हूँ कि इनमें से कम से कम एक रूपरेखा उच्च सटीकता के साथ वास्तविक वस्तु से मेल खाती है।"

3. यह कैसे काम करता है: "ट्यूनिंग नॉब" रणनीति

इन विभिन्न विकल्पों को उत्पन्न करने का रहस्य उनके "ट्यून करने योग्य पैरामीटर" (जैसे कि वॉल्यूम नॉब या स्लाइडर) में छिपा है।

उपमा: एक रेडियो की कल्पना करें जिसका सिग्नल थोड़ा धुंधला है। यदि आप डायल को थोड़ा बाईं ओर घुमाते हैं, तो आप संगीत स्पष्ट रूप से सुनते हैं लेकिन कुछ शोर (static) के साथ। यदि आप इसे थोड़ा दाईं ओर घुमाते हैं, तो शोर गायब हो जाता है, लेकिन संगीत धीमा और अस्पष्ट हो जाता है। कोई भी एक सेटिंग हर गाने के लिए एकदम सही नहीं होती।
विधि: शोधकर्ता एक कैलिब्रेशन डेटासेट (ज्ञात उत्तरों वाला एक अभ्यास सेट) लेते हैं। वे कई अलग-अलग "डायल सेटिंग्स" के साथ AI का परीक्षण करते हैं।
- सेटिंग A 'फील्ड 1' के लिए बहुत अच्छी है लेकिन 'फील्ड 2' के लिए विफल रहती है।
- सेटिंग B 'फील्ड 1' के लिए विफल होती है लेकिन 'फील्ड 2' के लिए बिल्कुल सही काम करती है।
जादू: एल्गोरिदम इन सभी सेटिंग्स को देखता है और उन सेटिंग्स का एक न्यूनतम समूह (minimal group) चुनता है जो, एक साथ उपयोग किए जाने पर, अभ्यास सेट के लगभग हर परिदृश्य को कवर करते हैं।

जब एक नई, अज्ञात इमेज आती है, तो AI केवल "सर्वश्रेष्ठ" सेटिंग नहीं चुनता। यह उस इमेज को उन विशिष्ट सेटिंग्स के समूह के माध्यम से चलाता है और आपको मास्क की सूची प्रदान करता है।

4. "डुप्लिकेट" फ़िल्टर

कभी-कभी, अलग-अलग सेटिंग्स लगभग एक जैसी रूपरेखा बनाती हैं। सूची को उपयोगी बनाए रखने के लिए और उसे बहुत अधिक न भरने के लिए, सिस्टम में एक "डुप्लिकेट हटाने वाला" होता है।

उपमा: यदि आप रेस्टोरेंट्स की सूची मांगते हैं और आपको "द पिज्जा प्लेस," "द पिज्जा प्लेस (डाउनटाउन)," और "द पिज्जा प्लेस (मेन स्ट्रीट)" मिलता है, और वे सभी एक ही जगह हैं, तो आप केवल एक ही प्रविष्टि चाहते हैं।
सिस्टम लगभग समान दिखने वाले डुप्लिकेट्स को हटा देता है, ताकि यदि AI बहुत सुनिश्चित है, तो आपको केवल 1 या 2 विकल्प मिलें। यदि इमेज बहुत भ्रमित करने वाली (अस्पष्ट) है, तो सूची अधिक स्पष्ट संभावनाओं को शामिल करने के लिए बढ़ जाएगी।

5. वास्तविक दुनिया के परीक्षण

लेखकों ने तीन बहुत अलग कार्यों पर इसका परीक्षण किया:

खेत के मैदान: सैटेलाइट इमेज में आस-पास के खेतों के बीच अंतर करना (अक्सर यह बताना बहुत कठिन होता है कि एक कहाँ समाप्त होता है और दूसरा कहाँ शुरू होता है)।
कोशिकाएं (Cells): माइक्रोस्कोप इमेज में व्यक्तिगत कोशिकाओं की रूपरेखा बनाना (जहाँ कोशिकाएं अक्सर एक-दूसरे के ऊपर होती हैं)।
वाहन: सड़क के दृश्यों में कारों की पहचान करना।

परिणाम:

कवरेज: उनकी विधि ने मानक "सर्वश्रेष्ठ अनुमान" पद्धति की तुलना में अपने लक्ष्य (जैसे, "90% समय, हमारे मास्क में से एक सही है") को बहुत बेहतर तरीके से प्राप्त किया।
अनुकूलन क्षमता: जब इमेज स्पष्ट थी, तो सूची छोटी थी (कुशल)। जब इमेज अव्यवस्थित और भ्रमित करने वाली थी, तो सूची लंबी हो गई (सुरक्षित), यह सुनिश्चित करते हुए कि उपयोगकर्ता को गलत उत्तर न मिले।
संरचना: पुराने तरीकों के विपरीत जो केवल एक आकृति के किनारों को "धुंधला" करते थे, इस पद्धति ने संरचनात्मक रूप से भिन्न आकृतियाँ प्रदान कीं (उदाहरण के लिए, एक आकृति कह रही है "यह एक बड़ा खेत है," दूसरी कह रही है "यह दो छोटे खेत हैं")।

सारांश

यह शोध पत्र केवल AI को स्मार्ट नहीं बनाता; यह AI को ईमानदार बनाता है। यह स्वीकार करता है कि कभी-कभी एक ही सही उत्तर नहीं होता है। एक एकल, संभावित रूप से गलत रूपरेखा को थोपने के बजाय, यह संभावनाओं की एक क्यूरेटेड सूची प्रदान करता है और गारंटी देता है कि सत्य उस सूची में कहीं छिपा है। यह एक "अनुमान" को "सुरक्षा जाल" में बदल देता है।

तकनीकी सारांश: इंस्टेंस सेगमेंटेशन के लिए कॉन्फॉर्मल प्रेडिक्शन सेट्स

समस्या विवरण
वर्तमान इंस्टेंस सेगमेंटेशन मॉडल उच्च औसत प्रदर्शन प्राप्त करते हैं लेकिन उनमें सिद्धांतिक अनिश्चितता मात्रा निर्धारण (uncertainty quantification) का अभाव होता है। उनके आउटपुट, जैसे कि लॉजिट्स या कॉन्फिडेंस स्कोर, अक्सर अनकैलिब्रेटेड होते हैं, जो यह गारंटी नहीं देते कि एक अनुमानित मास्क ग्राउंड ट्रुथ के करीब है। मौजूदा अनिश्चितता मेट्रिक्स (जैसे कि बाउंड्री प्रोबेबिलिटीज) अक्सर अनकैलिब्रेटेड होते हैं और व्याख्या करने में कठिन होते हैं। इसके अलावा, सेगमेंटेशन के लिए हालिया कॉन्फॉर्मल प्रेडिक्शन दृष्टिकोण एक एकल मॉडल-अनुमानित मास्क (जैसे कि डाइलेशन या बाउंड्री एक्सपेंशन के माध्यम से) को संशोधित करने तक सीमित हैं। ये विधियाँ स्थानीय बाउंड्री अनिश्चितता को तो पकड़ती हैं, लेकिन स्ट्रक्चरल अनिश्चितता (structural uncertainty) को संबोधित करने में विफल रहती हैं—अर्थात वह अस्पष्टता कि क्या आसन्न क्षेत्रों (adjacent regions) को एक ही ऑब्जेक्ट माना जाना चाहिए या कई ऑब्जेक्ट्स में विभाजित किया जाना चाहिए। यह सीमा वास्तविक दुनिया के अनुप्रयोगों में महत्वपूर्ण है जहाँ सभी क्वेरीज़ के लिए एक एकल "सर्वश्रेष्ठ" पैरामीटर सेटिंग मौजूद नहीं हो सकती है।

कार्यप्रणाली (Methodology)
लेखक एक कॉन्फॉर्मल प्रेडिक्शन एल्गोरिदम प्रस्तावित करते हैं जो दिए गए इमेज और पिक्सेल कोऑर्डिनेट क्वेरी के लिए इंस्टेंस प्रेडिक्शन के एडेप्टिव कॉन्फिडेंस सेट्स (adaptive confidence sets) उत्पन्न करता है। यह विधि निम्नलिखित ढांचे के तहत कार्य करती है:

सेटिंग: इनपुट में एक इमेज $I$ और एक क्वेरी पॉइंट $(z_1, z_2)$ शामिल है। लक्ष्य उस ऑब्जेक्ट इंस्टेंस के लिए एक बाइनरी मास्क $Y$ प्रेडिक्ट करना है जिसमें क्वेरी स्थित है। यह विधि एक इंस्टेंस सेगमेंटेशन मॉडल $f$ का उपयोग करती है जो एक ट्यूनेबल पैरामीटर $T$ (जैसे कि वॉटरशेड थ्रेसहोल्ड, लॉजिट थ्रेसहोल्ड, या मास्क इंडेक्स) को स्वीकार करता है ताकि विविध प्रेडिक्शन $\hat{Y} = f(X, T)$ उत्पन्न किए जा सकें।
कैलिब्रेशन (Calibration): $n$ इमेज-क्वेरी पेयर्स और उनके ग्राउंड ट्रुथ मास्क के कैलिब्रेशन डेटासेट का उपयोग करके, एल्गोरिदम $k$ पैरामीटर मानों $\{t_1, \dots, t_k\}$ के ग्रिड द्वारा उत्पन्न प्रेडिक्शन के इंटरसेक्शन-ओवर-यूनियन (IoU) का मूल्यांकन करता है।
सेट कंस्ट्रक्शन (Set Cover): एक लक्षित IoU थ्रेसहोल्ड $\tau$ और एरर रेट $\alpha$ के लिए, एल्गोरिदम पैरामीटर इंडेक्स के एक न्यूनतम उपसमुच्चय (minimal subset) $J_{\alpha, \tau}$ की पहचान करता है ताकि सफल प्रेडिक्शन (वे जिनका IoU $> \tau$ है) का यूनियन कम से कम $(1-\alpha)n$ कैलिब्रेशन उदाहरणों को कवर करे। इस चरण को एक सेट कवर समस्या के रूप में तैयार किया गया है, जिसे सेट साइज को कम करने के लिए ग्रीडी एल्गोरिदम के बाद ब्रूट-फोर्स रिफाइनमेंट के माध्यम से हल किया जाता है।
प्रेडिक्शन: एक नए टेस्ट इनपुट के लिए, एल्गोरिदम चयनित पैरामीटर सबसेट $J_{\alpha, \tau}$ का उपयोग करके प्रेडिक्शन उत्पन्न करता है, जिससे प्रारंभिक कॉन्फिडेंस सेट $C_{\alpha, \tau}(X_{test})$ बनता है।
एडेप्टिव रिफाइनमेंट (डुप्लिकेट हटाना): रेडंडेंसी (redundancy) से बचने के लिए, एल्गोरिदम एक डोमिनेटिंग सेट अप्रोच का उपयोग करके निकट-डुप्लिकेट मास्क (जिन्हें सेकेंडरी IoU थ्रेसहोल्ड $\eta$ द्वारा परिभाषित किया गया है) को हटा देता है। इसके परिणामस्वरूप एक एडेप्टिव सेट साइज प्राप्त होता है जो क्वेरी की कठिनाई के आधार पर बदलता रहता है।
गारंटी: यह विधि गारंटी देती है कि $1-\alpha$ की प्रायिकता के साथ, अंतिम कॉन्फिडेंस सेट में कम से कम एक ऐसा मास्क होगा जिसका IoU एक पुन: कैलिब्रेटेड थ्रेसहोल्ड $\tilde{\theta}$ से अधिक होगा। एक फ़ाइनिट-सैंपल संस्करण भी सैंपल स्प्लिटिंग और कॉन्फॉर्मल रिस्क कंट्रोल (CRC) का उपयोग करके प्रदान किया गया है।

प्रमुख योगदान

नवीन फॉर्मूलेशन: यह पेपर स्ट्रक्चरल अनिश्चितता को कैप्चर करने वाला पहला कॉन्फॉर्मल प्रेडिक्शन फॉर्मूलेशन पेश करता है जो इंस्टेंस सेगमेंटेशन के लिए है। पूर्ववर्ती विधियों के विपरीत, जो एक एकल मास्क को विचलित (perturb) करती हैं, यह दृष्टिकोण कई मॉडल कॉन्फ़िगरेशन पर विविध सेगमेंटेशन प्रेडिक्शन का निर्माण करता है।
नॉन-मोनोटोन सेटिंग्स में व्यवहार्यता: इस विधि के लिए मोनोटोन लॉस फंक्शन की आवश्यकता नहीं है (जो मानक कॉन्फॉर्मल रिस्क कंट्रोल और 'लर्न देन टेस्ट' फ्रेमवर्क की एक आवश्यकता है)। यह IoU-आधारित लॉस फंक्शन्स के उपयोग की अनुमति देता है, जो सेगमेंटेशन पैरामीटर्स के संबंध में स्वाभाविक रूप से नॉन-मोनोटोन होते हैं।
एडेप्टिव कॉन्फिडेंस सेट्स: एल्गोरिदम ऐसे प्रेडिक्शन सेट्स बनाता है जिनका आकार क्वेरी की कठिनाई के आधार पर बदलता है, और यह उपयोगकर्ता को अभिभूत किए बिना एक अधिक सूचनात्मक प्रतिनिधित्व प्रदान करने के लिए डुप्लिकेट को हटा देता है।
सैद्धांतिक गारंटी: यह कार्य कवरेज के लिए एसिम्प्टोटिक (asymptotic) और फ़ाइनिट-सैंपल दोनों प्रकार की सैद्धांतिक गारंटी प्रदान करता है, जिससे यह सुनिश्चित होता है कि सेट में कम से कम एक प्रेडिक्शन ग्राउंड ट्रुथ के साथ उच्च IoU प्राप्त करता है।

प्रायोगिक परिणाम
एल्गोरिदम का मूल्यांकन तीन अलग-अलग कार्यों पर किया गया: कृषि क्षेत्र का सीमांकन (agricultural field delineation), सेल सेगमेंटेशन, और वाहन डिटेक्शन।

कवरेज: विधि ने लक्षित $(1-\alpha)$ के करीब एम्पिरिकल कवरेज प्राप्त किया, जो बेसलाइन से काफी बेहतर रहा। उदाहरण के लिए, वाहन डिटेक्शन में, कवरेज 66.1% (नेइव बेस्ट पैरामीटर बेसलाइन) से सुधरकर 84.3% हो गया।
बेसलाइन तुलना: "नेइव बेस्ट पैरामीटर" बेसलाइन (एक एकल वैश्विक पैरामीटर चुनना) और "मॉर्फोलॉजिकल डाइलेशन" बेसलाइन (एक एकल मास्क का विस्तार करना) स्ट्रक्चरल एम्बिग्युटी को कैप्चर करने में विफल रहे। प्रस्तावित विधि उन मामलों को सफलतापूर्वक रिकवर करने में सफल रही जहाँ बेसलाइन या तो ऑब्जेक्ट को ओवर-सेगमेंट या अंडर-सेगमेंट कर रही थी।
एडेप्टिविटी: प्रेडिक्शन सेट्स का आकार क्वेरी की कठिनाई के अनुसार अनुकूलित हुआ। संदिग्ध परिदृश्यों (जैसे कि फील्ड बाउंड्रीज़) में, सेट्स ने कई संभावित मास्क (5 तक) को शामिल करने के लिए विस्तार किया, जबकि स्पष्ट मामलों (जैसे कि स्पष्ट सेल्स) में, सेट्स सिकुड़कर आकार एक या दो रह गए।
थ्रेसहोल्ड्स: पुन: कैलिब्रेटेड IoU थ्रेसहोल्ड $\tilde{\theta}$ मूल लक्षित $\tau$ के करीब या उससे अधिक बना रहा, जो दर्शाता है कि डुप्लिकेट हटाने से कवरेज गारंटी में महत्वपूर्ण गिरावट नहीं आई।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य विविध सेगमेंटेशन प्रेडिक्शन के कॉन्फिडेंस सेट्स का निर्माण करके इंस्टेंस सेगमेंटेशन में स्ट्रक्चरल अनिश्चितता को कैप्चर करने वाला पहला कार्य है। इसका महत्व एक एकल "सर्वश्रेष्ठ" प्रेडिक्शन (जो स्ट्रक्चरल रूप से गलत हो सकता है) प्रदान करने के बजाय विविध हाइपोथीसिस का एक प्रमाणित सेट प्रदान करने की ओर शिफ्ट होने में निहित है। यह दृष्टिकोण इस बात को स्वीकार करता है कि संदिग्ध इमेजरी (जैसे कम कंट्रास्ट वाले खेत, ओवरलैपिंग सेल्स) में, एक एकल मास्क अक्सर पर्याप्त नहीं होता है। यह विधि सेगमेंटेशन मॉडल्स की विश्वसनीयता को स्पष्ट रूप से यह मात्रा निर्धारित करके औपचारिक रूप देती है कि सेट के भीतर वास्तविक ऑब्जेक्ट होने की कितनी संभावना है।

पेपर विनम्रतापूर्वक नोट करता है कि कॉन्फॉर्मल प्रेडिक्शन अंतर्निहित सेगमेंटेशन मॉडल की अंतर्निहित सीमाओं को दूर नहीं कर सकता; यदि मूल मॉडल एक निश्चित IoU प्राप्त नहीं कर सकता, तो कॉन्फिडेंस सेट इसकी गारंटी नहीं दे सकता। इसके अलावा, यह विधि एक ट्यूनेबल पैरामीटर के अस्तित्व पर निर्भर करती है जो सार्थक विविधता उत्पन्न करता है। लेखक भविष्य के कार्य के रूप में ऐसी ट्रेनिंग रणनीतियों के विकास की पहचान करते हैं जो स्पष्ट रूप से मास्क विविधता को प्रोत्साहित करती हैं, और कॉम्बिनेटोरियल ऑप्टिमाइजेशन स्टेप्स (सेट कवर और डुप्लिकेट रिमूवल) के लिए स्केलेबल एप्रोक्सिमेशन बनाने की दिशा में काम करने की आवश्यकता बताते हैं ताकि बड़े पैरामीटर स्पेस को संभाला जा सके।