Auditing Conformal Prediction under Distribution Shift: A Detectability Boundary, Exact Label-Budget Design, and Repair

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं जिसने अपने गृहनगर में बारिश की भविष्यवाणी करने में वर्षों बिताए हैं। आपने एक ऐसी प्रणाली बनाई है जो कहती है, "मुझे 90% यकीन है कि कल बारिश होगी," और वर्षों से, यह 90% बार सही रही है। इस प्रणाली को कन्फॉर्मल प्रेडिक्शन (Conformal Prediction) कहा जाता है। यह एक चतुर तकनीक है जो कंप्यूटर को उनके अनुमानों के चारों ओर एक "सुरक्षा जाल" (safety net) देने की अनुमति देती है, यह वादा करते हुए कि वास्तविक उत्तर अधिकांश समय उस जाल के भीतर ही रहेगा, बिना यह जाने कि बादलों के पीछे भौतिकी के सटीक नियम क्या हैं।

लेकिन इसमें एक पेंच है, क्या होता है जब आप अपना मौसम स्टेशन किसी पूरी तरह से अलग शहर में ले जाते हैं? शायद आर्द्रता (humidity) अलग हो, या हवा एक नई दिशा से चल रही हो। इसे डिस्ट्रीब्यूशन शिफ्ट (Distribution Shift) कहा जाता है। हवा (डेटा) बदल गई है, लेकिन आपके पुराने नियम अभी भी ऑटोपायलट पर चल रहे हैं। आप अभी भी कह सकते हैं, "मुझे 90% यकीन है," लेकिन यदि मौसम के पैटर्न बदल गए हैं, तो आप अपनी सोच से कहीं अधिक बार गलत हो सकते हैं। वैज्ञानिकों के लिए बड़ा सवाल यह है: क्या आप केवल नए बादलों को देखकर यह बता सकते हैं कि आपका सुरक्षा जाल अभी भी काम कर रहा है या नहीं, बिना यह देखे कि वास्तव में बारिश हुई या नहीं?

यह शोध पत्र, जिसका शीर्षक है "Auditing Conformal Prediction under Distribution Shift," ठीक इसी पहेली को सुलझाता है। लेखिका, महा मौसा, एक नया सिस्टम पेश करती हैं जिसे ड्रिफ्टगार्ड (DriftGuard) कहा जाता है, जो इन प्रेडिक्शन सुरक्षा जालों के लिए एक गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) के रूप में कार्य करता है। यह कहानी एक आश्चर्यजनक सत्य प्रकट करती है: आप हमेशा केवल बादलों को देखकर यह नहीं बता सकते कि आपका सुरक्षा जाल टूट गया है। यदि मौसम का प्रकार बदल जाता है (जैसे बारिश का बर्फबारी में बदल जाना, भले ही बादल एक जैसे दिखें), तो आपका पुराना सिस्टम चुपचाप विफल हो सकता है। हालांकि, यह पेपर एक चतुर समाधान भी प्रदान करता है: वास्तविक बारिश के डेटा के एक छोटे, सावधानीपूर्वक चुने गए नमूने के साथ अपने जाल का परीक्षण करने का एक तरीका, जिससे यह सिद्ध हो सके कि क्या यह अभी भी काम कर रहा है, और यदि नहीं, तो इसे तुरंत कैसे ठीक किया जाए।

अदृश्य जाल: जब बादल एक जैसे दिखते हैं लेकिन बारिश अलग होती है

पेपर एक कठिन सीमा को समझाते हुए शुरू होता है। कल्पना कीजिए कि आपके पास एक मशीन है जो भविष्यवाणी करती है कि एक बाइक-शेयरिंग स्टेशन व्यस्त रहेगा या नहीं। आपने इसे यूटा के लोगन में एक धूप वाले गर्मियों के डेटा पर प्रशिक्षित किया है। अब, आप इसे काहिरा की एक बरसाती सर्दियों में तैनात करते हैं। मशीन मौसम (कोवेरिएट्स) को देखती है और बाइक की मांग का अनुमान लगाने की कोशिश करती है।

शोधकर्ताओं ने पाया कि आप आसानी से देख सकते हैं कि क्या मौसम बदल गया है। यदि नया डेटा पुराने डेटा से बहुत अलग दिखता है, तो आप कह सकते हैं, "अरे, बादल अजीब लग रहे हैं!" इसे कोवेरिएट शिफ्ट (Covariate Shift) कहा जाता है। ड्रिफ्टगार्ड सिस्टम इस अंतर को माप सकता है कि नया डेटा पुराने डेटा से कितना अलग है। यह "इफेक्टिव सैंपल साइज" (ESS) नामक एक स्कोर की गणना करता है, जो यह पूछने जैसा है कि, "इनमें से कितने नए दिन वास्तव में उन दिनों की तरह हैं जिनके लिए मैंने प्रशिक्षण लिया था?" यदि स्कोर कम है, तो यह एक चेतावनी का संकेत है।

लेकिन यहाँ बड़ी खोज है: आप केवल बादलों को देखकर यह पता नहीं लगा सकते कि खेल के नियम बदल गए हैं। इसे कॉन्सेप्ट शिफ्ट (Concept Shift) कहा जाता है। कल्पना कीजिए कि मौसम बिल्कुल वैसा ही दिखता है (धूप वाला, 75°F), लेकिन अचानक, नए शहर में लोग एक नए उत्सव के कारण दोगुनी बाइक चलाने का निर्णय लेते हैं। इनपुट (मौसम) वही है, लेकिन आउटपुट (बाइक की मांग) बदल गया है।

यह पेपर गणितीय रूप से सिद्ध करता है कि नया मौसम डेटा देखने मात्र से आप यह नहीं जान सकते कि बाइक की मांग बदल गई है। यह जादूगर के हाथों को देखकर यह अनुमान लगाने की कोशिश करने जैसा है कि क्या खेल का नियम बदल गया है; यदि हाथ एक जैसे दिखते हैं, तो आप नहीं जान सकते कि टोपी के अंदर खरगोश है या जादूगर अब हवा से मुर्गी निकाल रहा है। लेखिका इसे "डिटेक्टेबिलिटी बाउंड्री" (Detectability Boundary) कहती हैं। वास्तविक परिणामों (बाइक की संख्या) को देखे बिना, आप इस प्रकार की विफलता के प्रति अंधे हैं।

दो चरणों वाला जासूस: ड्रिफ्टगार्ड और ड्रिफ्टगार्ड-एल

इसे हल करने के लिए, पेपर ड्रिफ्टगार्ड (DriftGuard) नामक एक दो-चरणीय जासूसी कहानी प्रस्तावित करता है।

चरण 1: लेबल-मुक्त ऑडिट (The "Look-See")
सबसे पहले, सिस्टम बिना किसी उत्तर की आवश्यकता के नए डेटा को देखता है। यह पुराने और नए डेटा के बीच "ओवरलैप" की जाँच करता है।

• ओवरलैप स्कोर: यह 0 और 1 के बीच की एक संख्या है। यदि यह उच्च है (1 के करीब), तो नया डेटा पुराने डेटा के बहुत समान है। यदि यह कम है, तो नया डेटा एक "विदेशी" क्षेत्र में है।
• चेतावनी: यदि ओवरलैप कम है, तो सिस्टम आपको चेतावनी देता है कि आपका सुरक्षा जाल बहुत अधिक खिंच गया हो सकता है। यह एक जोखिम भरा अनुमान लगाने के बजाय यह भी कह सकता है, "मुझे नहीं पता, मैं इससे बच रहा हूँ (abstaining)।"
• कैच (Catch): भले ही ओवरलैप उच्च हो, सिस्टम स्वीकार करता है कि वह अभी भी यह नहीं जानता कि नियम बदले हैं या नहीं (कॉन्सेप्ट शिफ्ट)। यह केवल इतना कह सकता है, "बादल परिचित लग रहे हैं," न कि "बारिश उसी तरह होगी।"

चरण 2: लेबल-बजट ऑडिट (The "Spot Check")
यहीं से पेपर वास्तव में चतुर हो जाता है। चूंकि आप परिणामों को देखे बिना निश्चित रूप से नहीं जान सकते, इसलिए लेखक एक "लेबल-बजट" का सुझाव देते हैं। यह एक मैनेजर द्वारा यह कहने जैसा है, "हम हर एक बाइक की जाँच नहीं कर सकते, लेकिन हम 50 को जाँचने के लिए भुगतान कर सकते हैं।"

• सटीक परीक्षण: सिस्टम नए डेटा के एक छोटे, यादृच्छिक नमूने (जैसे, 50 बाइक काउंट) को चुनता है और जाँचता है कि क्या सुरक्षा जाल उन्हें पकड़ पाता है।
• गणित: वे एक सटीक सांख्यिकीय परीक्षण का उपयोग करते हैं यह कहने के लिए कि, "यदि हमारा सुरक्षा जाल काम कर रहा होता, तो इतने अधिक मिस होने की संभावना केवल 5% होती।" यदि मिस बहुत अधिक हैं, तो सिस्टम जान जाता है कि जाल टूट गया है।
• सुधार (The Fix): यदि जाल टूटा हुआ है, तो सिस्टम हार नहीं मानता। यह उन 50 नए उत्तरों का उपयोग करके सुरक्षा जाल को पुनर्गठित (recalibrate) करता है। यह जाल को छोटा या बड़ा करता है ताकि यह नई वास्तविकता को फिर से पकड़ सके।

प्रमाण: सिमुलेशन और वास्तविक दुनिया की बाइक

लेखक ने केवल बात नहीं की; उन्होंने सिमुलेशन और वास्तविक डेटा के साथ इसका परीक्षण किया।

गौसियन प्रयोग (The Gaussian Experiments):
एक नियंत्रित कंप्यूटर सिमुलेशन में जहाँ वे जानते थे कि डेटा कैसे बदल रहा है, उन्होंने पाया कि जब "मौसम" भारी रूप से बदला, तो पुराना सुरक्षा जाल विफल हो गया। इसने वादे के अनुसार 90% के बजाय केवल 78.9% बार सही उत्तर पकड़ा।

• सुधार: जब उन्होंने नए "वेटेड" (Weighted) तरीके का उपयोग किया (जो अलग-अलग मौसम को ध्यान में रखता है), तो पकड़ दर बढ़कर 92.6% हो गई।
• कैच-22 (The Catch-22): हालाँकि, एक महत्वपूर्ण सूक्ष्मता है। यदि सिस्टम इन अनुपातों को पूरी तरह से जाने बिना (अनुमानित भार का उपयोग करके) मौसम के अनुपातों का अनुमान लगाने की कोशिश करता है, तो विधि एक अनुमान (approximation) बन जाती है, न कि एक सटीक गारंटी। पेपर दिखाता है कि इन अनुपातों का अनुमान लगाने में त्रुटियों का अर्थ है कि सुरक्षा जाल अब गणितीय रूप से पूर्ण नहीं है। कभी-कभी, गलत सुरक्षा का अहसास देने से बचने के लिए, सिस्टम को यह स्वीकार करना पड़ता है कि वह नहीं जानता (अनंत अंतराल देना या बचना), या यह अनजाने में यह छिपा सकता है कि यह कम कवरेज दे रहा है।

बाइक शेयरिंग टेस्ट:
सबसे रोमांचक हिस्सा वाशिंगटन डी.सी. के कैपिटल बाइकशेयर सिस्टम के वास्तविक डेटा पर किया गया परीक्षण था। उन्होंने 2011 के मॉडल को लिया और उसे 2012 में उपयोग करने का प्रयास किया।

• विफलता: पुराना मॉडल 2012 में बहुत खराब था। इसने केवल 56% बार सही उत्तर पकड़ा! "सुरक्षा जाल" में ट्रक के आकार के छेद थे।
• मरम्मत: उन्होंने इंतजार किया जब तक कि उनके पास 2012 के पहले तीन महीनों से 2,176 बाइक काउंट (विलंबित लेबल) नहीं आ गए। उन्होंने इनका उपयोग जाल को ठीक करने के लिए किया।
• परिणाम: सुधार के बाद, सुरक्षा जाल ने 88.4% उत्तरों को पकड़ा। यह पूर्ण नहीं था, लेकिन 56% की आपदा से यह एक बड़ा सुधार था।

"डबल रूप से मजबूत" तुलना (The "Double Robust" Comparison):
पेपर ने "डबली रोबस्ट कैलिब्रेशन" नामक एक अन्य उन्नत विधि के साथ भी तुलना की। उन्होंने पाया कि यदि आप अपना गणित सही करते हैं तो यह अन्य विधि बहुत अच्छा काम करती है। लेकिन यदि आप गणित के एक भी हिस्से को गलत करते हैं, तो यह पुराने तरीके की तरह ही बुरी तरह विफल हो जाती है। ड्रिफ्टगार्ड का दृष्टिकोण अलग है: यह जटिल गणित का अनुमान लगाने की कोशिश नहीं करता; यह बस काम की जाँच करने के लिए कुछ वास्तविक उत्तरों की मांग करता है।

निष्कर्ष: आप क्या जान सकते हैं और क्या नहीं

पेपर वास्तविक दुनिया में एआई का उपयोग करने वाले किसी भी व्यक्ति के लिए एक बहुत ही महत्वपूर्ण संदेश के साथ समाप्त होता है: सुरक्षा जाल पर केवल इसलिए भरोसा न करें क्योंकि यह अच्छा दिखता है।

1. आप पता लगा सकते हैं कि क्या डेटा अलग दिख रहा है। (बादल बदल गए हैं)।
2. आप परिणामों को देखे बिना यह पता नहीं लगा सकते कि नियम बदल गए हैं। (बारिश बर्फबारी में बदल गई है)।
3. निश्चित होने के लिए आपको वास्तविक परिणामों के एक छोटे, यादृच्छिक नमूने की आवश्यकता है। ("लेबल बजट")।
4. यदि जाल टूटा हुआ है, तो आप उस छोटे नमूने के साथ इसे ठीक कर सकते हैं। (पुनर्गठन)।

लेखक इस बात पर जोर देते हैं कि यह कोई जादुई छड़ी नहीं है। यदि आप केवल 25 बाइक की जाँच करते हैं, तो आप एक छोटी समस्या को मिस कर सकते हैं। लेकिन यदि आप 100 की जाँच करते हैं, तो आप बहुत आश्वस्त हो सकते हैं। और यदि आप 200 की जाँच करते हैं, तो आप जाल को फिर से काम करने के लिए ठीक कर सकते हैं।

पेपर कहता है कि भविष्य में, कंपनियों को केवल एआई तैनात करके और उम्मीद करके छोड़ नहीं देना चाहिए। उनके पास ऑडिट के लिए एक "ब्लूप्रिंट" होना चाहिए: ओवरलैप की जाँच करें, वास्तविक परिणामों की जाँच के लिए एक बजट निर्धारित करें, और पुनर्गठित करने के लिए तैयार रहें। यह "एआई के चुपचाप विफल होने" के डरावने विचार को जाँच और सुधार की एक प्रबंधनीय, चरण-दर-चरण प्रक्रिया में बदल देता है।

संक्षेप में, ड्रिफ्टगार्ड इस बात की याद दिलाता है कि बदलती दुनिया में, यह जानने का एकमात्र तरीका कि आपका मानचित्र अभी भी सटीक है या नहीं, यह है कि कभी-कभी लैंडमार्क की जाँच के लिए रुकना। और यदि मानचित्र गलत है, तो आपको पूरी दुनिया को फिर से बनाने की आवश्यकता नहीं है—आपको बस कुछ नए बिंदुओं का उपयोग करके इसके पैमाने को समायोजित करने की आवश्यकता है।