कल्पना कीजिए कि आप एक विशाल, उच्च-दांव वाले टैलेंट शो के मुख्य जज हैं। आपके पास हजारों प्रतियोगियों की एक विशाल सूची है, और आपको फाइनल में आगे बढ़ने के लिए शीर्ष 100 को चुनना है। अपना काम आसान बनाने के लिए, आप एक सुपर-स्मार्ट एआई (AI) सहायक को काम पर रखते हैं जो भीड़ को स्कैन करता है और आपको बताता है कि विजेता कौन हैं। लेकिन यहाँ एक पेंच है, वह एआई (AI) एकदम सटीक नहीं है, और जिस "स्कोरकार्ड" का उपयोग उसने अपने ट्रेनिंग डेटा से सीखने के लिए किया था, उसे एक शरारती ग्रीमलिन (gremlin) ने बिखेरा था। कुछ स्कोर गलत हैं, कुछ धुंधले हैं, और कुछ तो बस मनगढ़ंत हैं।

डेटा साइंस की दुनिया में, यह एक आम दुःस्वप्न है। वैज्ञानिक "कॉन्फॉर्मलाइज्ड सिलेक्शन" (conformalized selection) नामक एक तकनीक का उपयोग करके बेहतरीन उम्मीदवारों को चुनते हैं—जैसे कि सही दवा के अणुओं को खोजना या लाखों फोटो को लेबल करना। यह तरीका एक सुरक्षा जाल की तरह है; यह वादा करता है कि यदि आप कुछ संख्या में उम्मीदवारों को चुनते हैं, तो आप गलती से बहुत अधिक "नकली" (एक अवधारणा जिसे सांख्यिकीविद 'फॉल्स डिस्कवरी रेट' कहते हैं) नहीं चुन लेंगे। हालांकि, यह सुरक्षा जाल एक नाजुक धारणा पर बना था: कि एआई (AI) ने जिससे सीखा था, वह ट्रेनिंग डेटा पूरी तरह से साफ था। यदि वह डेटा "दूषित" (शोर वाला, गलत या छेड़छाड़ किया हुआ) है, तो सुरक्षा जाल टूट सकता है, जिससे बहुत सारे खराब उम्मीदवार अंदर आ सकते हैं, या यह इतना सख्त हो सकता है कि वह सबको खारिज कर दे, जिससे आपका मंच खाली रह जाए।

यह शोध पत्र, जिसका शीर्षक "Robust Conformalized Selection with Noisy Responses" है, इस समस्या से निपटता है कि क्या होता है जब इस सुरक्षा जाल का परीक्षण मैसे (messy) यानी अव्यवस्थित वास्तविक दुनिया के डेटा के खिलाफ किया जाता है। लेखक, चेंग्याओ यू, होंगक्सिन वे और बिंगयी जिंग, एक नया, अधिक मजबूत सुरक्षा जाल प्रस्तावित करते हैं जिसे Robust Conformalized Selection (RCS) कहा जाता है। शोर (noise) होने पर घबराने के बजाय, RCS शोर को एक विशिष्ट प्रकार के "शिफ्ट" (shift) के रूप में देखता है। यह अव्यवस्था को समायोजित करने के लिए एक चतुर सांख्यिकीय ट्रिक का उपयोग करता है, जो मूल रूप से यह कहता है, "ठीक है, स्कोरकार्ड थोड़े गलत हैं, लेकिन अगर हम इस पैटर्न को देखें कि वे कैसे गलत हैं, तो हम अभी भी विश्वसनीय रूप से विजेताओं को चुन सकते हैं।" सिमुलेशन और वास्तविक दुनिया के परीक्षणों के माध्यम से, लेखक दिखाते हैं कि जबकि पुराने तरीके या तो बहुत अधिक गलतियाँ होने देते हैं या इतने सतर्क हो जाते हैं कि वे सबको खारिज कर देते हैं, RCS त्रुटि दर को कम रखने में सक्षम है और साथ ही बहुत सारे अच्छे उम्मीदवारों को भी खोज निकालता है। यह एक तरीका है जिससे यह सुनिश्चित होता है कि आपका टैलेंट शो बेहतरीन एक्ट्स को चुने, भले ही जज के नोट्स क्रेयॉन (crayon) से लिखे गए हों।

समस्या: "नॉइजी" (Noisy) स्कोरकार्ड

आइए गहराई से समझते हैं कि यह क्यों महत्वपूर्ण है। कई वैज्ञानिक क्षेत्रों में, नए दवाओं की खोज से लेकर मानव भाषा को समझने के लिए एआई (AI) को प्रशिक्षित करने तक, शोधकर्ताओं को संभावनाओं के विशाल पूल में से छंटनी करनी पड़ती है। वे हर एक को हाथ से चेक नहीं कर सकते क्योंकि यह बहुत महंगा या समय लेने वाला है। इसलिए, वे यह अनुमान लगाने के लिए मशीन लर्निंग मॉडल पर भरोसा करते हैं कि कौन से अच्छे हैं।

इन भविष्यवाणियों को भरोसेमंद बनाने के लिए, वैज्ञानिक Conformalized Selection नामक एक विधि का उपयोग करते हैं। इसे एक गुणवत्ता नियंत्रण चेकपॉइंट की तरह समझें। मॉडल एक "कैलिब्रेशन सेट" (उदाहरणों का एक समूह जहाँ हमें उत्तर पता हैं) को देखता है ताकि यह सीख सके कि थ्रेशोल्ड (सीमा) कैसे निर्धारित की जाए। यदि किसी नए उम्मीदवार का स्कोर पर्याप्त रूप से उच्च है, तो उसे चुना जाता है। इस पद्धति का जादू यह गारंटी देना है कि आप कितनी बार "गलत" चुनाव करेंगे (फॉल्स डिस्कवरी रेट, या FDR)।

लेकिन पुराने तरीकों में एक बड़ी खामी है: वे मानते हैं कि कैलिब्रेशन सेट एकदम सटीक है। वास्तविक दुनिया में, डेटा शायद ही कभी सटीक होता है।

• क्राउडसोर्सिंग (Crowding): जब आप इंटरनेट पर हजारों लोगों से फोटो लेबल करने के लिए कहते हैं, तो कुछ थक सकते हैं, कुछ कार्य को समझ नहीं पाते, और कुछ बस अनुमान लगा सकते हैं।
• गोपनीयता (Privacy): कभी-कभी, लोगों की गोपनीयता की रक्षा के लिए (जैसे मेडिकल रिकॉर्ड में), डेटा को देखने से पहले जानबूझकर स्कैम्बल या "रैंडमाइज" किया जाता है।
• लैब त्रुटियां: ड्रग डिस्कवरी में, रासायनिक परीक्षणों में गड़बड़ी या भिन्नताएं हो सकती हैं जो परिणामों को थोड़ा गलत बना देती हैं।

जब आप इस "दूषित" या "नॉइजी" डेटा को पुराने चयन तरीकों में फीड करते हैं, तो गणित बिगड़ जाता है। लेखकों ने पाया कि पुराने तरीके या तो बहुत अधिक खराब उम्मीदवारों को अंदर आने देते हैं (FDR को नियंत्रित करने में विफल रहते हैं) या इतने डरे हुए हो जाते हैं कि वे लगभग सभी को खारिज कर देते हैं (अपनी "पावर" खो देते हैं, जो अच्छी चीजों को खोजने की क्षमता है)।

समाधान: "RCS" जासूस

लेखक इसे ठीक करने के लिए Robust Conformalized Selection (RCS) पेश करते हैं। उनकी मुख्य अंतर्दृष्टि कुछ ऐसी है जैसे कोई जासूस यह महसूस करता है कि "शोर" केवल यादृच्छिक अराजकता नहीं है; यह एक पैटर्न का पालन करता है।

कल्पना कीजिए कि आप एक बैरल में सबसे अच्छे सेब खोजने की कोशिश कर रहे हैं, लेकिन किसी ने कुछ सेबों को थोड़े अलग रंग की लाल रंग से पेंट कर दिया है। पुराना तरीका केवल रंग को देखेगा और भ्रमित हो जाएगा, या तो बहुत अधिक पेंट किए हुए सेब चुन लेगा या असली सेबों को मिस कर देगा।

RCS, हालांकि, समस्या को अलग तरह से देखता है। यह कहता है, "आइए सेबों को उस रंग के आधार पर समूहित करें जो एआई (AI) सोचता है कि वे हैं।" यदि एआई सोचता है कि एक सेब "लाल" है, तो RCS ट्रेनिंग बैरल में सभी "लाल" सेबों को देखता है। फिर, यह प्रत्येक सेब के लिए एक विशेष "वेट" (भार) की गणना करता है। यह भार एक विशिष्ट प्रश्न का उत्तर देता है: यह देखते हुए कि एआई सोचता है कि यह एक लाल सेब है, शोर के कारण इसकी कितनी संभावना है कि लेबल वास्तव में गलत है?

इन वेट्स (weights) का उपयोग करके, RCS इस "लेबल नॉइज़" की समस्या को "कोवेरिएट शिफ्ट" (covariate shift) की समस्या में बदल देता है। सरल शब्दों में, यह महसूस करने जैसा है कि शोर यादृच्छिक नहीं है; यह एक व्यवस्थित बदलाव है जिसे मापा और सुधारा जा सकता है। वे यह अनुमान लगाने के लिए कि वे कितनी गलत भविष्यवाणियां करने वाले हैं, "एम्पिरिकल-बेयस" (empirical-Bayes) नामक एक सांख्यिकीय दृष्टिकोण का उपयोग करते हैं, जो वास्तविक समय में शोर के लिए समायोजन करता है।

उन्होंने क्या पाया

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने इसका कड़ाई से परीक्षण किया।

1. सिमुलेशन: उन्होंने नकली डेटासेट बनाए जहाँ उन्हें पता था कि डेटा में कितना शोर (0% से 20% तक) है। उन्होंने RCS की तुलना पुराने तरीकों (जैसे "PSP" और "cfBH") से की।
   • परिणाम: पुराने तरीकों ने या तो त्रुटि दर को आसमान छूने दिया (FDR को नियंत्रित करने में विफल रहे) या वे इतने रूढ़िवादी हो गए कि उन्होंने लगभग कुछ भी नहीं पाया। दूसरी ओर, RCS ने त्रुटि दर को वहीं रखा जहाँ उसे होना चाहिए था (जैसे 5% या 10% का लक्ष्य स्तर), जबकि वह अभी भी बहुत बड़ी संख्या में सही उम्मीदवारों को खोज रहा था। कुछ मामलों में, RCS पुराने तरीकों की तुलना में काफी अधिक शक्तिशाली था, जिसने बिना हारियों को अंदर लिए बहुत अधिक "विजेताओं" को खोज निकाला।
2. वास्तविक दुनिया के परीक्षण: उन्होंने RCS को दो वास्तविक डेटासेट पर आजमाया:
   • CIFAR-10H: 10,000 छवियों का एक सेट जहाँ लेबल अमेज़न मैकेनिकल टर्क (जो शोर वाला माना जाता है) पर मानव श्रमिकों द्वारा दिए गए थे।
   • ACS इनकम डेटा: अमेरिकी आय रिकॉर्ड का एक डेटासेट जहाँ उन्होंने "डिफरेंशियल प्राइवेसी" (गोपनीयता की रक्षा के लिए डेटा को जानबूझकर स्कैम्बल करना) का अनुकरण किया।
   • परिणाम: दोनों मामलों में, RCS ने त्रुटि दर को सफलतापूर्वक नियंत्रित किया और मानक तरीकों की तुलना में अधिक उच्च-गुणवत्ता वाले उम्मीदवारों को खोजा। यहाँ तक कि जब उन्हें शोर की सटीक प्रकृति का पता नहीं था (मिज़-स्पेसिफाइड मॉडल्स), तब भी RCS मजबूत रहा और विफल नहीं हुआ।

यह क्यों मायने रखता है

यह शोध पत्र यह दावा नहीं करता है कि इसने ब्रह्मांड की हर डेटा समस्या को हल कर दिया है। यह विशेष रूप से उस अंतर को संबोधित करता है जहाँ मौजूदा तरीके विफल हो जाते हैं क्योंकि वे पूर्ण डेटा की धारणा रखते हैं। लेखक दिखाते हैं कि शोर को स्वीकार करके और गणितीय रूप से उसके लिए समायोजन करके, हम अभी भी विश्वसनीय, बड़े पैमाने पर चयन कर सकते हैं।

उन्होंने साबित किया कि RCS दो मुख्य प्रकार के कार्यों के लिए काम करता है:

1. वर्गीकरण (Classification): उन वस्तुओं को चुनना जो सही ढंग से लेबल की गई हैं (जैसे सही दवा या सही छवि खोजना)।
2. थ्रेशोल्ड सिलेक्शन (Threshold Selection): उन वस्तुओं को चुनना जिनका मान एक निश्चित रेखा से ऊपर है (जैसे ऐसी दवाएं खोजना जो एक लक्ष्य से मजबूती से जुड़ती हैं)।

लेखक इस बात पर जोर देते हैं कि उनकी विधि "रोबस्ट" (मजबूत) है, जिसका अर्थ है कि यह तब भी काम करती है जब आपको इस बात की सटीक जानकारी न हो कि डेटा कैसे खराब हुआ, बशर्ते आप शोर के सामान्य पैटर्न का अनुमान लगा सकें। उन्होंने यह भी दिखाया कि उनकी विधि "ऑप्टिमल" (इष्टतम) है, जिसका अर्थ है कि वे सैद्धांतिक रूप से संभव अधिकतम अच्छे उम्मीदवारों को खोजते हैं।

संक्षेप में, यदि आप एक वैज्ञानिक या डेटा विश्लेषक हैं जो शोर वाले डेटा के ढेर से सर्वश्रेष्ठ उम्मीदवारों को चुनने की कोशिश कर रहे हैं, तो RCS आपको एक नया, विश्वसनीय तरीका प्रदान करता है, जिससे आप हाथ खड़े करके यह नहीं कह सकते कि, "डेटा बहुत गंदा है कि इसका उपयोग किया जा सके।" यह "गंदे डेटा" की समस्या को एक हल करने योग्य गणितीय पहेली में बदल देता है, जिससे यह सुनिश्चित होता है कि आपके विजेताओं की अंतिम सूची वास्तव में पुरस्कार के योग्य है।