Unmasking Removal-Budget Confounding: A Matched Operating-Point Evaluation Framework for Adaptive Data Cleaning

कल्पना कीजिए कि आप एक जासूस हैं जो असली हीरों के एक विशाल बैग में छिपे कुछ नकली हीरे खोजने की कोशिश कर रहे हैं। आपका काम बैग को छाँटना है, असली रत्नों को रखना और नकलीों को फेंक देना है। लेकिन पेच यह है कि बैग बहुत अस्त-व्यस्त है। कुछ असली हीरे थोड़े धुंधले दिख सकते हैं, और कुछ नकली पत्थर आश्चर्यजनक रूप से चमकदार दिख सकते हैं। आपकी मदद के लिए, आपके पास एक विशेष स्कैनर है जो हर पत्थर को एक "जोखिम स्कोर" (risk score) देता है। यदि स्कोर अधिक है, तो आप पत्थर को फेंक देते हैं; यदि यह कम है, तो आप उसे रखते हैं।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, डेटा क्लीनिंग (data cleaning) के साथ बिल्कुल यही होता है। AI मॉडल भारी मात्रा में डेटा (जैसे लाखों तस्वीरें) पढ़कर सीखते हैं। लेकिन कभी-कभी, डेटा "दूषित" (corrupted) हो जाता है—शायद बिल्ली की फोटो को गलती से कुत्ते के रूप में लेबल कर दिया गया है, या छवि धुंधली है। यदि AI इन गलतियों से सीखता है, तो वह भ्रमित हो जाता है और अविश्वसनीय बन जाता है। इसे ठीक करने के लिए, वैज्ञानिक एडेप्टिव डेटा क्लीनिंग (adaptive data cleaning) का उपयोग करते हैं। एक कठोर नियम का पालन करने के बजाय जैसे कि "किसी भी चीज़ को फेंक दो जो 50% धुंधली दिखे," ये स्मार्ट सिस्टम एक स्कैनर का उपयोग करते हैं जो हर डेटा के टुकड़े के लिए जोखिम स्कोर की गणना करता है और फिर तय करता है कि क्या रखना है और क्या नहीं। इसे एक पार्टीशन (partition) के आधार पर किया जाता है। पार्टीशन को डिब्बों के एक सेट के रूप में सोचें, जहाँ आप पत्थरों को उनके जोखिम के आधार पर "रखने वाले" (Keep) डिब्बे और "फेंकने वाले" (Throw Away) डिब्बे में छाँटते हैं। इन डिब्बों की संख्या को ग्रैनुलैरिटी (granularity) कहा जाता है।

बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं, वह है: "कौन सी सफाई विधि सबसे अच्छी है?" आमतौर पर, वे केवल परिणामों को देखते हैं और कहते हैं, "वाह, विधि A ने विधि B की तुलना में कम नकली पत्थर फेंके!" लेकिन यह शोध पत्र सुझाव देता है कि यह एक जाल हो सकता है। वास्तव में, डिब्बों की संख्या (ग्रैनुलैरिटी) बदलना न केवल यह बदल देता है कि आप नकली पत्थरों को कितनी अच्छी तरह ढूंढते हैं; यह यह भी बदल देता है कि आप कुल कितने पत्थर फेंकने का निर्णय लेते हैं। यदि आप कुल मिलाकर कम पत्थर फेंकते हैं, तो आप स्वाभाविक रूप से गलती से कम गलतियाँ करते हैं, भले ही आपका स्कैनर वास्तव में नकलीों को पहचानने में बेहतर न हो। यह शोध पत्र इस बात की जांच करता है कि क्या हम उन पत्थरों के "बजट" से ठगे जा रहे हैं जिन्हें हम हटा रहे हैं, या हम वास्तव में खराब डेटा को पहचानने के बेहतर तरीके खोज रहे हैं।

---

द ग्रेट सॉर्टिंग ट्रैप: क्यों "बेहतर" होने का मतलब सिर्फ "कम" होना हो सकता है

इस अध्ययन में, वेई-ह्सियांग चेन और उनके सहयोगियों के नेतृत्व में शोधकर्ताओं ने एक बहुत ही विशिष्ट प्रकार की जादूगरी के साथ जासूसी करने का निर्णय लिया। वे देखना चाहते थे कि डेटा क्लीनिंग में लोग जो "सुधार" देख रहे थे, वे वास्तविक थे, या यह उन वस्तुओं की संख्या के कारण एक भ्रम था जिन्हें हटाया जा रहा था।

कल्पना कीजिए कि आपके पास अपने पत्थरों के बैग को छाँटने के दो अलग तरीके हैं।

• विधि A एक सरल नियम का उपयोग करती है: "यदि कोई पत्थर थोड़ा भी संदिग्ध दिखता है, तो उसे फेंक दो।" यह एक कोर्स पार्टीशन (coarse partition - कम डिब्बे) है। यह बहुत सारे पत्थर फेंक देती है, इसलिए यह लगभग सभी नकली पत्थरों को पकड़ लेती है, लेकिन यह गलती से कुछ असली हीरे भी फेंक देती है।
• विधि B एक शानदार, विस्तृत नियम का उपयोग करती है: "केवल उन पत्थरों को फेंकें जो बहुत संदिग्ध दिखते हैं।" यह एक फाइन पार्टीशन (fine partition - अधिक डिब्बे) है। यह कुल मिलाकर कम पत्थर फेंकती है। क्योंकि यह कम चीजें फेंकती है, इसलिए यह स्वाभाविक रूप से गलती से कम गलतियाँ करती है।

समस्या यह है कि यदि आप केवल अंतिम स्कोर को देखते हैं, तो विधि B एक जीनियस की तरह दिखती है क्योंकि इसमें कम "गलत अलार्म" (असली हीरे फेंकना) होते हैं। लेकिन शोधकर्ताओं को संदेह था कि विधि B नकलीों को पहचानने में वास्तव में अधिक स्मार्ट नहीं थी; यह बस यह तय करने में अधिक रूढ़िवादी (conservative) थी कि वह कितने पत्थर फेंक रही है। वे इस समस्या को रिमूवल-बजट कॉन्फ़ाउंडिंग (removal-budget confounding) कहते हैं। यह एक सुरक्षा गार्ड के बारे में कहने जैसा है जो चोरों को पकड़ने में बेहतर है क्योंकि उसने लोगों के 90% हिस्से को बिना जांचे इमारत से बाहर जाने देने का फैसला किया। बेशक, उन्होंने कम निर्दोष लोगों को पकड़ा, लेकिन उन्होंने बहुत से चोरों को भी छोड़ दिया!

प्रयोग: नियमों का मिलान करना

इस रहस्य को सुलझाने के लिए, टीम ने इन सफाई विधियों का परीक्षण करने का एक नया तरीका बनाया। प्रत्येक विधि को अपने स्वयं के "बजट" (अपने डिब्बे और हटाने के अपने नियम) का उपयोग करने देने के बजाय, उन्होंने उन्हें एक ही नियमों के तहत खेलने के लिए मजबूर किया। उन्होंने एक मैच्ड-बजट (Matched-Budget) परीक्षण बनाया।

यह इस प्रकार काम करता था:

1. उन्होंने एक विधि ली जो आमतौर पर 100 पत्थर फेंक देती है।
2. उन्होंने एक ऐसी विधि ली जो 50 पत्थर फेंकती है।
3. उन्होंने दोनों विधियों को ठीक 50 पत्थर फेंकने के लिए मजबूर किया।
4. फिर, उन्होंने पूछा: "उस विशिष्ट 50 के समूह में उन्होंने अधिक नकली पत्थर खोजे?"

उन्होंने एक मैच्ड-रिकॉल (Matched-Recall) परीक्षण भी चलाया, जहाँ उन्होंने दोनों विधियों को ठीक समान संख्या में नकली पत्थर पकड़ने के लिए मजबूर किया, और फिर पूछा: "इसे करने के लिए उन्होंने कितने कम असली हीरे फेंके?"

बड़ा आश्चर्य: अधिकांश "सुधार" गायब हो गए

जब उन्होंने इन परीक्षणों को दो प्रसिद्ध इमेज डेटासेट्स (CIFAR-10 और ImageNet-100) पर चलाया, तो परिणाम चौंकाने वाले थे।

शोधकर्ताओं ने एक नया, शानदार सफाई सिस्टम डिज़ाइन किया जिसका परीक्षण किया गया। इस सिस्टम ने अतिरिक्त सुरागों का उपयोग किया, जैसे कि एक तस्वीर AI के लिए सीखने में कितनी कठिन थी, और "साफ-लेकिन-कठिन" (clean-but-difficult) तस्वीरों को अलग करने की कोशिश की (वे असली हीरे जो थोड़े धुंधले दिखते हैं)। जब उन्होंने पुराने, "नेटिव" तरीके (प्रत्येक विधि को अपना बजट उपयोग करने देना) का उपयोग करके परिणामों को देखा, तो नया सिस्टम अद्भुत लगा। ऐसा लगा कि यह बहुत अधिक नकली पाता है और बहुत कम गलतियाँ करता है।

लेकिन जब उन्होंने नए "मैच्ड-बजट" परीक्षण पर स्विच किया? जादू गायब हो गया।

एक बार जब उन्होंने नए सिस्टम को पुराने, सरल सिस्टम के समान संख्या में पत्थर फेंकने के लिए मजबूर किया, तो प्रदर्शन का बड़ा अंतर खत्म हो गया। "सुधार" लगभग पूरी तरह से इस कारण से थे कि नया सिस्टम उन पत्थरों को फेंकने के मामले में अधिक सावधान था जिन्हें वह हटा रहा था, न कि इसलिए कि वह वास्तव में नकलीों को पहचानने में बेहतर था। शोधकर्ताओं ने पाया कि कम-से-मध्यम भ्रष्टाचार (जैसे 5% से 20% खराब डेटा) के लिए, 2, 3 या 4 डिब्बे उपयोग करने के बीच का अंतर पूरी तरह से इस "बजट" प्रभाव के कारण था।

ग्रैनुलैरिटी वास्तव में कब मायने रखती है?

तो, क्या डिब्बों की संख्या बिल्कुल भी मायने नहीं रखती? शोध पत्र का सुझाव है कि यह मायने रखती है, लेकिन केवल बहुत विशिष्ट, चरम स्थितियों में।

जब डेटा गंभीर रूप से दूषित (40% छवियां खराब थीं) था, तो कहानी बदल गई। इस अराजक वातावरण में, सरल 2-बिन वाली विधि संघर्ष करने लगी। वह असली हीरे फेंकने के बिना नकलीों को नहीं ढूंढ पा रही थी। अधिक जटिल विधियों (3 या 4 बिन वाली) ने वास्तविक लाभ दिखाया। वे बहुत अधिक गलतियाँ किए बिना उच्च-रिकॉल ज़ोन (लगभग सभी खराब डेटा को पकड़ना) में नकलीों को ढूंढ सकते थे।

शोधकर्ताओं ने उन "साफ-लेकिन-कठिन" नमूनों को भी देखा—वे असली हीरे जो थोड़े धुंधले दिखते हैं। उन्होंने पाया कि कम भ्रष्टाचार दर पर, ये ट्रिकी नमूने गलतियों का मुख्य कारण थे। लेकिन जैसे-जैसे भ्रष्टाचार बढ़ता गया, ये नमूने कम महत्वपूर्ण होते गए। डेटा की "कठिनाई" मुख्य समस्या नहीं थी; खराब डेटा की भारी मात्रा ही मुख्य समस्या थी।

निष्कर्ष

इस शोध पत्र का मुख्य संदेश उन लोगों के लिए एक चेतावनी है जो AI सिस्टम बना रहे हैं: केवल अंतिम स्कोर को न देखें।

यदि कोई नया डेटा-क्लीनिंग मेथड बेहतर होने का दावा करता है, तो जाँच करें कि क्या वह केवल कम आइटम फेंक रहा है। शोधकर्ता सुझाव देते हैं कि हमें "नेटिव" मूल्यांकन (जहाँ प्रत्येक विधि अपना काम करती है) पर निर्भर करना बंद करना चाहिए और मैच्ड ऑपरेटिंग पॉइंट्स (जहाँ सभी एक ही नियमों से खेलते हैं) का उपयोग करना शुरू करना चाहिए।

उन्होंने साबित किया कि अधिकांश रोजमर्रा की स्थितियों में, फैंसी नए तरीके अनिवार्य रूप से स्मार्ट नहीं हैं; वे बस अधिक रूढ़िवादी हैं। एकमात्र समय जब अतिरिक्त जटिलता वास्तव में चमकती है, वह है जब डेटा पूरी तरह से गड़बड़ हो, और तब भी, लाभ बहुत अंतिम कुछ खराब आइटम्स को पकड़ने के लिए विशिष्ट हैं।

संक्षेप में, शोध पत्र यह नहीं कहता कि हमें एडेप्टिव क्लीनिंग का उपयोग करना बंद कर देना चाहिए। इसके बजाय, यह कहता है कि हमें इसे परखने के तरीके में अधिक स्मार्ट होने की आवश्यकता है। हमें यह सुनिश्चित करने की आवश्यकता है कि हम किसी विधि की प्रशंसा केवल इसलिए नहीं कर रहे हैं क्योंकि वह अपने कचरे के बैग के साथ कंजूस है, बल्कि इसलिए कर रहे हैं क्योंकि वह वास्तव में एक बेहतर जासूस है।