Training as Treatment: A Causal Framework for Machine-Learning Evaluation
यह शोध पत्र "ट्रेनिंग ऐज़ ट्रीटमेंट" (प्रशिक्षण एक उपचार के रूप में) प्रस्तुत करता है, जो एक कारण ढांचा (कॉज़ल फ्रेमवर्क) है जो डेटा-भूमिका असाइनमेंट और पाइपलाइन विकल्पों को हस्तक्षेप के रूप में मॉडल करता है ताकि मॉडल-प्रेरित हस्तक्षेप (इंटरफेरेंस) को ध्यान में रखते हुए मशीन-लर्निंग मूल्यांकन मेट्रिक्स का कठोरता से विश्लेषण किया जा सके, और निष्पक्षता, लीकेज तथा सामान्यीकरण के लिए अधिक सुदृढ़ निदान सक्षम किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मशीन लर्निंग का छिपा हुआ हाथ मिलाना (The Hidden Handshake of Machine Learning)
कल्पना कीजिए कि आप एक रोबोट को बिल्ली पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं, और वह अपने आंतरिक "मस्तिष्क" की सेटिंग्स को समायोजित करके सीखता है। कंप्यूटर विज्ञान की दुनिया में, इसे मशीन लर्निंग कहा जाता है। लेकिन यहाँ पेचीदा हिस्सा यह है: हमें कैसे पता चलेगा कि रोबोट वास्तव में स्मार्ट है, या उसने केवल उन विशिष्ट तस्वीरों को याद कर लिया है जो आपने उसे दिखाई थीं? आमतौर पर, वैज्ञानिक अपने डेटा को दो ढेरों में विभाजित करते हैं: एक "ट्रेनिंग" (प्रशिक्षण) ढेर रोबोट को सिखाने के लिए, और एक "टेस्ट" (परीक्षण) ढेर उसके काम की जाँच करने के लिए।
लंबे समय तक, शोधकर्ताओं ने इस विभाजन को एक साधारण, उबाऊ प्रशासनिक कदम के रूप में माना—जैसे कपड़ों को "सफेद" और "गहरे" रंग में अलग करना। उन्होंने माना कि टेस्ट ढेर केवल एक तटस्थ दर्पण था, जो रोबोट की वास्तविक क्षमता को बिना बदले उसे प्रतिबिंबित करता है। हालाँकि, सोचने का एक नया तरीका सुझाव देता है कि जिस तरह से हम इस डेटा को छाँटते हैं, वह वास्तव में रोबोट के मस्तिष्क को आकार देने वाली एक शक्तिशाली शक्ति है। यह विचार कॉज़ल इन्फरेंस (causal inference) नामक क्षेत्र से आता है, जो मूल रूप से यह समझने का विज्ञान है कि क्या चीज़ क्या उत्पन्न करती है। केवल चीजें होते हुए देखने के बजाय, कॉज़ल इन्फरेंस पूछता है: "यदि मैंने चीजें अलग तरीके से की होतीं, तो क्या बदल जाता?" AI के संदर्भ में, इसका अर्थ है यह पूछना: "यदि मैंने इस विशिष्ट तस्वीर को 'सिखाने' वाले ढेर से हटाकर 'टेस्ट' वाले ढेर में डाल दिया होता, तो क्या रोबोट का मस्तिष्क बदल जाता, और क्या उसका अंतिम स्कोर अलग होता?"
यही वह प्रश्न है जिसे विकास रामचंद्र एक नए शोध पत्र "ट्रेनिंग एज़ ट्रीटमेंट" (Training as Treatment) में उठाते हैं। यह पत्र तर्क देता है कि हमें प्रशिक्षण प्रक्रिया को एक निष्क्रिय दिनचर्या के रूप में देखना बंद करना चाहिए और इसे एक चिकित्सा प्रयोग की तरह मानना शुरू करना चाहिए। जिस तरह एक डॉक्टर किसी मरीज को एक विशिष्ट दवा देता है यह देखने के लिए कि क्या वह बीमारी को ठीक करती है, हमें डेटा को मशीन को खिलाने के कार्य को एक "ट्रीटमेंट" (उपचार) के रूप में देखना चाहिए जो सक्रिय रूप से परिणाम को बदल देता है।
रोबोट का साझा मस्तिष्क
रामचंद्र के शोध पत्र का मुख्य विचार सरल लेकिन क्रांतिकारी है: रोबोट का मस्तिष्क एक साझा स्थान है। जब आप रोबोट को एक विशिष्ट तस्वीर के साथ सिखाते हैं, तो वह तस्वीर केवल "ट्रेनिंग" ढेर में नहीं रहती; वह रोबोट के मस्तिष्क को हर उस अन्य तस्वीर के लिए बदल देती है जिसे वह भविष्य में कभी भी देखेगा।
इसे एक कक्षा के छात्रों की तरह समझें जो एक बड़ी परीक्षा के लिए पढ़ाई कर रहे हैं। यदि एक छात्र (मान लीजिए कि वह "डेटा पॉइंट A" है) गणित की समस्या को हल करने के लिए एक चालाकी भरा तरीका सीखता है, और शिक्षक (एल्गोरिदम) उस तरीके का उपयोग पूरी कक्षा की मदद के लिए करता है, तो अन्य सभी छात्र लाभान्वित होते हैं। लेकिन यदि "डेटा पॉइंट A" एक गलत तरीका सीख लेता है, तो पूरी कक्षा भ्रमित हो सकती है। पारंपरिक मशीन लर्निंग में, हम अक्सर यह मान लेते हैं कि परीक्षा देने वाला छात्र ("टेस्ट सेट") उन छात्रों से पूरी तरह अलग है जिन्होंने पढ़ाई की है ("ट्रेनिंग सेट")। रामचंद्र कहते हैं कि यह एक झूठ है। टेस्ट लेने वाला छात्र उस मस्तिष्क के आधार पर परीक्षा दे रहा है जिसे ट्रेनिंग लेने वाले छात्रों द्वारा आकार दिया गया है। इसलिए, एक तस्वीर को ट्रेनिंग ढेर से हटाकर टेस्ट ढेर में डालना केवल एक फ़ाइल को स्थानांतरित करना नहीं है; यह एक छात्र को अध्ययन समूह से हटाकर परीक्षा में बैठाने जैसा है। यह शेष छात्रों के मस्तिष्क को बदल देता है और यह भी बदल देता है कि परीक्षा कौन दे रहा है।
"ट्रेनिंग एज़ ट्रीटमेंट" का प्रयोग
रामचंद्र एक नया ढांचा प्रस्तावित करते हैं जिसे "ट्रेनिंग एज़ ट्रीटमेंट" कहा जाता है। केवल एक बार मॉडल चलाने और एक स्कोर प्राप्त करने के बजाय, वे सुझाव देते हैं कि हमें यह देखने के लिए हजारों छोटे प्रयोग चलाने चाहिए कि डेटा का प्रत्येक हिस्सा वास्तव में क्या करता है।
वह डेटा को विभिन्न "भूमिकाओं" में विभाजित करते हैं:
- फिटिंग (Fitting): वह डेटा जिसका उपयोग रोबोट को सिखाने के लिए किया जाता है।
- वैलिडेशन (Validation): वह डेटा जिसका उपयोग रोबोट की सेटिंग्स को ट्यून करने के लिए किया जाता है (जैसे यह तय करना कि कितनी कठिन पढ़ाई करनी है)।
- इवैल्यूएशन (Evaluation): वह डेटा जिसका उपयोग अंतिम ग्रेड देने के लिए किया जाता है।
- ऑडिट (Audit): डेटा का एक विशेष, अछूता समूह जिसका उपयोग यह जाँचने के लिए किया जाता है कि क्या रोबोट वास्तव में निष्पक्ष और सटीक है, बिना उसे प्रशिक्षण के दौरान दिखाए।
यह पत्र इंटरफेरेंस (interference) की अवधारणा पेश करता है। सरल शब्दों में, इसका अर्थ है कि एक डेटा पॉइंट के साथ जो होता है वह अन्य सभी को प्रभावित करता है। यदि आप एक विशिष्ट तस्वीर को ट्रेनिंग सेट में शामिल करते हैं, तो यह रोबलेट को बिल्लियों को पहचानने में बेहतर बना सकता है (एक "पॉजिटिव स्पिलओवर"), या यह उसे कुत्तों को पहचानने में और खराब बना सकता है क्योंकि वह भ्रमित हो गया (एक "नेगेटिव स्पिलओवर")।
इसे मापने के लिए, लेखक प्रयोग करने के कुछ चतुर तरीके सुझाते हैं:
- रैंडमाइज्ड इंक्लूजन (The Randomized Inclusion): कल्पना कीजिए कि आपके संग्रह की प्रत्येक तस्वीर के लिए सिक्का उछालना। यदि चित (heads) आता है, तो रोबोट उसका अध्ययन करता है; यदि पन्ना (tails) आता है, तो रोबोट उसे अनदेखा कर देता है। ऐसा हजारों बार करने से, आप देख सकते हैं कि वह एक विशिष्ट तस्वीर रोबोट के अंतिम स्कोर में कितनी मदद करती है या नुकसान पहुँचाती है।
- पेयर्ड स्वैप (The Paired Swap): कल्पना कीजिए कि आप दो तस्वीरें ले रहे हैं, चित्र A और चित्र B। आप रोबोट को A के साथ प्रशिक्षित करते हैं लेकिन B के साथ नहीं, फिर उन्हें बदलते हैं और B के साथ प्रशिक्षित करते हैं लेकिन A के साथ नहीं। परिणामों की तुलना करके, आप देख सकते हैं कि कौन सी तस्वीर वास्तव में अधिक मूल्यवान है।
प्रयोगों ने क्या दिखाया
यह पत्र केवल सिद्धांत की बात नहीं करता है; इसने इन विचारों का परीक्षण करने के लिए वास्तविक प्रयोग चलाए। शोधकर्ताओं ने वास्तविक दुनिया के डेटासेट (जैसे स्तन कैंसर के लिए मेडिकल रिकॉर्ड और वाइन की गुणवत्ता) का उपयोग किया और ज्ञात समस्याओं वाले नकली डेटासेट (जैसे गलत लेबल वाली तस्वीरें या छिपे हुए ट्रिक्स) बनाए।
यहाँ उनके निष्कर्ष दिए गए हैं:
1. "स्प्लिट" (विभाजन) एक धोखेबाज है
सबसे आश्चर्यजनक खोज यह है कि जिस तरह से आप अपने डेटा को विभाजित करते हैं (जिसे "स्प्लिट पॉलिसी" कहा जाता है), वह एक जादुई स्विच की तरह काम करता है जो रोबोट के स्कोर को बदल देता है, भले ही रोबोट का मस्तिष्क बिल्कुल वैसा ही रहे।
- उनके सिमुलेशन में, केवल डेटा को विभाजित करने के तरीके को बदलने से रोबोट की सटीकता (जिसे AUC कहा जाता है) 0.257 तक बढ़ या घट सकती थी।
- उदाहरण के लिए, शोर वाले (messy) डेटा के एक सिमुलेशन में, "क्लस्टर होल्डआउट" स्प्लिट (जहाँ समान वस्तुओं को एक साथ समूहबद्ध किया जाता है) का उपयोग करने से रोबोट मानक रैंडम स्प्लिट की तुलना में बहुत खराब प्रदर्शन करता दिखा। यह साबित करता है कि "टेस्ट स्कोर" केवल यह माप नहीं है कि रोबोट कितना स्मार्ट है; यह यह भी माप है कि टेस्ट कैसे डिज़ाइन किया गया था।
2. सभी डेटा समान नहीं होते
प्रयोगों ने दिखाया कि कुछ तस्वीरों को रोबोट द्वारा "याद" (memorize) किया जाता है लेकिन वे वास्तव में सीखने में मदद नहीं करती हैं।
- उन्होंने पाया कि कुछ ट्रेनिंग तस्वीरों को हटाने से वास्तव में अन्य तस्वीरों पर रोबोट का प्रदर्शन सुधार गया। इसका मतलब है कि वे तस्वीरें हानिकारक या अनावश्यक थीं।
- इसके विपरीत, अन्य तस्वीरों को हटाने से रोबोट बदतर हो गया, जो साबित करता है कि वे सहायक थीं।
- यह पत्र सुझाव देता है कि एक तस्वीर को "मेमोराइज" (रोबोट उसे पूरी तरह से याद रखता है) किया जा सकता है लेकिन फिर भी वह नई स्थितियों में सामान्य होने की रोबोट की क्षमता के लिए "हानिकारक" हो सकती है।
3. एल्गोरिदम चयनात्मक होते हैं
शोधकर्ताओं ने दो अलग-अलग प्रकार के रोबोट मस्तिष्क का परीक्षण किया: एक "लॉजिस्टिक रिग्रेशन" (एक सरल, सीधी रेखा वाला विचारक) और एक "रैंडम फॉरेस्ट" (एक जटिल, पेड़ की शाखा जैसा विचारक)।
- उन्होंने पाया कि "सर्वश्रेष्ठ" रोबोट पूरी तरह से स्थिति पर निर्भर करता है। एक साफ, सरल सिमुलेशन में, रैंडम फॉरेस्ट बहुत बेहतर था। लेकिन वास्तविक दुनिया के स्तन कैंसर डेटासेट पर, सरल लॉजिस्टिक रिग्रेशन वास्तव में बेहतर या उसके बराबर था।
- इसका मतलब है कि आप केवल यह नहीं कह सकते कि "एल्गोरिदम X सबसे अच्छा है।" आपको कहना होगा कि "एल्गोरिदम X इस विशिष्ट प्रकार के डेटा और इस विशिष्ट विभाजन के तरीके के लिए सबसे अच्छा है।"
4. "ऑडिट" सत्य बताने वाला है
यह पत्र एक "ऑडिट" सेट की आवश्यकता पर जोर देता है—डेटा का एक समूह जिसे रोबोट अंत तक नहीं देखता है।
- उन्होंने पाया कि यदि आप अपनी सेटिंग्स को ट्यून करने के लिए टेस्ट डेटा का उपयोग करते हैं (जैसे रोबोट के कठिनाई स्तर को बदलना), तो आपको एक उच्च स्कोर मिल सकता है जो फर्जी है।
- एक अलग "ऑडिट" समूह को रखकर, वे देख सके कि कुछ स्प्लिट पॉलिसी ने रोबोट को टेस्ट पर बहुत अच्छा दिखाया लेकिन वास्तव में ऑडिट पर खराब प्रदर्शन किया। यह "लीकेज" (leakage) को पकड़ने में मदद करता है, जहाँ रोबोट अनजाने में उस टेस्ट डेटा से सीख जाता है जिसे उसे नहीं जानना चाहिए।
बड़ी तस्वीर
रामचंद्र का पत्र सुझाव देता है कि हमें मशीन लर्निंग को एक ऐसे एकतरफा रास्ते के रूप में देखना बंद करना चाहिए जहाँ डेटा अंदर जाता है और एक स्कोर बाहर आता है। इसके बजाय, हमें इसे परस्पर क्रियाओं के एक जटिल जाल के रूप में देखना चाहिए जहाँ डेटा का प्रत्येक टुकड़ा दूसरे टुकड़े को प्रभावित करता है।
मुख्य निष्कर्ष यह है कि जिस तरह से हम अपने AI को प्रशिक्षित और परीक्षण करते हैं, वह एक कॉज़ल इंटरवेंशन (कारण संबंधी हस्तक्षेप) है। यह केवल एक माप उपकरण नहीं है; यह प्रयोग का एक सक्रिय हिस्सा है जो परिणाम को आकार देता है। प्रशिक्षण को "उपचार" (treatment) के रूप में मानकर और इन नए प्रयोगात्मक तरीकों का उपयोग करके, हम अंततः इन प्रश्नों का उत्तर दे सकते हैं: "क्या यह विशिष्ट तस्वीर वास्तव में AI की मदद कर रही है, या यह केवल याद कर रही है?" और "क्या यह उच्च स्कोर वास्तविक है, या हम केवल इस बात से भाग्यशाली थे कि हमने डेटा को कैसे विभाजित किया?"
यह पत्र यह दावा नहीं करता है कि इसने AI की सभी समस्याओं को हल कर दिया है। यह स्वीकार करता है कि इन प्रयोगों को करना महंगा और गणनात्मक रूप से भारी है। हालाँकि, यह एक नया मानचित्र और उपकरणों का एक नया सेट प्रदान करता है जिससे हम मशीन लर्निंग की जटिल वास्तविकता में नेविगेट कर सकें, जिससे हमें यह अंतर करने में मदद मिले कि एक रोबोट वास्तव में सीखा है या वह केवल भाग्यशाली रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।