Position: Every Ground Truth is a Human Construction, not an Objective Truth
यह स्थिति पत्र (position paper) तर्क देता है कि मशीन लर्निंग में 'ग्राउंड ट्रुथ' डेटासेट वस्तुनिष्ठ तथ्य नहीं बल्कि मानव-निर्मित कृत्रिम संरचनाएं (artifacts) हैं, और "स्थित विश्वसनीयता" (situated reliability) के माध्यम से मॉडल की विश्वसनीयता, पारदर्शिता और जवाबदेही में सुधार करने के लिए उनकी आकस्मिक प्रकृति को स्वीकार करने की वकालत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को "बिल्ली" पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं, और प्रत्येक के लिए, आप कहते हैं, "हाँ, यह एक बिल्ली है," या "नहीं, यह एक कुत्ता है।" मशीन लर्निंग की दुनिया में, आपके द्वारा दिए गए इन लेबल को ग्राउंड ट्रुथ (Ground Truth) कहा जाता है।
लंबे समय तक, वैज्ञानिकों ने इन लेबलों को एक जादुई दर्पण की तरह माना है: उन्हें लगा कि "ग्राउंड ट्रुथ" वास्तविकता का एक सटीक, वस्तुनिष्ठ प्रतिबिंब है जिसे खोजा जाना बाकी है, जैसे कि कोई छिपा हुआ खजाना मिल गया हो।
लेकिन यह शोध पत्र तर्क देता है कि खजाने का नक्शा छिपा हुआ नहीं है; इसे हमारे द्वारा बनाया गया है।
लेखक, चार्लोट, एरिका और किरी, यह कह रहे हैं कि "ग्राउंड ट्रुथ" आसमान से गिरने वाला कोई प्राकृतिक तथ्य नहीं है। यह एक मानवीय निर्माण (human construction) है। यह एक पत्थर की तुलना में एक रेसिपी (विधि) की तरह अधिक है। जिस तरह एक शेफ तय करता है कि कितना नमक डालना है, कब चलाना है और किन सामग्रियों का उपयोग करना है, ठीक वैसे ही इंसान और मशीनें उस "सत्य" को बनाने के लिए बहुत सी श्रृंखलाओं में निर्णय लेते हैं जो AI को प्रशिक्षित करती हैं।
"रेसिपी" की उपमा
एक ग्राउंड ट्रुथ डेटासेट बनाना एक नए ब्लेंडर (मिक्सी) का परीक्षण करने के लिए एक विशाल, जटिल स्मूदी बनाने जैसा है।
- फल: आपको तय करना होगा कि कौन से फल खरीदने हैं। क्या आप केवल लाल सेब लेंगे, या आप इसमें हरे वाले भी शामिल करेंगे?
- काटने वाला (Cutter): फल को कौन काटता है? एक पेशेवर शेफ? एक थका हुआ इंटर्न? या एक रोबोटिक हाथ?
- ब्लेंडर: आप ब्लेड को कितनी तेजी से घुमाते हैं?
- स्वाद परीक्षण: कौन तय करता है कि स्मूदी "अच्छी" है या नहीं?
शोध पत्र बताता है कि यदि आप इनमें से किसी भी चरण को बदलते हैं, तो आपको एक अलग स्मूदी मिलेगी। यदि आप "सत्य" (स्मूदी की रेसिपी) को बदलते हैं, तो ब्लेंडर (AI मॉडल) कुछ पूरी तरह से अलग सीखता है।
यह क्यों महत्वपूर्ण है ("पिक्सेल" की समस्या)
लेखक एक वास्तविक उदाहरण देते हैं कि यह क्यों महत्वपूर्ण है। MNIST नामक एक प्रसिद्ध डेटासेट है जिसका उपयोग कंप्यूटर को हस्तलिखित अंक पहचानने के लिए सिखाने हेतु किया जाता है। 1990 के दशक में, कंप्यूटर धीमे थे और उनकी मेमोरी कम थी, इसलिए डेटासेट बनाने वाले लोगों ने छवियों को 128x128 पिक्सेल से घटाकर 28x28 पिक्सेल करने का निर्णय लिया।
दशकों पहले किए गए उस एक निर्णय के कारण, आज हजारों AI मॉडल केवल 28x28 पिक्सेल वाली छवियों को देखने के लिए प्रशिक्षित हैं। यदि आप उन्हें आज ली गई किसी संख्या की हाई-डेफिनिशन फोटो दिखाने की कोशिश करेंगे, तो वे उसे पढ़ नहीं पाएंगे! वे अतीत में फंसे हुए हैं क्योंकि वे उन उपकरणों की सीमाओं से बंधे हैं जो उस समय उपलब्ध थे। उन्होंने जो "सत्य" सीखा था, वह वास्तविक अंकों के बजाय उस समय के उपलब्ध उपकरणों द्वारा सीमित था।
"विशेषज्ञ" का मिथक
कभी-कभी, हम सोचते हैं कि विशेषज्ञ ओरेकल गॉड्स (Oracle Gods) की तरह होते हैं जो हमेशा पूर्ण सत्य जानते हैं। या हम सोचते हैं कि वे रोबोटिक सेंसर की तरह हैं जो बिना महसूस किए केवल तथ्यों को रिकॉर्ड करते हैं।
शोध पत्र कहता है: जी नहीं। यहाँ तक कि विशेषज्ञ भी गलतियाँ करते हैं, आपस में असहमत होते हैं और चीजों को अलग तरह से देखते हैं।
- चिकित्सा के क्षेत्र में, दो डॉक्टर एक ही एक्स-रे को देख सकते हैं और एक कहता है "स्वस्थ" जबकि दूसरा कहता है "बीमार"।
- एक क्राउड-सोर्स्ड प्रोजेक्ट में (जैसे इंटरनेट पर हजारों लोगों से फोटो लेबल करने के लिए कहना), एक व्यक्ति को चित्र "खुश" लग सकता है और दूसरे को वह "दुखी" लग सकता है।
यदि हम यह मान लेते हैं कि विशेषज्ञ एक आदर्श रोबोट है, तो हम इस तथ्य को अनदेखा कर देते हैं कि उनका "सत्य" वास्तव में एक मानवीय राय है जो उनके प्रशिक्षण, उनके मूड और उनके दिए गए नियमों से आकार लेती है।
"सिट्युएटेड रिलायबिलिटी" (स्थित विश्वसनीयता) का विचार
लेखक सुझाव देते हैं कि हम अपने AI को सार्वभौमिक रूप से पूर्ण मानने का ढोंग बंद करें। इसके बजाय, हमें "सिट्युएटेड रिलायबिलिटी" (Situated Reliability) के बारे में बात करनी चाहिए।
इसे धूप के चश्मे (Sunglasses) की तरह समझें।
- वे तेज रेगिस्तानी धूप में (एक विशिष्ट संदर्भ में) बहुत अच्छा काम करते हैं।
- वे अंधेरी गुफा (एक अलग संदर्भ) में बहुत खराब होते हैं।
- वे पानी के नीचे बेकार हैं।
चश्मे "टूटे" हुए नहीं हैं; उनका उपयोग केवल एक विशिष्ट स्थिति (situated use) के लिए है। शोध पत्र का तर्क है कि AI मॉडल भी ऐसे ही हैं। एक विशिष्ट "ग्राउंड ट्रुथ" पर प्रशिक्षित मॉडल एक अस्पताल या एक शहर में पूरी तरह से काम कर सकता है, लेकिन दूसरे में बुरी तरह विफल हो सकता है। हमें यह दावा करने के बजाय कि वे हर जगह काम करते हैं, इस बारे में ईमानदार होने की आवश्यकता है कि वे कहाँ और कब काम करते हैं।
हमें क्या करना चाहिए?
यह शोध पत्र यह नहीं कहता कि "AI बनाना बंद कर दें।" यह कहता है कि हमें ईमानदार निर्माता बनने की आवश्यकता है।
- यह मानना बंद करें कि सत्य जादुई है। स्वीकार करें कि हमने डेटा बनाने के लिए विकल्प चुने थे।
- रेसिपी लिख कर रखें। जब हम एक डेटासेट साझा करते हैं, तो हमें यह विस्तार से समझाना चाहिए कि हमने इसे कैसे बनाया: इसे किसने लेबल किया? हमने किन उपकरणों का उपयोग किया? हमने क्या छोड़ दिया?
- अलग-अलग रेसिपी आजमाएं। केवल एक "ग्राउंड ट्रुथ" के बजाय, हमें यह देखने के लिए कई अलग-अलग संस्करण बनाने चाहिए कि AI कैसे बदलता है।
- टीम बनाएं। मशीन लर्निंग विशेषज्ञों को वास्तव में विषय को जानने वाले लोगों (जैसे डॉक्टरों, जीवविज्ञानियों या समाजशास्त्रियों) के साथ बात करने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि "सत्य" वास्तविक दुनिया में सार्थक है।
निष्कर्ष
शोध पत्र सुझाव देता है कि "ग्राउंड ट्रुथ" ब्रह्मांड का एक निश्चित, अपरिवर्तनीय तथ्य नहीं है। यह एक मानव-निर्मित उपकरण है, जो हमारे विकल्पों, हमारे उपकरणों और हमारी सीमाओं द्वारा आकार लिया गया है। इसे स्वीकार करके, हम बेहतर, सुरक्षित और अधिक ईमानदार AI बना सकते हैं जो अपनी सीमाओं को जानता है, बजाय इसके कि वह एक ऐसे भगवान होने का ढोंग करे जो सब कुछ पूरी तरह से देखता है।
लेखक यह नहीं कह रहे हैं कि हमने इस समस्या को हल कर लिया है। वे कह रहे हैं कि हमें इस बारे में बात करना शुरू करना होगा ताकि हम अनजाने में ऐसे रोबोट न बना दें जो आत्मविश्वासी तो हैं पर गलत हैं, या ऐसे मॉडल जो लैब में तो शानदार काम करते हैं लेकिन वास्तविक दुनिया में विफल हो जाते हैं। यह थोड़ा अधिक विनम्र और इस बारे में बहुत अधिक सावधान होने के बारे में है कि हम अपनी मशीनों को दुनिया को देखना कैसे सिखाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।