Distributions In, Distributions Out: The Case for Soft-Label Training
यह शोध पत्र प्रदर्शित करता है कि बहुमत मतों (हार्ड-लेबल्स) के बजाय एनोटेटर लेबल्स के पूर्ण वितरण (सॉफ्ट-लेबल्स) का उपयोग करके सुपरवाइज्ड क्लासिफायर को प्रशिक्षित करने से सटीकता में सुधार होता है, मानव एनोटेशन से विचलन कम होता है, और विजन एवं एनएलपी कार्यों में मॉडल की अनिश्चितता को वास्तविक मानवीय असहमति के साथ बेहतर ढंग से संरेखित किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यह जानने की कला कि आप क्या नहीं जानते
कल्पना कीजिए कि आप एक रोबोट को दुनिया देखना सिखाने की कोशिश कर रहे हैं। आप उसे एक धुंधली आकृति की तस्वीर दिखाते हैं और पूछते हैं, "क्या यह बिल्ली है या कुत्ता?" यदि आप दस अलग-अलग लोगों से पूछते हैं, तो आपको "बिल्ली" के लिए छह वोट और "कुत्ते" के लिए चार वोट मिल सकते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक क्लासिक समस्या है: हम मशीन को यह कैसे सिखाएं कि दुनिया हमेशा ब्लैक एंड व्हाइट (स्पष्ट) नहीं होती?
लंबे समय से, इन मशीनों को प्रशिक्षित करने का मानक तरीका एक एकल उत्तर थोपना रहा है। हम उन दस मानवीय वोटों को लेते हैं, उन्हें गिनते हैं, और रोबोट को बताते हैं, "उत्तर बिल्ली है।" हम उन चार "कुत्ते" वाले वोटों को फेंक देते हैं और दिखावा करते हैं कि वह तस्वीर कभी संदिग्ध थी ही नहीं। यह स्पष्ट चीजों के लिए बहुत अच्छा काम करता है, जैसे कि एक लाल स्टॉप साइन की पहचान करना। लेकिन जब इंसान खुद सहमत नहीं हो पाते, तो यह विफल हो जाता है। यदि कोई इंसान एक कठिन छवि को देखता है और अनिश्चित महसूस करता है, लेकिन रोबोट को "100% बिल्ली" कहने के लिए मजबूर किया जाता है, तो रोबोट अपने स्वयं के आत्मविश्वास के बारे में झूठ बोल रहा होता है। यह एक मौसम विज्ञानी की तरह है जो जानता है कि बारिश की 50% संभावना है लेकिन केवल एक सरल पूर्वानुमान में फिट होने के लिए जोर देता है, "निश्चित रूप से बारिश होगी।"
यह शोध पत्र मशीन लर्निंग के एक विशिष्ट कोने में गहराई से उतरता जिसे सुपरवाइज्ड क्लासिफिकेशन (supervised classification) कहा जाता है। सरल शब्दों में, यह तब होता है जब हम कंप्यूटर को लेबल के साथ उदाहरण दिखाकर चीजों को श्रेणियों में छाँटना सिखाते हैं (जैसे "विनम्र" बनाम "असभ्य" टेक्स्ट, या "बिल्ली" बनाम "कुत्ता" फोटो)। लेखक जो मुख्य प्रश्न पूछते हैं वह यह है: जब इंसान किसी लेबल पर असहमत होते हैं, तो क्या हमें कंप्यूटर को एक विजेता चुनने के लिए मजबूर करना चाहिए, या हमें उसे पूरी भीड़ की अनिश्चितता से सीखने देना चाहिए? लेखक तर्क देते हैं कि एक एकल उत्तर थोपना उस मूल्यवान जानकारी को फेंक देना है कि दुनिया वास्तव में कैसे काम करती है।
सॉफ्ट लेबल का पक्ष: भीड़ को बोलने दें
इस पेपर के लेखक, अगमदीप सिंह और माइक्रोसॉफ्ट के सहयोगियों ने एक अलग दृष्टिकोण का परीक्षण करने का निर्णय लिया। एक समूह की मानवीय राय को एक "हार्ड" लेबल (जैसे एक एकल "बिल्ली") में बदलने के बजाय, उन्होंने AI को उत्तरों के पूर्ण वितरण (full distribution) का उपयोग करके प्रशिक्षित करने की कोशिश की। वे इसे सॉफ्ट-लेबल ट्रेनिंग (soft-label training) कहते हैं।
इसे इस तरह समझें:
- हार्ड-लेबल ट्रेनिंग (Hard-Label Training) एक ऐसे शिक्षक की तरह है जो एक कठिन प्रश्न पर कक्षा के वोट लेता है, देखता है कि 60% छात्र सोचते हैं कि उत्तर "A" है और 40% सोचते हैं कि यह "B" है, और फिर ब्लैकबोर्ड पर "A" लिख देता है। शिक्षक छात्र से कहता है, "उत्तर A है। इसे याद करो।" छात्र "A" के प्रति 100% आश्वस्त होने के लिए सीखता है, भले ही कक्षा विभाजित थी।
- सॉफ्ट-लेबल ट्रेनिंग (Soft-Label Training) एक ऐसे शिक्षक की तरह है जो बोर्ड पर लिखता है: "हममें से 60% सोचते हैं कि यह A है, 40% सोचते हैं कि यह B है।" शिक्षक छात्र से कहता है, "उत्तर एक मिश्रण है। A के प्रति 60% आश्वस्त रहो और B के प्रति 40% आश्वस्त रहो।" छात्र कमरे की वास्तविक उलझन को प्रतिबिंबित करना सीखता है।
पेपर इस विचार का तीन अलग-अलग डेटासेट्स पर परीक्षण करता है: टेक्स्ट लॉजिक समझने के लिए एक (ChaosNLI), टेक्स्ट में विनम्रता का निर्णय लेने के लिए एक (POPQUORN), और तस्वीरों में वस्तुओं की पहचान करने के लिए एक (CIFAR-10H)। इन सभी मामलों में, डेटा अव्यवस्थित था, जहाँ इंसान वास्तव में इस बात पर असहमत थे कि सही उत्तर क्या था।
उन्होंने क्या पाया: अनिश्चितता एक विशेषता है, त्रुटि नहीं
परिणाम आश्चर्यजनक रूप से स्पष्ट थे। जब शोधकर्ताओं ने "हार्ड" मॉडल (उन्हें सिखाए गए मॉडल जो एकल उत्तरों का उपयोग करते हैं) की तुलना "सॉफ्ट" मॉडल (उन्हें सिखाए गए मॉडल जो पूरे भीड़ के वितरण का उपयोग करते हैं) से की, तो सॉफ्ट मॉडल लगभग हर उस मामले में जीते जो मानवीय अनिश्चितता को समझने के लिए महत्वपूर्ण था।
1. वे मानवीय भ्रम से मेल खाने में बेहतर हैं।
सबसे महत्वपूर्ण माप यह था कि कंप्यूटर का अनुमान वास्तविक मानवीय वोटों के प्रसार के कितने करीब था। लेखकों ने इस अंतर को मापने के लिए KL डाइवर्जेंस (KL divergence) नामक एक गणितीय उपकरण का उपयोग किया। कम संख्या का अर्थ है कि कंप्यूटर मानवीय वास्तविकता के अधिक करीब है। सॉफ्ट-लेबल मॉडल ने सभी डेटासेट्स में औसतन 32% तक इस त्रुटि को कम किया। सरल भाषा में: सॉफ्ट मॉडल यह बताने में बहुत बेहतर थे कि, "मैं पूरी तरह से आश्वस्त नहीं हूँ, और यहाँ बताया गया है कि मैं कितना अनिश्चित हूँ," जो ठीक वैसा ही था जैसा कि इंसानों ने डेटा के बारे में वास्तव में महसूस किया था।
2. वे सटीकता नहीं खोते हैं।
एक सामान्य डर यह है कि यदि आप कंप्यूटर को अनिश्चित होना सिखाते हैं, तो यह "सही" उत्तर पाने में खराब हो सकता है। पेपर दिखाता है कि यह सच नहीं है। विनम्रता के डेटासेट (POPQUORN) और इमेज डेटासेट (CIFAR-10H) पर, सॉफ्ट-लेबल मॉडल हार्ड-लेबल मॉडल जितने ही सटीक थे। लॉजिक डेटासेट (ChaosNLI) पर, सॉफ्ट-लेबल मॉडल वास्तव में अधिक सटीक (55.30% बनाम 51.75%) थे। इसलिए, अनिश्चितता के बारे में ईमानदार होने से वे मूर्ख नहीं बने; बल्कि वे और भी स्मार्ट बन गए।
3. वे जानते हैं कि कब अनिश्चित होना है।
यह शायद सबसे शानदार खोज है। शोधकर्ताओं ने देखा कि कंप्यूटर की "अनिश्चितता" (एंट्रॉपी द्वारा मापी गई) एक नमूने से दूसरे नमूने में कैसे बदलती है। उन्होंने पाया कि सॉफ्ट-लेबल मॉडल के लिए, कंप्यूटर की अनिश्चितता हार्ड-लेबल मॉडल की तुलना में मानवीय अनिश्चितता को 61% अधिक मजबूती से ट्रैक करती है।
- यदि इंसान किसी विशेष फोटो के बारे में भ्रमित थे, तो सॉफ्ट-लेबल मॉडल भी भ्रमित था।
- यदि इंसान 100% आश्वस्त थे, तो सॉफ्ट-लेबल मॉडल भी 100% आश्वस्त था।
- हालाँकि, हार्ड-लेबल मॉडल, विभाजित होने के बावजूद, या तो आत्मविश्वास से गलत या आत्मविश्वास से सही होने की प्रवृत्ति रखते थे। वे अस्पष्टता को "महसूस" नहीं कर पाते थे।
यह क्यों मायने रखता है
पेपर यह तर्क देता है कि पुराने तरीके से काम करना—सभी मानवीय असहमति को एक एकल "बहुमत वोट" में समेट देना—एक गलती है। यह मानवीय असहमति को "शोर" या एक ऐसी गलती के रूप में मानता है जिसे ठीक करने की आवश्यकता है। लेखक सुझाव देते हैं कि जब विशेषज्ञ असहमत होते हैं, तो वह असहमति अक्सर सत्य होती है। यह इस तथ्य को दर्शाता है कि दुनिया में कुछ चीजें (जैसे कि कोई मजाक विनम्र है या नहीं, या एक धुंधला जानवर बिल्ली है या नहीं) वास्तव में संदिग्ध होती हैं।
उत्तरों के पूर्ण वितरण पर प्रशिक्षण देकर, हम ऐसे AI सिस्टम बनाते हैं जो अधिक ईमानदार होते हैं। वे उन चीजों को जानने का ढोंग नहीं करते जिन्हें वे नहीं जानते। लेखक नोट करते हैं कि यह तब भी काम करता है जब आपके पास प्रति छवि बहुत अधिक मानवीय वोट न हों (6 या 7 जितने कम भी), हालांकि यह अधिक वोटों (जैसे 100 वोट) के साथ और भी बेहतर काम करता है।
अंत में, पेपर सुझाव देता है कि मानवीय निर्णय से जुड़े किसी भी कार्य के लिए—जैसे सुरक्षा, विनम्रता या प्राथमिकता—हमें AI को एक एकल विजेता चुनने के लिए मजबूर करना बंद कर देना चाहिए। इसके बजाय, हमें उन्हें पूरी भीड़ से सीखने देना चाहिए। जैसा कि लेखक कहते हैं, भरोसेमंद AI के लिए, हमें ऐसे सिस्टम की आवश्यकता है जो यह जानते हों कि वे क्या नहीं जानते। सॉफ्ट-लेबल ट्रेनिंग उन्हें ठीक यही सिखाने का एक तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।