Not All Subjectivity Is the Same! Defining Desiderata for the Evaluation of Subjectivity in NLP
यह स्थिति पत्र विषयपरकता-संवेदनशील (subjectivity-sensitive) एनएलपी मॉडलों के लिए सात उपयोगकर्ता-केंद्रित मूल्यांकन वांछनीयताओं (desiderata) का प्रस्ताव करता है और वर्तमान अनुसंधान में महत्वपूर्ण अंतरालों की पहचान करता है, जैसे कि अस्पष्ट (ambiguous) और बहुध्वन्यात्मक (polyphonic) इनपुट के बीच अपर्याप्त अंतर और विभिन्न मूल्यांकन मानदंडों के बीच परस्पर क्रिया का अभाव।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो एक रेस्टोरेंट चला रहे हैं। लंबे समय तक, आपका काम सरल था: एक ऐसा बर्गर बनाना जिसका स्वाद बिल्कुल उस "परफेक्ट" बर्गर जैसा हो जिससे हर कोई सहमत है। यदि आप इसे सही कर लेते, तो आपको एक गोल्ड स्टार मिलता। अधिकांश आर्टिफिशियल इंटेलिजेंस (AI) अब तक इसी तरह से काम करता आया है। यह एक "सही" उत्तर खोजने की कोशिश करता है, जैसे गणित की समस्या को हल करना या फ्रांस की राजधानी का नाम बताना।
लेकिन जीवन हमेशा गणित की समस्या नहीं होता। कभी-कभी, लोग असहमत होते हैं। क्या कोई फिल्म मजेदार है या अपमानजनक? क्या कला का कोई टुकड़ा सुंदर है या विचलित करने वाला? इन सवालों के एक सही उत्तर नहीं होते; ये इस पर निर्भर करते हैं कि आप कौन हैं, आपकी पृष्ठभूमि क्या है और आपका मूड कैसा है।
यह शोध पत्र, "Not All Subjectivity Is the Same!" (सभी व्यक्तिपरकता एक जैसी नहीं होती!), तर्क देता है कि हमारे वर्तमान AI शेफ इन "राय-आधारित" व्यंजनों में विफल हो रहे हैं। वे एक ऐसी प्लेट पर एक ही स्वाद थोपने की कोशिश कर रहे हैं जिसे विभिन्न स्वादों के बुफे की आवश्यकता है। लेखक AI को यह सिखाने के लिए नियमों का एक नया सेट (जिसे Desiderata कहा जाता है) प्रस्तावित करते हैं कि वह मानवीय असहमति को ठीक से कैसे संभाले।
यहाँ उनके विचारों का विवरण दिया गया, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. समस्या: "बहुमत के वोट" का जाल (The "Majority Vote" Trap)
वर्तमान में, जब AI मानवीय विचारों से सीखता है, तो वह अक्सर "बहुमत के वोट" को लेता है। यदि 10 में से 9 लोग कहते हैं कि एक टिप्पणी "हानिरहित" है, तो AI उसे "हानिरहित" कहना सीख जाता है।
- समस्या: यह उस 1 व्यक्ति को चुप करा देता है जिसे ठेस पहुँची है। वास्तविक दुनिया में, वह 1 व्यक्ति किसी हाशिए पर रहने वाले समूह से हो सकता है। यदि AI उन्हें अनदेखा करता है, तो वह एक ऐसे बुली (bully) की तरह बन जाता है जो केवल सबसे ऊंची आवाजों को सुनता है।
- लक्ष्य: हमें ऐसा AI चाहिए जो कह सके, "अधिकांश लोग सोचते हैं कि यह ठीक है, लेकिन कुछ लोगों को अपने बैकग्राउंड के कारण यह हानिकारक लग सकता है," बजाय इसके कि वह केवल एक विजेता को चुने।
2. "भ्रम" के दो प्रकार (Ambiguity vs. Polyphony)
लेखक ट्रिकी इनपुट्स के दो प्रकारों के बीच एक महत्वपूर्ण अंतर स्पष्ट करते हैं। इसे एक जासूस द्वारा केस सुलझाने के रूप में समझें:
- अस्पष्टता (Ambiguity - लापता सुराग): इनपुट इसलिए भ्रमित करने वाला है क्योंकि इसमें जानकारी की कमी है।
- उदाहरण: "मैं इस बिच (bitch) को बाहर ले जाने वाला हूँ।"
- जासूस का काम: क्या वक्ता एक कुत्ते के बारे में बात कर रहा है या किसी का अपमान कर रहा है? AI को यह महसूस करने की जरूरत है, "मेरे पास अभी पर्याप्त संदर्भ (context) नहीं है!" और स्पष्टीकरण मांगना चाहिए।
- बहुस्वरता (Polyphony - आवाजों का समूह): इनपुट स्पष्ट है, लेकिन लोग अपने मूल्यों के आधार पर अर्थ पर वास्तव में असहमत हैं।
- उदाहरण: "मुझे बूूमर्स (Boomers) से नफरत है।"
- जासूस का काम: वाक्य स्पष्ट है। लेकिन कुछ लोगों के लिए, यह उम्र के बारे में सिर्फ एक मजाक है। दूसरों के लिए, यह नफरत फैलाने वाली भाषा (hate speech) है। यहाँ कोई "लापता सुराग" नहीं है; यहाँ बस दो वैध वास्तविकताएं एक साथ मौजूद हैं। AI को दोनों को स्वीकार करने की आवश्यकता है, किसी एक को चुनने की नहीं।
शोध पत्र तर्क देता है: अधिकांश AI इन दोनों चीजों को एक जैसा मानते हैं। वे असहमति (polyphony) को "हल" करने की कोशिश करते हैं, यानी एक पक्ष चुनते हैं, जबकि उन्हें वास्तव में पूरे समूह की आवाज़ सुनने की आवश्यकता है।
3. बेहतर AI के लिए 7-चरणीय रेसिपी (The Desiderata)
लेखक AI को राय संभालने में कुशल बनाने के लिए 7-चरणीय चेकलिस्ट प्रस्तावित करते हैं। इसे एक नए AI शेफ के लिए प्रशिक्षण नियमावली के रूप में समझें:
- पहचानना कि कब: AI को यह जानना चाहिए कि कब एक एकल तथ्य खोजना बंद करना है और राय खोजना शुरू करना है। (क्या यह गणित की समस्या है या बहस?)
- पहचानना कि कौन सा: AI को पता होना चाहिए कि यह किस प्रकार की राय वाली समस्या है। (क्या यह लापता सुराग [Ambiguity] है या मूल्यों का टकराव [Polyphony]?)
- पहचानना कि क्यों: AI को समझाना चाहिए कि लोग क्यों असहमत हैं। (क्या यह संस्कृति, उम्र या व्यक्तिगत अनुभव के कारण है?)
- सटीकता से अनुमान लगाना: इसे केवल औसत के बजाय विचारों की सीमा (range) का सही अनुमान लगाना चाहिए।
- कैलिब्रेट करना (Calibrate): यदि AI कहता है, "इस बात की 50% संभावना है कि यह अपमानजनक है," तो उसे 50% बार सही होना चाहिए। उसे अति-आत्मविश्वासी नहीं होना चाहिए।
- सभी का प्रतिनिधित्व करना: इसे अल्पसंख्यक को आवाज देनी चाहिए। केवल बहुमत को दोहराएं नहीं; मानव विचार के पूरे स्पेक्ट्रम को दिखाएं।
- बिना परेशान किए व्यक्त करना: यह सबसे कठिन हिस्सा है। यदि AI 50 अलग-अलग राय सूचीबद्ध करता है, तो उपयोगकर्ता ऊब जाएगा। इसे असहमति को इस तरह से सारांशित करना चाहिए जो सहायक हो, न कि बोझिल। यह एक टाउन हॉल मीटिंग के अच्छे मॉडरेटर की तरह है जो भीड़ की भावनाओं को सारांशित करता है, बिना मीटिंग को घंटों तक खींचने के।
4. वर्तमान शोध में क्या गायब है?
लेखकों ने 60 हालिया शोध पत्रों को देखा कि लोग इन AI मॉडलों का परीक्षण कैसे कर रहे हैं। उन्होंने कुछ बड़े अंतराल पाए:
- हम गिनती में अच्छे हैं, सुनने में नहीं: अधिकांश शोध पत्र केवल यह देखते हैं कि क्या AI ने विचारों की "सही" संख्या प्राप्त की (गणित)। बहुत कम शोध पत्र यह देखते हैं कि क्या AI ने असहमति को अच्छी तरह से समझाया (संचार)।
- हम "क्यों" को अनदेखा करते हैं: शोधकर्ता शायद ही कभी पूछते हैं कि AI ने एक विशिष्ट भविष्यवाणी क्यों की। क्या उसने सही कारणों से सही अनुमान लगाया?
- हम प्रकारों को मिलाते नहीं हैं: हम "लापता सुरागों" और "टकराते मूल्यों" का अलग-अलग अध्ययन करते हैं, लेकिन वास्तविक जीवन में, वे अक्सर एक साथ होते हैं।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि समाज में AI को वास्तव में उपयोगी बनाने के लिए, यह केवल एक रोबोट नहीं हो सकता है जो "सबसे लोकप्रिय" उत्तर चुनता है। इसे एक राजनयिक (Diplomat) बनना होगा।
एक राजनयिक आपको केवल यह नहीं बताता कि बहुमत क्या सोचता है; वह समझता है कि अल्पसंख्यक अलग क्यों महसूस करते हैं, वह जानता है कि अधिक संदर्भ के लिए कब पूछना है, और वह स्थिति को आपको समझाने में सक्षम है ताकि आप भ्रमित या उपेक्षित महसूस न करें।
लेखक AI मूल्यांकन के एक नए युग के लिए आह्वान कर रहे हैं जहाँ हम यह पूछना बंद कर दें कि, "क्या AI ने सही उत्तर दिया?" और यह पूछना शुरू करें कि, "क्या AI ने उत्तर के पीछे के मानवीय अनुभव को समझा?"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।