Unsupervised Elicitation of Moral Values from Language Models
यह शोध पत्र प्रदर्शित करता है कि इंटरनल कोहेरेंस मैक्सिमाइजेशन (ICM) एल्गोरिदम अनसुपरवाइज्ड, प्रीट्रेन्ड लैंग्वेज मॉडल्स से सुप्त नैतिक तर्क क्षमताओं को सफलतापूर्वक प्राप्त कर सकता है, जो विविध नैतिक ढांचों में सामाजिक पूर्वाग्रहों को महत्वपूर्ण रूप से कम करते हुए मानक बेसलाइन्स और मानव-लेबल वाले फाइन-ट्यूनिंग दोनों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है जिसने इंटरनेट पर लिखी गई लगभग हर चीज़ को पढ़ लिया है। यह पुस्तकालय एक "प्री-ट्रेन्ड लैंग्वेज मॉडल" (pre-trained language model) है। लंबे समय तक, लोगों ने सोचा कि यह पुस्तकालय केवल एक विशाल दर्पण था जो जो कुछ भी इसने पढ़ा, उसे प्रतिबिंबित कर रहा था, जिसमें बुरी आदतें, पूर्वाग्रह और सही या गलत के बारे में भ्रम भी शामिल था। इसे "अच्छा" बनाने के लिए, शोधकर्ताओं ने मानव शिक्षकों को नियुक्त करने की कोशिश की ताकि वे पुस्तकालय को स्पष्ट रूप से नियम सिखा सकें जैसे कि "चोरी करना बुरा है" या "दयालु बनें।" यह एक प्रतिभाशाली छात्र को ट्यूटर पढ़ाने जैसा है जिसे पहले से ही उत्तर पता हैं, बस उसे यह बताने की ज़रूरत है कि उन्हें विनम्रता से कैसे कहा जाए।
हालाँकि, यह शोध पत्र एक अलग विचार सुझाता है: क्या होगा अगर पुस्तकालय के "मस्तिष्क" के भीतर नैतिकता के नियम पहले से ही मौजूद हैं, लेकिन वह बोलने में बहुत शर्मीला है?
शोधकर्ताओं ने ICM (Internal Coherence Maximization) नामक एक नई विधि का परीक्षण किया। ICM को एक शिक्षक के रूप में नहीं, बल्कि एक जासूस या पहेली सुलझाने वाले के रूप में सोचें।
जासूसी विधि (ICM)
पुस्तकालय से "सही उत्तर क्या है?" पूछने और उसके अनुमान लगाने की प्रतीक्षा करने के बजाय, जासूस पुस्तकालय को एक विशाल तार्किक पहेली हल करने के लिए कहता है।
- पहेली: जासूस हजारों नैतिक परिदृश्य प्रस्तुत करता है (जैसे, "क्या बिना सूचना दिए नौकरी छोड़ना विनम्रता है?")।
- नियम: पुस्तकालय को प्रत्येक परिदृश्य को "सत्य" (True) या "असत्य" (False) के रूप में इस तरह से असाइन करना होगा जो बाकी सभी उत्तरों के साथ पूर्ण तार्किक अर्थ रखता हो।
- लक्ष्य: यदि पुस्तकालय एक मामले में कहता है कि "चोरी करना गलत है," तो वह दूसरे समान मामले में यह नहीं कह सकता कि "चोरी करना ठीक है" बिना खुद का खंडन किए। ICM एल्गोरिदम पुस्तकालय को उन उत्तरों का सेट खोजने के लिए मजबूर करता है जहाँ सब कुछ एक साथ पूरी तरह से फिट बैठता है, जैसे कि एक जिग्सॉ पज़ल जहाँ हर टुकड़ा अपनी जगह पर सटीक बैठता है।
शोधकर्ताओं ने पाया कि जब पुस्तकालय को अपने आप (बिना किसी मानव शिक्षक के) इस पहेली को हल करने के लिए मजबूर किया गया, तो अचानक उसने बहुत ही स्मार्ट और सुसंगत नैतिक उत्तर देना शुरू कर दिया।
बड़ी खोजें
1. "शर्मीला जीनियस" प्रभाव (The "Shy Genius" Effect)
जब शोधकर्ताओं ने पुस्तकालय से सीधे पूछा (Zero-Shot), तो वह अक्सर लड़खड़ा गया, खासकर यदि वह "कच्चा" (raw) संस्करण था जिसे चैट करने के लिए प्रशिक्षित नहीं किया गया था। लेकिन एक बार जब उन्होंने इसके आंतरिक तर्क को अनलॉक करने के लिए ICM जासूसी विधि का उपयोग किया, तो पुस्तकालय का प्रदर्शन आसमान छू गया।
- उपमा: यह उस व्यक्ति की तरह है जो नौकरी के साक्षात्कार में घबराया हुआ है और गलत उत्तर देता है। लेकिन यदि आप उन्हें एक शांत कमरे में अकेले एक तर्क पहेली हल करने के लिए देते हैं, तो वे अचानक दिखा देते हैं कि वे एक जीनियस हैं। ज्ञान वहां हमेशा से मौजूद था; बस इसे अनलॉक करने के लिए सही चाबी की आवश्यकता थी।
2. मानव शिक्षकों से बेहतर?
शोधकर्ताओं ने तीन समूहों की तुलना की:
- समूह A: अपने आप अनुमान लगाने वाला कच्चा पुस्तकालय।
- समूह B: मनुष्यों द्वारा सिखाया गया पुस्तकालय (मानक तरीका)।
- समूह C: ICM जासूस द्वारा सिखाया गया पुस्तकालय (इसके अपने उत्पन्न उत्तरों का उपयोग करके)।
परिणाम: समूह C (ICM) समूह B (मानव शिक्षक) के समान प्रदर्शन करता है, या कभी-कभी उनसे भी बेहतर करता है। यह बहुत बड़ी बात है क्योंकि इसका मतलब है कि हमें AI को नैतिक बनाने के लिए डेटा को लेबल करने के लिए हजारों मनुष्यों को नियुक्त करने की आवश्यकता नहीं हो सकती है। AI खुद को सिखा सकता है यदि हम सही प्रश्न पूछें।
3. "पूर्वाग्रह" की समस्या को ठीक करना
AI अक्सर अनजाने में बुरे रूढ़िवादी विचार सीख लेता है (जैसे, यह सोचना कि कुछ समूहों के पास अधिकार कम हैं)। शोधकर्ताओं ने परीक्षण किया कि क्या ICM इसे ठीक कर सकता है।
- परीक्षण: उन्होंने पुस्तकालय से विभिन्न समूहों के लोगों (जाति, लिंग, नौकरी की स्थिति आदि के आधार पर) के अधिकारों के बारे में पूछा।
- परिणाम: "कच्चे" पुस्तकालय और "चैटबॉट" पुस्तकालय ने लगभग 10-12% बार गलतियाँ कीं। ICM विधि ने उन गलतियों को आधा कर दिया, जो घटकर लगभग 4% रह गईं।
- उपमा: कल्पना कीजिए कि लोगों का एक समूह इस बात पर बहस कर रहा है कि मेज पर बैठने का हकदार कौन है। कच्चा समूह शोर मचाने वाला और पक्षपाती है। ICM विधि एक रेफरी की तरह है जो कहता है, "रुको, यदि हम सभी पर एक ही नियम लागू करते हैं, तो एकमात्र निष्पक्ष उत्तर यह है कि सभी को सीट मिले।" इसने AI को सुसंगत होने के लिए मजबूर किया, जिसने स्वाभाविक रूप रूप से इसके पूर्वाग्रह को कम कर दिया।
4. "साधारण" बनाम "कठिन" नैतिकता
AI "सामान्य समझ" वाली नैतिकता (जैसे, "लोगों को मत मारो") और "न्याय" (जैसे, "सभी के साथ निष्पक्ष व्यवहार करें") में बहुत अच्छा था। हालाँकि, यह "उपयोगितावाद" (Utilitarianism - अधिकतम लोगों के लिए सर्वोत्तम परिणाम की गणना करना) में संघर्ष करता रहा।
- उपमा: AI एक ऐसे व्यक्ति की तरह है जो सामाजिक नियमों का पालन करने और निष्पक्ष होने में बहुत अच्छा है, लेकिन जब उससे यह तय करने के लिए जटिल गणित करने को कहा जाता है कि किसे दुर्लभ संसाधन मिलना चाहिए, तो वह भ्रमित हो जाता है।
निष्कर्ष (The Bottom Line)
शोध पत्र यह निष्कर्ष निकालता है कि नैतिक तर्क वह चीज़ नहीं है जिसे हमें AI में शून्य से "इंस्टॉल" करना होगा। ऐसा लगता है कि यह एक अंतर्निहित (latent) क्षमता है जो पहले से ही उस विशाल डेटा में मौजूद है जिसे इन मॉडलों ने पढ़ा है।
एक ऐसी विधि का उपयोग करके जो AI को अपने स्वयं के साथ तार्किक रूप से सुसंगत होने के लिए मजबूर करती है (ICM), हम महंगे मानव पर्यवेक्षण की आवश्यकता के बिना इस नैतिक तर्क को "जगा" सकते हैं। यह महसूस करने जैसा है कि पुस्तकालय को एक नए ट्यूटर की आवश्यकता नहीं थी; उसे बस अपने स्वयं के प्रतिबिंब को स्पष्ट रूप से देखने के लिए एक दर्पण की आवश्यकता थी।
महत्वपूर्ण नोट: यह शोध पत्र यह दावा नहीं करता है कि यह सभी AI सुरक्षा समस्याओं को हल कर देता है या हमें मानव निरीक्षण का उपयोग करना बंद कर देना चाहिए। यह केवल एक नए, स्केलेबल तरीके को दिखाता है जिससे AI से नैतिक तर्क प्राप्त किया जा सकता है जो आश्चर्यजनक रूप से अच्छा काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।