Coherence Maximization Improves Pluralistic Alignment
यह शोध पत्र यह प्रदर्शित करता है कि केवल लेबल सटीकता या व्यापक मानवीय पर्यवेक्षण पर निर्भर रहने के बजाय, AI-जनित उदाहरणों में आंतरिक सुसंगतता (internal coherence) को अधिकतम करना, मॉडलों को विविध मानवीय मूल्यों की ओर प्रभावी ढंग से निर्देशित करता है और विभिन्न बेंचमार्क पर सामान्यीकरण (generalization) में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भ्रमित रोबोट को विभिन्न समूहों के लोगों को समझना सिखाने की कोशिश कर रहे हैं। उस रोबोट ने इंटरनेट पर लगभग सब कुछ पढ़ लिया है, इसलिए वह बहुत कुछ जानता है, लेकिन वह अक्सर सभी के लिए एक ही जैसा ("वन-साइज़-फिट्स-ऑल") उत्तर देने लगता है। वह यह पूरी तरह से नहीं समझ पाता कि एक देश के व्यक्ति के मूल्य दूसरे देश के व्यक्ति से अलग हो सकते हैं, या एक डेमोक्रेट (Democrat) एक रिपब्लिकन (Republican) से अलग सोच रख सकता है।
समस्या यह है: आप रोबोट को हर एक समूह के लिए हजारों उदाहरण लिखकर समझाने के बिना, उसे ये विशिष्ट अंतर कैसे सिखा सकते हैं? क्योंकि ऐसा करने के लिए एक मानव शिक्षक को बिठाना बहुत समय लेने वाला और बहुत महंगा काम होगा।
यह शोध पत्र एक चतुर तकनीक पेश करता है जिसे इंटरनल कोहेरेंस मैक्सिमाइजेशन (Internal Coherence Maximization - ICM) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) का उपयोग करके यहाँ समझाया गया है:
"जिग्सॉ पज़ल" (Jigsaw Puzzle) की उपमा
एक व्यक्ति के मूल्यों (जैसे उनके राजनीतिक विचार या सांस्कृतिक विश्वास) को एक विशाल जिग्सॉ पज़ल की तरह समझें।
- पुराना तरीका: रोबोट को सिखाने के लिए, मनुष्य आमतौर पर उसे लेबल किए हुए पज़ल के टुकड़ों का एक डिब्बा देते हैं जिनमें सही चित्र पहले से ही अंकित होता है (गोल्ड लेबल्स)। यह बहुत अच्छा काम करता है, लेकिन इसके लिए मनुष्यों को सारा लेबलिंग कार्य करना पड़ता है।
- नया तरीका (ICM): बिना लेबल किए हुए टुकड़ों का ढेर देकर, शोधकर्ताओं ने रोबोट को खुद यह पता लगाने दिया कि वे आपस में कैसे फिट होते हैं।
रोबोट खुद से पूछता है: "अगर मैं इस टुकड़े को यहाँ रखता हूँ, तो क्या यह बगल वाले टुकड़े के साथ तर्कसंगत लगता है? क्या ये सभी टुकड़े मिलकर एक सुसंगत कहानी बताते हैं?"
शोधकर्ताओं ने पाया कि यदि रोबोट टुकड़ों को इस तरह व्यवस्थित करता है कि वे तार्किक रूप से एक-दूसरे में फिट (उच्च सामंजस्य/high coherence) बैठते हैं, तो वह समूह के मूल्यों को लगभग उतना ही अच्छी तरह से सीख लेता है जितना कि किसी इंसान द्वारा उन्हें पूरी तरह से लेबल करने पर मिलता।
बड़ी खोज: "पूर्णता से बेहतर निरंतरता" (Consistency Beats Perfection)
यहाँ सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने दो प्रकार के पज़ल टुकड़ों का परीक्षण किया:
- परफेक्ट टुकड़े (Perfect Pieces): वे टुकड़े जो मानवीय तथ्यों के अनुसार 100% सही हैं, लेकिन थोड़े बिखरे हुए या आपस में असंगत हो सकते हैं।
- कोहेरेंट टुकड़े (Coherent Pieces): वे टुकड़े जिनमें कुछ छोटी गलतियाँ हो सकती हैं, लेकिन वे एक पूरी तरह से सुसंगत कहानी बताते हैं जो एक अच्छी तरह से बनी दीवार की तरह आपस में जुड़ी हुई है।
परिणाम: रोबोट ने कोहेरेंट टुकड़ों से बहुत बेहतर सीखा। भले ही व्यक्तिगत टुकड़े 100% सटीक न हों, लेकिन तथ्य यह कि वे एक साथ मिलकर एक सुसंगत कहानी बताते थे, इसने रोबोट को समूह के मूल्यों को समझने में बहुत अधिक मदद की।
यह एक नई भाषा सीखने जैसा है। यदि आप ऐसे 100 वाक्यों को याद करते हैं जो व्याकरण की दृष्टि से तो एकदम सही हैं लेकिन आपस में विरोधाभासी हैं, तो आप भ्रमित हो जाएंगे। लेकिन यदि आप 10 ऐसे वाक्य सीखते हैं जो थोड़े अपूर्ण हो सकते हैं लेकिन वे भाषा के काम करने के तरीके के बारे में एक सुसंगत कहानी बताते हैं, तो आप वास्तव में भाषा को बेहतर ढंग से समझ पाएंगे।
जब रोबोट अटक जाता है (द "अंडररिप्रेजेंटेड" समस्या)
रोबोट उन समूहों के लिए इस पज़ल गेम में बहुत अच्छा है जिन्हें उसने अपने प्रशिक्षण डेटा में बहुत बार देखा है (जैसे अमेरिका या यूके के लोग)। लेकिन उन समूहों के लिए जिन्हें उसने बहुत कम देखा है (जैसे नाइजीरिया या इंडोनेशिया के लोग), रोबोट के आंतरिक पज़ल के टुकड़े आपस में ठीक से फिट नहीं होते। वह भ्रमित हो जाता है।
शोधकर्ताओं ने इन कठिन मामलों के लिए एक शॉर्टकट खोजा। केवल यादृच्छिक (random) प्रश्न लेबल करने के बजाय, उन्होंने रोबोट से पूछा: "तुम कहाँ सबसे अधिक अनिश्चित हो?"
- रोबोट ने उन विशिष्ट प्रश्नों की ओर इशारा किया जहाँ उसके आंतरिक पज़ल के टुकड़े आपस में टकरा रहे थे।
- फिर मनुष्यों को केवल उन कुछ विशिष्ट प्रश्नों के उत्तर देने पड़े।
- उन कठिन हिस्सों पर थोड़े से मानवीय सहयोग के साथ, उन अल्प-प्रतिनिधित्व वाले समूहों के लिए रोबोट की समझ में नाटकीय रूप से सुधार हुआ।
निचोड़ (The Bottom Line)
यह शोध पत्र दिखाता है कि विविध मानवीय मूल्यों के साथ AI को तालमेल बिठाने के लिए, हमें हर एक उत्तर की जांच करने के लिए मानव की आवश्यकता नहीं है। इसके बजाय, हम AI को अपने ज्ञान को व्यवस्थित करने दे सकते हैं ताकि वह आंतरिक रूप से जो सबसे अधिक तर्कसंगत है, उसे ढूंढ सके।
- निरंतरता (Consistency) ही कुंजी है: उदाहरणों का एक सेट जो एक सुसंगत कहानी बताता है, उस सेट से अधिक शक्तिशाली है जो व्यक्तिगत रूप से तो पूर्ण है लेकिन बिखरा हुआ है।
- स्मार्ट मदद: उन समूहों के लिए जिन्हें AI कम जानता है, हमें उसे सब कुछ फिर से सिखाने के बजाय, केवल उन विशिष्ट चीजों पर थोड़ा सा सहारा देने की आवश्यकता है जहाँ वह भ्रमित है।
यह दृष्टिकोण हमें एक ऐसा AI बनाने की अनुमति देता है जो बिना बड़े पैमाने पर मानव लेबलर्स की सेना के, विभिन्न संस्कृतियों और दृष्टिकोणों का सम्मान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।