Improving the Distributional Alignment of LLMs using Supervision
यह शोध पत्र यह प्रदर्शित करता है कि सरल पर्यवेक्षण (supervision) जोड़ना सार्वजनिक स्वास्थ्य, जनमत और मूल्यों के डेटासेट में विविध जनसंख्या समूहों के साथ LLM-जनित वितरणों के संरेखण (alignment) में लगातार सुधार करता है, साथ ही भविष्य के अनुसंधान को निर्देशित करने के लिए एक व्यापक बेंचमार्क भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है जिसका नाम LLM (लार्ज लैंग्वेज मॉडल) है। इस रोबोट ने लगभग वह सब कुछ पढ़ लिया है जो कभी लिखा गया है, इसलिए वह दुनिया के बारे में बहुत कुछ जानता है। लेकिन जब आप उससे पूछते हैं, "लोग टीकों (vaccines) के बारे में क्या सोचते हैं?" या "बंदूक का मालिक होना कितना महत्वपूर्ण है?", तो यह रोबोट अक्सर आपको एक ही, आत्मविश्वास से भरा जवाब देता है।
समस्या क्या है? असली लोग एक अकेली आवाज़ नहीं होते। लोगों का एक समूह कई गायकों वाले एक कोरस (choir) की तरह होता है। कुछ ऊंचे स्वर में गाते हैं, कुछ नीचे, कुछ धीमे और कुछ तेज़। यदि रोबोट पूरे कोरस का प्रतिनिधित्व करने के लिए केवल एक गायक को चुन लेता है, तो वह बारीकियों को खो देता है। वह अनजाने में पूरे कोरस को एक कैरिकेचर (व्यंग्य चित्र) बना सकता है—यानी वास्तविकता का एक कार्टून जैसा संस्करण।
यह शोध उस रोबोट को पूरे कोरस को सुनने और वास्तविक मानव समूहों के सुर में सुर मिलाने के लिए सिखाने के बारे में है।
समस्या: रोबोट का "अनुमान लगाने का खेल"
पहले, शोधकर्ताओं ने रोबोट को विशिष्ट समूहों के जैसा दिखने के लिए बनाने की कोशिश की (जैसे कि "टेक्सास का एक 30 वर्षीय शिक्षक" या "फ्रांस का एक 60 वर्षीय किसान") और बस रोबोट को यह बताया कि, "दिखावा करो कि तुम यह व्यक्ति हो।" इसे पर्सोना प्रॉम्प्टिंग (Persona Prompting) कहा जाता है।
इसे एक अभिनेता से एक भूमिका निभाने के लिए कहने जैसा समझें। कभी-कभी अभिनेता भूमिका को बखूबी निभाता है; कभी-कभी वह अतिरंजित अभिनय करने लगता है और चरित्र को एक रूढ़िबद्ध छवि (stereotype) बना देता है। शोधकर्ताओं ने पाया कि केवल रोबोट को "दिखावा करने" के लिए कहने से वह लगातार यह नहीं समझ पाया कि वास्तविक समूह वास्तव में कैसे सोचते हैं। रोबोट के "अनुमान" अक्सर बहुत अधिक चरम (extreme) या पूरी तरह से गलत होते थे।
समाधान: "ट्यूनिंग फोर्क" (सुपरवाइज्ड कैलिब्रेशन)
शोधकर्ताओं ने एक बेहतर तरीका खोजा। केवल रोबोट को अनुमान लगाने के लिए कहने के बजाय, उन्होंने उसे एक ट्यूनिंग फोर्क (स्वर मिलाने वाला यंत्र) दिया।
यह इस प्रकार काम करता है:
- रोबोट अनुमान लगाता है: पहले, वे रोबोट से पूछते हैं कि एक समूह के लोग किसी सर्वेक्षण (survey) का उत्तर कैसे देंगे। रोबोट एक वितरण (distribution) देता है (जैसे, "मुझे लगता है कि 60% 'हाँ' कहेंगे, 20% 'शायद' और 20% 'नहीं'")।
- वास्तविकता की जाँच: वे इस अनुमान की तुलना हजारों वास्तविक मनुष्यों के वास्तविक परिणामों से करते हैं जिन्होंने वही सर्वेक्षण किया था।
- कैलिब्रेशन (जादुई कदम): वे एक सरल गणितीय उपकरण (एक छोटे, स्मार्ट कैलकुलेटर की तरह) का उपयोग करते हैं ताकि रोबोट के अनुमान और वास्तविकता के बीच के अंतर को देखा जा सके। वे रोबोट को सिखाते हैं: "हे, तुम अगली बार के लिए 'हाँ' के वोटों को 10% अधिक बढ़ाकर दिखा रहे हो। अगली बार, इसे थोड़ा कम करो।"
इस प्रक्रिया को सुपरवाइज्ड कैलिब्रेशन (Supervised Calibration) कहा जाता है। यह रोबोट को चश्मा देने जैसा है जो उसकी दृष्टि को ठीक करता है। यह रोबोट के दिमाग को नहीं बदलता है; यह बस इसके अंतिम आउटपुट को समायोजित करता है ताकि यह वास्तविक दुनिया के साथ अधिक सटीक रूप से मेल खा सके।
उन्होंने क्या पाया
शोधकर्ताओं ने तीन अलग-अलग "दुनियाओं" के डेटा पर इसका परीक्षण किया:
- सार्वजनिक स्वास्थ्य: (जैसे, डॉक्टरों पर भरोसा करना)।
- जनमत: (जैसे, अमेरिका में राजनीति पर विचार)।
- मूल्य और विश्वास: (जैसे, दुनिया भर के नैतिक प्रश्न)।
यहाँ मुख्य निष्कर्ष दिए गए हैं, जिन्हें रोजमर्रा की भाषा में अनुवादित किया गया है:
- "दिखावा करने" वाला तरीका अच्छा काम नहीं किया: केवल रोबोट को "किसी विशिष्ट व्यक्ति की तरह व्यवहार करने" के लिए कहना लगातार सटीक नहीं रहा। यह एक अभिनेता को बिना स्क्रिप्ट दिए भूमिका निभाने के लिए कहने जैसा था; वे अक्सर खराब तरीके से अपनी मर्जी से अभिनय करते थे।
- "ट्यूनिंग फोर्क" ने कमाल कर दिया: जब उन्होंने कैलिब्रेशन (गणितीय सुधार) लागू किया, तो रोबet के भविष्यवाणियां औसतन 16% अधिक सटीक हो गईं। यह एक थोड़े बेसुरे पियानो को पूरी तरह से ट्यून करने जैसा था।
- आपको बहुत अधिक डेटा की आवश्यकता नहीं है: आप सोच सकते हैं कि रोबोट को सिखाने के लिए आपको लाखों उदाहरणों की आवश्यकता है। नहीं! उन्होंने पाया कि रोबोट को प्रभावी ढंग से ट्यून करने के लिए वास्तविक मानव उत्तरों के मात्र 1 से 10 उदाहरण ही पर्याप्त थे। यह एक नया गाना सुनने के बाद उसे सीखने जैसा है।
- यह चरम सीमाओं को सुचारू बनाता है: रोबोट स्वाभाविक रूप से समूहों को एक-दूसरे से वास्तव में जितने अलग हैं, उससे कहीं अधिक अलग दिखाने की प्रवृत्ति रखता है (जैसे, "समूह A" को बहुत उदारवादी और "समूह B" को बहुत रूढ़िवादी दिखाना)। कैलिब्रेशन ने इन किनारों को सुधारा, जिससे रोबोट का दुनिया के प्रति दृष्टिकोण अधिक यथार्थवादी और कम ध्रुवीकृत (polarized) हो गया।
बड़ी तस्वीर
यह शोध सामाजिक विज्ञान में AI के उपयोग के लिए एक बड़ा कदम है। यह दिखाता है कि हमें मानव विविधता को समझने के लिए एक नया, अत्यंत जटिल रोबोट बनाने की आवश्यकता नहीं है। हमें बस अपने पास मौजूद रोबोट को लेना है, उसे एक अनुमान लगाने देना है, और फिर थोड़े से वास्तविक दुनिया के डेटा के साथ उसके उत्तर को धीरे से सही दिशा देनी है।
संक्षेप में: रोबोट बुद्धिमान है, लेकिन वह थोड़ा दिवास्वप्न देखने वाला (daydreamer) है। कैलिब्रेशन (वास्तविकता की जाँच) देकर, हम इसे मानव राय के विविध, जटिल और सुंदर कोरस का एक बेहतर दर्पण बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।