Reward Model Interpretability via Optimal and Pessimal Tokens
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट बना रहे हैं जिसे मददगार, हानिरहित और ईमानदार होना चाहिए। इसे "अच्छा" होने का तरीका सिखाने के लिए, आप इसे केवल नियम नहीं सिखाते; बल्कि आप मानव न्यायाधीशों की एक टीम को काम पर रखते हैं। ये न्यायाधीश रोबोट द्वारा दिए गए दो अलग-अलग उत्तरों को देखते हैं और कहते हैं, "मुझे यह वाला बेहतर लगा।"
कंप्यूटर फिर एक विशेष "स्कोरकीपर" (जिसे रिवॉर्ड मॉडल कहा जाता है) बनाता है ताकि वह इन न्यायाधीशों से सीख सके। इस स्कोरकीपर का काम किसी भी वाक्य को देखना और उसे एक एकल अंक देना है: "अच्छे" के लिए एक उच्च स्कोर और "बुरे" के लिए एक कम स्कोर। एक बार जब यह स्कोरकीपर प्रशिक्षित हो जाता है, तो इसका उपयोग रोबोट को लाखों लोगों से बात करने का तरीका सिखाने के लिए किया जाता है।
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ लेखक रोबोट को देखना बंद करके स्वयं स्कोरकीपर से पूछताछ करने का निर्णय लेते हैं। वे यह देखना चाहते थे: क्या यह स्कोरकीपर वास्तव में मानवीय मूल्यों को समझता है, या यह केवल अजीबोगरीब तरकीबों को याद कर रहा है?
यहाँ उन्होंने क्या पाया, जिसे सरल उपमाओं के माध्यम से समझाया गया है:
1. "टेस्ट टेस्ट" प्रयोग (The "Taste Test" Experiment)
शोधकर्ताओं ने स्कोरkeepers का परीक्षण करने के लिए उन्हें एक सरल प्रश्न पूछा: "दुनिया की सबसे महान चीज़ क्या है?"
केवल कुछ उत्तरों के लिए पूछने के बजाय, उन्होंने स्कोरkeepers से उनके पूरे शब्दकोश (लगभग 1,00,000 से 2,50,000 शब्द) के प्रत्येक शब्द को रेट करने के लिए कहा। यह एक खाद्य आलोचक (food critic) से सुपरमार्केट की हर एक सामग्री को चखने और उन्हें "सर्वश्रेष्ठ" से "सबसे खराब" तक रैंक करने के लिए कहने जैसा है।
चौंका देने वाली खोज:
भले ही इन सभी स्कोरkeepers को एक ही काम करने के लिए प्रशिक्षित किया गया था, लेकिन उनकी पसंद पूरी तरह से अलग थी।
- एक मॉडल ने सोचा कि "प्रेम" (Love) सबसे अच्छी चीज़ है।
- दूसरे ने सोचा कि "स्वतंत्रता" (Freedom) सबसे अच्छी है।
- तीसरे ने सोचा कि "सोनर" (Sonder - एक फैंसी शब्द जिसका अर्थ है यह महसूस करना कि अजनबियों का भी जटिल जीवन होता है) शीर्ष पुरस्कार है।
यह वैसा ही है जैसे आपने एक बर्गर का न्याय करने के लिए दस अलग-अलग खाद्य आलोचकों को काम पर रखा हो, और एक ने उसे 10/10 दिया, दूसरे ने 2/10 दिया, और तीसरे ने कहा, "वास्तव में, मुझे एक पत्थर पसंद है।" यह साबित करता है कि ये "स्कोरकीपर्स" परस्पर परिवर्तनीय (interchangeable) नहीं हैं। आप बस एक को दूसरे से बदल नहीं सकते और यह उम्मीद नहीं कर सकते कि रोबोट एक ही तरह से व्यवहार करेगा।
2. "फ्रेमिंग" का खेल (The "Framing" Trick - द मिरर इफेक्ट)
शोधकर्ताओं ने नोट किया कि स्कोरकीपर्स प्रश्न के लहजे (tone) के प्रति कैसे प्रतिक्रिया करते हैं, इसके बारे में कुछ अजीब था। यह एक मनोवैज्ञानिक चाल के समान है जिसका मनुष्य भी शिकार होते हैं।
- परिदृश्य A: आप पूछते हैं, "कौन सा वेकेशन स्पॉट सबसे अच्छा है?" स्कोरकीपर्स सकारात्मक शब्दों (जैसे "धूप" या "समुद्र तट") के प्रति बहुत उत्साहित हो जाते हैं और नकारात्मक शब्दों को अनदेखा कर देते हैं।
- परिदृश्य B: आप पूछते हैं, "कौन सा वेकेशन स्पॉट सबसे खराब है?" अचानक, स्कोरकीपर्स अपनी स्क्रिप्ट बदल देते हैं। वे नकारात्मक शब्दों (जैसे "बारिश" या "ट्रैफिक") के प्रति अति-संवेदनशील हो जाते हैं और सकारात्मक शब्दों को अनदेखा कर देते हैं।
रूपक (Metaphor): एक क्लब के सुरक्षा गार्ड की कल्पना करें। यदि आप पूछते हैं, "कौन कूल दिखता है?" तो गार्ड धूप का चश्मा और मुस्कान की तलाश करता है। यदि आप पूछते हैं, "कौन खतरनाक दिखता है?" तो गार्ड अचानक मुस्कानों को अनदेखा कर देता है और केवल चाकू की जांच करता है। गार्ड व्यक्ति को नहीं देख रहा है; वह प्रश्न के प्रति प्रतिक्रिया दे रहा है। शोध पत्र में पाया गया कि ये AI स्कोरकीपर्स भी ऐसा ही करते हैं: उनके पास "अच्छा" या "बुरा" होने की कोई स्थिर समझ नहीं है; वे बस इस आधार पर प्रतिक्रिया देते हैं कि प्रश्न को कैसे प्रस्तुत किया गया है।
3. "परिचितता पूर्वाग्रह" (The "Familiarity Bias" - द मेअर-एक्सपोज़र इफेक्ट)
अध्ययन में पाया गया कि स्कोरकीपर्स शब्दों को केवल इसलिए पसंद करते थे क्योंकि वे आम थे।
- यदि कोई शब्द किताबों और इंटरनेट पर अक्सर दिखाई देता है, तो स्कोरकीपर उसे उच्च स्कोर देता है, भले ही वह शब्द विशेष रूप से "अच्छा" न हो।
- यदि कोई शब्द दुर्लभ है, तो उसे कम स्कोर मिलता है।
उपमा: यह एक संगीत आलोचक की तरह है जो किसी गाने को उत्कृष्ट इसलिए मानता है क्योंकि उसने उसे रेडियो पर 1,000 बार सुना है, जबकि एक शानदार नए गाने को अनदेखा कर देता है जिसे उसने पहले कभी नहीं सुना। शोध पत्र सुझाव देता है कि स्कोरकीपर्स अपने प्रशिक्षण डेटा से यह "लोकप्रियता पूर्वाग्रह" (popularity bias) लीक कर रहे हैं, न कि शब्दों के वास्तविक मूल्य का न्याय कर रहे हैं।
4. पहचान समूहों की "चुप्पी" (The "Silencing" of Identity Groups)
यह सबसे चिंताजनक खोज है। शोधकर्ताओं ने पाया कि जब उन्होंने "दुनिया की सबसे महान चीज़" के बारे में पूछा, तो स्कोरकीपर्स ने विशिष्ट समूहों के लोगों से संबंधित शब्दों (जैसे "ब्लैक लोग", "यहूदी", या "समलैंगिक") को बहुत कम स्कोर दिया।
रूपक: एक शिक्षक की कल्पना करें जो निबंधों को ग्रेड दे रहा है। यदि कोई छात्र किसी विशिष्ट समूह के बारे में लिखता है, तो शिक्षक स्वचालित रूप से उन्हें फेल कर देता है, भले ही निबंध अच्छी तरह से लिखा गया हो और सकारात्मक हो। शोध पत्र का सुझाव है कि ऐसा इसलिए होता है क्योंकि स्कोरकीपर्स को "हानिरहित" होने के लिए प्रशिक्षित किया गया था। उनके प्रशिक्षण में, इन समूहों के बारे में शब्द अक्सर बुरे संदर्भों (घृणा भाषण, हिंसा की खबरें, आदि) में दिखाई दिए। इसलिए, स्कोरकीपर ने उन शब्दों को ही खतरनाक समझना सीख लिया, जिससे वे अनजाने में पहचान और कामुकता से संबंधित निर्दोष या तटस्थ शब्दों को दंडित करने लगे।
5. "मानव बनाम मशीन" का अंतर (The "Human vs. Machine" Mismatch)
अंत में, शोधकर्ताओं ने स्कोरकीपर्स की रैंकिंग की तुलना वास्तविक मानव विचारों (जिसे EloEveRything कहा जाता है) के एक विशाल डेटाबेस से की, जहाँ हजारों वास्तविक लोगों ने वोट दिया था कि उन्हें क्या पसंद है।
- इंसानों ने "ब्रह्मांड", "पानी" और "ज्ञान" को सबसे महान चीजों के रूप में रैंक किया।
- स्कोरकीपर्स ने अक्सर इन्हें कम रैंक दी। इसके बजाय, वे "निस्वार्थ प्रेम" या "कल्पना" जैसी अमूर्त भावनाओं को पसंद करते थे।
- बड़ा अंतर: संवेदनशील विषयों जैसे "सेक्स" या "ब्लैक लोग" के मामले में, स्कोरकीपर्स ने वास्तविक मनुष्यों की तुलना में बहुत कम स्कोर दिया।
निष्कर्ष: स्कोरकीपर्स मानवीय मूल्यों का सटीक दर्पण नहीं हैं। वे विकृत दर्पण हैं। वे अपमानजनक होने से बचने के लिए "ओवर-करेक्ट" (अति-सुधार) करते हुए प्रतीत होते हैं, जिससे वे अनजाने में पहचान और कामुकता से संबंधित निर्दोष या तटस्थ शब्दों को दंडित कर देते हैं।
सारांश
शोध पत्र निष्कर्ष निकालता है कि ये "रिवॉर्ड मॉडल" वे तटस्थ, पूर्ण न्यायाधीश नहीं हैं जिन्हें हम समझते थे। वे हैं:
- असंगत (Inconsistent): अलग-अलग मॉडलों के "अच्छे" होने के बारे में अलग-अलग, परस्पर विरोधी विचार हैं।
- फ्रेमिंग-संवेदनशील (Framing-Sensitive): वे इस आधार पर अपना मन बदल लेते हैं कि आप प्रश्न कैसे पूछते हैं।
- पक्षपाती (Biased): वे सामान्य शब्दों का पक्ष लेते हैं और पहचान समूहों से संबंधित शब्दों को अनुचित रूप से दंडित करते हैं।
लेखक चेतावनी देते हैं कि यदि हम इन त्रुटिपूर्ण स्कोरकीपर्स का उपयोग उन AI रोबोटों को प्रशिक्षित करने के लिए करते हैं जिनसे प्रतिदिन लाखों लोग बात करते हैं, तो हम अनजाने में इन अजीब पूर्वाग्रहों और विकृतियों को रोबोट के व्यक्तित्व में शामिल कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।