Three Models of RLHF Annotation: Extension, Evidence, and Authority
यह शोध पत्र RLHF में मानव एनोटेटरों के तीन वैचारिक मॉडलों—एक्सटेंशन (extension), एविडेंस (evidence), और अथॉरिटी (authority)—के बीच अंतर करने का प्रस्ताव देता है, ताकि मॉडल अलाइनमेंट के प्रत्येक आयाम के लिए आवश्यक विशिष्ट मानदण्ड संबंधी भूमिका के अनुरूप डेटा संग्रह और एकत्रीकरण रणनीतियों को अनुकूलित करके अधिक प्रभावी एनोटेशन पाइपलाइनों के डिज़ाइन का मार्गदर्शन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही स्मार्ट रोबोट बना रहे हैं जो कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और लोगों से चैट कर सकता है। आपने इसे बोलना सिखाने के लिए इसे लाखों किताबें खिलाई हैं, लेकिन अब रोबोट थोड़ा अनियंत्रित हो गया है। यह कभी-कभी बदतमीजी करता है, झूठ बोलता है या गलत सलाह देता है। इसे ठीक करने के लिए, आप मानव "संपादकों" (editors) की एक टीम को काम पर रखते हैं ताकि वे रोबोट को बता सकें कि क्या अच्छा है और क्या बुरा। इस प्रक्रिया को RLHF (रिनफोर्समेंट लर्निंग विद ह्यूमन फीडबैक) कहा जाता है।
स्टीव कॉयने (Steve Coyne) का शोध पत्र तर्क देता है कि जब हम इन मानव संपादकों को काम पर रखते हैं, तो हम अक्सर इस बात को लेकर भ्रमित होते हैं कि हम उन्हें क्यों काम पर रख रहे हैं। क्या वे हमारे विचारों की नकल करने के लिए हैं? क्या वे हमें वे तथ्य बताने के लिए हैं जो हम नहीं जानते? या क्या वे हमारे लिए अंतिम कानून बनाने के लिए हैं?
कॉयने सुझाव देते हैं कि इन मानव संपादकों के बारे में सोचने के तीन अलग-अलग तरीके हैं, और उन्हें आपस में मिला देने से रोबोट भ्रमित हो जाता है और बुरा व्यवहार करने लगता है।
यहाँ तीन मॉडल दिए गए हैं, जिन्हें सरल उपमाओं (analogies) के साथ समझाया गया है:
1. एक्सटेंशन मॉडल (The Extension Model): "द शैडो क्लोन"
विचार: इस मॉडल में, मानव संपादक रोबोट के डिजाइनरों की नकल करने के लिए होते हैं।
उपमा: कल्पना कीजिए कि आप एक शेफ हैं जो अपने सहायक शेफ (sous-chef) को अपना सिग्नेचर व्यंजन बनाना सिखाना चाहते हैं। आप नहीं चाहते कि सहायक शेफ अपना कोई अनोखा ट्विस्ट जोड़े या यह पूछे कि ग्राहकों को क्या पसंद है। आप चाहते हैं कि वह भोजन को चखे और कहे, "हाँ, यह बिल्कुल वैसा ही स्वाद है जैसा मैं बनाता।" यदि सहायक शेफ कहता है, "मुझे लगता है इसमें थोड़ा नमक और होना चाहिए," लेकिन आपको लगता है कि यह एकदम सही है, तो आप उनकी बात को अनदेखा कर देते हैं।
यह कैसे काम करता है: संपादक डिजाइन टीम के दिमाग का विस्तार मात्र हैं। वे वहां केवल उन कमियों को भरने के लिए हैं जहाँ डिजाइनर हर उत्तर की जांच करने के लिए उपलब्ध नहीं होते।
- अच्छा है: रोबोट के लहजे (tone), शैली (style) या कंपनी-विशिष्ट नियमों को तय करने के लिए।
- जाल: यदि आप उनके साथ ऐसा व्यवहार करते हैं लेकिन फिर तब नाराज होते हैं जब वे "समुदाय" से असहमत होते हैं, तो आप भ्रमित हैं।
2. एविडेंस मॉडल (The Evidence Model): "द एक्सपर्ट विटनेस"
विचार: इस मॉडल में, संपादक ऐसे तथ्य या डेटा प्रदान करने के लिए होते हैं जो डिजाइनरों के पास नहीं हैं।
उपमा: कल्पना कीजिए कि आप एक अदालत में न्यायाधीश हैं, लेकिन आप किसी विशेष प्रकार की दुर्लभ मछली के बारे में कुछ नहीं जानते। आप एक समुद्री जीवविज्ञानी (marine biologist) को विशेषज्ञ गवाह के रूप में नियुक्त करते हैं। आप पूछते हैं, "क्या यह मछली जहरीली है?" जीवविज्ञानी कहता है, "हाँ, मेरे ज्ञान के आधार पर, यह है।" आपको उनकी बात माननी होगी, भले ही आपको व्यक्तिगत रूप से लगे कि यह सुरक्षित दिख रही है। उनका काम आपको सच्चाई के बारे में साक्ष्य (evidence) देना है।
यह कैसे काम करता है: संपादक विशेषज्ञ या जनता के प्रतिनिधि होते हैं जो डिजाइनरों को बताते हैं, "वास्तव में, ज्यादातर लोगों को यह अपमानजनक लगता है," या "यह तथ्य गलत है।" डिजाइनरों को उनकी बात को सिर्फ इसलिए खारिज नहीं करना चाहिए क्योंकि वे उनसे असहमत हैं; संपादक डेटा प्रदान कर रहे हैं।
- अच्छा है: यह जांचने के लिए कि क्या रोबोट तथ्यात्मक रूप से सटीक है या क्या यह सामान्य सामाजिक मानकों का उल्लंघन करता है (जैसे, "क्या यह अपमानजनक है?")।
- जाल: यदि आप उन्हें विशेषज्ञ मानते हैं लेकिन फिर उन्हें इसलिए निकाल देते हैं क्योंकि वे आपकी व्यक्तिगत राय से सहमत नहीं हैं, तो आप उनकी विशेषज्ञता का मूल्य खो देते हैं।
3. अथॉरिटी मॉडल (The Authority Model): "द मिनी-लेजिस्लेचर"
विचार: इस मॉडल में, संपादकों के पास नियम बनाने की शक्ति होती है, चाहे वे तथ्यात्मक रूप से "सही" हों या "गलत"।
उपमा: कल्पना कीजिए कि एक टाउन मीटिंग में चुनी गई नागरिकों की एक टोली नए कानून पर वोट करती है। उन्हें ट्रैफिक के बारे में विशेषज्ञ होने की आवश्यकता नहीं है; उन्हें बस लोगों का प्रतिनिधित्व करने की आवश्यकता है। यदि वे गति सीमा (speed limit) कम करने के लिए वोट करते हैं, तो शहर को इसका पालन करना होगा, इसलिए नहीं कि नागरिक मेयर से अधिक "स्मार्ट" हैं, बल्कि इसलिए क्योंकि उनके पास समुदाय के लिए निर्णय लेने का अधिकार (authority) है।
यह कैसे काम करता है: संपादक एक "लघु-विधायिका" (mini-legislature) के रूप में कार्य करते हैं। उनका काम सत्य खोजना या डिजाइनर की नकल करना नहीं है; बल्कि यह निर्णय लेने का अधिकार प्रयोग करना है कि रोबोट को क्या करना चाहिए। उनकी शक्ति एक निष्पक्ष, प्रतिनिधि नमूने के रूप में होने से आती है।
- अच्छा है: विवादास्पद राजनीतिक मुद्दों या गहरे नैतिक प्रश्नों पर निर्णय लेने के लिए जहाँ कोई एक सही उत्तर नहीं होता, केवल वही होता है जो समुदाय तय करता है।
- जाल: यदि आप उन्हें एक विधायिका की तरह मानते हैं लेकिन फिर उनके वोट को इसलिए अनदेखा कर देते हैं क्योंकि वह आपके व्यक्तिगत विचार से मेल नहीं खाता, तो आप सिस्टम के "सामाजिक अनुबंध" को तोड़ रहे हैं।
इन्हें मिलाने से रोबोट कैसे खराब होता है?
शोध पत्र का तर्क है कि अधिकांश वर्तमान AI सिस्टम इन तीनों का एक अस्त-व्यस्त मिश्रण हैं, जिससे विफलता के मोड (failure modes) उत्पन्न होते हैं:
- आत्म-विनाश (Self-Defeat): कल्पना कीजिए कि आपने जनता का प्रतिनिधित्व करने के लिए एक "लघु-विधायिका" (Authority) के रूप में संपादकों को नियुक्त किया है। लेकिन फिर, आप किसी भी संपादक को निकाल देते हैं जो आपकी व्यक्तिगत राय से असहमत है (Extension)। आपने उसी चीज़ को नष्ट कर दिया है जिसे आपने मांगा था: एक प्रतिनिधि आवाज। आप ऐसी लोकतंत्र व्यवस्था नहीं रख सकते जहाँ नेता उन मतदाताओं को निकाल सके जो उनके खिलाफ वोट देते हैं।
- विखंडन (Fragmentation): कल्पना कीजिए कि आपने संपादकों से कहा, "आप यहाँ हमें तथ्य देने के लिए हैं" (Evidence), लेकिन आपके निर्देश अस्पष्ट हैं, इसलिए वे सोचते हैं कि आप बस चाहते हैं कि वे आपकी शैली की नकल करें (Extension)। परिणाम डेटा का एक भ्रमित ढेर है जहाँ कुछ संपादक विशेषज्ञों के रूप में काम करने की कोशिश कर रहे हैं और अन्य क्लोन बनने की कोशिश कर रहे हैं। रोबोट को एक मिश्रित संकेत मिलता है और वह कुछ भी उपयोगी नहीं सीख पाता।
- गलत आरोपण (Misattribution - "रिस्पॉन्सिबिलिटी लॉन्ड्रिंग"): यह तब होता है जब एक कंपनी कहती है, "हमने जनता को यह तय करने दिया कि रोबोट क्या कहेगा!" (Authority), लेकिन वास्तव में, वे गुप्त रूप से किसी को भी निकाल देते हैं जो उनसे असहमत है (Extension)। वे रोबोट के बुरे व्यवहार का दोष "जनता" पर डालने की कोशिश कर रहे हैं जबकि वास्तव में सारा नियंत्रण अपने पास रखते हैं।
लेखक की बड़ी सिफारिश
स्टीव कॉयने सुझाव देते हैं कि हम सब कुछ करने के लिए एक ही पाइपलाइन बनाने की कोशिश करना बंद करें। इसके बजाय, हमें अलग-अलग कामों के लिए अलग-अलग पाइपलाइन बनानी चाहिए:
- शैली (Style) के लिए: Extension मॉडल का उपयोग करें। डिजाइनरों को यह तय करने दें कि रोबोट उत्साहित दिखना चाहिए या गंभीर।
- तथ्यों (Facts) के लिए: Evidence मॉडल का उपयोग करें। विशेषज्ञों को यह बताने के लिए नियुक्त करें कि क्या सच है।
- विवादास्पद मूल्यों (Controversial Values) के लिए: Authority मॉडल का उपयोग करें। एक प्रतिनिधि समूह को यह तय करने दें कि कठिन नैतिक स्थितियों में रोबोट को क्या करना चाहिए।
मुख्य बात (The Bottom Line):
एक सहायक AI बनाना केवल एक तकनीकी समस्या नहीं है; यह एक दार्शनिक समस्या भी है। अपने मानव संपादकों को काम पर रखने से पहले, आपको तय करना होगा: क्या वे आपके क्लोन हैं, आपके विशेषज्ञ हैं, या आपके कानून निर्माता हैं? यदि आप इसे स्पष्ट रूप से नहीं चुनते हैं, तो आपका रोबोट भ्रमित, असंगत और संभावित रूप से अनुचित बन जाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।