Procedural Fairness Failures in RLHF from Preference Averaging
यह शोध पत्र यह पहचान करता है कि मानक रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) विषम प्राथमिकताओं को औसत करके प्रक्रियात्मक निष्पक्षता (procedural fairness) में विफल रहता है, जिससे बहुसंख्यक समूह रिवॉर्ड लर्निंग पर हावी हो जाते हैं, और प्रेफरेंस-अवेयर RLHF (PA-RLHF) का प्रस्ताव करता है जो प्रेफरेंस मोड्स के बीच अनुकूलन को अलग करता है, जिससे एलाइनमेंट सटीकता में महत्वपूर्ण सुधार होता है और निष्पक्षता अंतराल कम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक सहायक बनने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। इसे करने के लिए, आप इसे केवल नियमों के साथ प्रोग्राम नहीं करते; बल्कि आप इसे उदाहरण दिखाते हैं कि मनुष्य क्या पसंद करते हैं और क्या नापसंद करते हैं। इस प्रक्रिया को "रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक" (RLHF) कहा जाता है। इसे एक शिक्षक द्वारा अलग-अलग माता-पिता के नोट्स के ढेर के आधार पर छात्र के होमवर्क को ग्रेड देने जैसा समझें। यदि माता-पिता A को लंबी, विस्तृत कहानियाँ पसंद हैं और माता-पिता B उन्हें नापसंद करते हैं, तो शिक्षक को यह तय करना होगा कि किसकी राय अधिक मायने रखती है। आमतौर पर, शिक्षक सभी नोट्स का औसत ले लेता है, यह मानकर कि हर कोई लगभग एक जैसी ही चीज़ चाहता है। लेकिन क्या होगा यदि माता-पिता की पसंद पूरी तरह से अलग हो? यदि शिक्षक नोट्स का औसत लेता है, तो उन शांत अल्पसंख्यकों की राय को अनदेखा किया जा सकता है जो छोटे, प्रभावशाली उत्तर चाहते हैं, जबकि बहुमत को वह सब कुछ मिल जाएगा जो वे चाहते हैं। यह शोध पत्र इस बात की जांच करता है कि जब AI इस तरह से सीखता है, तो क्या होता है, विशेष रूप से यह देखते हुए कि क्या "औसत निकालने" की विधि सभी के लिए निष्पक्ष है, या क्या यह अनजाने में कुछ समूहों को चुप करा देती है।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जो "प्रोसीजरल फेयरनेस फेलियर्स इन आरएलएचएफ फ्रॉम प्रेफरेंस एवरेजिंग" नामक एक परियोजना पर काम कर रहे थे, इस विचार का परीक्षण करने का निर्णय लिया। उन्होंने एक नियंत्रित, सिम्युलेटेड दुनिया में एक परिदृश्य बनाया। उन्होंने तीन अलग-अलग समूहों के "रेटर्स" (सिम्युलेटेड लोग) के साथ एक परिदृश्य बनाया जिनकी बहुत अलग और सुसंगत प्राथमिकताएं थीं: एक समूह को छोटे उत्तर पसंद थे, दूसरे को लंबी, विस्तृत बातें पसंद थीं, और तीसरे को तकनीकी, औपचारिक प्रतिक्रियाएं चाहिए थीं। फिर उन्होंने एक AI को मानक विधि का उपयोग करके प्रशिक्षित किया, जो केवल इन सभी अलग-अलग मतों को एक बड़े "औसत" रिवॉर्ड मॉडल में मिला देती है। परिणाम बताने वाले थे: AI अधिकांश समय बहुमत समूह की प्राथमिकताओं को सही ढंग से समझ पाया, लेकिन उसे अल्पसंख्यक समूहों के साथ काफी संघर्ष करना पड़ा। वास्तव में, "फेयरनेस गैप" (निष्पक्षता अंतराल)—जो सबसे बेहतर स्थिति वाले समूह और सबसे खराब स्थिति वाले समूह के बीच संतुष्टि के अंतर को दर्शाता है—पूरे 15.9 प्रतिशत अंक था। समग्र सटीकता केवल लगभग 46.9% थी, जिसका अर्थ है कि AI पूरे क्रम में आधे विचारों को भी सही ढंग से नहीं समझ पा रहा था।
इसे ठीक करने के लिए, टीम ने एक नया दृष्टिकोण पेश किया जिसे "प्रेफरेंस-अवेयर आरएलएचएफ" (PA-RLHF) कहा जाता है। सभी अलग-अलग मतों को एक ही ब्लेंडर में मिलाने के बजाय, उन्होंने सीखने के चरण के दौरान समूहों को अलग रखा। कल्पना कीजिए कि सभी को एक ही नियमों के सेट के साथ ग्रेड देने के बजाय, आपके पास तीन अलग-अलग शिक्षक हैं, जिनमें से प्रत्येक केवल उस विशिष्ट समूह का प्रतिनिधित्व करता है जिसका वे प्रतिनिधित्व कर रहे हैं। एक शिक्षक केवल "छोटे उत्तर" के प्रशंसकों से सीखता है, दूसरा केवल "लंबी कहानी" के प्रशंसकों से, और इसी तरह। जब उन्होंने इस नई पद्धति का परीक्षण किया, तो परिणाम नाटकीय रूप से सुधर गए। समग्र सटीकता 46.9% से बढ़कर 67.9% हो गई। अधिक महत्वपूर्ण बात यह है कि "फेयरनेस गैप" 15.9 अंकों से घटकर केवल 9.6 अंक रह गया। अल्पसंख्यक समूहों ने भारी लाभ देखा, जहाँ उनकी संतुष्टि का स्तर 27 से 32 प्रतिशत अंक से अधिक बढ़ गया, जबकि बहुमत समूह में भी मामूली सुधार हुआ।
शोध पत्र सुझाव देता है कि समस्या केवल "शोर" या खराब डेटा नहीं थी; बल्कि यह एक संरचनात्मक दोष था कि कैसे लर्निंग ऑब्जेक्टिव को बनाया गया था। सब कुछ औसत निकालकर, मानक विधि ने व्यवस्थित रूप से अल्पसंख्यक प्राथमिकताओं को किनारे कर दिया। शोधकर्ताओं ने पाया कि विभिन्न प्राथमिकता समूहों के लिए सीखने की प्रक्रिया को अलग करने मात्र से AI के अंतर्निहित मस्तिष्क को बदले बिना ही इसे ठीक किया जा सकता है। हालाँकि, वे इस बात पर ध्यान देते हैं कि ये परिणाम एक नियंत्रित सिमुलेशन से आए हैं, न कि वास्तविक दुनिया के जटिल मानवीय डेटा से। जबकि सिमुलेशन दिखाता है कि सीखने के अलग-अलग रास्तों को अलग करना काम करता है, लेखक सुझाव देते हैं कि यह देखने के लिए और काम करने की आवश्यकता है कि यह जटिल, वास्तविक जीवन की स्थितियों में कैसे टिकता है जहाँ प्राथमिकताओं को अलग करना कठिन हो सकता है। फिर भी, यह अध्ययन एक स्पष्ट चेतावनी देता है: यदि हम चाहते हैं कि AI सभी के लिए निष्पक्ष हो, तो हमें अपने अंतरों का औसत लेना बंद करना होगा और अपनी अद्वितीय आवाजों को अलग-अलग सुनना शुरू करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।