AI Alignment From Social Choice Perspectives
यह शोध पत्र मानव फीडबैक से एआई अलाइनमेंट (AI alignment) पर सामाजिक चयन सिद्धांत (social choice theory) को लागू करने वाले हालिया शोध का सर्वेक्षण करता है, जो यह प्रदर्शित करता है कि यह परिप्रेक्ष्य परस्पर विरोधी मानवीय निर्णयों को एकत्रित करने में विफलता के रूपों की पहचान कैसे करता है और ऐसे मतभेदों को संभालने के लिए एक व्यापक, सिद्धांतपूर्ण डिज़ाइन स्पेस को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन एक खाली स्लेट की तरह शून्य से शुरू होने वाले रोबोट को कहानियाँ लिखना, सलाह देना या सवालों के जवाब देना सिखाने की कोशिश कर रहे हैं। आप हर संभावित स्थिति के लिए एक आदर्श नियम पुस्तिका नहीं लिख सकते क्योंकि मानवीय मूल्य बहुत जटिल और सूक्ष्म होते हैं। इसके बजाय, आप मानव न्यायाधीशों के एक समूह से कहते हैं कि वे रोबोट के उत्तरों को देखें और कहें, "मुझे यह वाला उस वाले से बेहतर लगता है।"
यह शोध पत्र तर्क देता है कि जिस तरह से हम वर्तमान में उन सभी मानवीय विचारों को रोबोट के लिए निर्देशों के एक एकल सेट में मिलाते हैं, वह त्रुटिपूर्ण है। यह सुझाव देता है कि हमें इस प्रक्रिया को सोशल चॉइस थ्योरी (Social Choice Theory) के नजरिए से देखना चाहिए—वही गणित जिसका उपयोग यह तय करने के लिए किया जाता है कि निष्पक्ष चुनाव कैसे चलाए जाएं।
यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के मुख्य विचारों का विवरण दिया गया है:
1. समस्या: "एक-आकार-सभी-के-लिए" वाला वोट
वर्तमान में, जब मनुष्य असहमत होते हैं (जैसे, एक व्यक्ति को लगता है कि एक चुटकुला मजेदार है, जबकि दूसरा उसे अपमानजनक मानता है), तो मानक विधि (जिसे RLHF कहा जाता है) इन असहमतियों को "शोर" (noise) मानती है। यह एक औसत निकालने की कोशिश करती है ताकि एक "सही" उत्तर मिल सके।
- उपमा: कल्पना कीजिए कि एक शहर एक नए पार्क के बारे में निर्णय लेने की कोशिश कर रहा है। कुछ लोग खेल का मैदान चाहते हैं, कुछ बगीचा चाहते हैं, और कुछ स्केट पार्क चाहते हैं। वर्तमान AI विधि एक ऐसे वोट की तरह काम करती है जहाँ वह सभी को केवल एक विजेता चुनने के लिए मजबूर करती है। यदि "खेल का मैदान" बहुत कम अंतर से जीत जाता है, तो शहर केवल एक खेल का मैदान ही बनाएगा, जिससे बगीचे चाहने वालों की पूरी तरह अनदेखी हो जाएगी। यह पत्र कहता है कि विविध आबादी के लिए यह एक बुरा तरीका है। यह एक जटिल बहस को एक एकल, कठोर स्कोर में बदल देता है।
2. छिपा हुआ मतदान नियम: "बोर्डा काउंट" (Borda Count)
लेखकों ने पाया कि जिस गणित का उपयोग वर्तमान में इन रोबोटों को प्रशिक्षित करने के लिए किया जा रहा है (जिसे ब्रैडली-टेरी मॉडल कहा जाता है), वह केवल एक सांख्यिकीय चाल नहीं है; यह गुप्त रूप से एक विशिष्ट प्रकार का मतदान नियम है जिसे बोर्डा काउंट कहा जाता है।
- उपमा: बोर्डा काउंट में, आप केवल अपना पसंदीदा नहीं चुनते; आप सब कुछ रैंक करते हैं। यदि आपके पास 5 विकल्प हैं, तो आपके पसंदीदा को 5 अंक मिलते हैं, आपके दूसरे विकल्प को 4 अंक, और इसी तरह। विजेता वह होता है जिसके पास सबसे अधिक कुल अंक होते हैं।
- दोष: यह नियम "सुरक्षित" और "नीरस" विकल्पों का पक्ष लेता है। एक ऐसा उत्तर जो सभी के लिए "ठीक" है लेकिन किसी के लिए भी "अद्भुत" नहीं है, वह उस उत्तर पर जीत सकता है जो आधे लोगों के लिए "अद्भुत" है और बाकी आधे लोगों के लिए "घृणित" है। AI उबाऊ और गैर-अपमानजनक बनने के लिए सीख जाता है बजाय इसके कि वह वास्तव में उत्कृष्ट या विशिष्ट बने।
3. "क्लोन" की समस्या: नकल करने वाले विजेता को बदल देते हैं
पत्र इस मतदान प्रणाली की एक अजीब भेद्यता की ओर इशारा करता है: क्लोन संवेदनशीलता (Clone Sensitivity)।
- उपमा: "लाल कार" और "नीली कार" के बीच एक चुनाव की कल्पना करें। यदि लाल कार जीतती है, तो ठीक है। लेकिन क्या होगा यदि लाल कार निर्माता अचानक लाल कार के 100 थोड़े अलग संस्करण जारी कर दे (लाल कार 1.0, लाल कार 1.1, लाल कार 1.2...)? बोर्डा-शैली के वोट में, ये "क्लोन" वोट को इस तरह विभाजित कर सकते हैं कि वे अनजाने में नीली कार को हरा सकते हैं, भले ही मतदाताओं की वास्तविक प्राथमिकताएं नहीं बदली हों।
- AI में: बड़े भाषा मॉडल अक्सर एक ही उत्तर के कई थोड़े अलग संस्करण (paraphrases) उत्पन्न करते हैं। यदि प्रशिक्षण डेटा में एक "सुरक्षित" उत्तर के 10 संस्करण हैं और केवल एक "साहसिक" उत्तर का एक संस्करण है, तो AI यह सोच सकता है कि "सुरक्षित" उत्तर वस्तुतः बेहतर है, केवल इसलिए क्योंकि वह प्रशिक्षण सूची में अधिक बार दिखाई देता है, न कि इसलिए कि मनुष्य वास्तव में उसे पसंद करते हैं।
4. "लीनियर" जाल: जब गणित टूट जाता है
पत्र यह भी दिखाता है कि जब हम AI को एक सरलीकृत गणितीय संरचना (इसे तेज़ या आसान बनाने के लिए) का उपयोग करने के लिए मजबूर करते हैं, तो यह निष्पक्षता के नियमों को तोड़ सकता है।
- उपमा: एक न्यायाधीश की कल्पना करें जिसे हर तर्क को सुनना चाहिए। लेकिन यदि न्यायाधीश को एक बहुत छोटी, कठोर चेकलिस्ट (एक "लीनियर" मॉडल) का उपयोग करने के लिए मजबूर किया जाता है, तो वह बारीकियों को चूक सकता है। भले ही कमरे में मौजूद हर एक व्यक्ति इस बात पर सहमत हो कि विकल्प A, विकल्प B से बेहतर है, यह कठोर गणितीय मॉडल गलती से यह निष्कर्ष निकाल सकता है कि विकल्प B बेहतर है। यह उपकरण की विफलता है, लोगों की नहीं।
5. समाधान: औसत निकालना बंद करें, गेम खेलना शुरू करें
लेखक असहमति को संभालने के लिए गेम थ्योरी से प्रेरित एक बेहतर तरीका प्रस्तावित करते हैं। सभी मानवीय विचारों को एक एकल "स्कोर" में संकुचित करने के बजाय, हमें AI को अपने विरुद्ध स्वयं एक खेल खेलने के लिए छोड़ देना चाहिए।
- उपमा: यह पूछने के बजाय कि "एक सबसे अच्छा उत्तर क्या है?", हम पूछते हैं, "यदि मैं दो अलग-अलग रणनीतियों को एक-दूसरे के खिलाफ खड़ा कर दूँ, तो कौन अधिक बार जीतता है?"
- "मैक्सिमल लॉटरी" (Maximal Lottery): पत्र सुझाव देता है कि AI को रणनीतियों के एक मिश्रण (mixture) को सीखना चाहिए। यदि आधे लोग बगीचा चाहते हैं और आधे स्केट पार्क चाहते हैं, तो AI को एक नहीं चुनना चाहिए। इसे 50% बगीचा और 50% स्केट पार्क बनना सीखना चाहिए। यह असहमति को सुरक्षित रखता है और यह सुनिश्चित करता है कि किसी भी समूह की पूरी तरह से आवाज न दब जाए।
- लाभ: यह विधि (जिसे नैश लर्निंग कहा जाता है) हमारे पास उपलब्ध सीमित जानकारी को संभालने का गणितीय रूप से सबसे "निष्पक्ष" तरीका है। यह गारंटी देता है कि AI कोई बड़ी गलती नहीं करेगा क्योंकि डेटा कम था या मतदाता विभाजित थे।
सारांश
पत्र तर्क देता है कि हम वर्तमान में AI को एक "समझौता मशीन" (compromise machine) बनने की शिक्षा दे रहे हैं जो मानवीय मूल्यों का औसत निकालती है, जिससे अक्सर उबाऊ या पक्षपाती परिणाम मिलते हैं। निष्पक्ष चुनावों के गणित का उपयोग करके, हम ऐसे AI सिस्टम बना सकते हैं जो:
- पहचानते हैं कि "सुरक्षित" होना हमेशा "सर्वश्रेष्ठ" नहीं होता।
- नकल करने वाले उत्तरों को अनदेखा करते हैं जो वोट को प्रभावित करते हैं।
- एक एकल, कठोर उत्तर थोपने के बजाय विकल्पों का मिश्रण प्रदान करके विविध दृष्टिकोणों को सुरक्षित रखते हैं।
यह "बहुमत क्या चाहता है?" से "हम सभी के मूल्यों का निष्पक्ष रूप से प्रतिनिधित्व कैसे कर सकते हैं?" की ओर बढ़ने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।