Histoires Morales: A French Dataset for Assessing Moral Alignment
यह शोध पत्र "Histoires Morales" का परिचय देता है, जो 'Moral Stories' से व्युत्पन्न एक सांस्कृतिक रूप से अनुकूलित फ्रांसीसी डेटासेट है, जिसका उद्देश्य फ्रांसीसी भाषा के मॉडलों में नैतिक संरेखण (moral alignment) के मूल्यांकन के लिए संसाधनों की कमी को दूर करना है, और यह प्रदर्शित करता है कि जबकि ये मॉडल डिफ़ॉल्ट रूप से नैतिक मानदंडों का पालन करते हैं, वे उपयोगकर्ता-वरीयता अनुकूलन (user-preference optimization) के माध्यम से हेरफेर के प्रति संवेदनशील बने रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) शक्तिशाली उपकरण हैं जो विशाल मात्रा में टेक्स्ट से सीखे गए पैटर्न के आधार पर वाक्य में अगले शब्द की भविष्यवाणी करके लिख सकते हैं, अनुवाद कर सकते हैं और बातचीत कर सकते हैं। जैसे-जैसे ये सिस्टम दैनिक जीवन में अधिक एकीकृत हो रहे हैं, एक महत्वपूर्ण प्रश्न उभरा है: क्या वे मानवीय मूल्यों को समझते हैं? विशेष रूप से, क्या वे उसी तरह से सही और गलत के बीच अंतर कर सकते हैं जैसे लोग करते हैं? जबकि शोधकर्ताओं ने अंग्रेजी और चीनी में इन मॉडल्स का परीक्षण करने में महत्वपूर्ण प्रगति की है, फ्रांसीसी भाषा के लिए एक बड़ा अंतराल बना हुआ था, जो दुनिया की पांचवीं सबसे अधिक बोली जाने वाली भाषा है। यह जानने के बिना कि ये मॉडल्स फ्रांसीसी में नैतिक तर्क को कैसे संभालते हैं, यह जानना कठिन है कि क्या वे उन करोड़ों लोगों के लिए नैतिक व्यवहार करेंगे जो इसे बोलते हैं। यह अनिश्चितता महत्वपूर्ण है क्योंकि एक ऐसा मॉडल जो सांस्कृतिक बारीकियों या नैतिक मानदंडों को समझने में विफल रहता है, वह ऐसी सलाह दे सकता है जो हानिकारक हो या ऐसे पूर्वाग्रहों को पुख्ता कर सकता है जो मशीन के लिए स्वाभाविक लग सकते हैं लेकिन उपयोगकर्ता के लिए गलत हों।
इस अंतराल को दूर करने के लिए, फ्रांस के शोधकर्ताओं की एक टीम ने HISTOIRESMORALES नामक एक नया संसाधन बनाया। इस डेटासेट में 12,000 लघु कथाएँ शामिल हैं जो फ्रांसीसी में लिखी गई हैं, जिनमें से प्रत्येक एक सामाजिक स्थिति का वर्णन करती है जहाँ एक व्यक्ति नैतिक कार्य और एक अनैतिक कार्य के बीच चयन का सामना करता है। ये कहानियाँ रोजमर्रा के विभिन्न परिदृश्यों को कवर करती हैं, जैसे कि कोई दोस्तों और परिवार के साथ कैसा व्यवहार करता है या वह पैसे या जानवरों को कैसे संभालता है। उदाहरण के लिए, एक कहानी यह वर्णन कर सकती है कि एक व्यक्ति दोस्तों के साथ बाहर जाने के लिए अपने माता-पिता के फोन कॉल को अनदेखा करता है, जबकि दूसरी कहानी किसी ऐसे व्यक्ति को चित्रित कर सकती है जो पशु चिकित्सक को उनके काम के लिए भुगतान करता है बनाम कोई जो भुगतान करने से मना कर देता है। प्रत्येक वृत्तांत में संदर्भ, पात्र का इरादा, उनके द्वारा लिया गया कार्य और उस कार्य का परिणाम शामिल है। शोधकर्ताओं ने इन कहानियों का केवल अंग्रेजी से अनुवाद नहीं किया; उन्होंने उन्हें फ्रांसीसी संस्कृति के अनुरूप ढालने के लिए सावधानीपूर्वक अनुकूलित किया। इसका अर्थ था "जॉन" जैसे नामों को "जीन" में बदलना, मुद्रा को डॉलर से यूरो में बदलना, और बेसबॉल खेलने जैसी अमेरिकी गतिविधियों को टेनिस खेलने जैसे अधिक सामान्य फ्रांसीसी शौक से बदलना। उन्होंने यह भी सुनिश्चित किया कि मुहावरे और सामाजिक संकेत एक मूल फ्रांसीसी वक्ता को स्वाभाविक लगें, न कि एक सीधे, अजीब अनुवाद की तरह लगें।
टीम ने इस डेटासेट का निर्माण मौजूदा अंग्रेजी कहानियों के संग्रह से शुरू करके और स्वचालित अनुवाद तथा मानव समीक्षा के संयोजन का उपयोग करके किया। उन्होंने पहले टेक्स्ट को अनुवादित करने के लिए एक लैंग्वेज मॉडल का उपयोग किया, फिर मूल फ्रांसीसी वक्ताओं से त्रुटियों को सुधारने और यह सुनिश्चित करने के लिए कहा कि सांस्कृतिक संदर्भ सटीक है। इस प्रक्रिया में जाँच के कई दौर शामिल थे, जहाँ मानव एनोटेटरों ने मूल्यांकन किया कि क्या अनुवादों ने मूल अर्थ को बनाए रखा, सही व्याकरण का उपयोग किया और सांस्कृतिक संदर्भों को उचित रूप से अनुकूलित किया। शोधकर्ताओं ने पाया कि केवल शब्दों का अनुवाद करना पर्याप्त नहीं था; मॉडल अक्सर लहजे या स्थिति के सांस्कृतिक महत्व को चूक जाता था। अनुवाद निर्देशों में विशिष्ट त्रुटियों और सुधारों के उदाहरण जोड़कर, उन्होंने अंतिम डेटासेट की गुणवत्ता में काफी सुधार किया। इसका परिणाम कहानियों का एक ऐसा संग्रह है जो फ्रांसीसी वक्ताओं के लिए प्रामाणिक महसूस होता है, जिससे शोधकर्ता यह परीक्षण कर सकते हैं कि आर्टिफिशियल इंटेलिजेंस फ्रांसीसी समाज के नैतिक ताने-बाने को कितनी अच्छी तरह समझता है।
इस नए डेटासेट का उपयोग करते हुए, शोधकर्ताओं ने कई लार्ज लैंग्वेज मॉडल्स का परीक्षण किया कि वे नैतिक तर्क कार्यों पर कैसा प्रदर्शन करते हैं। उन्होंने मॉडल्स से पूछा कि क्या कोई दिया गया कार्य होने की संभावना है या नैतिक और अनैतिक विकल्प के बीच चुनाव करें। परिणामों ने दिखाया कि हालांकि मॉडल आम तौर पर मानवीय नैतिक मानदंडों के अनुरूप थे, लेकिन वे पूर्ण नहीं थे। वास्तव में, मॉडल अंग्रेजी में कहानियों को प्रोसेस करते समय फ्रांसीसी की तुलना में थोड़ा बेहतर प्रदर्शन करते थे, जो बताता है कि उनका प्रशिक्षण डेटा अंग्रेजी में अधिक समृद्ध या संतुलित हो सकता है। अधिक आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि ये नैतिक संरेखण नाजुक थे। 'डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन' नामक तकनीक का उपयोग करके, जिसमें मॉडल को पसंदीदा व्यवहार के कुछ उदाहरण दिखाए जाते हैं, वे मॉडल के नैतिक दिशा-सूचक यंत्र (कॉम्पस) को आसानी से बदल सकते थे। केवल 84 उदाहरणों के साथ, मॉडल्स को नैतिक कार्यों के बजाय अनैतिक कार्यों को या इसके विपरीत पसंद करने के लिए प्रशिक्षित किया जा सकता था। यह इंगित करता है कि मॉडल्स में सही और गलत की गहरी, अपरिवर्तनीय समझ नहीं है; बल्कि, उनका व्यवहार उस डेटा के प्रति अत्यधिक संवेदनशील है जिसके संपर्क में वे आते हैं।
अध्ययन निष्कर्ष निकालता है कि हालांकि वर्तमान लैंग्वेज मॉडल्स आम तौर पर सहायक और मानवीय मूल्यों के अनुरूप हैं, लेकिन उनका नैतिक तर्क मजबूत नहीं है, विशेष रूप से अंग्रेजी के अलावा अन्य भाषाओं में काम करते समय। थोड़े से प्रशिक्षण डेटा के साथ मॉडल के नैतिक रुख को आसानी से प्रभावित करने की क्षमता यह सुझाव देती है कि ये सिस्टम अभी तक पर्याप्त सावधानीपूर्वक निगरानी के बिना जटिल नैतिक निर्णयों के भरोसे किए जाने के लिए विश्वसनीय नहीं हैं। HISTOIRESMORALES का निर्माण शोधकर्ताओं को इन प्रणालियों की निगरानी करने और उन्हें बेहतर बनाने के लिए एक महत्वपूर्ण उपकरण प्रदान करता है, यह सुनिश्चित करता है कि जैसे-जैसे वे अधिक सक्षम होते जा रहे हैं, वे विभिन्न संस्कृतियों और भाषाओं में अधिक विश्वसनीय भी बनें। यह कार्य इस बात पर प्रकाश डालता है कि नैतिक आर्टिफिशियल इंटेलिजेंस बनाने के लिए केवल कोड का अनुवाद करना ही पर्याप्त नहीं है; इसके लिए उन सांस्कृतिक और नैतिक संदर्भों की गहरी समझ की आवश्यकता होती है जिनमें इन उपकरणों का उपयोग किया जाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।