Language Chain in Alignment: Cross-Lingual Ranking Preference Optimization

लार्ज लैंग्वेज मॉडल्स आधुनिक आर्टिफिशियल इंटेलिजेंस के इंजन हैं, जो मानव बातचीत की नकल करने के तरीके में कहानियाँ लिखने, समस्याओं को हल करने और प्रश्नों के उत्तर देने में सक्षम हैं। इन प्रणालियों के वास्तव में सहायक होने के लिए, उन्हें न केवल यह समझना चाहिए कि एक व्यक्ति क्या पूछ रहा है, बल्कि इस तरह से प्रतिक्रिया भी देनी चाहिए जो मानवीय मूल्यों और अपेक्षाओं के अनुरूप हो। यह प्रक्रिया, जिसे 'अलाइनमेंट' (alignment) कहा जाता है, आमतौर पर मॉडल को हजारों अच्छे और बुरे उत्तरों के उदाहरण दिखाने के माध्यम से होती है ताकि वह अच्छे उत्तरों को प्राथमिकता देना सीख सके। हालाँकि, एक महत्वपूर्ण समस्या उभर कर आई है: जबकि ये मॉडल अंग्रेजी में इन नियमों का पालन करने में असाधारण रूप से कुशल हैं, वे अन्य भाषाओं में ऐसा करने के लिए कहे जाने पर अक्सर लड़खड़ा जाते हैं। जब कोई उपयोगकर्ता कोरियाई, इंडोनेशियाई या स्वाहिली में प्रश्न पूछता है, तो मॉडल अंग्रेजी में उत्तर दे सकता है, या यह एक ऐसी प्रतिक्रिया उत्पन्न कर सकता है जो व्याकरण की दृष्टि से सही तो है लेकिन अर्थहीन या अनुपयोगी है। यह अंतर अरबों लोगों को इन उपकरणों की पूर्ण क्षमता तक पहुँचने से वंचित कर देता है, जिससे एक ऐसी दुनिया बन जाती है जहाँ उच्च-गुणवत्ता वाली एआई सहायता मुख्य रूप से अंग्रेजी बोलने वालों के लिए आरक्षित एक विशेषाधिकार है।

कोरिया यूनिवर्सिटी के शोधकर्ताओं ने इस अंतर को पाटने के लिए एक नई विधि विकसित की है, जिससे मॉडल अपनी अंग्रेजी की खूबियों से सीखने और उस ज्ञान को अन्य भाषाओं में लागू करने में सक्षम होते हैं। उनका दृष्टिकोण, जिसे क्रॉस-लिंगुअल रैंकिंग प्रेफरेंस ऑप्टिमाइज़ेशन (CRPO) कहा जाता है, भाषा सीखने को अलग-थलग पाठों की एक श्रृंखला के बजाय एक जुड़े हुए क्रम के रूप में देखता है। मॉडल को केवल एक भाषा में सबसे अच्छा उत्तर और दूसरी भाषा में सबसे अच्छा उत्तर अलग-अलग चुनने के लिए सिखाने के बजाय, यह विधि एक संरचित पदानुक्रम बनाती है जो उन्हें आपस में जोड़ती है। कल्पना कीजिए कि एक शिक्षक जानता है कि एक छात्र अंग्रेजी में गणित में उत्कृष्ट है लेकिन फ्रेंच में संघर्ष करता है; दोनों विषयों को शून्य से सिखाने के बजाय, शिक्षक छात्र के मजबूत अंग्रेजी गणित कौशल का उपयोग उसे फ्रेंच अवधारणाओं को समझने में मदद करने के लिए एक मार्गदर्शक के रूप में करता है। इसी तरह, CRPO मॉडल की अंग्रेजी में एक अच्छे उत्तर को क्या बनाता है, इसकी मजबूत समझ का उपयोग अन्य भाषाओं में उसके व्यवहार को निर्देशित करने के लिए करता है, यह सुनिश्चित करते हुए कि उपयोग की जाने वाली भाषा चाहे जो भी हो, प्रतिक्रिया की गुणवत्ता उच्च बनी रहे।

मुख्य नवाचार इस बात में निहित है कि मॉडल को उत्तरों की तुलना करने के लिए कैसे प्रशिक्षित किया जाता है। पारंपरिक तरीके अक्सर एक बार में केवल दो विकल्पों को देखते हैं: एक अच्छा उत्तर और एक बुरा उत्तर। यह बाइनरी दृष्टिकोण अंग्रेजी के लिए तो अच्छा काम करता है लेकिन जब कई भाषाएँ शामिल हों तो आवश्यक जटिलता को पकड़ने में विफल रहता है। नई विधि इस दृश्य का विस्तार चार विकल्पों को एक साथ देखकर करती है: लक्षित भाषा में एक अच्छा उत्तर, लक्षित भाषा में एक बुरा उत्तर, अंग्रेजी में एक अच्छा उत्तर, और अंग्रेजी में एक बुरा उत्तर। शोधकर्ताओं ने एक विशिष्ट रैंकिंग प्रणाली डिजाइन की है जहाँ मॉडल को सिखाया जाता है कि वह लक्षित भाषा में एक अच्छे उत्तर को सबसे अधिक महत्व दे, उसके बाद अंग्रेजी में एक अच्छा उत्तर, फिर लक्षित भाषा में एक बुरा उत्तर, और अंत में अंग्रेजी में एक बुरा उत्तर। यह संरचना मॉडल को यह महसूस करने के लिए मजबूर करती है कि हालांकि सही भाषा बोलना महत्वपूर्ण है, लेकिन सामग्री की गुणवत्ता उससे भी अधिक मायने रखती है। यह सीखता है कि अंग्रेजी में एक उच्च-गुणवत्ता वाली प्रतिक्रिया लक्षित भाषा में एक निम्न-गुणवत्ता वाली प्रतिक्रिया की तुलना में अभी भी बेहतर है, लेकिन अंतिम लक्ष्य लक्षित भाषा में एक उच्च-गुणवत्ता वाली प्रतिक्रिया उत्पन्न करना है।

इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने इस विधि को तीन अलग-अलग लार्ज लैंग्वेज मॉडल्स पर लागू किया और उन्हें पांच भाषाओं पर प्रशिक्षित किया जिनमें उपलब्ध डेटा का स्तर भिन्न था: चीनी, इंडोनेशियाई, कोरियाई, स्वाहिली और बंगाली। उन्होंने अपनी नई विधि की तुलना उन मानक तकनीकों से की जो पहले बहुभाषी प्रदर्शन को सुधारने के लिए उपयोग की जाती थीं। परिणामों ने नए दृष्टिकोण के लिए एक स्पष्ट और निरंतर लाभ दिखाया। लगभग हर परीक्षण में, इस विधि से प्रशिक्षित मॉडल लक्षित भाषाओं में निर्देशों का पालन करने और उपयोगी जानकारी प्रदान करने में बेहतर थे। उदाहरण के लिए, जब स्वाहिली या बंगाली में प्रश्न पूछने के लिए कहा गया—ऐसी भाषाएँ जहाँ डेटा कम है और मॉडल आमतौर पर संघर्ष करते हैं—तो नई विधि ने पुराने तरीकों की तुलना में काफी बेहतर परिणाम दिए। कुछ मामलों में, सुधार नाटकीय था, जहाँ मॉडल ने विशिष्ट कॉन्फ़िगरेशन में, जैसे कि Llama-3 मॉडल के साथ स्वाहिली, मानक बेसलाइन के मुकाबले साठ प्रतिशत से अधिक की जीत दर हासिल की, जबकि पुराने तरीके अक्सर बराबरी भी नहीं कर पाते थे।

अध्ययन ने इस बात की भी गहराई से जांच की कि यह विधि इतनी अच्छी तरह से क्यों काम करती है। मॉडल्स की आंतरिक गणनाओं की जांच करके, शोधकर्ताओं ने पाया कि नया दृष्टिकोण केवल बुरे उत्तरों को दबाने से कहीं अधिक था; इसने सक्रिय रूप से अच्छे उत्तरों को उत्पन्न करने के लिए प्रोत्साहित किया। भाषा संबंधी समस्याओं को ठीक करने के पिछले कई प्रयासों में, मॉडल गलतियाँ करने से बचना तो सीख जाते थे लेकिन वे अनिवार्य रूप से उच्च-गुणवत्ता वाली सामग्री बनाना नहीं सीख पाते थे। हालाँकि, नई विधि ने सही भाषा के प्रति एक मजबूत प्राथमिकता बनाए रखते हुए, सर्वोत्तम संभव प्रतिक्रिया चुनने की संभावना को बढ़ाया। इसने एक अधिक स्थिर और विश्वसनीय प्रणाली बनाई जहाँ मॉडल किसी भी समर्थित भाषा में आत्मविश्वास से सहायक सामग्री उत्पन्न कर सकता था। शोधकर्ताओं ने यह सुनिश्चित करने के लिए भी जाँच की कि अन्य भाषाओं में मॉडल को सिखाने से उसके अंग्रेजी प्रदर्शन को नुकसान न पहुँचे। उन्होंने पाया कि मॉडल वास्तव में अंग्रेजी में भी थोड़ा बेहतर प्रदर्शन करते हैं, जो यह सुझाव देता है कि इस विधि ने केवल उसके ध्यान को स्थानांतरित करने के बजाय मॉडल की समग्र समझ को मजबूत किया है।

यह कार्य आर्टिफिशियल इंटेलिजेंस को वास्तव में वैश्विक बनाने की दिशा में एक महत्वपूर्ण कदम है। यह दिखाकर कि एक मॉडल का एक भाषा में ज्ञान दूसरी भाषा में उसके प्रदर्शन को सुधारने के लिए प्रभावी रूप से स्थानांतरित किया जा सकता है, शोधकर्ताओं ने अधिक समावेशी एआई सिस्टम बनाने का एक ब्लूप्रिंट प्रदान किया है। निष्कर्ष बताते हैं कि उच्च-गुणवत्ता वाले बहुभाषी एआई के लिए बाधा डेटा की कमी नहीं है, बल्कि सही प्रशिक्षण रणनीति की कमी है। इस नए दृष्टिकोण के साथ, अंग्रेजी बोलने वाले उपयोगकर्ताओं और शेष विश्व के बीच का अंतर कम होने लगता है, जो एक ऐसे भविष्य की पेशकश करता है जहाँ उन्नत एआई सहायता सभी के लिए उपलब्ध है, चाहे वे कोई भी भाषा बोलते हों। चीनी जैसी व्यापक रूप से बोली जाने वाली भाषाओं से लेकर स्वाहिली जैसी कम-संसाधन वाली भाषाओं तक, विविध भाषाओं में इस पद्धति की सफलता यह दर्शाती है कि समाधान सुदृढ़ और स्केलेबल है, जो भाषा मॉडल्स की एक नई पीढ़ी का मार्ग प्रशस्त करता है जो हर भाषा में उतने ही सक्षम हैं जितने कि वे अंग्रेजी में हैं।