MENLO: From Preferences to Proficiency -- Evaluating and Modeling Native-like Quality Across 47 Languages
यह शोध पत्र MENLO को प्रस्तुत करता है, जो 47 भाषाओं में नेटिव-लाइक (native-like) LLM प्रतिक्रिया गुणवत्ता का मूल्यांकन करने के लिए एक फ्रेमवर्क और डेटासेट है, जो यह दर्शाता है कि जबकि ज़ीरो-शॉट जज मानव एनोटेटरों की तुलना में पीछे रह जाते हैं, सुदृढीकरण लर्निंग (reinforcement learning) और रिवॉर्ड शेपिंग (reward shaping) मूल्यांकन सटीकता और बहुभाषी मॉडल दक्षता दोनों में महत्वपूर्ण सुधार कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वैश्विक रेस्टोरेंट चेन हैं। आपके पास एक मास्टर शेफ (AI) है जो अंग्रेजी में अद्भुत व्यंजन बना सकता है। लेकिन अब, आप 47 अलग-अलग देशों में अपनी शाखाएं खोलना चाहते हैं। आप केवल यह नहीं चाहते कि खाना खाने योग्य हो; आप चाहते हैं कि इसका स्वाद ठीक वैसा ही हो जैसा उस विशिष्ट गाँव के किसी स्थानीय दादी माँ द्वारा बनाया गया व्यंजन होता है। इसके लिए सही स्थानीय मसालों का उपयोग होना चाहिए, स्थानीय रीति-रिवाजों का सम्मान होना चाहिए, और ऐसा महसूस होना चाहिए जैसे इसे वहीं के किसी व्यक्ति ने बनाया हो।
यह शोध पत्र, जिसका शीर्षक "From Preferences to Proficiency" (वरीयताओं से दक्षता तक) है, एक ऐसा सिस्टम बनाने के बारे में है जो AI को केवल अंग्रेजी व्यंजनों का अनुवाद करने के बजाय, एक स्थानीय व्यक्ति की तरह खाना बनाना सिखा सके।
यहाँ उनकी यात्रा का विवरण दिया गया है, जिसमें सरल उपमाओं (analogies) का उपयोग किया गया है:
1. समस्या: "पर्यटक" AI
वर्तमान में, अधिकांश AI मॉडल पर्यटकों की तरह हैं। वे भाषा बोल सकते हैं, लेकिन वे बाहरी लोगों की तरह लगते हैं। वे गलत मुहावरे इस्तेमाल कर सकते हैं, सांस्कृतिक बारीकियों को चूक सकते हैं, या ऐसी सलाह दे सकते हैं जो स्थानीय संदर्भ में फिट न बैठती हो।
- उदाहरण: यदि आप मैक्सिको में किसी से पूछें कि पारिवारिक रात्रिभोज में दोबारा भोजन (seconds) लेने के लिए विनम्रतापूर्वक कैसे मांगें, तो एक "पर्यटक" AI एक सामान्य उत्तर दे सकता है। एक "नेटिव" (स्थानीय) AI जानता होगा कि उस विशिष्ट क्षेत्र के लिए सही गर्मजोशी और सम्मान के साथ इसे कैसे कहना है।
2. समाधान: "MENLO" फ्रेमवर्क
शोधकर्ताओं ने एक नया सिस्टम बनाया जिसे MENLO (Multilingual Evaluation of Native-Like Output) कहा जाता है। MENLO को एक सुपर-टेस्टिंग पैनल और एक ट्रेनिंग मैनुअल के मिश्रण के रूप में समझें।
उन्होंने "नेटिव-लाइक क्वालिटी" (स्थानीय स्तर की गुणवत्ता) को चार विशिष्ट स्वादों में विभाजित किया:
- प्रवाह (Fluency): क्या वाक्य सुचारू है, या यह एक रोबोट के हकलाने जैसा लगता है?
- लहजा (Tone): क्या आवाज मैत्रीपूर्ण, पेशेवर या मजेदार है? क्या यह मूड के अनुकूल है?
- स्थानीय लहजा (Localized Tone): क्या यह उस विशिष्ट पड़ोस का हिस्सा लगता है? (जैसे, ब्यूनस आयर्स बनाम मैड्रिड के लिए सही स्लैंग का उपयोग करना)।
- स्थानीय तथ्यात्मकता (Localized Factuality): क्या इसे स्थानीय तथ्य पता हैं? (जैसे, यह जानना कि उस विशिष्ट देश में कौन से त्योहार मनाए जाते हैं)।
3. डेटासेट: "टेस्ट ऑफ टेस्ट" (स्वाद परीक्षण)
AI को प्रशिक्षित करने के लिए, उन्होंने केवल अनुमान लगाने के लिए नहीं पूछा। उन्होंने 47 विभिन्न भाषाई विविधताओं (जैसे ब्राज़ीलियाई पुर्तगाली बनाम यूरोपीय पुर्तगाली, या भारतीय अंग्रेजी बनाम अमेरिकी अंग्रेजी) के मूल निवासी वक्ताओं (native speakers) को काम पर रखा।
- प्रक्रिया: उन्होंने 6,423 परिदृश्य (प्रॉम्प्ट्स) बनाए और AI को प्रत्येक के लिए दो अलग-अलग उत्तर उत्पन्न करने के लिए कहा।
- निर्णायक (Judges): वास्तविक मनुष्यों ने दोनों उत्तरों का स्वाद लिया और उन्हें 1 से 5 के पैमाने पर रेट किया।
- परिणाम: एक विशाल "टेस्ट ऑफ टेस्ट" डेटासेट जहाँ मनुष्यों ने तय किया कि कौन सा AI उत्तर अधिक "नेटिव" लगा।
4. खोज: "साइड-बाय-साइड" (बगल-बगल) ट्रिक
शोधकर्ताओं ने पूछा: क्या हम महंगे मानव निर्णायकों को एक AI निर्णायक से बदल सकते हैं?
उन्हें एक चतुर ट्रिक मिली। यदि आप एक AI को अकेले एक उत्तर को ग्रेड करने के लिए कहते हैं, तो वह अक्सर भ्रमित हो जाता है (जैसे दूसरे गाने को सुने बिना एक अकेले गाने का निर्णय लेना)। लेकिन यदि आप दो उत्तरों को अगल-बगल रखते हैं और पूछते हैं, "कौन सा बेहतर है?", तो AI बहुत अधिक सटीक निर्णायक बन जाता है।
- उपमा: यह अंधेरे में एक अकेले सेब का वजन अनुमान लगाने जैसा है। यह कठिन है। लेकिन यदि आप दो सेब पकड़ते हैं और पूछते हैं, "कौन सा भारी है?", तो आपका मस्तिष्क तुरंत जान जाता है। AI भी उसी तरह काम करता है।
5. प्रशिक्षण: "छात्र" से "मास्टर शेफ" तक
साइड-बाय-साइड ट्रिक के बावजूद, AI निर्णायक भी पूर्ण नहीं थे। इसलिए, शोधकर्ताओं ने रीइन्फोर्समेंट लर्निंग (RL) नामक तकनीक का उपयोग किया।
- उपमा: कल्पना करें कि एक खाना पकाने वाला छात्र (AI) सीखने की कोशिश कर रहा है।
- पुराना तरीका (SFT): शिक्षक केवल छात्र को एक बार सही रेसिपी दिखाता है।
- नया तरीका (RL): छात्र खाना पकाने की कोशिश करता है, शिक्षक स्वाद लेता है, फीडबैक देता है, और छात्र फिर से प्रयास करता है, हर बार मसालों को थोड़ा बदलकर जब तक कि वह एकदम सही न हो जाए।
- परिणाम: इस "स्वाद-और-समायोजन" (taste-and-adjust) विधि का उपयोग करके, उन्होंने एक ऐसा AI निर्णायक प्रशिक्षित किया जो लगभग एक मानव मूल निवासी वक्ता जितना अच्छा था।
6. अंतिम मोड़: "स्व-सुधार" (Self-Improving) लूप
सबसे दिलचस्प हिस्सा यहाँ है। उन्होंने अपने नए प्रशिक्षित "मास्टर AI जज" को मूल AI शेफ को बेहतर खाना बनाना सिखाने के लिए उपयोग किया।
- AI जज एक पर्सनल ट्रेनर की तरह कार्य करता है। वह देखता है कि AI शेफ कैसे खाना बना रहा है, कहता है, "नहीं, यह मैक्सिकन परिवार के भोजन के लिए बहुत औपचारिक लग रहा है," और शेफ फिर से प्रयास करता है।
- सावधानी: AI जज थोड़ा अति-आत्मविश्वासी है। उसे लगता है कि शेफ में 30% सुधार हुआ है, लेकिन मानव चखने वालों ने केवल 10% सुधार देखा। AI एक ऐसे 'हाइप-मैन' की तरह है जो प्रदर्शन को थोड़ा बहुत बढ़ा-चढ़ाकर पेश करता है!
सारांश
यह शोध पत्र हर कोने में AI को मानवीय महसूस कराने का एक रोडमैप है।
- उन्होंने "नेटिव" कैसा लगता है, इसका एक मेन्यू बनाया (MENLO)।
- उन्होंने सिद्ध किया कि दो उत्तरों की तुलना करना गुणवत्ता को मापने का सबसे अच्छा तरीका है।
- उन्होंने "स्वाद-और-समायोजन" पद्धति का उपयोग करके एक AI को सुपर-जज के रूप में प्रशिक्षित किया।
- उन्होंने उस जज का उपयोग AI को एक पर्यटक के बजाय एक स्थानीय की तरह बोलने के लिए सिखाने हेतु किया।
अंतिम लक्ष्य क्या है? यह सुनिश्चित करना कि जब आप इन 47 भाषाओं में से किसी में भी AI से बात करें, तो आपको ऐसा महसूस हो जैसे आप किसी पड़ोसी से चैट कर रहे हैं, न कि किसी मशीन से जो डिक्शनरी पढ़ रही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।