Improving Cross-Lingual Factual Recall via Consistency-Driven Reinforcement Learning
यह शोध पत्र PolyFact, एक बड़े पैमाने के बहुभाषी तथ्यात्मक QA डेटासेट का परिचय देता है, और यह प्रदर्शित करता है कि कंसिस्टेंसी-ड्रिवन रीइन्फोर्समेंट लर्निंग (GRPO), भाषाओं के बीच साझा प्रतिनिधित्व को बढ़ावा देने के लिए मल्टीलिंगुअल रूटिंग को पुनर्गठित करके, क्रॉस-लिंगुअल तथ्यात्मक रिकॉल में सुपरवाइज्ड फाइन-ट्यूनिंग और कॉन्टिन्यूअल प्रीट्रेनिंग की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Improving Cross-Lingual Factual Recall via Consistency-Driven Reinforcement Learning" पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं में विभाजित किया गया है।
बड़ी समस्या: "द्विभाषी लाइब्रेरियन" जो रास्ता भटक जाता है
कल्पना कीजिए कि आपके पास एक शानदार लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल) है जिसने अंग्रेजी में लाखों किताबें पढ़ी हैं। यह लाइब्रेरियन सब कुछ जानता है: इतिहास, विज्ञान, पॉप कल्चर। आप उनसे पूछ सकते हैं, "होनोलूलू में किसका जन्म हुआ था?" और वे तुरंत कहेंगे, "बराक ओबामा।"
लेकिन, यदि आप वही प्रश्न स्पेनिश, जर्मन या अरबी में पूछते हैं, तो लाइब्रेरियन भ्रमित हो जाता है। उन्हें पता हो सकता है कि उत्तर "बराक ओबामा" है, लेकिन जब वे उस नए भाषा में बोलने की कोशिश करते हैं, तो वे लड़खड़ा जाते हैं। वे गलत नाम बोल सकते हैं, भाषाओं को मिला सकते हैं, या बस हार मान सकते हैं।
पेपर इसे "क्रॉस-लिंगुअल फैक्टुअल इनकंसिस्टेंसी" (Cross-Lingual Factual Inconsistency) कहता है। ज्ञान वहीं है, लेकिन लाइब्रेरियन किसी दूसरी भाषा के "दरवाजे" के माध्यम से उस तक विश्वसनीय रूप से नहीं पहुँच पाता।
लक्ष्य: दरवाजे को ठीक करना, लाइब्रेरी को नहीं
शोधकर्ताओं ने इस बिना पूरी लाइब्रेरी को फिर से बनाए (जिसके लिए भारी मात्रा में नए प्रशिक्षण डेटा और समय की आवश्यकता होगी) इसे ठीक करने का प्रयास किया। उन्होंने पूछा: क्या हम लाइब्रेरियन को यह सिखा सकते हैं कि वे जो पहले से जानते हैं उसका उपयोग करके अन्य दरवाजों को अधिक आसानी से कैसे खोलें?
इसे करने के लिए, उन्होंने एक नया टूल बनाया जिसे POLYFACT कहा जाता है।
- यह क्या है? एक विशाल "क्विज़ बुक" जिसमें 100,000 तथ्य (जैसे "बिजली का बल्ब किसने आविष्कार किया?") 12 अलग-अलग भाषाओं में पूरी तरह से अनुवादित हैं।
- क्यों? यह एक अभ्यास मैदान के रूप में कार्य करता है ताकि यह परीक्षण किया जा सके कि क्या लाइब्रेरियन एक साथ सभी भाषाओं में एक ही तथ्य का सही उत्तर दे सकता है।
परीक्षण की गई तीन विधियाँ
शोधकर्ताओं ने लाइब्रेरियन को बेहतर बनाने के लिए तीन अलग-अलग तरीकों का परीक्षण किया।
1. "ज़ोर से पढ़ने" की विधि (Continual Pretraining / CPT)
- उपमा: आप लाइब्रेरियन को समानांतर कहानियों (वही कहानी अंग्रेजी, स्पेनिश और फ्रेंच में) का एक ढेर देते हैं और कहते हैं, "इन्हें ज़ोर से पढ़ो।"
- परिणाम: लाइब्रेरियन धाराप्रवाह बोलने में बेहतर हो जाता है। वे शब्दों को सुचारू रूप से पढ़ सकते हैं। हालाँकि, जब आप उनसे कोई कठिन प्रश्न पूछते हैं, तो वे तथ्यों को गलत बताते हैं। उन्होंने भाषाओं के लय को सीखा, लेकिन वे वास्तव में भाषाओं के बीच तथ्यों को जोड़ना नहीं सीख पाए। यह स्क्रिप्ट को समझे बिना उसे रटने जैसा था।
2. "शिक्षक के सुधार" की विधि (Supervised Fine-Tuning / SFT)
- उपमा: आप लाइब्रेरियन के साथ बैठते हैं और उनकी परीक्षा लेते हैं। यदि वे स्पेनिश में प्रश्न का सही उत्तर देते हैं, तो आप कहते हैं "बहुत अच्छे!" यदि वे गलत होते हैं, तो आप उन्हें सही उत्तर दिखाते हैं।
- परिणाम: इससे थोड़ी मदद मिली, लेकिन यह एक विशिष्ट परीक्षा के लिए "रट्टा मारने" जैसा था। लाइब्रेरियन ने उन विशिष्ट प्रश्नों के लिए विशिष्ट उत्तरों को रटना शुरू कर दिया जिन्हें उन्होंने देखा था। यदि आप उनसे थोड़ा अलग प्रश्न पूछते या ऐसी भाषा में पूछते जिसका उन्होंने उतना अभ्यास नहीं किया था, तो वे विफल हो जाते। वे अवधारणा को समझने के बजाय केवल "चीट शीट" (नकल की पर्ची) को रट रहे थे।
3. "कंसिस्टेंसी कोच" की विधि (Reinforcement Learning / GRPO)
- उपमा: यह विजेता है। आप एक सख्त कोच की भूमिका निभाते हैं। आप लाइब्रेरियन से एक ही प्रश्न एक साथ सभी 12 भाषाओं में पूछते हैं।
- नियम: आप उन्हें "गोल्ड स्टार" तभी देंगे जब वे सही उत्तर दें और यदि वह उत्तर सभी भाषाओं में सुसंगत (consistent) हो।
- सजा: यदि वे अंग्रेजी में उत्तर सही देते हैं लेकिन स्पेनिश में गलत, या यदि वे एक भाषा में गलत जानकारी (hallucinate) देते हैं, तो वे अंक खो देते हैं।
- परिणाम: इसने लाइब्रेरियन को विशिष्ट उत्तरों को रटने के बजाय एक साझा मानसिक मानचित्र (shared mental map) बनाने के लिए मजबूर किया। उन्होंने महसूस किया, "मैं केवल अनुमान नहीं लगा सकता; मुझे अपने दिमाग में एक ही सत्य खोजना होगा और उसे हर बार सटीक रूप से अनुवादित करना होगा।" यह तरीका सबसे अच्छा काम कर गया।
लाइब्रेरियन के मस्तिष्क के अंदर क्या हुआ?
शोधकर्ताओं ने यह देखने के लिए कि "कंसिस्टेंसी कोच" इतना अच्छा क्यों काम कर रहा है, मॉडल के मस्तिष्क के अंदर झाँकने के लिए विशेष "सूक्ष्मदर्शी" (mechanistic analysis) का उपयोग किया।
- प्रशिक्षण से पहले: लाइब्रेरियन के मस्तिष्क में विशिष्ट भाषाओं के लिए समर्पित विशिष्ट "कमरे" थे। जब फ्रेंच में पूछा जाता था, तो वे अपने "फ्रेंच रूम" की ओर भागते थे। जब जापानी में पूछा जाता था, तो वे "जापानी रूम" की ओर भागते थे। ये कमरे एक-दूसरे से दूर थे, इसलिए तथ्यों को गलियारे में खो दिया जाता था।
- "कंसिस्टेंसी कोच" प्रशिक्षण के बाद: कमरों के बीच की दीवारें गिरा दी गईं।
- मॉडल ने भाषाओं को अलग-अलग द्वीपों के रूप में मानना बंद कर दिया।
- इसने तथ्य (जैसे, "सूर्य सौर मंडल के केंद्र में है") को पहले एक साझा, तटस्थ स्थान (neutral space) में प्रोसेस करना शुरू कर दिया।
- तथ्य खोजने के बाद ही इसने उसे विशिष्ट भाषा में अनुवादित किया।
- महत्वपूर्ण बात: इसने सोचने की प्रक्रिया के बिल्कुल अंत तक "मैं कौन सी भाषा बोल रहा हूँ?" का निर्णय को स्थगित कर दिया। इससे "सत्य" को भाषा-विशिष्ट जाल में फंसने से पहले आगे बढ़ने का मौका मिला।
निष्कर्ष
यह पेपर सिद्ध करता है कि किसी AI को अन्य भाषाओं में स्मार्ट बनाने के लिए आपको उसे शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं है। इसके बजाय, आप "कंसिस्टेंसी कोच" (Reinforcement Learning) का उपयोग कर सकते हैं ताकि AI को अपने आंतरिक ज्ञान को संरेखित (align) करने के लिए मजबूर किया जा सके।
AI को विभिन्न भाषाओं में सुसंगत होने के लिए पुरस्कृत करके, आप इसे सतही ट्रिक्स (जैसे विशिष्ट उत्तरों को रटना) पर निर्भर रहने के बजाय, एक गहरा, साझा समझ विकसित करने के लिए मजबूर करते हैं जो आप चाहे किसी भी भाषा में बोलें, काम करती है।
संक्षेप में: AI ने अधिक तथ्य नहीं सीखे; इसने बस यह सीखा कि जो तथ्य वह पहले से जानता है, उन तक कैसे पहुँचा जाए, चाहे आप किसी भी भाषा के दरवाजे पर दस्तक दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।