RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer
यह शोध पत्र RP-OPSD का प्रस्ताव करता है, जो एक नवीन विधि है जो सतही पाठ (surface text) के बजाय "रीज़निंग पिवोट्स" (reasoning pivots) को प्राथमिकता देने के लिए ऑन-पॉलिसी सेल्फ-डिस्टिलेशन को निर्देशित करके बहुभाषी तर्क हस्तांतरण (multilingual reasoning transfer) को बढ़ाता है, जिससे यह 17 भाषाओं में मौजूदा बेसलाइनों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन बहुभाषी रोबोट को एक कठिन गणितीय पहेली हल करना सिखा रहे हैं। आप अंग्रेजी बोलते हैं, लेकिन रोबोट को स्वाहिली, फ्रेंच या जापानी में सोचना सीखना होगा। बड़ी चुनौती केवल शब्दों का अनुवाद करना नहीं है; बल्कि सोचने के तरीके का अनुवाद करना है। यदि रोबोट अंग्रेजी में गणित सही कर लेता है लेकिन अन्य भाषाओं में चरणों को समझाने में लड़खड़ा जाता है, तो यह उस छात्र की तरह है जो उत्तर तो जानता है लेकिन निबंध नहीं लिख पाता। यह "बहुभाषी तर्क" (multilingual reasoning) की दुनिया है, जहाँ वैज्ञानिक बड़े भाषा मॉडलों (LLMs) को उन भाषाओं में अपने स्मार्ट लॉजिक कौशल का उपयोग करने में मदद करने की कोशिश करते हैं जिन्हें वे अंग्रेजी जितनी अच्छी तरह नहीं जानते।
इसे करने के लिए, शोधकर्ता अक्सर एक तरकीब का उपयोग करते हैं जिसे "सेल्फ-डिस्टिलेशन" (self-distillation) कहा जाता है। इसे ऐसे समझें जैसे रोबोट अकेले अभ्यास कर रहा हो: वह एक समस्या को हल करने की कोशिश करता है, और फिर उसका एक "शिक्षक" संस्करण (जिसके पास अंग्रेजी में एक गुप्त संदर्भ शीट है) काम की जाँच करता है और कहता है, "अच्छा काम किया!" या "फिर से प्रयास करो!" रोबोट इन सुधारों से सीखता है। हालाँकि, इस पद्धति के साथ एक आम समस्या यह है कि शिक्षक रोबोट द्वारा लिखे गए हर एक शब्द के बारे में बहुत अधिक नखरेबाज हो सकता है। यदि शिक्षक इस बात पर परेशान हो जाता है कि रोबोट ने "इसलिए" (therefore) या "बराबर है" (equals) कहने के लिए थोड़े अलग तरीके का उपयोग किया है, भले ही गणितीय तर्क एकदम सही हो, तो यह रोबोट को भ्रमित कर सकता है, जिससे वह सही ढंग से सोचने के बजाय केवल धाराप्रवाह दिखने पर ध्यान केंद्रित करने लगता है।
यह शोध पत्र एक नया, अधिक स्मार्ट तरीका पेश करता है, जिसे RP-OPSD कहा जाता है। लेखक, नैन्जिंग विश्वविद्यालय के शिन्ये वांग, जुनक्सियाओ लियू और शुजियन हुआंग, सुझाव देते हैं कि हमें तर्क श्रृंखला (reasoning chain) के हर शब्द के साथ एक जैसा व्यवहार नहीं करना चाहिए। इसके बजाय, हमें "पिवोट्स" (pivots - धुरी/महत्वपूर्ण मोड़) की पहचान करनी चाहिए—वे महत्वपूर्ण क्षण जहाँ रोबोट एक बड़ा निर्णय लेता है, जैसे कि जोड़ने के बजाय गुणा करने का चुनाव करना, या यह महसूस करना कि एक चर (variable) को बदलने की आवश्यकता है। ये तर्क के "अहा!" (aha!) क्षण हैं। बाकी के शब्द केवल "सतही" विवरण हैं, जैसे व्याकरण या "केक काटा गया है" कहने का विशिष्ट तरीका।
शोधकर्ताओं ने पाया कि एक विशेष "गेट" (gate - द्वार) का उपयोग करके यह तय करने में कि किन शब्दों को शिक्षक के सख्त ध्यान की आवश्यकता है और किन शब्दों को रोबोट के स्वाभाविक भाषाई प्रवाह पर छोड़ दिया जाना चाहिए, रोबोट बहुत तेज़ी से सीखता है। उन्होंने इसका परीक्षण 17 विभिन्न भाषाओं पर किया, जिनमें कई अफ्रीकी भाषाएँ भी शामिल हैं जिन्हें आमतौर पर एआई (AI) से कम ध्यान मिलता है। परिणामों ने दिखाया कि उनकी विधि ने उन्हें पिछले तरीकों से बेहतर बनाया, विशेष रूप से उन कठिन भाषाओं में। यह रोबोट को हाइलाइटर देने जैसा है: यह केवल शिक्षक को जाँचने के लिए सबसे महत्वपूर्ण तार्किक चरणों को हाइलाइट करता है, जबकि रोबोट को अपनी कहानी बाकी खुद लिखने देता है। यह सुझाव देता है कि किसी नई भाषा में सोचने के लिए रोबोट को सिखाने हेतु, आपको हर वाक्य का सूक्ष्म प्रबंधन करने की आवश्यकता नहीं है; आपको बस यह सुनिश्चित करने की आवश्यकता है कि महत्वपूर्ण तार्किक चरण ठोस हों।
मुख्य विचार: "पिवोट्स" को खोजना
शोध पत्र का तर्क है कि जब एक मॉडल नई भाषा में तर्क करता है, तो वह एक साथ दो चीजें कर रहा होता है:
- सतही यथार्थीकरण (Surface Realization): सही भाषा में शब्द लिखना (जैसे, 'multiply' के बजाय फ्रेंच में 'multiplie' कहना)।
- तर्क पिवोट्स (Reasoning Pivots): वास्तविक तार्किक निर्णय लेना (जैसे, 4 को 3 से गुणा करने का निर्णय लेना)।
लेखकों ने देखा कि पिछले तरीकों ने इन दोनों चीजों के साथ समान व्यवहार किया। उन्होंने रोबोट को शिक्षक के अंग्रेजी तर्क और शिक्षक के अंग्रेजी शब्द चयन को पूरी तरह से कॉपी करने के लिए मजबूर करने की कोशिश की। लेकिन यह एक संगीत शिक्षक के लिए ऐसा है जो पियानो पर छात्र की उंगलियों के प्लेसमेंट को सुधारने के साथ-साथ उसके लहजे (accent) पर भी चिल्ला रहा हो। यह बहुत अधिक दबाव है।
शोध पत्र प्रस्तावित करता है कि सतही वेरिएंट्स (एक ही बात को कहने के अलग-अलग तरीके) ठीक हैं, लेकिन पिवोट ड्रिफ्ट (तर्क बदलना) खतरनाक है। यदि रोबोट गुणा करने के बजाय जोड़ने का निर्णय लेता है, तो पूरा उत्तर गलत हो जाएगा, चाहे उसकी फ्रेंच कितनी भी धाराप्रवाह क्यों न हो।
RP-OPSD कैसे काम करता है: "गेट" (The Gate)
इसे ठीक करने के लिए, लेखकों ने RP-OPSD (Reasoning-Pivot-Guided On-Policy Self-Distillation) नामक एक प्रणाली बनाई। यहाँ इसके काम करने का उदाहरण दिया गया है:
कल्प laइए कि रोबोट एक गणितीय समस्या को हल करने के बारे में एक कहानी लिख रहा है।
- शिक्षक का दृश्य 1 (संदर्भ शीट): शिक्षक समस्या, अंग्रेजी समाधान और रोबोट का वर्तमान वाक्य देखता है।
- शिक्षक का दृश्य 2 (बिना संदर्भ शीट के): शिक्षक समस्या और रोबोट का वाक्य देखता है, लेकिन बिना अंग्रेजी समाधान के।
प्रणाली इन दोनों दृश्यों की तुलना करती है।
- यदि शिक्षक अपना निर्णय केवल इसलिए बदलता है क्योंकि उसके पास अंग्रेजी समाधान है, तो वह शब्द एक पिवोट (Pivot) है। इसका अर्थ है कि यहाँ अंग्रेजी का तर्क महत्वपूर्ण है। "गेट" चौड़ा खुल जाता है, और रोबोट को एक कड़ा सबक मिलता है: "यहाँ तर्क की नकल करो!"
- यदि शिक्षक अंग्रेजी समाधान होने या न होने पर भी एक ही बात कहता है, तो वह शब्द केवल सतह (Surface) है। वह शायद केवल व्याकरण या एक सामान्य वाक्यांश है। "गेट" बंद रहता है, और रोबोट को अंग्रेजी शैली की नकल करने के लिए मजबूर किए बिना अपनी लक्षित भाषा में स्वाभाविक रूप से लिखने की अनुमति दी जाती है।
यह "गेट" एक गणितीय फ़िल्टर है जो यह तय करता है कि रोबोट द्वारा उत्पन्न प्रत्येक शब्द के लिए, उसे अंग्रेजी तर्क की भारी खुराक की आवश्यकता है या बस लक्षित भाषा में बने रहने के लिए एक हल्के धक्के की।
उन्होंने क्या पाया
टीम ने 17 भाषाओं पर परीक्षण किया, जिसमें उच्च-संसाधन वाली भाषाएँ जैसे फ्रेंच और स्पेनिश से लेकर कम-संसाधन वाली अफ्रीकी भाषाएँ जैसे स्वाहिली और योरूबा तक शामिल हैं। उन्होंने दो मुख्य गणितीय बेंचमार्क का उपयोग किया: AfriMGSM (अफ्रीकी भाषाओं के लिए) और PolyMath (एक कठिन, बहु-कठिनाई वाला गणित परीक्षण)।
परिणाम स्पष्ट थे:
- बेहतर स्कोर: RP-OPSD ने उन सभी तरीकों को पीछे छोड़ दिया जिनसे उनकी तुलना की गई थी, जिनमें मानक "सेल्फ-डिस्टिलेशन" और अन्य उन्नत तर्क तकनीकें भी शामिल थीं। उदाहरण के लिए, Qwen3-1.7B मॉडल पर, इसने अफ्रीकी भाषाओं में औसत स्कोर को लगभग 16.7% से बढ़ाकर 19.07% कर दिया, और कठिन PolyMath टेस्ट पर, इसने 17.97% सटीकता प्राप्त की।
- स्मार्ट लर्निंग: विश्लेषण ने दिखाया कि "गेट" ने महत्वपूर्ण क्षणों की सही पहचान की। इसने "इसलिए" (therefore), "तो" (so), "लेकिन" (but) जैसे शब्दों और विशिष्ट गणितीय ऑपरेशन्स (जैसे "वर्गमूल" या "ट्रैपेज़ॉइड") पर ध्यान केंद्रित किया। इसने , जैसे वेरिएबल नामों या सामान्य कनेक्टर्स जैसी उबाऊ चीजों को अनदेखा कर दिया।
- "भाषा रिसाव" (Language Leakage) नहीं: इस क्षेत्र में एक बड़ा डर यह है कि रोबोट केवल अंग्रेजी में सोचना शुरू कर देगा और अंत में केवल अनुवाद करेगा। शोध पत्र दिखाता है कि RP-OPSD वास्तव में रोबोट को लक्षित भाषा में सोचने में मदद करता है। इसने रोबोट की लक्षित भाषा में तर्क करने की क्षमता में सुधार किया बिना उसे अधिक अंग्रेजी जैसा बनाए। वास्तव में, रोबोट की "भाषा निरंतरता" (वह लक्षित भाषा में कितनी अच्छी तरह टिका रहा) गणित स्कोर बढ़ने के साथ-साथ बढ़ गई।
उन्होंने किसे खारिज किया
शोध पत्र स्पष्ट रूप से कुछ सामान्य विचारों के विरुद्ध तर्क देता है:
- समान वेटिंग (Uniform Weighting): वे दिखाते हैं कि हर शब्द के साथ एक जैसा व्यवहार करना (हर शब्द को समान महत्व देना) एक गलती है। यह महत्वपूर्ण तर्क संकेतों को सतही शब्दों के बहुत अधिक शोर के साथ मिला देता है।
- केवल "असहमति" (Just "Disagreement"): उन्होंने पाया कि केवल इस बात को देखना कि शिक्षक और छात्र के बीच कहाँ असहमति है, पर्याप्त नहीं है। कभी-कभी वे टाइपो या व्याकरण के चुनाव के कारण असहमत होते हैं, न कि तर्क की त्रुटि के कारण। "पिवोट" विधि बेहतर है क्योंकि यह विशेष रूप से उन स्थानों को देखती है जहाँ अंग्रेजी समाधान परिणाम को बदल देता है।
- अनुवाद आर्टिफैक्ट्स (Translation Artifacts): उनका तर्क है कि केवल अंग्रेजी तर्क को दूसरी भाषा में अनुवाद करना (Supervised Fine-Tuning) पर्याप्त नहीं है क्योंकि अनुवाद उस भाषा में रोबोट के स्वाभाविक सोचने के तरीके से मेल नहीं खा सकता है।
निष्कर्ष
शोध पत्र सुझाव देता है कि किसी नए भाषा में रोबोट को तर्क सिखाने के लिए, आपको उसे अंग्रेजी बोलने वाले की तरह बोलने के लिए मजबूर करने की आवश्यकता नहीं है। आपको बस यह सुनिश्चित करने की आवश्यकता है कि वह अंग्रेजी समाधान के तर्क को ठीक उन्हीं क्षणों में समझता है जहाँ तर्क मायने रखता है। "सोचने" वाले शब्दों को "बोलने" वाले शब्दों से अलग करने के लिए एक "गेट" का उपयोग करके, रोबोट अपनी स्वाभाविक आवाज़ खोए बिना अपनी नई भाषा में गहराई से सोचना सीखता है।
लेखक 17 भाषाओं और कई मॉडल आकारों में अपने प्रयोगों के आधार पर इन परिणामों के प्रति आश्वस्त हैं। वे सुझाव देते हैं कि यह दृष्टिकोण एक महत्वपूर्ण कदम हो सकता है जो एआई को वास्तव में बहुभाषी बनाने में सक्षम बनाएगा, जो जटिल समस्याओं को किसी भी भाषा में हल करने में सक्षम होगा, न कि केवल उन भाषाओं में जिनके पास अधिक डेटा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।