💻 computer science

IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning

यह शोध पत्र IRIS को प्रस्तुत करता है, जो एक नवीन ढांचा है जो इंटरलीव्ड रीइन्फोर्समेंट लर्निंग को एक इंक्रीमेंटल स्टेज्ड करिकुलम और एक नए बहुभाषी डेटासेट (CL-Math) के साथ जोड़ता है ताकि क्रॉस-लिंगुअल गणितीय तर्क क्षमताओं, विशेष रूप से कम-संसाधन वाली भारतीय भाषाओं में, को महत्वपूर्ण रूप से बढ़ाया जा सके।

मूल लेखक: Navya Gupta, Rishitej Reddy Vyalla, Avinash Anand, Chhavi Kirtani, Erik Cambria, Zhengchen Zhang, Zhengkui Wang, Timothy Liu, Aik Beng Ng, Simon See, Rajiv Ratn Shah

प्रकाशित 2026-04-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Navya Gupta, Rishitej Reddy Vyalla, Avinash Anand, Chhavi Kirtani, Erik Cambria, Zhengchen Zhang, Zhengkui Wang, Timothy Liu, Aik Beng Ng, Simon See, Rajiv Ratn Shah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को जटिल गणितीय समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं। यदि आप बस उन्हें एक कठिन पाठ्यपुस्तक थमा देते हैं और कहते हैं, "इसे हल करो," तो वे संभवतः अटक जाएंगे, बेतरतीब ढंग से अनुमान लगाएंगे, या हार मान लेंगे। यह बिल्कुल वही समस्या है जिसका सामना शोधकर्ताओं ने AI मॉडल के साथ गणित करने में तब किया जब वे अंग्रेजी, हिंदी और मराठी जैसी भाषाओं के बीच स्विच कर रहे थे।

यह पेपर एक नई प्रशिक्षण पद्धति पेश करता है जिसे IRIS (इंटरलीव्ड रीइन्फोर्समेंट विद इंक्रीमेंटल स्टेज्ड करिकुलम) कहा जाता है। IRIS को एक अत्यधिक संरचित, दो-भागों वाली ट्यूटरिंग प्रणाली के रूप में समझें जिसे एक भ्रमित AI को एक आत्मविश्वासी गणित समाधानकर्ता में बदलने के लिए डिज़ाइन किया गया है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में तोड़कर यहाँ दिया गया है:

1. दो-अक्षीय प्रशिक्षण योजना (The Two-Axis Training Plan)

लेखकों ने महसूस किया कि गणित सिखाने के लिए दो अलग-अलग चीजों का एक साथ होना आवश्यक है। उन्होंने एक ढांचा बनाया जिसमें दो "अक्ष" (जैसे एक X और Y ग्राफ) हैं:

ऊर्ध्वाधर अक्ष (कठिनाई की सीढ़ी चढ़ना):
कल्पना कीजिए कि आप एक वीडियो गेम में हैं जहाँ आप "लेवल 1" (आसान समस्या) से शुरू करते हैं और केवल तभी "लेवल 2" पर जाते हैं जब आप इसमें महारत हासिल कर लेते हैं। अधिकांश AI प्रशिक्षण मॉडल को सभी स्तर एक साथ दे देते हैं। IRIS अलग है। यह AI को आसान गणित की समस्याओं से शुरू करता है, उसे उन पर कुशल होने देता है, और फिर धीरे-धीरे मध्यम और कठिन समस्याओं को पेश करता है। यह कठिन चीजों से निपटने से पहले एक मजबूत नींव बनाता है।
क्षैतिज अक्ष ("कहानी पूरी करें" खेल):
यह बहुत चतुर हिस्सा है। आमतौर पर, एक AI को एक समस्या और उसका पूरा उत्तर दिखाया जाता है। IRIS इस खेल को बदल देता है। यह AI को प्रश्न और समाधान के पहले कुछ चरण देता है, और फिर कहता है, "ठीक है, अब तुम खुद संभालो। बाकी को पूरा करो।"
- प्रारंभिक चरण: AI को अधिकांश चरण मिलते हैं और उसे केवल अंतिम दो लिखने होते हैं।
- बाद का चरण: AI को केवल प्रश्न मिलता है और उसे पूरा समाधान शून्य से लिखना होता है।
  यह AI को केवल पूरे उत्तरों को रटने के बजाय, अपनी स्वयं की सोच को योजना बनाने और जारी रखने के लिए मजबूर करता है।

2. "कंपोजिट रिवॉर्ड" (द स्कोरकार्ड)

रीइन्फोर्समेंट लर्निंग में, AI अच्छा करने पर अंक (रिवॉर्ड) प्राप्त करता है। आमतौर पर, उसे केवल तभी अंक मिलते हैं जब अंतिम उत्तर सही होता है। लेकिन गणित में, गलत तर्क के साथ सही उत्तर भी बुरा ही है।

IRIS एक कंपोजिट रिवॉर्ड का उपयोग करता है, जो एक शिक्षक की तरह है जो एक साथ चार चीजों पर छात्र को ग्रेड देता है:

क्या आपने सही उत्तर प्राप्त किया? (सबसे महत्वपूर्ण हिस्सा)।
क्या आपके चरण समझ में आने योग्य थे? (क्या आपने सही पथ के समान एक तार्किक मार्ग का पालन किया?)।
क्या आपने प्रवाह बनाए रखा? (क्या आपने पिछले चरण से वहीं से जारी रखा जहाँ से वह छोड़ा गया था, या आपने नंबरिंग फिर से शुरू कर दी?)।
क्या संख्या का प्रारूप सही है? (क्या आपने एक साफ संख्या आउटपुट की?)।

यह सुनिश्चित करता है कि AI केवल यह नहीं सीखता कि उत्तर क्या है, बल्कि यह भी सीखता है कि कैसे सोचना है।

3. "इंग्लिश एंकर" (द मल्टीलिंगुअल सीक्रेट सॉस)

हिंदी या मराठी जैसी कम संसाधनों वाली भाषाओं में गणित सिखाना सबसे बड़ी चुनौतियों में से एक है। इन भाषाओं के लिए अंग्रेजी की तुलना में उच्च-गुणवत्ता वाला गणित डेटा उपलब्ध नहीं है।

शोधकर्ताओं ने एक दिलचस्प तरकीब खोजी: अंग्रेजी को "रीजनिंग एंकर" के रूप में उपयोग करें।

कल्पना कीजिए कि AI की तार्किक रूप से सोचने की क्षमता अंग्रेजी में संग्रहीत है, और हिंदी या मराठी में बोलने की क्षमता एक अलग कौशल है।
AI को अंग्रेजी और हिंदी/मराठी समस्याओं के मिश्रण (भले ही अंग्रेजी डेटा केवल 20% हो) पर प्रशिक्षित करके, अंग्रेजी डेटा एक स्थिर एंकर के रूप में कार्य करता है। यह AI की तार्किक तर्क क्षमता को तेज और सुसंगत बनाए रखता है।
AI इस मजबूत तर्क क्षमता को हिंदी और मराठी में "ट्रांसफर" करता है। इस अंग्रेजी एंकर के बिना, AI कम-संसाधन वाली भाषाओं में तार्किक निरंतरता बनाए रखने में संघर्ष करता है, अक्सर अटक जाता है या हार मान लेता है।

4. परिणाम

शोधकर्ताओं ने अपने द्वारा बनाए गए एक नए डेटासेट CL-Math पर इसका परीक्षण किया, जिसमें अंग्रेजी, हिंदी और मराठी में चरण-दर-चरण समाधानों के साथ 29,000 गणितीय समस्याएं हैं।

बेहतर गणित कौशल: IRIS-प्रशिक्षित मॉडलों ने मानक मॉडलों की तुलना में काफी अधिक समस्याओं को सही ढंग से हल किया, विशेष रूप से सबसे कठिन प्रश्नों पर।
भाषा में सुधार: सबसे अधिक सुधार हिंदी और मराठी में देखा गया। "इंग्लिश एंकर" रणनीति ने AI को केवल उन भाषाओं में प्रशिक्षित करने की तुलना में इन भाषाओं में बेहतर ढंग से तर्क करने में मदद की।
सामान्यीकरण (Generalization): भले ही उन्होंने अपने विशिष्ट डेटासेट पर प्रशिक्षण दिया था, AI ने अन्य मानक गणित परीक्षणों (जैसे GSM8K और MATH) पर भी बेहतर प्रदर्शन किया, जिससे सिद्ध होता है कि यह विधि व्यापक रूप से काम करती है।

सारांश

संक्षेप में, IRIS एक प्रशिक्षण पद्धति है जो AI को गणित करने के लिए निम्नलिखित तरीकों से सिखाती है:

आसान से शुरू करना और कठिन होना (Vertical)।
AI को आंशिक समाधानों को पूरा करने के लिए कहना (Horizontal)।
उत्तर और तर्क दोनों पर ग्रेड देना (Composite Reward)।
अन्य भाषाओं में गणित सीखने में मदद करने के लिए अंग्रेजी को "ट्रेनिंग व्हील" के रूप में उपयोग करना (Multilingual Anchor)।

परिणामस्वरूप, एक स्मार्ट, अधिक तार्किक AI प्राप्त होता है जो केवल अनुमान लगाने के बजाय, वास्तव में चरणों को समझकर बहु-भाषाओं में गणित की समस्याओं को हल कर सकता है।

यहाँ शोध पत्र "IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) जटिल गणितीय तर्क (mathematical reasoning) में संघर्ष करते हैं, विशेष रूप से बहुभाषी और कम-संसाधन वाले परिवेश (जैसे हिंदी और मराठी जैसी भारतीय भाषाएँ) में। मौजूदा प्रशिक्षण प्रतिमान (training paradigms) दो मुख्य सीमाओं का सामना करते हैं:

रिवॉर्ड स्पर्सिटी (Reward Sparsity): वह प्रशिक्षण जो केवल अंतिम उत्तर को पुरस्कृत करता है, मध्यवर्ती तर्क चरणों (intermediate reasoning steps) की निगरानी करने में विफल रहता है, जिससे तर्क श्रृंखलाओं में भ्रम (hallucinations) पैदा होता है।
करिकुलम अंतराल (Curriculum Gaps): मानक करिकुलम लर्निंग (आसान से कठिन समस्याओं की ओर बढ़ना) अक्सर यह पकड़ने में विफल रहता है कि तर्क कहाँ टूट रहा है। इसके विपरीत, स्टेप-लेवल सुदृढीकरण विधियाँ (जैसे रिवर्स करिकुलम) अक्सर कठिनाई शेड्यूलिंग का अभाव दिखाती हैं, जिससे स्पार्स रिवॉर्ड्स पर अस्थिर शिक्षण होता है।
क्रॉस-लिंगुअल ट्रांसफर (Cross-Lingual Transfer): कम-संसाधन वाली भाषाओं के पास उच्च-गुणवत्ता वाले तर्क को स्वतंत्र रूप से बनाए रखने के लिए पर्याप्त डेटा की कमी होती है, और तर्क पथों (reasoning traces) का सीधा अनुवाद अक्सर सामंजस्य (coherence) को कम कर देता है।

2. कार्यप्रणाली: IRIS फ्रेमवर्क (Methodology: The IRIS Framework)

लेखक IRIS (Interleaved Reinforcement with Incremental Staged Curriculum) का प्रस्ताव करते हैं, जो एक दो-अक्षीय (two-axis) प्रशिक्षण ढांचा है जिसे कौशल प्राप्ति (skill acquisition) को तर्क परिष्करण (reasoning refinement) से अलग करने के लिए डिज़ाइन किया गया है।

A. दो-अक्षीय करिकुलम (The Two-Axis Curriculum)

वर्टिकल एक्सिस (समस्या-स्तर का करिकुलम - Vertical Axis):
- लक्ष्य: कार्य की कठिनाई को धीरे-धीरे बढ़ाना।
- प्रक्रिया: मॉडल विभिन्न चरणों में सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से गुजरता है: आसान $\to$ आसान+मध्यम $\to$ आसान+मध्यम+कठिन।
- तंत्र: मॉडल बढ़ती जटिलता वाली समस्याओं के पूर्ण तर्क पथों (reasoning traces) को सीखता है, जिससे सुदृढीकरण (reinforcement) शुरू होने से पहले तर्क पैटर्न का एक आधार स्थापित होता है।
हॉरिजॉन्टल एक्सिस (स्टेप-लेवल कंटीन्यूएशन करिकुलम - Horizontal Axis):
- लक्ष्य: प्रदान किए गए रीजनिंग प्रीफिक्स (prefixes) पर निर्भरता कम करना और स्वतंत्र योजना (independent planning) को प्रोत्साहित करना।
- प्रक्रिया: एक रिवर्स करिकुलम (Reverse Curriculum) दृष्टिकोण। $n$ $n$ चरणों वाली समस्या के लिए, मॉडल को $n-1$ $n - 1$ चरणों पर प्रशिक्षित किया जाता है।
  - चरण 0 (सबसे आसान): मॉडल को $n-2$ चरण दिए जाते हैं और उसे केवल अंतिम 2 चरण उत्पन्न करने होते हैं।
  - चरण $k$ : मॉडल को $n-k-2$ चरण दिए जाते हैं और उसे शेष भाग उत्पन्न करना होता है।
  - चरण $n-2$ (सबसे कठिन): मॉडल को केवल प्रश्न दिया जाता है और उसे शून्य से पूरा समाधान उत्पन्न करना होता है।
- तंत्र: यह मॉडल को आंशिक श्रृंखलाओं को पूरा करने से पूर्ण तर्क प्रक्षेपवक्र (trajectories) उत्पन्न करने की ओर संक्रमण करने के लिए मजबूर करता है।

B. कंपोजिट रिवॉर्ड डिज़ाइन (Composite Reward Design - RLVR)

हॉरिजॉन्टल एक्सिस को अनुकूलित करने के लिए, लेखक एक नवीन कंपोजिट रिवॉर्ड फंक्शन $R_k$ के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करते हैं:
$R_k = r_{final} + \lambda_k \cdot r_{cos} + r_{cont} + r_{int}$

सटीकता ( $r_{final}$ ): सटीक उत्तर मिलान के लिए बाइनरी रिवॉर्ड (+2)।
कोसाइन अलाइनमेंट ( $r_{cos}$ ): उत्पन्न सफिक्स (suffix) और ग्राउंड-ट्रुथ तर्क चरणों के बीच सिमेंटिक समानता को मापता है। महत्वपूर्ण रूप से, यह भार $\lambda_k$ करिकुलम स्टेज बढ़ने के साथ रैखिक रूप से घटता (decays linearly) है। यह शुरुआती चरणों में एक स्टेबलाइज़र के रूप में कार्य करता है लेकिन कठिन चरणों में इसे हटा दिया जाता है ताकि विविध, वैध तर्क पथों को प्रोत्साहित किया जा सके।
निरंतरता ( $r_{cont}$ ): सही स्टेप नंबरिंग और तार्किक प्रवाह (जैसे, जहाँ प्रीफिक्स छूटा था वहीं से जारी रखना) को पुरस्कृत करता है।
इंटीजर इंसेंटिव ( $r_{int}$ ): संख्यात्मक आउटपुट (numeric outputs) उत्पन्न करने के लिए छोटा बोनस।

C. बहुभाषी रणनीति: अंग्रेजी एक 'रीजनिंग एंकर' के रूप में (Multilingual Strategy: English as a Reasoning Anchor)

यह फ्रेमवर्क एक द्विभाषी प्रशिक्षण सेटअप (जैसे, अंग्रेजी + हिंदी) पेश करता है।

परिकल्पना: अंग्रेजी एक "रीजनिंग एंकर" के रूप में कार्य करती है। चूंकि अंग्रेजी में उच्च-गुणवत्ता वाला तर्क डेटा है, यह सीखने की गतिशीलता को स्थिर करता है।
तंत्र: मॉडल अंग्रेजी से तर्क करने का लॉजिक सीखता है और इस क्षमता को कम-संसाधन वाली भाषाओं (हिंदी/मराठी) में स्थानांतरित करता है, जो मुख्य रूप से उस लॉजिक को एक नई लिपि में व्यक्त करने पर ध्यान केंद्रित करती हैं। प्रयोगों से पता चलता है कि एक 20% अंग्रेजी मिश्रण भी मोनोलिंगुअल लो-रिसोर्स ट्रेनिंग में रिवॉर्ड ठहराव (reward stagnation) को रोकने में महत्वपूर्ण भूमिका निभाता है।

3. प्रमुख योगदान (Key Contributions)

IRIS फ्रेमवर्क: एक नया दो-अक्षीय करिकुलम जो कठिनाई-आधारित SFT (Vertical) को रिवर्स-स्टेप RL (Horizontal) के साथ जोड़कर लॉन्ग-होरिज़न रीजनिंग को स्थिर करता है।
कंपोजिट रिवॉर्ड फंक्शन: एक मल्टी-कंपोनेंट रिवॉर्ड सिग्नल जो उत्तर की शुद्धता को स्टेप-वाइज अलाइनमेंट और स्ट्रक्चरल कंटीन्यूटी के साथ संतुलित करता है, जिसे GRPO के माध्यम से अनुकूलित किया गया है।
CL-Math डेटासेट: एक नया 29k-उदाहरण वाला बहुभाषी डेटासेट जिसमें अंग्रेजी, हिंदी और मराठी में स्टेप-लेवल एनोटेशन के साथ गणित की समस्याएं शामिल हैं। इसमें डेटा लीकेज को रोकने के लिए सख्त ट्रेन/टेस्ट स्प्लिट है।
क्रॉस-लिंगुअल अंतर्दृष्टि: प्रमाण कि द्विभाषी प्रशिक्षण (English + Low-Resource) एक आवश्यक रेगुलराइज़र के रूप में कार्य करता है, जो मोनोलिंगुअल दृष्टिकोण की विफलता के विरुद्ध स्थिर RL सक्षम बनाता है।

4. परिणाम (Results)

लेखकों ने Qwen2.5-Math-7B और WizardMath-7B मॉडल्स पर IRIS का मूल्यांकन किया।

CL-Math पर प्रदर्शन:
- IRIS ने बेसलाइन की तुलना में सबसे कठिन हिंदी समस्याओं पर तर्क सटीकता में +15.8% तक सुधार किया।
- द्विभाषी सेटिंग्स (English-Hindi/Marathi) ने मोनोलिंगुअल सेटिंग्स की तुलना में पर्याप्त लाभ दिखाया, जो "रीजनिंग एंकर" परिकल्पना की पुष्टि करता है।
मानक बेंचमार्क पर सामान्यीकरण (Generalization):
- SVAMP: 90.6% (बनाम 70.4% बेस)
- GSM8K: 83.9% (बनाम 70.6% बेस)
- MATH: 64.6% (बनाम 29.5% बेस)
- IRIS ने अन्य विशिष्ट 7B मॉडल्स (MetaMath, DeepSeek-Math) को पछाड़ दिया और विशिष्ट बेंचमार्क पर GPT-4 के प्रदर्शन के करीब पहुँच गया।
एब्लेशन स्टडीज (Ablation Studies):
- वर्टिकल SFT वार्म-अप या करिकुलम प्रोग्रेशन को हटाने से प्रदर्शन में काफी गिरावट आई।
- केवल शुद्धता (correctness-only) के लिए रिवॉर्ड को सरल बनाने से सटीकता कम हो गई, जो कंपोजिट रिवॉर्ड संरचना के महत्व को रेखांकित करता है।
- मराठी प्रशिक्षण में 20% अंग्रेजी मिश्रण ने सर्वश्रेष्ठ संतुलन प्रदान किया, जो एक रेगुलराइज़र के रूप में कार्य करता है।

5. महत्व और प्रभाव (Significance and Impact)

कम-संसाधन अंतराल को पाटना: IRIS यह प्रदर्शित करता है कि उच्च-संसाधन अंग्रेजी डेटा का लाभ उठाकर कम-प्रतिनिधित्व वाली भाषाओं (हिंदी, मराठी) में गणितीय तर्क को बढ़ाने के लिए एक व्यावहारिक मार्ग क्या है।
रीजनिंग के लिए स्थिर RL: स्टेज्ड करिकुलम और डिकेइंग अलाइनमेंट रिवॉर्ड्स का संयोजन रीजनिंग कार्यों के लिए सामान्य अस्थिरता संबंधी मुद्दों को हल करता है, जिससे मॉडल जटिल, बहु-चरणीय तर्क को बिना कोलैप्स हुए सीख सकते हैं।
ओपन साइंस: CL-Math और कोडबेस का रिलीज समुदाय को बहुभाषी तर्क और करिकुलम लर्निंग पर आगे शोध करने के लिए एक महत्वपूर्ण संसाधन प्रदान करता है।
संज्ञानात्मक संरेखण (Cognitive Alignment): यह फ्रेमवर्क मानव संज्ञानात्मक विकास (पहले संरचना सीखना, फिर जटिलता को बढ़ाना) की नकल करता है, जो एंड-टू-एंड ब्लैक-बॉक्स ऑप्टिमाइज़ेशन की तुलना में अधिक मजबूत प्रशिक्षण प्रतिमान प्रदान करता है।

निष्कर्षतः, IRIS यह स्थापित करता है कि स्ट्रक्चर्ड करिकुलम डिज़ाइन को इंटरलीव्ड रिइन्फोर्समेंट के साथ जोड़ना, छोटे भाषा मॉडल्स में, विशेष रूप से बहुभाषी संदर्भों में, गहरे तर्क क्षमताओं को अनलॉक करने के लिए एक अत्यधिक प्रभावी रणनीति है।