💻 computer science

AraCoT-Agent: Arabic Chain-of-Thought Distillation for Agentic Reasoning

यह शोध पत्र AraCoT-Agent को प्रस्तुत करता है, जो एक उच्च-गुणवत्ता वाले, फ़िल्टर किए गए डेटासेट (AraCoT) और एक रिवॉर्ड-वेटेड ट्रेनिंग ऑब्जेक्टिव का उपयोग करके अरबी मॉडलों में संरचित तर्क क्षमताओं को संकुचित (distill) करता है, जिससे नए AraAgent-Bench पर 55.7% का सापेक्ष सुधार प्राप्त होता है और अरबी एवं अंग्रेजी LLMs के बीच तर्क अंतराल को महत्वपूर्ण रूप से कम किया जाता है।

मूल लेखक: Mohamed Ali Farag

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohamed Ali Farag

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, अति-बुद्धिमान ट्यूटर है जो उत्तम अंग्रेजी बोलता है और हर एक विचार को चरण-दर-चरण लिखकर दुनिया की सबसे कठिन गणितीय पहेलियों और तर्क संबंधी पहेलियों को हल कर सकता है। अब, कल्पना कीजिए कि आप उसी ट्यूटर को अरबी बोलना सिखाना चाहते हैं और उन समान पहेलियों को 40 करोड़ अरबी भाषियों के लिए हल करना चाहते हैं। समस्या यह है कि वह ट्यूटर अंग्रेजी में तो बहुत अच्छा है, लेकिन जब वह अरबी बोलने की कोशिश करता है, तो वह अटक जाता है, चरणों को छोड़ देता है, या बस हार मान लेता है।

यही वह अंतर है जिसे यह शोध पत्र, AraCoT-Agent, ठीक करने की कोशिश कर रहा है। शोधकर्ताओं ने पाया कि अरबी लार्ज लैंग्वेज मॉडल्स (AI मस्तिष्क) अपने अंग्रेजी समकक्षों की तुलना में मल्टी-स्टेप रीजनिंग (बहु-चरणीय तर्क) और योजना बनाने में काफी कमजोर हैं। वे केवल "कम बुद्धिमान" नहीं हैं; उनके पास वह विशिष्ट प्रशिक्षण डेटा नहीं है जो उन्हें अरबी में किसी समस्या पर विचार करने का तरीका सिखाता है।

उन्होंने इसे कैसे ठीक किया, इसके लिए एक ऐसी रेसिपी दी है जो एक हाई-टेक कुकिंग शो की तरह लगती है।

गुप्त सॉस: मात्रा से अधिक गुणवत्ता

टीम ने AI के मस्तिष्क में लाखों यादृच्छिक (random) अरबी गणित की समस्याएं केवल डाली नहींं। इसके बजाय, उन्होंने सख्त खाद्य आलोचकों की तरह काम किया। उन्होंने अंग्रेजी स्रोतों (जैसे ग्रेड-स्कूल मैथ और प्रतियोगिता पहेलियाँ) से समस्याएं लीं, उन्हें अरबी में अनुवादित किया, और फिर "शिक्षक" मॉडल्स (DeepSeek-R1 और QwQ-32B) से उन्हें अरबी में अपने विचार लिखते हुए हल करने के लिए कहा।

लेकिन यहाँ एक मोड़ है: उन्होंने 95% परिणामों को फेंक दिया।

उन्होंने एक पांच-चरणीय "क्वालिटी फिल्टर" पाइपलाइन बनाई। इसे एक विशिष्ट क्लब के बाउंसर की तरह समझें।

मैथ चेक: क्या उत्तर वास्तव में सही संख्या से मेल खाता था? (यदि नहीं, तो बाहर)।
लंबाई चेक: क्या व्याख्या बहुत छोटी (आलसी) थी या बहुत लंबी और भ्रामक? (यदि ऐसा था, तो बाहर)।
प्रवाह (Fluency) चेक: क्या अरबी स्वाभाविक लग रही थी, या यह एक रोबोट की तरह लग रहा था जो बोलने की कोशिश कर रहा है? उन्होंने अरबी की शुद्धता मापने के लिए AraBERT नामक एक टूल का उपयोग किया।
संरचना चेक: क्या AI ने वास्तव में समस्या को कम से कम तीन स्पष्ट चरणों में विभाजित किया?
कॉपी-पेस्ट चेक: क्या यह समाधान किसी अन्य समाधान जैसा ही दिख रहा था? (यदि ऐसा था, तो बाहर)।

सभी फिल्टरिंग के बाद, उनके पास केवल 823 उच्च-गुणवत्ता वाले उदाहरण बचे। पेपर सुझाव देता है कि AI को तर्क करना सिखाने के लिए, गुणवत्ता ही सर्वोपरि है। हजारों बिखरे हुए उदाहरणों के बजाय कुछ एकदम सटीक उदाहरण होना बेहतर है।

प्रशिक्षण: छात्र को सोचना सिखाना

एक बार जब उनके पास ये 823 सटीक उदाहरण आ गए, तो उन्होंने AI को केवल इन्हें "याद करने" के लिए नहीं कहा। उन्होंने एक विशेष प्रशिक्षण पद्धति का उपयोग किया जिसे रिवॉर्ड-वेटेड सुपरवाइज्ड फाइन-ट्यूनिंग (reward-weighted supervised fine-tuning) कहा जाता है।

कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि वह एक आसान प्रश्न सही करता है, तो शिक्षक को उस पर बहुत अधिक समय बिताने की आवश्यकता नहीं होती है। लेकिन यदि वह एक कठिन प्रश्न के लिए संघर्ष करता है लेकिन अंततः उसे सही कर लेता है, तो शिक्षक वहां अतिरिक्त ध्यान केंद्रित करता है। यह पद्धति भी वही करती है: यह AI को बताती है, "उन आसान चीजों पर ऊर्जा बर्बाद न करें जिन्हें आप पहले से जानते हैं; अपनी सीखने की शक्ति उन कठिन चरणों पर केंद्रित करें जहाँ आप लगभग गलती करने ही वाले थे।"

उन्होंने इसका परीक्षण तीन अलग-अलग AI मॉडल्स पर किया:

Qwen3-8B (एक 8-बिलियन पैरामीटर वाला मॉडल)
Llama-3.1-8B (एक अन्य 8-बिलियन पैरामीटर वाला मॉडल)
Qwen3-4B (एक छोटा 4-बिलियन पैरामीटर वाला मॉडल)

परिणाम: एक बड़ी छलांग

परिणाम प्रभावशाली थे। सबसे अच्छा मॉडल (इस नए प्रशिक्षण के साथ Qwen3-8B) एक नए, कठिन अरबी रीजनिंग टेस्ट (जिसे AraAgent-Bench कहा जाता है) पर 30.0% की सफलता दर से उछलकर 46.7% पर पहुँच गया। यह 55.7% का सापेक्ष सुधार है।

पेपर स्पष्ट रूप से कुछ चीजों को खारिज करता है:

यह केवल मॉडल को बड़ा बनाने के बारे में नहीं है। उन्होंने पाया कि एक छोटा, अच्छी तरह से प्रशिक्षित मॉडल (8 बिलियन पैरामीटर) वास्तव में एक बहुत बड़े अरबी-नेटिव मॉडल (13 बिलियन पैरामीटर) को हरा देता है, जिसे इस तरह से तर्क करना नहीं सिखाया गया था।
यह केवल अधिक डेटा होने के बारे में नहीं है। उन्होंने दिखाया कि एक निश्चित बिंदु (लगभग 400) के बाद अधिक उदाहरण जोड़ने से ज्यादा मदद नहीं मिली; उदाहरणों की गुणवत्ता बहुत अधिक मायने रखती थी।
यह हर चीज़ के लिए जादुई समाधान नहीं है। मॉडल अभी भी सबसे कठिन समस्याओं (Tier 5, जिनके लिए 11+ चरणों की आवश्यकता होती है) और "कॉज़ल रीजनिंग" (चीजें क्यों हुईं, यह समझने) के साथ संघर्ष करते रहे।

छिपा हुआ बॉटलनेक: "वर्ड-टू-टोकन" ट्रांसलेटर

सबसे दिलचस्प निष्कर्षों में से एक यह था कि AI शब्दों को कैसे "देखता" है। शोधकर्ताओं ने पाया कि Qwen मॉडल, Llama मॉडल की तुलना में अरबी पढ़ने में बहुत अधिक कुशल है।

कल्पना कीजिए कि आप एक किताब पढ़ रहे हैं।

Qwen अरबी शब्दों को कुशलता से देखता है: एक अरबी शब्द का प्रतिनिधित्व करने के लिए इसे लगभग 1.8 टोकन (डिजिटल बिल्डिंग ब्लॉक्स) की आवश्यकता होती है।
Llama अनाड़ी है: उसी शब्द को दर्शाने के लिए इसे लगभग 3.2 टोकन की आवश्यकता होती है।

इसका मतलब है कि समान "स्क्रीन स्पेस" (कॉन्टेक्स्ट विंडो) के लिए, Qwen अपनी मेमोरी में 1,138 अरबी शब्द रख सकता है, जबकि Llama केवल 640 रख सकता है। पेपर सुझाव देता है कि यह अक्षमता एक प्रमुख कारण है कि Llama संघर्ष करता रहा, भले ही उसे समान प्रशिक्षण दिया गया हो। यह ऐसा है जैसे उपलब्ध टेबल स्पेस के आधे हिस्से के साथ एक जटिल पहेली को हल करने की कोशिश करना।

भविष्य के लिए इसका क्या अर्थ है

पेपर निष्कर्ष निकालता है कि हम विशाल मॉडल्स को शुरू से प्रशिक्षित किए बिना शक्तिशाली अरबी रीजनिंग AI बना सकते हैं। एक "शिक्षक" का उपयोग करके सटीक तर्क चरणों को उत्पन्न करने, उन्हें बेरहमी से फ़िल्टर करने और छोटे मॉडल्स को उस सोच की नकल करने के लिए प्रशिक्षित करने से, हम अंग्रेजी और अरबी AI क्षमताओं के बीच के अंतर को पाट सकते हैं।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह तो बस शुरुआत है। उनका काम केवल मॉडर्न स्टैंडर्ड अरबी (औपचारिक भाषा जिसका उपयोग समाचार और पुस्तकों में किया जाता है) को कवर करता है, न कि उन कई बोलियों को जो लोग घर पर बोलते हैं (जैसे मिस्र या खाड़ी की अरबी)। वे यह भी स्वीकार करते हैं कि उन्होंने टेस्ट प्रश्न बनाने के लिए AI की मदद ली, जिससे कुछ पूर्वाग्रह (bias) आ सकता है।

संक्षेप में, पेपर सुझाव देता है कि यदि आप चाहते हैं कि एक AI अरबी में सोच सके, तो उसे केवल अधिक डेटा न दें। उसे सिखाएं कि कैसे सोचना है, उसे सर्वोत्तम संभव उदाहरण दें, और सुनिश्चित करें कि वह अरबी को कुशलतापूर्वक "पढ़" सके। यह एक आशाजनक कदम है, लेकिन पूर्ण अरबी रीजनिंग की यात्रा अभी जारी है।

तकनीकी सारांश: AraCoT-Agent

समस्या विवरण

अरबी बड़े भाषा मॉडल (LLMs) अपने अंग्रेजी समकक्षों की तुलना में बहु-चरणीय तर्क (multi-step reasoning), गणितीय समस्या-समाधान और एजेंटिक योजना (agentic planning) में एक महत्वपूर्ण कमी प्रदर्शित करते हैं। लेखक इस अंतर ( $\Delta_{gap} > 15$ प्रतिशत अंक) का कारण केवल डेटा की मात्रा की कमी को नहीं, बल्कि उच्च-गुणवत्ता वाले अरबी चेन-ऑफ-थॉट (CoT) प्रशिक्षण डेटा की कमी और मौजूदा बहुभाषी मॉडलों में अरबी लिपि के उप-इष्टतम टोकनाइजेशन (suboptimal tokenization) को मानते हैं। वर्तमान अरबी LLMs शिक्षा, नैदानिक निदान (clinical diagnostics) और कानूनी तर्क जैसे जटिल कार्यों के लिए आवश्यक संरचित, चरण-दर-चरण तर्क प्रदान करने में संघर्ष करते हैं।

कार्यप्रणाली

यह शोध पत्र AraCoT-Agent प्रस्तावित करता है, जो एक ऐसा ढांचा (framework) है जिसे फ्रंटियर टीचर मॉडल्स से संरचित तर्क क्षमताओं को छोटे, तैनात करने योग्य अरबी-केंद्रित मॉडलों में डिस्टिल (distill) करने के लिए डिज़ाइन किया गया है। यह कार्यप्रणाली तीन मुख्य घटकों से बनी है:

1. डेटासेट निर्माण (AraCoT)

लेखकों ने AraCoT का निर्माण किया, जो पहला क्यूरेटेड, गुणवत्ता-फ़िल्टर्ड अरबी रीजनिंग ट्रेस डेटासेट है।

स्रोत: सीड प्रॉब्लम्स (Seed problems) को GSM8K, MATH (लेवल 1–3), ArabicMMLU STEM सबसेट्स और BIG-Bench Hard से एकत्रित किया गया।
अनुवाद: अंग्रेजी मूल की समस्याओं को दो-चरणीय अनुवाद पाइपलाइन (Helsinki-NLP MT के बाद LLM पोस्ट-एडिटिंग) के माध्यम से संसाधित किया गया, जिसमें राउंड-ट्रिप BLEU सत्यापन ( $q_{trans} \ge 0.45$ ) किया गया।
टीचर डिस्टिलेशन: रीजनिंग ट्रेसेस को फ्रंटियर मॉडल्स DeepSeek-R1 और QwQ-32B का उपयोग करके उत्पन्न किया गया। प्रत्येक समस्या के लिए, न्यूक्लियस सैंपलिंग के माध्यम से $K=3$ ट्रेसेस उत्पन्न किए गए, और उत्तर की शुद्धता और लंबाई (तर्क की गहराई के प्रॉक्सी के रूप में) के आधार पर इष्टतम ट्रेस का चयन किया गया।
पाँच-चरणीय फ़िल्टरिंग: एक कठोर पाइपलाइन ने कच्चे ट्रेसेस ( $\sim17,500$ $\sim 17, 500$ ) को 823 उच्च-गुणवत्ता वाले उदाहरणों तक फ़िल्टर किया (लगभग $\sim4.7\%$ $\sim 4.7%$ रिटेंशन)। फ़िल्टर्स ने निम्नलिखित को लागू किया:
1. उत्तर की शुद्धता: संख्यात्मक सहनशीलता $\epsilon \le 10^{-3}$ ।
2. लंबाई की सीमा: 150 से 3,500 टोकन।
3. प्रवाह (Fluency): AraBERT के माध्यम से परप्लेक्सिटी बाउंड्स ( $PPL \le \tau_{ppl}$ )।
4. संरचनात्मक पूर्णता: न्यूनतम 3 चरण और $<5\%$ अंग्रेजी सामग्री।
5. डीडुप्लिकेशन: MinHash-आधारित जकार्ड समानता ( $<0.85$ )।

2. प्रशिक्षण रणनीति

अध्ययन ने ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) से प्रेरित रिवॉर्ड-वेटेड सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) का उपयोग किया।

उद्देश्य: लॉस फंक्शन को एक कंपोजिट रिवॉर्ड $r(x,c) = \lambda_1 \cdot \mathbb{1}_{[correct]} + \lambda_2 \cdot |c|/L_{max} + \lambda_3 \cdot \text{fluency}(c)$ द्वारा भारित किया गया है। यह पहले से ही उच्च-गुणवत्ता वाले उदाहरणों के ग्रेडिएंट्स को कम महत्व देता है, जिससे कठिन या कम प्रवाह वाले ट्रेसेस पर सीखने पर ध्यान केंद्रित होता है।
आर्किटेक्चर:
- ट्रैक A: Qwen3-8B पर QLoRA (रैंक 64, 4-bit NF4) फाइन-ट्यूनिंग।
- ट्रैक B: Llama-3.1-8B पर QLoRA फाइन-ट्यूनिंग।
- ट्रैक C: Qwen3-4B पर फुल फाइन-ट्यूनिंग।
मास्किंग: लॉस को विशेष रूप से असिस्टेंट रिस्पॉन्स टोकन्स पर लागू किया गया ताकि मॉडल निर्देश पालन (instruction following) पर अपनी क्षमता व्यर्थ न करे।

3. मूल्यांकन बेंचमार्क (AraAgent-Bench)

पाँच कार्य प्रकारों (अंकगणितीय योजना, तार्किक अनुमान, स्थानिक नेविगेशन, संसाधन आवंटन, कारण तर्क) और पाँच कठिनाई स्तरों (न्यूनतम समाधान चरणों द्वारा परिभाषित) में 500 समस्याओं वाला एक नया नेटिव अरबी बेंचमार्क।

मुख्य योगदान

AraCoT डेटासेट: टीचर डिस्टिलेशन और एक औपचारिक पाँच-चरणीय फ़िल्टरिंग पाइपलाइन के माध्यम से निर्मित एक उच्च-गुणवत्ता वाला, फ़िल्टर्ड अरबी रीजनिंग ट्रेस डेटासेट।
व्यवस्थित क्रॉस-आर्किटेक्चर अध्ययन: QLoRA और फुल फाइन-ट्यूनिंग दोनों का उपयोग करके Qwen3-8B, Llama-3.1-8B, और Qwen3-4B पर CoT डिस्टिलेशन का एक नियंत्रित तुलनात्मक अध्ययन।
AraAgent-Bench: एजेंटिक रीजनिंग के लिए औपचारिक कठिनाई स्तरीकरण के साथ एक नेटिव अरबी मूल्यांकन बेंचमार्क।
अनुभवजन्य अंतर्दृष्टि (Empirical Insights): प्रमाण कि CoT डिस्टिलेशन में मात्रा की तुलना में डेटा की गुणवत्ता हावी रहती है, टोकनाइजेशन दक्षता क्रॉस-लिंगुअल रीजनिंग ट्रांसफर का एक महत्वपूर्ण भविष्यवक्ता है, और रिवॉर्ड-वेटेड ट्रेनिंग जटिल समस्याओं पर महत्वपूर्ण लाभ देती है।

परिणाम

प्रदर्शन लाभ: सर्वश्रेष्ठ मॉडल (Qwen3-8B + CoT via QLoRA) ने AraAgent-Bench पर 46.7% सटीकता प्राप्त की, जो सबसे मजबूत बेसलाइन (Llama3-8B बेस @ 30.0%) की तुलना में 55.7% सापेक्ष सुधार है। यह सुधार सांख्यिकीय रूप से महत्वपूर्ण था ( $p < 0.05$ , McNemar's test)।
स्केलिंग लॉज़: डेटा स्केलिंग विश्लेषण ने एक सबलीनियर पावर लॉ ( $\beta \approx 0.18$ ) प्रकट किया, जो $\sim400$ उदाहरणों के बाद घटते प्रतिफल (diminishing returns) का संकेत देता है। यह पुष्टि करता है कि एक बड़ा, अनफिल्टर्ड डेटासेट होने के बजाय एक छोटा, अत्यधिक क्यूरेटेड डेटासेट अधिक प्रभावी है।
आर्किटेक्चर तुलना: Qwen3-8B ने लगातार Llama-3.1-8B को पछाड़ दिया। लेखक इसका श्रेय टोकनाइजेशन दक्षता को देते हैं: Qwen3 को प्रति अरबी शब्द $\approx 1.8$ टोकन की आवश्यकता होती है, जबकि Llama-3.1 को $\approx 3.2$ की। इसके परिणामस्वरूप अरबी रीजनिंग के लिए Qwen3 में 78% बड़ा प्रभावी कॉन्टेक्स्ट मिलता है (2048-टोकन विंडो में 1,138 शब्द बनाम 640 शब्द)।
त्रुटि विश्लेषण: CoT डिस्टिलेशन ने त्रुटियों की प्रकृति को बदल दिया। बेसलाइन मॉडल मुख्य रूप से मतिभ्रम (hallucination) और समयपूर्व समाप्ति के माध्यम से विफल हुए। डिस्टिल्ड मॉडल अक्सर उत्तर निष्कर्षण फॉर्मेटिंग और अंकगणितीय त्रुटियों के माध्यम से विफल हुए, जो "तर्क न करने" से "कभी-कभार त्रुटियों के साथ तर्क करने" की ओर बदलाव को दर्शाता है।
कठिनाई स्तर: डिस्टिल्ड मॉडल्स और बेसलाइन्स के बीच प्रदर्शन का अंतर उच्च कठिनाई स्तरों (Tier 4–5) पर काफी बढ़ गया, जो सुझाव देता है कि CoT डिस्टिलेशन जटिल, बहु-चरणीय समस्याओं के लिए सबसे मूल्यवान है जहाँ पैटर्न मिलान (pattern matching) विफल हो जाता है।

महत्व और दावे

शोध पत्र का दावा है कि केवल प्रीट्रेनिंग डेटा को स्केल करने या बड़े अरबी-नेटिव मॉडल्स का उपयोग करने की तुलना में लक्षित CoT डिस्टिलेशन अरबी तर्क को बेहतर बनाने के लिए एक अधिक प्रभावी रणनीति है। विशेष रूप से:

मात्रा से अधिक गुणवत्ता: पर्याप्त तर्क सुधार प्राप्त करने के लिए 1,000 से कम क्यूरेटेड उदाहरण पर्याप्त हैं।
टोकनाइजेशन एक बाधा के रूप में: टोकनाइज़र की दक्षता तर्क प्रदर्शन का एक महत्वपूर्ण भविष्यवक्ता है; अक्षम अरबी टोकनाइजेशन वाले मॉडल (जैसे Llama-3.1) कॉन्टेक्स्ट ट्रंकेशन के कारण लंबे रीजनिंग चेन्स बनाए रखने में संघर्ष करते हैं।
रिवॉर्ड-वेटेड ट्रेनिंग: GRPO-शैली का वेटिंग मानक SFT की तुलना में निरंतर लाभ प्रदान करता है, विशेष रूप से सबसे चुनौतीपूर्ण समस्याओं पर, जो एक निहित पाठ्यक्रम (implicit curriculum) के रूप में कार्य करता है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण अरबी-अंग्रेजी रीजनिंग गैप को काफी हद तक कम करता है, जिससे छोटे, अधिक तैनात करने योग्य मॉडल उन जटिल एजेंटिक कार्यों को करने में सक्षम होते हैं जो पहले फ्रंटियर अंग्रेजी मॉडल्स तक ही सीमित थे। हालांकि, वे आधुनिक मानक अरबी (MSA) पर विशेष ध्यान, API-आधारित टीचर मॉडल्स पर निर्भरता, और बड़े पैमाने पर मानव मूल्यांकन की कमी के संबंध में सीमाओं को भी नोट करते हैं।