🤖 AI

Zipping the Thought: When and How Compressed Reasoning Data Works in LLM Post-Training

यह शोध पत्र संकुचित चेन-ऑफ-थॉट रीजनिंग (एक्सप्लिसिट, कंपोज़्ड और इम्प्लिसिट) का एक वर्गीकरण प्रस्तुत करता है और नियंत्रित प्रयोगों के माध्यम से यह प्रदर्शित करता है कि जहाँ मोटे तौर पर की गई रीजनिंग के लिए अधिक डेटा की आवश्यकता होती है और इसमें विशिष्ट स्केलिंग एवं मेमोराइजेशन व्यवहार दिखाई देते हैं, वहीं सत्यापन योग्य पुरस्कारों (वेरिफिएबल रिवार्ड्स) के साथ आगामी सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग), सुपरवाइज्ड फाइन-ट्यूनिंग के दौरान सीखे गए इन संकुचित चरणों को प्रभावी ढंग से विघटित कर सकता है।

मूल लेखक: Kohsei Matsutani, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kohsei Matsutani, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन बहुत ही शाब्दिक (literal) रोबोट को एक जटिल गणितीय पहेली हल करना सिखा रहे हैं। इस पहेली में चरणों की एक लंबी श्रृंखला शामिल है: "इस संख्या को लें, इसे गुणा करें, वह जोड़ें, इससे विभाजित करें..."

रोबोट को सिखाने के लिए, आप उसे समाधान तीन अलग-अलग तरीकों से दिखा सकते हैं। यह शोध पत्र देखता है कि कौन सा तरीका सबसे अच्छा काम करता है, आपको कितने डेटा की आवश्यकता है, और क्या होता है यदि आप चरणों को छोड़कर रोबोट को "तेजी से सोचने" के लिए प्रेरित करते हैं।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. सिखाने के तीन तरीके (वर्गीकरण)

शोधकर्ताओं ने इस आधार पर वर्गीकृत किया कि उन्होंने रोबोट को समाधान कैसे दिखाया:

Explicit CoT (धीमी और स्थिर यात्रा): आप रोबोट को हर एक चरण दिखाते हैं। "2 से गुणा करें। अब 5 जोड़ें। अब 3 से विभाजित करें।" यह लंबा है, लेकिन रोबोट देख पाता है कि उत्तर कैसे बनाया गया।
Composed CoT (समूहीकृत चरण): आप दो चरणों को एक साथ बांध देते हैं। "2 से गुणा करें" और फिर "5 जोड़ें" दिखाने के बजाय, आप कहते हैं, "2 से गुणा करें और 5 जोड़ें।" रोबोट संचालन (operations) तो देखता है, लेकिन बीच की संख्याएँ छिपी रहती हैं।
Implicit CoT (जादुई ट्रिक): आप बीच के हिस्से को पूरी तरह से छोड़ देते हैं। आप बस शुरुआती संख्या और एक हिस्से का अंतिम परिणाम दिखाते हैं, बिना यह दिखाए कि आप वहां तक कैसे पहुंचे। यह ऐसा है जैसे कहना, "3 से शुरू करें, 15 पर समाप्त करें," और रोबोट को बीच की गणित का अनुमान लगाना पड़ता है।

2. "संपीड़न" लागत (अधिक डेटा की आवश्यकता)

शोध ने पाया: आप निर्देशों को जितना अधिक संपीड़ित (compress) करेंगे, रोबोट को सिखाने के लिए आपको उतने ही अधिक उदाहरणों की आवश्यकता होगी।

उपमा: कल्पना कीजिए कि आप किसी को केक बनाना सिखा रहे हैं।
- यदि आप उन्हें हर एक चरण के साथ रेसिपी देते हैं (Explicit), तो वे इसे 10 बार देखने के बाद सीख सकते हैं।
- यदि आप उन्हें एक "संपीड़ित" रेसिपी देते जो कहती है "सूखी और गीली सामग्री को मिलाएं" बिना मिश्रण की प्रक्रिया दिखाए (Composed/Implicit), तो वे भ्रमित हो जाते हैं। इसे सीखने के लिए, आपको उन्हें वह संपीड़ित रेसिपी सैकड़ों बार दिखानी होगी (अधिक डेटा) इससे पहले कि वे अंततः पैटर्न को समझ सकें।
निष्कर्ष: मोटे तौर पर संपीड़ित तर्क (coarser, compressed reasoning) को समान स्तर का कौशल प्राप्त करने के लिए काफी अधिक प्रशिक्षण डेटा की आवश्यकता होती है।

3. पुनरावृत्ति बनाम विविधता (द "ड्रिल" प्रभाव)

एक बार जब आप तय कर लेते हैं कि संपीड़ित डेटा का उपयोग करना है, तो आपको इसे कैसे प्रस्तुत करना चाहिए? क्या आपको रोबोट को बार-बार एक ही 10 समस्याएं दिखानी चाहिए (पुनरावृत्ति), या 10,000 अलग-अलग समस्याएं (विविधता)?

Composed CoT (समूहीकृत चरण): इस प्रकार को पुनरावृत्ति पसंद है। यदि आप रोबोट को बार-बार वही समूहीकृत चरण दिखाते हैं, तो वह उस विशिष्ट पैटर्न में बहुत अच्छा हो जाता है। यह खेल के एक विशिष्ट मूव का अभ्यास (drill) करने जैसा है; पुनरावृत्ति इसे मांसपेशियों की स्मृति (muscle memory) बना देती है।
Implicit CoT (जादुई ट्रिक): इस प्रकार को पुनरावृत्ति नापसंद है। यदि आप रोबोट को एक ही "जादुई ट्रिक" बार-बार दिखाते हैं, तो वह केवल उस विशिष्ट ट्रिक के लिए उत्तर रट लेता है। जब आप उसे एक नई पहेली देते हैं, तो वह विफल हो जाता है। उसे वास्तव में अंतर्निहित तर्क सीखने के लिए विविधता (अलग-अलग डेटा) की आवश्यकता होती, अन्यथा वह केवल रटकर नकल (cheat) करता है।

4. "अनलर्निंग" चरण (SFT बनाम RL)

यह सबसे आश्चर्यजनक हिस्सा है। शोधकर्ताओं ने पहले रोबोट को संपीड़ित डेटा के साथ सिखाया (SFT), और फिर उसे पुरस्कारों के साथ अपने आप अभ्यास करने दिया (RL)।

समस्या: संपीड़ित डेटा के साथ सिखाए जाने पर, रोब लड़खड़ाने लगता है। यदि आप इसे एक ऐसी पहेली हल करने के लिए कहते हैं जिसमें एक "आधा-चरण" (एक ऐसा चरण जो संपीड़ित समूहों में फिट नहीं बैठता) की आवश्यकता होती है, तो यह पूरी तरह से विफल हो जाता है। यह ऐसा है जैसे केवल जोड़ों में कदम चलने के लिए प्रशिक्षित रोबोट को, यदि आप इसे एक एकल कदम लेने के लिए कहें, तो यह गिर जाता है।
समाधान: जब उन्होंने Reinforcement Learning (RL) पर स्विच किया, तो रोबोट फिर से "सोचना" शुरू कर देता है। उसे एहसास हुआ, "रुको, मैं इस बड़े टुकड़े को वापस छोटे टुकड़ों में तोड़ सकता हूँ!"
उपमा: कल्पना कीजिए कि एक छात्र ने एक गणितीय सूत्र को एक एकल ब्लॉक के रूप में याद कर लिया है। वह उस समस्या को हल नहीं कर सकता जिसके लिए सूत्र को विभाजित करने की आवश्यकता होती है। लेकिन यदि आप उन्हें अपने आप समस्याओं को हल करने का अभ्यास करने देते हैं (RL), तो वे अंततः महसूस करते हैं, "ओह! मैं इस बड़े ब्लॉक को वापस उन छोटे चरणों में तोड़ सकता हूँ जो मैंने पहले सीखे थे।" RL चरण संपीड़ित ज्ञान को डीकंप्रेस (uncompress) करता है।

5. क्रम मायने रखता है (एकतरफा रास्ते)

अंत में, उन्होंने सोचने की दिशा को देखा।

फॉरवर्ड/बैकवर्ड (एकतरफा): शुरुआत से अंत तक सोचना, या अंत से शुरुआत की ओर सोचना, बहुत अच्छा काम करता है। रोबोट लंबी, कठिन पहेलियों के लिए बेहतर सामान्यीकरण (generalize) करता है।
Hierarchical (पेड़/वृक्ष): यह वह जगह है जहाँ आप छोटे टुकड़ों को हल करते हैं और फिर उन्हें जोड़ते हैं (जैसे एक पेड़ बनाना)। शोध में पाया गया कि जब पहेलियाँ लंबी हो जाती हैं तो यह विफल हो जाता है। रोबोट एक साथ बहुत सारे मध्यवर्ती "शाखाओं" को अपने दिमाग में रखने की कोशिश में खो जाता है।
सीख: लंबे तर्क श्रृंखलाओं के लिए, एक सीधी रेखा (एक दिशा) एक जटिल शाखा संरचना (tree structure) की तुलना में बहुत बेहतर है।

सारांश

AI को कुशल (छोटा विचार) बनाने के लिए बिना उसकी बुद्धिमत्ता खोए:

जब तक आपके पास भारी मात्रा में डेटा न हो, अत्यधिक संपीड़न (over-compress) न करें।
यदि आप करते हैं, तो Composed चरणों का उपयोग करें (संचालन दिखाना) और उन्हें अक्सर दोहराएं। Implicit चरणों (संचालन छिपाना) से बचें, जब तक कि आपके पास विशाल, विविध डेटा न हो।
SFT (Supervised Fine-Tuning) रोबोट को संपीड़ित शॉर्टकट सिखाता है, लेकिन जब समस्या अजीब या लंबी हो जाए, तो उन शॉर्टकट को वापस तोड़ने के लिए RL (Reinforcement Learning) की आवश्यकता होती है।
सर्वोत्तम परिणामों के लिए सोचने की प्रक्रिया को एक सीधी रेखा में रखें, न कि एक जटिल पेड़ के रूप में।

तकनीकी सारांश: विचार को ज़िप करना: जब और कैसे संकुचित तर्क डेटा (Compressed Reasoning Data) LLM पोस्ट-ट्रेनिंग में काम करता है

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) ने लंबी चेन-ऑफ-थॉट (CoT) रीजनिंग के माध्यम से जटिल समस्याओं को हल करने की क्षमता प्रदर्शित की है। हालांकि, टोकन लागत और रीजनिंग प्रदर्शन के बीच का ट्रेड-ऑफ (trade-off) LLM एजेंटों को तैनात करने के लिए एक केंद्रीय चुनौती बना हुआ है। टोकन लागत को कम करने के लिए, अभ्यासकर्ता अक्सर "संकुचित" (compressed) रीजनिंग डेटा पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) का उपयोग करते हैं, जहाँ CoT ट्रेसेस को चरणों को एकत्रित (aggregate) या छोड़ देकर छोटा किया जाता है।

इस अभ्यास की व्यापकता के बावजूद, यह शोध एक महत्वपूर्ण अंतराल की पहचान करता है:

संपीड़न का तंत्र (Mechanism of Compression): यह स्पष्ट नहीं है कि CoT संपीड़न के विभिन्न संरचनात्मक रूप (जैसे, ऑपरेशन्स को एकत्रित करना बनाम उन्हें छोड़ देना) सीखने की गतिशीलता (learning dynamics) को कैसे प्रभावित करते हैं।
डेटा आवश्यकताएँ: संपीड़न की सूक्ष्मता (granularity), डेटा की मात्रा और SFT के लिए आवश्यक प्रशिक्षण चरणों के बीच संबंध को ठीक से नहीं समझा गया है।
विघटन क्षमता (Decomposition Capability): यह अज्ञात है कि संकुचित डेटा पर प्रशिक्षित मॉडल क्या उन कार्यों को हल करने के लिए इन एकत्रित चरणों को विघटित (decompose) कर सकते हैं जिनमें सूक्ष्म-स्तरीय रीजनिंग की आवश्यकता होती है, और क्या बाद की वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) इस विघटन को सुगम बना सकती है।

2. कार्यप्रणाली (Methodology)

2.1 CoT संपीड़न का वर्गीकरण (Taxonomy of CoT Compression)

लेखक CoT रीजनिंग ट्रेसेस को इस आधार पर वर्गीकृत करने के लिए एक औपचारिक वर्गीकरण प्रस्तावित करते हैं कि परमाणु ऑपरेशन्स ( $f_i$ ) और मान ( $s_i$ ) कैसे प्रस्तुत किए जाते हैं:

एक्सप्लिसिट CoT (Explicit CoT): प्रत्येक ऑपरेशन और मध्यवर्ती मान को क्रमिक रूप से आउटपुट करता है ( $s_1 = f_1(s_0), s_2 = f_2(s_1), \dots$ )। यह संपीड़न सूक्ष्मता ( $g$ ) के 1 होने के अनुरूप है।
कंपोज्ड CoT (Composed CoT): कई ऑपरेशन्स को एक एकल चरण में एकत्रित करता है, ऑपरेशन्स को स्पष्ट रूप से सूचीबद्ध करता है लेकिन मध्यवर्ती मानों को छोड़ देता है (जैसे, $s_2 = f_2(f_1(s_0))$ )। यहाँ, $g > 1$ है।
इम्प्लिसिट CoT (Implicit CoT): मध्यवर्ती मानों और मध्यवर्ती ऑपरेशन्स की स्पष्ट सूची दोनों को छोड़ देता है, और केवल एक हिस्से (chunk) का अंतिम परिणाम आउटपुट करता है (जैसे, $s_4 = f_4(s_3)$ )। यह ऑपरेशन्स और मानों दोनों को छिपा देता है, जो उच्च $g$ के अनुरूप है।

2.2 सिंथेटिक टास्क निर्माण

कठिनाई, संपीड़न सूक्ष्मता और डेटा आकार जैसे चरों को नियंत्रित करने के लिए, लेखकों ने एक सिंथेटिक अंकगणितीय रीजनिंग टास्क बनाया।

टास्क संरचना: समस्याओं में मापदंडों (parameters) के बीच क्रमिक निर्भरताएँ शामिल हैं (जैसे, "A की संख्या B के 4 गुना के बराबर है")।
ऑपरेशन्स: निर्भरताएँ जोड़ (addition), घटाव (subtraction) और 23 मॉड्युलो (modulo) गुणा में शामिल हैं ताकि संख्यात्मक विस्फोट (numerical explosion) को रोका जा सके।
कठिनाई ($op$): कार्य को हल करने के लिए आवश्यक कुल परमाणु ऑपरेशन्स की संख्या के रूप में परिभाषित किया गया है।
सूक्ष्मता ( $g$ ): एक एकल CoT चरण में समूहीकृत ऑपरेशन्स की संख्या।
मूल्यांकन: मॉडल को विशिष्ट $op$ मानों (जैसे, 8, 16, 24) वाले कार्यों पर प्रशिक्षित किया जाता है और लंबे अनुक्रमों (जैसे, 32 से 104 ऑपरेशन्स) वाले आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) कार्यों पर मूल्यांकन किया जाता है ताकि सामान्यीकरण (generalization) का परीक्षण किया जा सके।

2.3 प्रयोगात्मक सेटअप

मॉडल्स: प्रयोग विभिन्न मॉडल परिवारों और आकारों में किए गए, जिसमें Qwen2.5 (0.5B से 14B) और Llama-3 (1B से 8B) शामिल हैं।
ट्रेनिंग रिजीम्स (Training Regimes):
- SFT: विभिन्न $g$ (2, 4, 8) के साथ एक्सप्लिसिट, कंपोज्ड और इम्प्लिसिट CoT डेटा पर प्रशिक्षित किया गया।
- डेटा स्केलिंग बनाम रिपिटिशन: बड़े विविध डेटासेट्स (384k सैंपल्स, 1 epoch) बनाम बार-बार दोहराए गए छोटे डेटासेट्स (6k सैंपल्स, 64 epochs) पर प्रशिक्षण की तुलना की गई।
- RLVR: SFT के साथ प्री-ट्रेन किए गए मॉडल्स पर ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) लागू किया गया ताकि यह परीक्षण किया जा सके कि क्या RL संकुचित चरणों को विघटित कर सकता है।
CoT ऑर्डरिंग: फॉरवर्ड (मानक), बैकवर्ड (रिवर्स), और हायरार्किकल (चंक किए गए सब-प्रॉब्लम्स) CoT ऑर्डर की जांच की गई।

3. मुख्य योगदान और परिणाम

3.1 संपीड़न सूक्ष्मता और प्रशिक्षण चरण

निष्कर्ष: कोर्सर-ग्रेन्ड (coarser-grained) कंपोज्ड CoT (उच्च $g$ ) को एक्सप्लिसिट CoT के समान प्रदर्शन स्तर प्राप्त करने के लिए काफी अधिक प्रशिक्षण चरणों और डेटा वॉल्यूम की आवश्यकता होती है।
निहितार्थ: अत्यधिक संकुचित रीजनिंग ट्रेसेस पर मॉडल को प्रशिक्षित करने के लिए, अभ्यासकर्ताओं को सीखने के संकेत (learning signal) की बढ़ी हुई जटिलता की भरपाई करने के लिए बड़े डेटासेट्स तैयार करने चाहिए।

3.2 डेटा स्केलिंग बनाम डेटा रिपिटिशन

स्केलिंग: कंपोज्ड CoT (दोनों कंपोज्ड और इम्प्लिसिट) एक्सप्लिसिट CoT की तुलना में डेटा स्केलिंग (अद्वितीय सैंपल्स की संख्या बढ़ाना) से अधिक लाभान्वित होता है।
रिपिटिशन:
- कंपोज्ड CoT: डेटा रिपिटिशन (अधिक एपोच के लिए कम सैंपल्स पर प्रशिक्षण) से लाभान्वित होता है।
- इम्प्लिसिट CoT: डेटा को दोहराने पर प्रदर्शन में गिरावट आती है। लेखक सुझाव देते हैं कि यह ओवरफिटिंग या विशिष्ट लंबाई के मेमोराइजेशन (memorization) के कारण है, क्योंकि इम्प्लिसिट CoT उस परिचालन संरचना को छिपा देता है जो सामान्यीकरण के लिए आवश्यक है।
सीख: जब डेटा सीमित हो, तो रिपिटिशन-आधारित प्रशिक्षण के लिए कंपोज्ड CoT बेहतर है, जबकि इम्प्लिसिट CoT को विविध डेटा स्केलिंग के पक्ष में टाल दिया जाना चाहिए।

3.3 रीजनिंग चेन्स का विघटन (Decomposition)

SFT की सीमा: संकुचित CoT (जैसे, $g=2$ ) पर प्रशिक्षित मॉडल उन कार्यों को हल करने में विफल रहते हैं जिनमें परमाणु चरणों में विघटन की आवश्यकता होती है (जैसे, $g=1$ के लिए प्रशिक्षित होने पर विषम $op$ वाले कार्य)। वे SFT के दौरान देखे गए एकत्रित चंक्स को स्वतः विघटित नहीं कर सकते।
RLVR क्षमता: बाद का RLVR सफलतापूर्वक विघटन को सक्षम बनाता है। विघटन की आवश्यकता वाले कार्यों (विषम $op$) पर लागू होने पर, RLVR मॉडल्स को $g=2$ चंक्स को $g=1$ परमाणु चरणों में तोड़ने की अनुमति देता है।
गतिशीलता (Dynamics): RLVR के दौरान, रिस्पॉन्स की लंबाई शुरू में बढ़ती है (जो यह दर्शाता है कि मॉडल विघटित, एक्सप्लिसिट चरणों का पता लगा रहा है) और फिर एक कुशल रणनीति पर अभिसरित (converge) होती है जो गणना के अधिकांश भाग के लिए संकुचित चरणों का उपयोग करती है और केवल जहाँ आवश्यक हो वहाँ एक्सप्लिसिट चरणों का उपयोग करती है।
टेकअवे: SFT संकुचित पैटर्न की नकल करना सीखता है, लेकिन परमाणु कौशल को खोजने और उन्हें नए संयोजनों के लिए पुनर्संयोजित करने के लिए RLVR आवश्यक है।

3.4 CoT ऑर्डरिंग और सामान्यीकरण

यूनिडायरेक्शनल बनाम हायरार्किकल: फॉरवर्ड और बैकवर्ड CoT ऑर्डर लंबे अनुक्रमिक कार्यों (OOD) के लिए अच्छी तरह से सामान्यीकृत होते हैं। इसके विपरीत, हायरार्किकल CoT (जो समस्याओं को चंक्स में विभाजित करता है और मध्यवर्ती वेरिएबल्स को स्टोर करता है) लंबे कार्यों के लिए सामान्यीकरण करने में विफल रहता है।
डेटा दक्षता: तुलनीय सामान्यीकरण प्राप्त करने के लिए बैकवर्ड CoT को फॉरवर्ड CoT की तुलना में अधिक डेटा की आवश्यकता होती है, जो संभवतः प्री-ट्रेनिंग में उपयोग किए गए डेटा वितरण के साथ मिसअलाइनमेंट के कारण है।
टेकअवे: अनुक्रमिक कंपोजिशनल कार्यों के लिए, यूनिडायरेक्शनल CoT डिज़ाइन हायरार्किकल चंकिंग की तुलना में अधिक मजबूत और डेटा-कुशल हैं।

4. महत्व और दावे

यह पेपर दावा करता है कि यह LLM पोस्ट-ट्रेनिंग के लिए रीजनिंग डेटा को कंप्रेस करने में शामिल ट्रेड-ऑफ की मौलिक समझ प्रदान करता है। इसके प्राथमिक योगदान हैं:

डेटा डिज़ाइन के लिए दिशानिर्देश: यह संसाधन बाधाओं के तहत संकुचित डेटासेट बनाने के लिए व्यावहारिक नियम प्रदान करता है। विशेष रूप से, यह सलाह देता है कि कोर्सर कंप्रेशन के लिए अधिक डेटा की आवश्यकता होती है, कंपोज्ड CoT रिपिटिशन से लाभान्वित होता है जबकि इम्प्लिसिट CoT नहीं, और यूनिडायरेक्शनल ऑर्डरिंग सामान्यीकरण के लिए बेहतर है।
SFT बनाम RL में यांत्रिक अंतर्दृष्टि: यह कार्य पोस्ट-ट्रेनिंग में SFT और RL की विशिष्ट भूमिकाओं को स्पष्ट करता है। यह तर्क देता है कि SFT संकुचित प्रतिनिधित्व सीखने के लिए प्रभावी है लेकिन उन्हें विघटित करने में सीमित है, जबकि RLVR इन संकुचित चंक्स को "अनज़िप" करने के एक तंत्र के रूप में कार्य करता है, जिससे मॉडल को परमाणु ऑपरेशन्स को पुनः प्राप्त करके नए संयोजनों के लिए सामान्यीकरण करने में सक्षम बनाता है।
टोकन लागत का अनुकूलन: यह पहचानकर कि संकुचित डेटा कब प्रभावी होता है और इसे RL के साथ कैसे जोड़ा जाए, यह पेपर रीजनिंग की लंबाई (टोकन लागत) और प्रदर्शन के बीच संतुलन बनाने में मदद करने का लक्ष्य रखता है, जिससे अधिक कुशल LLM एजेंटों के विकास को समर्थन मिलता है।

लेखक अपने दावों के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि उनके निष्कर्ष सिंथेटिक अंकगणितीय कार्यों से प्राप्त हुए हैं और बिना आगे की जांच के सभी वास्तविक दुनिया के डोमेन या नॉन-ट्रांसफॉर्मर आर्किटेक्चर में सीधे अनुवादित नहीं हो सकते हैं। वे इस बात पर जोर देते हैं कि हालांकि उनके परिणाम इस विचार का समर्थन करते हैं कि RL स्किल कंपोजिशन के माध्यम से नए समाधानों की खोज कर सकता है, जटिल, वास्तविक दुनिया की रीजनिंग में विशिष्ट तंत्र अभी भी भविष्य के अध्ययन का विषय है।