🤖 AI

Generative Recursive Reasoning

यह शोध पत्र जेनेरेटिव रिकर्सिव रीजनिंग मॉडल्स (GRAM) को प्रस्तुत करता है, जो एक संभाव्य ढांचा (प्रोबेबिलिस्टिक फ्रेमवर्क) है जो स्टोकेस्टिक, मल्टी-ट्रैजेक्टरी लेटेंट स्टेट रिफाइनमेंट को सक्षम करके रिकर्सिव रीजनिंग को बढ़ाता है, जिससे इन्फरेंस-टाइम स्केलिंग, विविध परिकल्पना सृजन, और कंडीशनल रीजनिंग एवं अनकंडीशनल जनरेशन दोनों को समर्थन मिलता है।

मूल लेखक: Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य प्रश्न: AI को कैसे सोचना चाहिए?

कल्पना कीजिए कि आप एक बहुत कठिन पहेली सुलझाने की कोशिश कर रहे हैं, जैसे कि एक जटिल सुडोकू या कोई तर्क वाली पहेली।

पुरानी AI (ऑटोरिग्रेसिव मॉडल): ये उस व्यक्ति की तरह हैं जो अपने विचार एक-एक शब्द करके, शुरू से अंत तक लिखते जाते हैं। यदि वे पहले वाक्य में कोई गलती कर देते हैं, तो उन्हें उस गलती के साथ ही पूरी कहानी लिखनी पड़ती है या फिर उन्हें सब कुछ फिर से शुरू करना पड़ता है। वे "रैखिक" (linear) विचारक हैं।
रिकर्सिव AI (पिछली पीढ़ी): ये मॉडल उस व्यक्ति की तरह हैं जो बिना कुछ लिखे अपने "दिमाग में सोच" सकते हैं। वे एक विचार को अपने मन में रखते हैं, उसे सुधारते हैं, बार-बार सुधारते हैं और तब तक करते रहते हैं जब तक कि वह सही न लगने लगे। यह कुशल है, लेकिन यह पहाड़ से नीचे एक ही रास्ते पर चलने जैसा है। यदि वह रास्ता किसी बंद मोड़ (dead end) पर ले जाता है, तो AI वहीं फंस जाता है। उसके पास कोई बैकअप प्लान नहीं होता।

समस्या: पेपर का तर्क है कि मौजूदा "रिकर्सिव" AI बहुत कठोर हैं। वे समाधान के लिए केवल एक ही पथ का पालन करते हैं। यदि वह पथ गलत है, तो AI विफल हो जाता है। वे नियतात्मक (deterministic) हैं, जिसका अर्थ है कि यदि आप उन्हें एक ही पहेली दो बार देंगे, तो वे बिल्कुल एक ही तरह से सोचेंगे और बिल्कुल एक ही परिणाम प्राप्त करेंगे (भले ही वह परिणाम गलत हो)।

समाधान: GRAM (द "मेनी-पाथ" थिंकर)

लेखक GRAM (जेनेरेटिव रिकर्सिव रीजनिंग मॉडल्स) पेश करते हैं।

उपमा: हाइकिंग टीम
कल्पना कीजिए कि आपको एक विशाल, धुंधले भूलभुलैया (maze) से बाहर निकलने का रास्ता खोजना है।

पुराना तरीका (डिटरमिनिस्टिक रिकर्सिव): आप एक हाइकर को भेजते हैं। वह एक रास्ता चुनता है और दीवार से टकराने तक चलता रहता है। यदि वह दीवार से टकरा जाता है, तो वह फंस जाता है। वह वापस आकर दूसरा रास्ता नहीं आजमा सकता क्योंकि उसे उस एक विशिष्ट मार्ग का पालन करने के लिए प्रोग्राम किया गया है।
GRAM का तरीका: आप हाइकर्स की एक पूरी टीम (कई "ट्रैजेक्टरीज") भेजते हैं।
1. स्टोकेस्टिसिटी (The "Wiggle" - अस्थिरता/विचलन): एक सीधी रेखा में चलने के बजाय, प्रत्येक हाइकर को छोटे, यादृच्छिक (random) मोड़ लेने की अनुमति है। कभी वे बाईं ओर कदम रखते हैं, तो कभी दाईं ओर। यह यादृच्छिकता उन्हें भूलभुलैया के विभिन्न हिस्सों को खोजने में मदद करती है।
2. समानांतर अन्वेषण (Parallel Exploration): क्योंकि आपके पास एक टीम है, यदि एक हाइकर किसी बंद मोड़ पर फंस जाता है, तो दूसरा हाइकर पूरी तरह से अलग रास्ते पर हो सकता है जो निकास की ओर ले जाता है।
3. परिष्करण (Refinement): सभी हाइकर लगातार एक-दूसरे से बात कर रहे हैं (अपनी आंतरिक स्थिति को अपडेट कर रहे हैं) ताकि वे अधिक स्मार्ट हो सकें।

यह कैसे काम करता है (मैकेनिज्म)

पेपर एक दो-स्तरीय प्रणाली का वर्णन करता है, जो एक मैनेजर और एक वर्कर होने जैसा है:

वर्कर (लो-लेवल): यह हिस्सा भारी काम करता है। यह वर्तमान विचार को लेता है और उसे तेजी से और सटीverlässता से परिष्कृत करता है। यह बहुत केंद्रित और नियतात्मक (deterministic) है (यहाँ कोई यादृच्छिकता नहीं है)।
मैनेजर (हाई-लेवल): यह हिस्सा दिशा तय करता है। महत्वपूर्ण बात यह है कि मैनेजर योजना में थोड़ा सा "रैंडम नॉइज़" या "रचनात्मक अराजकता" जोड़ता है।
- क्यों? ताकि टीम एक स्थानीय जाल (एक ऐसा बंद मोड़ जो समाधान जैसा दिखता है) में न फंस जाए।
- परिणाम: AI केवल एक पथ का पालन नहीं करता; यह संभावित पथों का एक वितरण (distribution) उत्पन्न करता है। यह अनिवार्य रूप से कहता है, "यहाँ 20 अलग-अलग तरीके हैं जिनसे मैं इस समस्या को हल कर सकता हूँ। देखते हैं कि कौन सा सबसे अच्छा काम करता है।"

GRAM की दो महाशक्तियाँ

पेपर दो तरीकों पर प्रकाश डालता है जिनसे यह नया सिस्टम स्केल अप होता है:

1. गहराई (गहराई से सोचना - Depth)
पुराने रिकर्सिव मॉडल्स की तरह, GRAM लंबे समय तक सोच सकता है। यह एक उत्तर को बार-बार परिष्कृत कर सकता है।

उपमा: आप हीरे को तब तक पॉलिश कर सकते हैं जब तक कि वह चमक न जाए।

2. चौड़ाई (व्यापकता से सोचना - Width)
यह नया तरीका है। केवल लंबे समय तक सोचने के बजाय, GRAM समानांतर (parallel) में सोच सकता है। यह एक साथ 20 अलग-अलग "क्या-होगा" (what-if) परिदृश्यों को चला सकता है।

उपमा: रूबिक क्यूब को एक बार में एक तरफ घुमाने के बजाय, आप कल्पना करते हैं कि 20 अलग-अलग लोग एक साथ अलग-अलग तरफ घुमा रहे हैं, और फिर उस व्यक्ति को चुनते हैं जिसने इसे सबसे तेजी से हल किया।
पेपर का दावा: यह "चौड़ाई" (Width) स्केलिंग, केवल AI को लंबे समय तक सोचने (Depth) के मुकाबले अधिक तेज़ और प्रभावी है।

उन्होंने इसका परीक्षण किस पर किया?

शोधकर्ताओं ने केवल सिद्धांत की बात नहीं की; उन्होंने GRAM का परीक्षण विशिष्ट, कठिन पहेलियों पर किया जहाँ अक्सर एक से अधिक सही उत्तर होते हैं या जहाँ फंसना आसान होता है।

सुडोकू (प्रतिबंध वाली पहेली - Constraint Puzzle):
- परिणाम: GRAM ने पिछले रिकर्सिव मॉडल्स की तुलना में अत्यंत कठिन सुडोकू पहेलियों को बहुत बेहतर ढंग से हल किया। इसने केवल सही उत्तर ही नहीं पाया; बल्कि इसने विभिन्न संभावनाओं को खोजकर सही उत्तर तेजी से पाया।
N-Queens और ग्राफ कलरिंग (वह पहेली जहाँ "कई समाधान" होते हैं):
- चुनौती: इन पहेलियों में दर्जनों या सैकड़ों वैध समाधान होते हैं। पुराने AI एक ही समाधान पर अटक जाते थे और अन्य को मिस कर देते थे (या यदि वह एक समाधान बाधित हो जाता, तो विफल हो जाते थे)।
- परिणाम: क्योंकि GRAM कई पथों की खोज करता है, यह एक ही पहेली के कई वैध समाधान खोज सकता है। यह "मोड कोलैप्स" (जहाँ यह केवल एक उत्तर पाता है) से ग्रस्त नहीं होता है।
इमेज जनरेशन (अनकंडीशनल टेस्ट):
- चुनौती: क्या यह तर्क बिना किसी पहेली को हल किए भी काम कर सकता है? क्या यह शून्य से एक छवि "सपनों" की तरह बना सकता है?
- परिणाम: हाँ। जब इसे शुरुआत से चित्र (जैसे MNIST डेटासेट से नंबर) बनाने के लिए कहा गया, तो GRAM ने पिछले रिकर्सिव मॉडल्स की तुलना में अधिक स्पष्ट और सटीक चित्र बनाए। इसने दिखाया कि "सोचने" की प्रक्रिया का उपयोग "निर्माण" के लिए भी किया जा सकता है।

निचोड़ (The Bottom Line)

पेपर का दावा है कि GRAM एक बड़ा कदम है क्योंकि यह "रिकर्सिव रीजनिंग" (लूप में सोचना) को एक कठोर, एकल-ट्रैक प्रक्रिया से बदलकर एक लचीली, संभाव्य (probabilistic), बहु-पथ प्रक्रिया में बदल देता है।

पुरानी AI: "मैं इस एक पथ पर तब तक चलूँगा जब तक मुझे उत्तर नहीं मिल जाता।"
GRAM: "मैं कई पथों पर खोजकर्ताओं की एक टीम भेजूँगा, उन्हें थोड़ा भटकने दूँगा, और सबसे अच्छे परिणाम को चुनूँगा।"

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण AI को अनिश्चितता को संभालने, कई समाधान खोजने और अपनी बुद्धिमत्ता को न केवल मॉडल को बड़ा बनाकर, बल्कि एक साथ अधिक संभावनाओं को खोजने की अनुमति देकर स्केल करने में सक्षम बनाता है।

तकनीकी सारांश: जेनेरेटिव रिकर्सिव रीजनिंग मॉडल्स (GRAM)

समस्या विवरण

भविष्य के न्यूरल रीजनिंग सिस्टम्स के सामने एक केंद्रीय चुनौती है: विस्तारित गणना (extended computation) को कुशलतापूर्वक कैसे लागू किया जाए। जहाँ बड़े ऑटोरिग्रेसिव मॉडल अनुक्रम पीढ़ी (जैसे चेन-ऑफ-थॉट) को बढ़ाकर तर्क (reasoning) को स्केल करते हैं, वहीं रिकर्सिव रीजनिंग मॉडल्स (RRMs) एक विकल्प प्रदान करते हैं, जो साझा ट्रांज़िशन फंक्शन्स के बार-बार अनुप्रयोग के माध्यम से एक निरंतर लेटेंट स्टेट (latent state) को परिष्कृत करते हैं। यह दृष्टिकोण तर्क की गहराई (reasoning depth) को पैरामीटर स्केल और आउटपुट लंबाई से अलग करता है।

हालाँकि, मौजूदा RRMs (जैसे HRM, TRM) मौलिक रूप से डिटरमिनिस्टिक (deterministic) हैं। समान इनपुट और इनिशियलाइजेशन के साथ, वे एक ही लेटेंट ट्राजेक्टरी का पालन करते हैं और एक ही भविष्यवाणी पर अभिसरित (converge) होते हैं। यह डिटरमिनिज्म संभावित तर्क पथों के स्थान को एक एकल अट्रैक्टर (attractor) में सिकोड़ देता है, जिससे अनिश्चितता बनाए रखने, वैकल्पिक परिकल्पनाओं पर विचार करने या कई समाधान रणनीतियों का अन्वेषण करने में विफलता होती है। यह उन समस्याओं के लिए विशेष रूप से सीमित है जिनमें अंतर्निहित अस्पष्टता, कई वैध समाधान, या जहाँ एक एकल रिफाइनमेंट पथ उप-इष्टतम (suboptimal) तर्क पथों में फंस सकता है। मुख्य प्रश्न जिसका समाधान किया जा रहा है वह है: क्या रिकर्सिव लेटेंट कंप्यूटेशन, कॉम्पैक्ट रिकरेंट मॉडल्स की दक्षता को संरक्षित करते हुए, संभावabilistic, जेनेरेटिव, मल्टी-हाइपोथीसिस रीजनिंग का समर्थन कर सकता है?

कार्यप्रणाली: जेनेरेटिव रिकर्सिव रीजनिंग मॉडल्स (GRAM)

GRAM एक ढांचा पेश करता है जो रिकर्सिव लेटेंट रीजनिंग को प्रोबेबिलिस्टिक मल्टी-ट्राजेक्टरी कंप्यूटेशन में बदल देता है। यह तर्क प्रक्रिया को एक स्टोकेस्टिक लेटेंट ट्राजेक्टरी के रूप में मानता है, जिससे मॉडल कई परिकल्पनाओं को बनाए रखने और वैकल्पिक समाधान रणनीतियों का पता लगाने में सक्षम होता है।

1. आर्किटेक्चर

GRAM कंडीशनल डिस्ट्रीब्यूशन $p_\theta(y | x)$ को स्टोकेस्टिक लेटेंट ट्राजेक्टरीज के मार्जिनलाइजेशन (marginalization) के माध्यम से मॉडल करता है। आर्किटेक्चर में एक एनकोडर, एक रिकर्सिव कोर और एक डिकोडर शामिल है, जो दो नेस्टेड लूप्स में व्यवस्थित है:

इनर लूप (लो-लेवल रिफाइनमेंट): एक सिंगल ट्रांज़िशन के भीतर, एक लो-लेवल लेटेंट कंपोनेंट $l$ को हाई-लेवल स्टेट $h$ और इनपुट एम्बेडिंग $e_x$ की स्थिति में $K$ बार $f_L$ नामक एक डिटरमिनिस्टिक फंक्शन का उपयोग करके परिष्कृत किया जाता है।
आउटर लूप (हाई-लेवल ट्रांज़िशन): हाई-लेवल कंपोनेंट $h$ को प्रति ट्रांज़िशन एक बार अपडेट किया जाता है। डिटरमिनिस्टिक RRMs के विपरीत, GRAM इस अपडेट को एक स्टोकेस्टिक ट्रांज़िशन के रूप में परिभाषित करता है:
1. एक डिटरमिनिस्टिक अपडेट $u_t$ की गणना की जाती है: $u_t = f_H(h_{t-1}, l_t; \theta)$ ।
2. एक लर्न करने योग्य स्टोकेस्टिक गाइडेंस $\epsilon_t$ को स्टेट-डिपेंडेंट गौसियन से सैंपल किया जाता है: $\epsilon_t \sim \mathcal{N}(\mu_\theta(u_t), \sigma^2_\theta(u_t)I)$ ।
3. नया स्टेट $h_t = u_t + \epsilon_t$ है।
यह डिज़ाइन मॉडल को अनिश्चितता को कैप्चर करने और मीन $\mu_\theta$ के माध्यम से ट्राजेक्टरी को निर्देशित करने तथा वेरिएंस $\sigma^2_\theta$ के माध्यम से एक्सप्लोरेशन को नियंत्रित करने की अनुमति देता है। लो-लेवल रिफाइनमेंट डिटरमिनिस्टिक रहता है, जबकि स्टोकेस्टिसिटी केवल हाई-लेवल एब्स्ट्रैक्ट स्टेट में इंजेक्ट की जाती है।
रिकर्सिव स्ट्रक्चर: गणना $N_{sup}$ सुपरविजन स्टेप्स के माध्यम से आगे बढ़ती है। एक स्टेप का टर्मिनल स्टेट अगले स्टेप का इनिशियल स्टेट बनता है, जिससे एक पूर्ण रिकर्सिव चेन बनती है।

2. ट्रेनिंग

GRAM को एमोर्टाइज्ड वेरिएशनल इन्फरेंस (amortized variational inference) का उपयोग करके ELBO को मैक्सिमाइज करने के लिए प्रशिक्षित किया जाता है।

लेटेंट वेरिएबल फॉर्मुलेशन: मॉडल लेटेंट ट्राजेक्टरीज $\tau$ पर मार्जिनलाइज़ करता है। ELBO को जेनेरेटिव पैरामीटर्स $\theta$ और वेरिएशनल पैरामीटर्स $\phi$ के सापेक्ष ऑप्टिमाइज़ किया जाता है।
डीप सुपरविजन: घने लर्निंग सिग्नल्स प्रदान करने के लिए, मॉडल $N_{sup}$ लगातार स्टेप्स पर डीप सुपरविजन लागू करता है। ग्रेडिएंट्स केवल प्रत्येक सुपरविजन स्टेप के अंतिम ट्रांज़िशन के माध्यम से प्रसारित किए जाते हैं (ट्रंकेटेड बैकप्रोपैगेशन), ताकि मेमोरी एफिशिएंसी सुनिश्चित हो सके, जो पूर्ण ELBO के लिए एक सरोगेट ऑब्जेक्टिव के रूप में कार्य करता है।
अनकंडीशनल जनरेशन: इनपुट को खाली कंडीशनिंग एम्बेडिंग से बदलकर, वही रिकर्सिव प्रोसेस एक अनकंडीशनल जेनेरेटिव मॉडल $p_\theta(x)$ को परिभाषित करता है।

3. इन्फरेंस-टाइम स्केलिंग

GRAM दो अक्षों (axes) पर स्केलिंग का समर्थन करता है:

डेप्थ (Depth): अडैप्टिव कंप्यूटेशन टाइम (ACT) का उपयोग करके, ट्राजेक्टरीज एक लर्न किए गए हॉल्टिंग डेप्थ पर समाप्त हो सकती हैं।
विड्थ (Width): मॉडल समानांतर में कई लेटेंट ट्राजेक्टरीज को लर्न किए गए प्रायर से सैंपल करता है। उम्मीदवारों को मेजॉरिटी वोटिंग या एक लेटेंट प्रोसेस रिवॉर्ड मॉडल (LPRM) के माध्यम से चुना जाता है, जो उसके लेटेंट स्टेट से फाइनल क्वालिटी की भविष्यवाणी करता है। यह पारंपरिक डेप्थ-आधारित स्केलिंग की तुलना में, बिना अनुक्रमिक रिकर्सन लेंथ बढ़ाए, इन्फरेंस को स्केल करने की अनुमति देता है।

मुख्य योगदान

प्रोबेबिलिस्टिक फॉर्मुलेशन: लेखकों ने रिकर्सिव रीजनिंग को एक लेटेंट-वेरिएबल जेनेरेटिव प्रोसेस के रूप में तैयार किया है जहाँ समाधान स्टोकेस्टिक रिकर्सिव ट्राजेक्टरीज के मार्जिनलाइजेशन से प्राप्त होते हैं, न कि केवल एक एकल डिटरमिनिस्टिक पथ का पालन करके।
विड्थ-आधारित स्केलिंग: पेपर "विड्थ-आधारित" इन्फरेंस-टाइम स्केलिंग पेश करता है, जो डेप्थ-ओनली स्केलिंग के लेटेंसी बॉटलनेक्स को बायपास करते हुए, समानांतर में कई लेटेंट ट्राजेक्टरीज को सैंपल करके प्रदर्शन सुधारने में सक्षम बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक प्रमाण प्रदान करते हैं कि यह फॉर्मुलेशन स्ट्रक्चर्ड रीजनिंग, मल्टी-सॉल्यूशन कंस्ट्रेंट सेटिस्फैक्शन और अनकंडीशनल जनरेशन में डिटरमिनिस्टिक रिकरेंट और रिकर्सिव बेसलाइन्स की तुलना में आर्किटेक्चरल लाभ देता है।

प्रयोगात्मक परिणाम

GRAM का मूल्यांकन नियंत्रित रीजनिंग और जनरेशन टास्क पर किया गया, जिसमें डिटरमिनिस्टिक बेसलाइन्स (Looped Transformers, HRM, TRM) और बाहरी संदर्भ के रूप में बड़े रीजनिंग मॉडल्स (LRMs) के साथ तुलना की गई।

स्ट्रक्चर्ड रीजनिंग (Sudoku-Extreme, ARC-AGI): GRAM लगातार डिटरमिनिस्टिक रिकर्सिव बेसलाइन्स को पछाड़ता है। Sudoku-Extreme पर, GRAM 97.0% सटीकता प्राप्त करता है, जबकि TRM 87.4% और HRM 55.0% प्राप्त करता है। ARC-AGI-1 पर, GRAM 52.0% तक पहुँचता है, जो TRM (44.6%) और HRM (40.3%) से बेहतर है। लेखक इसका श्रेय विविध तर्क ट्राजेक्टरीज को खोजने की क्षमता को देते हैं।
मल्टी-सॉल्यूशन टास्क (N-Queens, Graph Coloring): जैसे-जैसे वैध समाधानों की संख्या बढ़ती है, डिटरमिनिस्टिक मॉडल मोड कोलैप्स (mode collapse) का शिकार होते हैं। GRAM समाधानों की संख्या के बावजूद निरंतर सटीकता बनाए रखता है। 8x8 N-Queens पर, GRAM 99.7% सटीकता और 90.3% कवरेज (यूनिक वैलिड सोल्यूशंस) प्राप्त करता है, जो डिटरमिनिस्टिक मॉडल्स (अधिकतम 36.1% कवरेज) और जेनेरेटिव बेसलाइन्स जैसे AR (84.8% कवरेज) से काफी बेहतर है।
अनकंडीशनल जनरेशन:
- बाइनराइज्ड MNIST: GRAM, D3PM के तुलनीय IS और FID के साथ पहचानने योग्य अंक उत्पन्न करता है, जबकि डिटरमिनिस्टिक TRM बेसलाइन गंभीर मोड कोलैप्स (FID 303.29) प्रदर्शित करता है।
- Sudoku जनरेशन: खाली बोर्ड से, GRAM केवल 16 इन्फरेंस स्टेप्स और 10.9M पैरामीटर्स का उपयोग करके 99.05% वैधता के साथ वैध सुडोकू बोर्ड जेनरेट करता है, जो 1000 स्टेप्स और 55.1M पैरामीटर्स का उपयोग करने वाले D3PM बेसलाइन्स से बेहतर है।
एब्लेशन स्टडीज (Ablation Studies): स्टोकेस्टिक गाइडेंस को हटाने से प्रदर्शन में गिरावट आती है, विशेष रूप से मल्टी-सॉल्यूशन टास्क में। स्टोकेस्टिसिटी को पूरी तरह से हटाने से पूर्ण विफलता (0% सटीकता) होती है, जो पुष्टि करती है कि लाभ वेरिएशनल फ्रेमवर्क से आते हैं न कि केवल रैंडमनेस से।

महत्व और दावे

पेपर दावा करता है कि GRAM प्रोबेबिलिक मल्टी-ट्राजेक्टरी रिकर्सन को भविष्य के रिकरेंट और रिकर्सिव रीजनिंग आर्किटेक्चर के लिए एक डिजाइन सिद्धांत के रूप में स्थापित करता है। डिटरमिनिस्टिक रिकर्सन को जेनेरेटिव प्रोसेस में बदलकर, GRAM सक्षम बनाता है:

मजबूत अन्वेषण (Robust Exploration): कई परिकल्पनाओं को बनाए रखकर जटिल समस्या स्पेस में नेविगेट करने और लोकल मिनिमा से बाहर निकलने की क्षमता।
कुशल स्केलिंग: इन्फरेंस-टाइम स्केलिंग के लिए एक नया अक्ष (विड्थ) जो डेप्थ-ओनली स्केलिंग के लेटेंसी बॉटलनेक्स को बायपास करता है।
एकीकृत मॉडलिंग: एक ही रिकर्सिव मैकेनिज्म का उपयोग करके एक कंडीशनल रीजनिंग मॉडल ( $p(y|x)$ ) और एक अनकंडीशनल जेनेरेटिव मॉडल ( $p(x)$ ) दोनों के रूप में कार्य करने की क्षमता।

लेखक नोट करते हैं कि जबकि GRAM स्ट्रक्चर्ड रीजनिंग और जनरेशन में क्षमता प्रदर्शित करता है, डीप सुपरविजन की अनुक्रमिक प्रकृति ट्रांसफॉर्मर्स की तुलना में ट्रेनिंग एफिशिएंसी को सीमित करती है, जो बड़े फाउंडेशन मॉडल्स की ओर स्केल करने में एक बाधा है। वे यह भी चेतावनी देते हैं कि प्रशंसनीय लेकिन अमान्य जनरेशन को उच्च-जोखिम वाले सेटिंग्स में सत्यापित समाधानों के रूप में गलत समझा जा सकता है, जिसके लिए कठोर सत्यापन और अनसर्टेन्टी कैलिब्रेशन की आवश्यकता है।