🤖 machine learning

Length Generalization with Log-Depth Recurrent Units

यह शोध पत्र MLP-LDRU को प्रस्तुत करता है, जो एक लॉग-डेप्थ रिकरेंट यूनिट है जो रेगुलर-लैंग्वेज कार्यों पर लगभग पूर्ण लंबाई सामान्यीकरण (length generalization) प्राप्त करने के लिए पैरेलल रिडक्शन के माध्यम से पुनरावृत्ति (recurrence) का अनुमान लगाता है और व्यापक बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन करता है, जो प्रभावी रूप से रिकरेंट मॉडल्स के पोजीशनल बायस और ट्रांसफॉर्मर्स की डेप्थ बाधाओं को संबोधित करता है।

मूल लेखक: Charles Pert, Dalal Alrajeh, Alessandra Russo

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Charles Pert, Dalal Alrajeh, Alessandra Russo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: AI की "छोटी याददाश्त"

कल्पना कीजिए कि आप एक बच्चे को गिनती सिखा रहे हैं। यदि आप केवल 10 तक गिनती का अभ्यास कराते हैं, तो जब उसे 100 तक गिनने के लिए कहा जाएगा, तो वह भ्रमित हो सकता है। उसने गिनती का नियम नहीं सीखा है; उसने बस पहले दस नंबरों को रट लिया है।

आर्टिफिशियल इंटेलिजेंस (न्यूरल नेटवर्क) की दुनिया में, इसे लेंथ जनरलाइजेशन (Length Generalization) की समस्या कहा जाता है।

RNNs (पुराना तरीका): इन्हें एक रिले रेस की तरह समझें जहाँ बैटन (बैटन) एक समय में एक व्यक्ति को दिया जाता है। यदि रेस लंबी है, तो पहले धावक को बैटन वापस आने के लिए बहुत लंबा इंतजार करना पड़ता है। रेस खत्म होने तक वे थक जाते हैं (चीजें भूल जाते हैं)।
Transformers (आधुनिक दिग्गज): इन्हें एक घेरे में खड़े लोगों के समूह की तरह समझें जो एक साथ चिल्ला रहे हैं। वे तुरंत सभी को सुन सकते हैं, लेकिन यदि घेरा बहुत बड़ा हो जाता है, तो शोर अराजक हो जाता है, और यदि समूह का आकार उस आकार से बदल जाता है जिसका उन्होंने अभ्यास किया था, तो उन्हें पैटर्न समझने में कठिनाई होती है।

जब उन्हें उन अनुक्रमों (जैसे वाक्य या कोड) को संभालने के लिए कहा जाता है जो उनके प्रशिक्षण के दौरान देखे गए अनुक्रमों से बहुत लंबे होते हैं, तो दोनों संघर्ष करते हैं।

समाधान: "संतुलित वृक्ष" (MLP-LDRU)

लेखकों ने एक नया मॉडल प्रस्तावित किया है जिसे MLP-LDRU कहा जाता है। यह कैसे काम करता है, इसे समझने के लिए कल्पना करें कि आपके पास 8 किताबों का एक ढेर है और आप उन सभी का कुल वजन जानना चाहते हैं।

पुराना तरीका (RNN): आप किताब 1 उठाते हैं, फिर किताब 2 जोड़ते हैं, फिर किताब 3 जोड़ते हैं, और इसी तरह एक-एक करके आगे बढ़ते हैं। इसमें बहुत समय लगता है, और अंत तक पहुँचते-पहुँचते पहली किताब "भूल" जाती है।
नया तरीका (MLP-LDRU): आप किताबों की जोड़ियाँ बनाते हैं।
1. जोड़ी (किताब 1 + किताब 2) और (किताब 3 + किताब 4) और (किताब 5 + किताब 6) और (किताब 7 + किताब 8)।
2. अब आपके पास 4 जोड़ियाँ हैं। फिर से उन्हें जोड़ें: (जोड़ी 1 + जोड़ी 2) और (जोड़ी 3 + जोड़ी 4)।
3. अब आपके पास 2 समूह हैं। अंतिम उत्तर प्राप्त करने के लिए आखिरी बार उन्हें जोड़ें।

इसे लॉग-डेप्थ रिडक्शन (Log-Depth Reduction) कहा जाता है। यह एक संतुलित वृक्ष (balanced tree) की तरह है। आपके पास कितनी भी किताबें हों, हर कोई लगभग एक ही समय में फिनिश लाइन तक पहुँचता है। पहला किताब "थका हुआ" महसूस नहीं करता क्योंकि उसे आखिरी किताब के प्रोसेस होने तक इंतजार नहीं करना पड़ा।

गुप्त सूत्र: "जादुई गोंद" (The Magic Glue)

पेपर में एक विशेष "गोंद" (एक गणितीय ऑपरेटर) पेश किया गया है जिसका उपयोग इन जोड़ियों को मिलाने के लिए किया जाता है। लेखकों ने इस गोंद को इस तरह डिजाइन किया है कि यह एसोसिएटिव मैथ (associative math) की तरह काम करे।

एसोसिएटिविटी (Associativity) का अर्थ है कि समूहों का क्रम मायने नहीं रखता। $(A + B) + C$ वही है जो $A + (B + C)$ है।
लेखकों ने अपने "गलोद" को इस तरह बनाया कि यह इस तरह व्यवहार करे। AI को यह सिखाकर कि "समूहीकरण मायने नहीं रखता," AI अनुक्रम के विशिष्ट स्थानों को याद रखने के बजाय उसके अंतर्निगत नियम को सीख लेता है।

प्रयोग: "व्याकरण परीक्षण"

इसका परीक्षण करने के लिए, लेखकों ने वास्तविक दुनिया की उलझी हुई भाषा का उपयोग नहीं किया (जिसे मापना कठिन है)। इसके बजाय, उन्होंने रेगुलर लैंग्वेजेस (Regular Languages) का उपयोग किया।

उपमा: एक सख्त रोबोट की कल्पना करें जो केवल पूर्ण, सरल व्याकरण नियम वाले वाक्यों को स्वीकार करता है (जैसे "हर 'A' के बाद एक 'B' होना चाहिए")।
उन्होंने 21 अलग-अलग व्याकरण पहेलियाँ बनाईं। कुछ आसान थीं (जैसे यह जांचना कि संख्या सम है या नहीं), और कुछ कठिन थीं (जैसे नेस्टेड ब्रैकेट/कोष्ठक को ट्रैक करना, जो चेकबुक को संतुलित करने जैसा है)।
उन्होंने प्रिफिक्स लैंग्वेजेस (Prefix Languages) नामक एक नई पहेली भी बनाई। यह एक ऐसे खेल की तरह है जहाँ पहले कुछ शब्द पूरे परिणाम को निर्धारित करते हैं, और बाकी वाक्य केवल शोर है। यह परीक्षण करता है कि क्या AI बीच के हिस्से को अनदेखा करते हुए शुरुआत को याद रख सकता है।

परिणाम: "परफेक्ट स्कोर"

परिणाम प्रभावशाली थे:

विजेता: MLP-LDRU मॉडल ने 21 में से 18 पहेलियों पर 100% सटीकता प्राप्त की, भले ही टेस्ट वाक्य ट्रेनिंग वाक्यों से 10 से 12 गुना लंबे थे।
दिग्गजों को पछाड़ना: इसने मानक ट्रांसफॉर्मर्स और पुराने RNNs को पीछे छोड़ दिया, जो अक्सर वाक्य बहुत लंबे होने पर पूरी तरह विफल हो जाते थे।
"क्यों": लेखकों ने पाया कि मॉडल शेष कुछ पहेलियों में इसलिए विफल हुआ क्योंकि प्रशिक्षण डेटा ने AI को संयोजनों के पर्याप्त प्रकार नहीं दिखाए। यह गणित के केवल सम नंबरों के साथ अभ्यास करने जैसा है; जब अंत में विषम नंबर आता है, तो आप फंस जाते हैं। मॉडल को नियम में महारत हासिल करने के लिए "संयोजनों" की अधिक विविधता देखने की आवश्यकता थी।

व्याकरण से परे: "लिस्ट" टेस्ट

उन्होंने ListOps पर भी परीक्षण किया, जो नेस्टेड लिस्ट (जैसे रेसिपी के अंदर रेसिपी के अंदर रेसिपी) से संबंधित एक कार्य है।

हालांकि विशेष "ट्री-स्ट्रक्चर्ड" मॉडल इस कार्य में थोड़े बेहतर थे, फिर भी MLP-LDRU ने मानक ट्रांसफॉर्मर्स और LSTMs को पछाड़ते हुए बहुत अच्छा प्रदर्शन किया।
उन्होंने मानक टेक्स्ट क्लासिफिकेशन (जैसे समाचार लेखों को छांटना) पर भी इसका परीक्षण किया, जहाँ इसने प्रतिस्पर्धी प्रदर्शन किया, जिससे पता चलता है कि यह "संतुलित वृक्ष" का विचार सख्त व्याकरण नियमों के बाहर भी काम करता है।

मुख्य निष्कर्ष

यह पेपर तर्क देता है कि AI को बनाने के लिए जो लंबे अनुक्रमों को विश्वसनीय रूप से संभाल सके, हमें केवल मॉडल को बड़ा नहीं बनाना चाहिए। इसके बजाय, हमें यह बदलना चाहिए कि वह जानकारी को कैसे प्रोसेस करता है। एक बैलेंस्ड ट्री स्ट्रक्चर का उपयोग करके और मॉडल को एसोसिएटिव रूल्स (जहाँ समूहों का क्रम मायने नहीं रखता) सीखने के लिए मजबूर करके, AI उन लंबाई तक सामान्यीकरण (generalize) कर सकता है जो उसने पहले कभी नहीं देखी है, बिल्कुल वैसे ही जैसे एक बच्चा जो गिनती की अवधारणा समझता है, वह 10 तक अभ्यास करने के बाद भी दस लाख तक गिन सकता है।

तकनीकी सारांश: लॉग-डेप्थ रिकरेंट यूनिट्स के साथ लेंथ जनरलाइजेशन

समस्या विवरण

आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) अनुक्रम लंबाई (sequence lengths) के लिए सामान्यीकरण (generalization) एक केंद्रीय चुनौती बनी हुई है। मौजूदा आर्किटेक्चर इस क्षेत्र में विशिष्ट सीमाएं प्रदर्शित करते हैं:

रिकरेंट न्यूरल नेटवर्क्स (RNNs): हालांकि ये लेंथ-एडेप्टिव कंप्यूटेशन प्रदान करते हैं, लेकिन ये पोजीशनल बायस (positional bias) से ग्रस्त होते हैं जहाँ शुरुआती टोकन बाद वाले टोकनों की तुलना में अधिक रिकरेंट स्टेप्स से गुजरते हैं, जिससे लॉन्ग-रेंज मेमोरी की समस्या और विस्तारित अनुक्रमों पर निर्भरता को मॉडल करने में कठिनाई होती है।
ट्रांसफॉर्मर्स (Transformers): ये मॉडल अनुक्रम लंबाई से स्वतंत्र होकर फिक्स्ड स्टैक ऑफ लेयर्स लागू करते हैं। हालांकि ये समानांतर गणना (parallel computation) सक्षम करते हैं, लेकिन वे OOD लंबाई के लिए कम विश्वसनीय रूप से सामान्यीकरण करते हैं और निश्चित कम्प्यूटेशनल डेप्थ द्वारा बाधित होते हैं।

यह शोध पत्र तर्क देता है कि रेगुलर लैंग्वेजेस (regular languages) लेंथ जनरलाइजेशन का मूल्यांकन करने के लिए एक कठोर परीक्षण आधार प्रदान करती हैं क्योंकि वे किसी भी अनुक्रम लंबाई पर सटीक गणितीय सूत्रीकरण और शुद्धता के सटीक सत्यापन की अनुमति देती हैं, जो सीधे ऑटोमेटा थ्योरी से जुड़ा है।

कार्यप्रणाली: MLP-LDRU

लेखक MLP-LDRU (लॉग-डेप्थ रिकरेंट यूनिट) का प्रस्ताव करते हैं, जो पैरेलल रिडक्शन के माध्यम से रिकरेंस को अनुमानित करने के लिए डिज़ाइन किया गया एक विशिष्ट प्रकार का बाइनरी ऑपरेटर है। मुख्य परिकल्पना यह है कि एसोसिएटिविटी (associativity) और आइडेंटिटी (identity) व्यवहार की ओर स्पष्ट बायस रखने वाले ऑपरेटर्स को सीखने से लेंथ एक्सट्रपलेशन (length extrapolation) में सुधार हो सकता है।

आर्किटेक्चर और मैकेनिज्म

लॉग-डेप्थ रिडक्शन: मानक RNNs (जो $O(n)$ डेप्थ के साथ अनुक्रमों को क्रमिक रूप से प्रोसेस करते हैं) के विपरीत, MLP-LDRU एक बैलेंस्ड बाइनरी ट्री स्ट्रक्चर का उपयोग करके अनुक्रमों को प्रोसेस करता है। $n$ लंबाई के अनुक्रम के लिए, मॉडल $\lceil \log_2 n \rceil$ स्टेप्स के लिए आसन्न जोड़ों (adjacent pairs) पर एक बाइनरी ऑपरेटर $\odot_\theta$ लागू करता है। इसके परिणामस्वरूप सभी टोकनों के लिए एक समान कम्प्यूटेशनल डेप्थ $O(\log n)$ प्राप्त होती है, जो पोजीशनल बायस को कम करती है और समानांतर गणना को सक्षम बनाती है।
ऑपरेटर ( $\odot_\theta$ ): मुख्य ऑपरेटर एक MLP-आधारित फंक्शन है जिसे लगभग एसोसिएटिव व्यवहार प्रेरित करने के लिए डिज़ाइन किया गया है।
- यह दो इनपुट एम्बेडिंग्स $h_i, h_j$ लेता है और उन्हें कॉन्कैटिनेट करता है।
- एक MLP गेटिंग वेक्टर्स $g_i, g_j$ उत्पन्न करता है।
- ये गेट्स इनपुट्स को एलिमेंट-वाइज मल्टीप्लिकेशन के माध्यम से मॉड्युलेट करते हैं, जिसके बाद लर्नड लीनियर प्रोजेक्शन्स और बायस का उपयोग किया जाता है।
- अंतिम आउटपुट प्रोजेक्टेड इनपुट्स का एक वेटेड सम (weighted sum) होता है।
- इनिशियलाइजेशन बायस: ऑपरेटर को इस तरह से इनिशियलाइज किया गया है कि प्रोजेक्शन मैट्रिसेस आइडेंटिटी मैट्रिक्स हों और बायस शून्य हों। एलिमेंट-वाइज सम स्ट्रक्चर के साथ मिलकर, यह ऑपरेटर को शुरुआत में एक सरल 'सम' (sum) की तरह व्यवहार करने के लिए बायस करता है, जो एक एसोसिएटिव ऑपरेशन का अनुमान लगाता है।
पैडिंग हैंडलिंग: रिडक्शन के दौरान यदि अनुक्रम की लंबाई विषम (odd) है, तो इसे जीरो एम्बेडिंग के साथ पैड किया जाता है। ऑपरेटर को इस तरह डिज़ाइन किया गया है कि यदि कोई भी इनपुट शून्य है, तो आउटपुट दूसरा इनपुट होगा, जो शून्य को एक न्यूट्रल एलिमेंट (आइडेंटिटी) के रूप में मानता है ताकि आइडेंटिटी मैप को स्क्रैच से सीखने से बचा जा सके।
जटिलता: MLP-LDRU $O(nd^2)$ वर्क कॉम्प्लेक्सिटी (अनुक्रम लंबाई में रैखिक) के साथ $O(\log n)$ कम्प्यूटेशनल डेप्थ प्राप्त करता है, जो RNNs की $O(n)$ डेप्थ और स्टैंडर्ड ट्रांसफॉर्मर्स की $O(n^2)$ वर्क कॉम्प्लेक्सिटी के विपरीत है।

प्रयोगात्मक सेटअप

लेखकों ने MLP-LDRU का मूल्यांकन निम्नलिखित पर किया:

21 रेगुलर लैंग्वेज टास्क: इसमें स्टैंडर्ड बेंचमार्क्स (जैसे Parity Check, Modular Arithmetic, Tomita languages, Dyck languages $D_n$ ) और एक नया प्रिफिक्स लैंग्वेजेस ( $P_{p,q}$ ) क्लास शामिल है, जिसे लेंथ एक्सट्रपलेशन के तहत लॉन्ग-रेंज डिपेंडेंसी हैंडलिंग का परीक्षण करने के लिए डिज़ाइन किया गया है।
ListOps: रेगुलर लैंग्वेजेस से परे कंपोजिशनल एक्सट्रपलेशन के लिए एक पदानुक्रमित (hierarchical) टास्क।
NLP क्लासिफिकेशन: GLUE, AG's News, और DBPedia जैसे बेंचमार्क्स, जो नॉन-रेगुलर डेटा पर व्यवहार को जांचने के लिए हैं।

मुख्य योगदान

MLP-LDRU का प्रस्ताव: एक विशिष्ट लॉग-डेप्थ रिकरेंट यूनिट जो पैरेलल रिडक्शन के माध्यम से सीक्वेंशियल रिकरेंस को प्रेरित करने के लिए लगभग एसोसिएटिविटी और आइडेंटिटी हैंडलिंग की ओर बायस रखने वाले बाइनरी ऑपरेटर का उपयोग करती है।
प्रिफिक्स लैंग्वेजेस का परिचय: रेगुलर टास्क का एक नया वर्ग ( $P_{p,q}$ ) जो विशेष रूप से लेंथ एक्सट्रपलेशन के तहत लॉन्ग-रेंज डिपेंडेंसी हैंडलिंग को आइसोलेट और टेस्ट करने के लिए डिज़ाइन किया गया है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): 21 रेगुलर टास्क, ListOps, और NLP बेंचमार्क्स पर व्यापक परीक्षण, जो अधिकांश कार्यों पर RNNs, ट्रांसफॉर्मर्स और अन्य बेसलाइन्स की तुलना में बेहतर या प्रतिस्पर्धी प्रदर्शन प्रदर्शित करता है।
ट्रेनिंग आवश्यकताओं का विश्लेषण: इक्विवेलेंस क्लास (EC) कंपोजिशन के अपर्याप्त कवरेज से जुड़े जनरलाइजेशन फेल्योर का विश्लेषण, जो सुझाव देता है कि सीमित ट्रेनिंग लेंथ मॉडल्स को परफेक्ट जनरलाइजेशन के लिए आवश्यक दुर्लभ मोनोइड कंपोजिशन देखने से रोकती है।

परिणाम

रेगुलर लैंग्वेज टास्क

प्रदर्शन: 1–40 की लंबाई के अनुक्रमों पर प्रशिक्षित होने पर, MLP-LDRU ने 21 में से 18 कार्यों पर 100% OOD सटीकता प्राप्त की (41–500 की लंबाई पर मूल्यांकित किया गया) और शेष 3 कार्यों पर अधिकतम ट्रेनिंग लेंथ बढ़ाने पर कम से कम 99.9% प्राप्त की।
तुलना: MLP-LDRU ने अधिकांश कार्यों पर सभी ट्रांसफॉर्मर वेरिएंट्स (ALiBi, NoPE, और रैंडमाइज्ड RoPE सहित), Gated DeltaNet, और अन्य बेसलाइन्स को पछाड़ दिया। यह उन RNNs और LSTMs की क्षमताओं के बराबर या उनसे बेहतर रहा, जो अक्सर इन कार्यों में लॉन्ग-रेंज डिपेंडेंसी के साथ संघर्ष करते हैं।
ऑपरेटर सेंसिटिविटी: एब्लेशन स्टडीज ने दिखाया कि रिडक्शन ऑपरेटर का चुनाव महत्वपूर्ण है। जबकि सिंपल एलिमेंट-वाइज सम या लीनियर प्रोजेक्शन मॉड्यूलर अरिथमेटिक जैसे जटिल कार्यों में विफल रहे, गेटिंग के साथ MLP-आधारित ऑपरेटर ने परफेक्ट जनरलाइजेशन हासिल किया। यह सुझाव देता है कि जबकि एसोसिएटिविटी आवश्यक है, जटिल कंपोजिशन सीखने की विशिष्ट क्षमता भी आवश्यक है।

ListOps और NLP

ListOps: पदानुक्रमित कार्यों पर, ट्री-बेस्ड बेसलाइन्स (BBT-GRC, RIR-GRC) आम तौर पर उच्चतम सटीकता प्राप्त करते हैं। हालांकि, MLP-LDRU प्रतिस्पर्धी बना रहा, जिसने बड़े डेटासेट साइज (500k और 1M सैंपल्स) पर LSTM और ट्रांसफॉर्मर बेसलाइन्स को पीछे छोड़ दिया। एक स्पष्ट एसोसिएटिविटी रेगुलराइजेशन टर्म जोड़ने से प्रदर्शन में और सुधार हुआ, जो इंगित करता है कि रेगुलर भाषाओं के बाहर भी लगभग एसोसिएटिविटी को प्रोत्साहित करना फायदेमंद है।
NLP क्लासिफिकेशन: MLP-LDRU ने GLUE, AG's News, और DBPedia पर समान रूप से प्रशिक्षित ट्रांसफॉर्मर बेसलाइन्स के साथ प्रतिस्पर्धी प्रदर्शन किया, और DBPedia पर उच्चतम सटीकता (98.6%) प्राप्त की।

व्याख्यात्मकता और मोनोइड विश्लेषण (Interpretability and Monoid Analysis)

इक्विवेलेंस क्लासेज (Equivalence Classes): D6 टास्क के विश्लेषण ने खुलासा किया कि MLP-LDRU सिंटैक्टिक मोनोइड में उनके संबंधित इक्विवेलेंस क्लासेज (ECs) के अनुसार अनुक्रम एम्बेडिंग्स को क्लस्टर करना सीखता है।
कवरेज गैप: EC कंपोजिशन के हीटमैप्स ने दिखाया कि छोटी सीक्वेंस लंबाई (10–40) पर प्रशिक्षण देने से मोनोइड स्पेस का विरल (sparse) कवरेज होता है, जिससे लंबी सीक्वेंस (480–500) में पाए जाने वाले दुर्लभ कंपोजिशन छूट जाते हैं। यह स्पर्सिटी गैप समझाता है कि क्यों छोटे अनुक्रमों पर प्रशिक्षित मॉडल लंबी सीक्वेंस पर पूर्णतः सामान्यीकरण करने में विफल रहते हैं; वे सभी आवश्यक कंपोजिशन नियमों के संपर्क में नहीं आए हैं।

महत्व और दावे

यह शोध पत्र दावा करता है कि MLP-LDRU मोनोइड्स के गणितीय गुणों का लाभ उठाकर रेगुलर टास्क पर लेंथ जनरलाइजेशन के लिए एक मजबूत समाधान प्रदान करता है। एक लगभग एसोसिएटिव ऑपरेटर को प्रेरित करके, मॉडल पैरेलल रिडक्शन के माध्यम से सीक्वेंशियल रिकरेंस को अनुमानित कर सकता है, जो प्रभावी रूप से RNNs की लेंथ-एडेप्टिव प्रकृति को ट्री-बेस्ड स्ट्रक्चर्स की पैरेलल एफिशिएंसी के साथ जोड़ता है।

लेखक इस बात पर जोर देते हैं कि अधिकतम ट्रेनिंग लेंथ ही OOD प्रदर्शन का प्राथमिक चालक है। उनका विश्लेषण बताता है कि जटिल भाषाओं के लिए, 100% जनरलाइजेशन प्राप्त करने के लिए सभी संभावित इक्विवेलेंस क्लास कंपोजिशन का पर्याप्त एक्सपोजर आवश्यक है, जिसके लिए लक्षित टेस्ट लेंथ से अधिक लंबी सीक्वेंस पर प्रशिक्षण की आवश्यकता हो सकती है।

हालांकि मॉडल रेगुलर भाषाओं पर मजबूत प्रदर्शन और NLP कार्यों पर प्रतिस्पर्धी परिणाम प्रदर्शित करता है, लेखक अपने दायरे को लेकर विनम्र हैं। वे नोट करते हैं कि जबकि रेगुलर लैंग्वेजेस सटीक सत्यापन प्रदान करती हैं, नेचुरल लैंग्वेज में डिस्ट्रीब्यूशन शिफ्ट के तहत इन विचारों का समृद्ध कंपोजिशनल समस्याओं तक कितना विस्तार होता है, इसके लिए आगे के अन्वेषण की आवश्यकता है। इसके अतिरिक्त, वे पूर्ण मोनोइड कंपोजिशन कवरेज प्राप्त करने के लिए न्यूनतम ट्रेनिंग लेंथ या सैंपल कॉम्प्लेक्सिटी पर सैद्धांतिक सीमाओं की आवश्यकता की पहचान करते हैं।