💬 NLP

From Expressivity to Sample Complexity: Narrow Teachers for Transformers via C-RASP

यह शोध पत्र C-RASP निर्माणों (constructions) को सीखने के लिए प्रारंभिक नमूना जटिलता सीमाओं (sample complexity bounds) का प्रस्ताव करके ट्रांसफॉर्मर सीखने की क्षमता (learnability) की सैद्धांतिक समझ को आगे बढ़ाता है, जो मौजूदा अभिव्यक्ति विश्लेषणों (expressivity analyses) और ऐसे समाधानों को सीखने की व्यावहारिक व्यवहार्यता के बीच के अंतर को संबोधित करता है।

मूल लेखक: Michael Rizvi-Martel, Satwik Bhattamishra, Guillaume Rabusseau, Michael Hahn

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michael Rizvi-Martel, Satwik Bhattamishra, Guillaume Rabusseau, Michael Hahn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान रोबोटिक मस्तिष्क है जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है। लंबे समय से, वैज्ञानिक पूछ रहे हैं: "यह रोबोट किस तरह की पहेलियाँ सुलझा सकता है?" उन्होंने पाया कि यदि आप इस रोबोट के मस्तिष्क को बहुत विशिष्ट, सूक्ष्म निर्देशों (जैसे कि C-RASP नामक एक गुप्त कोड) के साथ तैयार करते हैं, तो यह जटिल तर्क वाले खेल हल कर सकता है, जैसे कि कोष्ठक (parentheses) संतुलित हैं या नहीं, या किसी वाक्य में चीजों की गिनती करना।

लेकिन यहाँ वह बड़ा रहस्य है जिसे यह शोध पत्र संबोधित करता है: सिर्फ इसलिए कि एक रोबोट के पास सही कोड के साथ एक पहेली को हल करने की क्षमता है, क्या इसका मतलब यह है कि वह उदाहरणों का अध्ययन करके उस कोड को वास्तव में सीख भी सकता है? या यह घास के ढेर में सुई खोजने जैसा है?

"नैरो टीचर" (Narrow Teacher) का रहस्य

लेखक इसका उत्तर देने के लिए एक चतुर तरीका सुझाते हैं। वे एक ऐसी स्थिति की कल्पना करते हैं जहाँ एक छोटा, अत्यंत कुशल रोबोट (एक "नैरो टीचर") पहले से ही पहेली को पूरी तरह से हल करने के लिए गुप्त कोड जानता है। अब, कल्पना करें कि एक बहुत बड़ा, अनाड़ी रोबोट (एक "स्टूडेंट") शून्य से सीखने की कोशिश कर रहा है।

पेपर का तर्क है कि यदि स्टूडेंट पर्याप्त बड़ा है, तो वह अनजाने में उसी मस्तिष्क संरचना में "टकरा" सकता है जो उस छोटे से टीचर के पास है। इसे इस तरह सोचें: यदि आपके पास एक विशाल, खाली गोदाम (स्टूडेंट) है और एक छोटा, सटीक खिलौना कार (टीचर) है, और अब आप उस गोदाम को यादृच्छिक (random) खिलौने के पुर्जों से भर देते हैं, तो इसकी संभावना है कि कहीं न कहीं, वे पुर्जे बस संयोग से मिलकर ठीक उसी छोटी कार को बना देंगे।

पेपर यह सिद्ध करता है कि इन विशिष्ट C-RASP पहेलियों के लिए, "गोदाम" (स्टूडेंट) को उस "खिलौना कार" (टीचर) को खोजने के लिए अनंत रूप से विशाल होने की आवश्यकता नहीं है। वास्तव में, गणित यह दिखाता है कि स्टूडेंट, टीचर की तुलना में जितना बड़ा होगा, केवल संयोग से उस सटीक समाधान को खोजना उतना ही आसान होगा।

"अनुमान और जाँच" (Guess and Check) का खेल

सीखना कैसे होता है? लेखक एक सरल, लगभग बचकानी विधि का वर्णन करते हैं जिसे "अनुमान और जाँच" (Guess and Check) कहा जाता है।

आप यादृच्छिक रूप से भार (weights/मस्तिष्क की सेटिंग्स) का एक समूह चुनते हैं।
आप इसे कुछ उदाहरणों पर टेस्ट करते हैं।
यदि यह सब कुछ सही करता है, तो आप रुक जाते हैं! आपने समाधान पा लिया है।

पेपर सुझाव देता है कि चूंकि एक बड़े नेटवर्क के भीतर एक "अच्छा" समाधान बनाने के कई तरीके होते हैं, इसलिए आपको जीनियस होने की आवश्यकता नहीं है; आपको बस पर्याप्त अनुमान लगाने की आवश्यकता है। आपके पास जितने अधिक उदाहरण होंगे (सैंपल कॉम्प्लेक्सिटी), आपके जैकपॉट जीतने की संभावना उतनी ही अधिक होगी।

जादुई संख्याएँ

लेखकों ने यह गणित लगाया है ताकि हमें पता चल सके कि यह काम करने के लिए कितने उदाहरणों की आवश्यकता है। उन्होंने पाया कि यदि आप बहुत आश्वस्त होना चाहते हैं (कम से कम $1 - \delta$ की प्रायिकता के साथ) कि आपका रोबोट $\epsilon$ से कम त्रुटि दर के साथ पहेली सीख ले, तो आपको प्रशिक्षण उदाहरणों की एक विशिष्ट संख्या, $N$ , की आवश्यकता होगी।

सूत्र लगभग यह है:
$N \ge \frac{1}{\epsilon} \left( MC\text{-}RASP \cdot \log Q + 3 \log(2/\delta) \right)$

इन अक्षरों से डरें नहीं! यहाँ इनका सरल अर्थ दिया गया है:

$N$ : अभ्यास उदाहरणों की संख्या जो आपको चाहिए।
$\epsilon$ : आप पूर्णता के कितने करीब जाना चाहते हैं (छोटा मान बेहतर है)।
$Q$ : रोबोट की मस्तिष्क सेटिंग्स कितनी सटीक हैं (जैसे कि यह कितने दशमलव स्थानों का उपयोग कर सकता है)।
$MC\text{-}RASP$ : यह एक बड़ी संख्या है जो इस बात पर निर्भर करती है कि पहेली कितनी जटिल है (कितने चरण या चर, $n$ और $m$ ) और आपका स्टूडेंट रोबोट कितना बड़ा है (चौड़ाई $d$ और गहराई $L$ )।

पेपर दिखाता है कि Dyck-1 जैसे सरल पहेलियों के लिए (जो संतुलित कोष्ठक की जाँच करता है, जिसमें 7 चरण और 9 चर हैं), कम से कम 7 परतों और $d$ चौड़ाई वाला एक स्टूडेंट रोबोट इसे लगभग $O(\frac{Ld}{\epsilon})$ उदाहरणों के साथ सीख सकता है। यह वास्तव में पुराने सिद्धांतों से बेहतर (कम उदाहरणों की आवश्यकता) है जिन्होंने सुझाव दिया था कि आपको $O(Ld^2)$ उदाहरणों की आवश्यकता होगी।

यह क्या नहीं कहता

यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है। लेखक बहुत सावधान हैं कि उन्होंने अभी तक वास्तविक कंप्यूटरों पर ये प्रयोग नहीं चलाए हैं। उन्होंने प्रयोगशाला में एक रोबोट को यह सीखते हुए नहीं दिखाया है। उन्होंने केवल गणितीय प्रमाण दिया है कि सिद्धांत रूप में ऐसा काम करना चाहिए।

वे यह भी दावा नहीं करते कि यह हर उस कार्य के लिए काम करता है जो एक ट्रांसफॉर्मर कर सकता है। वे विशेष रूप से उन कार्यों के बारे में बात कर रहे हैं जिन्हें C-RASP भाषा में लिखा जा सकता है। यदि कोई कार्य बहुत अव्यवज़ित है या इस विशिष्ट "गिनती और तर्क" वाली शैली में फिट नहीं बैठता है, तो यह गणित लागू नहीं हो सकता है।

निचोड़ (The Bottom Line)

तो, मुख्य निष्कर्ष क्या है? पेपर सुझाव देता है कि ट्रांसफॉर्मर इतने अच्छे क्यों हैं, इसका कारण यह है कि वे इतने बड़े और लचीले हैं कि वे अपने विशाल मस्तिष्क के भीतर एक सटीक, छोटे समाधान को आसानी से "छिपा" सकते हैं। यदि आप उन्हें अभ्यास करने के लिए पर्याप्त उदाहरण देते हैं, तो वे केवल अनुमान लगाकर उस सटीक समाधान तक पहुँच सकते हैं। यह एक बर्फ़ीले तूफान में एक आदर्श स्नोफ्लेक (हिमपात का कण) खोजने जैसा है: यदि तूफान पर्याप्त बड़ा है और आप पर्याप्त समय तक प्रतीक्षा करते हैं, तो अंततः आपको एक ऐसा कण मिल ही जाएगा जो आपके हाथ में बिल्कुल फिट बैठता है।

लेखक इसे समझने के एक नए तरीके के रूप में प्रस्तावित करते हैं, जो केवल यह पूछने से आगे बढ़ता है कि "वे क्या कर सकते हैं?" और यह पूछने पर केंद्रित है कि "उन्हें यह करने के लिए सिखाना कितना कठिन है?" और उनके गणित के अनुसार उत्तर है: "जितना हमने सोचा था उससे कम कठिन है, जब तक कि स्टूडेंट पर्याप्त बड़ा है।"

तकनीकी सारांश: अभिव्यंजकता से नमूना जटिलता तक: C-RASP के माध्यम से ट्रांसफॉर्मर्स के लिए नैरो टीचर्स (Narrow Teachers)

समस्या विवरण
जबकि सैद्धांतिक शोध ने ट्रांसफॉर्मर मॉडल्स की अभिव्यंजकता (expressivity) को व्यापक रूप से परिभाषित किया है—विशेष रूप से RASP और C-RASP जैसे फ्रेमवर्क्स का उपयोग करके वे कौन से कार्य हैं जिन्हें वे अपने वेट्स (weights) में एनकोड कर सकते हैं—वहाँ उनकी सीखने की क्षमता (learnability) को समझने में एक महत्वपूर्ण अंतर है। मौजूदा कार्य मुख्य रूप से यह निर्धारित करते हैं कि कौन से कार्य ट्रांसफॉर्मर्स के हाइपोथीसिस क्लास के भीतर हैं, लेकिन यह प्रश्न खुला छोड़ देते हैं कि प्रशिक्षण के दौरान ऐसी क्षमताओं को कैसे प्राप्त किया जाता है। यह शोध पत्र अभिव्यंजकता परिणामों और नमूना जटिलता (sample complexity) सीमाओं के बीच के अंतर को पाटने की चुनौती को संबोधित करता है, विशेष रूप से यह जांच करता है कि ट्रांसफॉर्मर्स C-RASP कंस्ट्रक्शंस को कैसे लागू करना सीखते हैं।

कार्यप्रणाली (Methodology)
लेखक हालिया लॉस लैंडस्केप विश्लेषण पर आधारित हैं, विशेष रूप से Buzaglo et al. [3] और Chiang et al. [4] द्वारा प्रस्तावित फ्रेमवर्क, जो यह प्रतिपादित करता है कि डीप लर्निंग में सामान्यीकरण (generalization) लॉस लैंडस्केप में "अच्छे" समाधानों के आयतन (volume) द्वारा संचालित होता है। मुख्य कार्यप्रणाली में शामिल हैं:

टीचर-स्टूडेंट फ्रेमवर्क: लेखक एक "नैरो टीचर" नेटवर्क ( $h^*$ ) को परिभाषित करते हैं जो एक विशिष्ट C-RASP प्रोग्राम को पूरी तरह से लागू करता है। इसके बाद वे एक "वाइड स्टूडेंट" नेटवर्क ( $h$ ) पर विचार करते हैं जिसकी विमाएँ (dimensions) टीचर की तुलना में अधिक (चौड़ाई और गहराई में) हैं।
कन्स्ट्रेंट काउंटिंग (Constraint Counting): केंद्रीय तकनीकी योगदान एक 'कन्स्ट्रेंट-काउंटिंग' तर्क है। लेखक प्रदर्शित करते हैं कि एक वाइड स्टूडेंट नेटवर्क, "इंटरफेयरिंग" एक्टिवेशन्स को शून्य करने के लिए अपने पैरामीटर्स पर विशिष्ट प्रतिबंध लगाकर, एक नैरो टीचर को लागू कर सकता है, जबकि अपने कुछ आयामों में टीचर के लॉजिक को सुरक्षित रखता है।
Q-क्वांटाइज्ड धारणा: विश्लेषण फिक्स्ड-प्रिसिजन मॉडल्स की धारणा लेता है जहाँ सभी पैरामीटर्स एक सीमित सेट $Q$ (Q-quantized) तक प्रतिबंधित हैं। यह एक यूनिफॉर्म प्रायर (uniform prior) से "टीचर-इक्विवेलेंट" (TE) मॉडल को रैंडमली सैंपल करने की संभावना की गणना करने की अनुमति देता है।
C-RASP एकीकरण: यह शोध पत्र C-RASP (Counting-RASP) का उपयोग करता है, जो RASP भाषा का एक संस्करण है जो इनपुट लेंथ प्रतिबंधों के बिना टेम्पोरल काउंटिंग लॉजिक को सॉफ्टमैक्स ट्रांसफॉर्मर्स में संकलित करने में सक्षम है। लेखक एक C-RASP प्रोग्राम की संरचनात्मक जटिलता (गहराई $n$ , वेरिएबल्स की संख्या $m$ ) को एक ट्रांसफॉर्मर की आवश्यक विमाओं के साथ मैप करते हैं।

मुख्य योगदान
यह शोध पत्र दो प्राथमिक योगदान देता है:

ट्रांसफॉर्मर्स के लिए बुज़ाग्लो फ्रेमवर्क का विस्तार: लेखक "नैरो टीचर" फ्रेमवर्क को ट्रांसफॉर्मर आर्किटेक्चर तक विस्तारित करते हैं। वे एक कठोर व्युत्पत्ति प्रदान करते हैं जिससे पता चलता है कि वाइड स्टूडेंट नेटवर्क कैसे नैरो टीचर को एम्बेड कर सकते हैं, और डेटा वितरण पर टीचर के समान व्यवहार सुनिश्चित करने के लिए आवश्यक पैरामीटर बाधाओं (parameter constraints) की सटीक संख्या ( $M$ ) की गणना करते हैं।
अभिव्यंजकता और सीखने की क्षमता के बीच सेतु बनाना: यह कार्य उन चुनिने हुए कार्यों में से एक है जो अभिव्यंजकता परिणामों (ट्रांसफॉर्मर्स क्या कर सकते हैं) को नमूना जटिलता परिणामों (उन्हें सीखने के लिए कितने नमूनों की आवश्यकता है) में परिवर्तित करते हैं। TE मॉडल को सैंपल करने की संभावना के आधार पर बाउंड्स (bounds) को व्युत्पन्न करके, लेखक स्थापित करते हैं कि यदि एक C-RASP प्रोग्राम को एक नैरो ट्रांसफॉर्मर द्वारा लागू किया जा सकता है, तो एक वाइडर ट्रांसफॉर्मर इसे एक विशिष्ट नमूना जटिलता के साथ सीख सकता है।

परिणाम
मुख्य सैद्धांतिक परिणाम (Theorem 2.1) एक C-RASP प्रोग्राम को सीखने के लिए आवश्यक नमूना जटिलता $N$ का ऊपरी बाउंड (upper bound) प्रदान करता है।

नमूना जटिलता बाउंड: एक C-RASP प्रोग्राम के लिए जिसकी गहराई $n$ और वेरिएबल्स की संख्या $m$ है, जिसे सिंगल-हेड टीचर (चौड़ाई $2m + c$ ) द्वारा लागू किया गया है, एक स्टूडेंट ट्रांसफॉर्मर (गहराई $L \ge n$ और चौड़ाई $d \ge 2m + c$ ) को उच्च संभावना के साथ $\varepsilon$ से कम वास्तविक जोखिम (true risk) प्राप्त करने के लिए आवश्यक है:
$N \ge O\left(\frac{1}{\varepsilon} L d \log Q\right)$
नमूने।
ओकैम्स रेज़र (Occam's Razor) से तुलना: लेखक नोट करते हैं कि यह बाउंड ($O(Ld)$) ओकैम्स रेज़र जैसे तर्कों से प्राप्त बाउंड्स की तुलना में अधिक सटीक (tighter) है, जो आमतौर पर $O(Ld^2)$ प्रदान करते हैं।
उदाहरण अनुप्रयोग: शोध पत्र Dyck-1 भाषा (बैलेंस्ड पैरेंथेसिस) का उपयोग करके इस प्रमेय को स्पष्ट करता है। $n=7$ ऑपरेशन्स और $m=9$ वेरिएबल्स वाले प्रोग्राम के लिए, व्युत्पन्न नमूना जटिलता $O(Ld/\varepsilon)$ है, जो दर्शाता है कि कॉन्स्टेंट-साइज़ कंस्ट्रक्शंस सैद्धांतिक रूप से ट्रांसफॉर्मर्स द्वारा सीखने योग्य हैं।

महत्ता और दावे
यह शोध पत्र दावा करता है कि यह मौजूदा अभिव्यंजकता परिणामों का लाभ उठाकर ट्रांसफॉर्मर्स के लिए नमूना जटिलता बाउंड्स निकालने के लिए एक "सरल लेकिन सिद्धांत आधारित फ्रेमवर्क" प्रदान करता है। इसकी महत्ता यहाँ है:

सैद्धांतिक प्रगति: यह स्थिर अभिव्यंजकता विश्लेषण से आगे बढ़कर, नमूना जटिलता के लेंस के माध्यम से C-RASP की सीखने की क्षमता का अध्ययन करने वाला पहला कार्य है।
सीखने की क्षमता की व्याख्या: परिणाम इस बात पर प्रकाश डालते हैं कि क्यों कुछ कॉन्स्टेंट-साइज़ कंस्ट्रक्शंस (जैसे Dyck-1 और $a^nb^n$ ) ट्रांसफॉर्मर्स द्वारा आसानी से सीखे जाते हैं, जिसका श्रेय लॉस लैंडस्केप के भीतर "नैरो टीचर्स" के अस्तित्व को दिया जाता है जिन्हें वाइड नेटवर्क रैंडमली सैंपल कर सकते हैं।
विनम्रता और सीमाएं: लेखक स्पष्ट रूप रूप से कहते हैं कि यह कार्य प्रारंभिक है। वे स्वीकार करते हैं कि लॉस लैंडस्केप वॉल्यूम का ट्रांसफॉर्मर्स या स्टेट स्पेस मॉडल्स में लेंथ जनरलाइजेशन (length generalization) को कैसे प्रभावित करता है, इसके संबंध में अनुभवजन्य सत्यापन (empirical validation) की कमी है। इसके अलावा, वे नोट करते हैं कि TE मॉडल को सैंपल करने के लिए वर्तमान संभाव्यता बाउंड्स को और अधिक सटीक बनाया जा सकता है, क्योंकि वर्तमान दृष्टिकोण छात्र के भीतर शिक्षक के केवल एक एनकोडिंग को ही ध्यान में रखता है।

शोध पत्र समाप्त करता है कि हालांकि यह अभिव्यंजकता से सीखने की क्षमता तक एक सैद्धांतिक मार्ग स्थापित करता है, भविष्य के कार्य के लिए इन लैंडस्केप-आधारित परिकल्पनाओं को अनुभवजन्य रूप से मान्य करने और संभाव्यता बाउंड्स को परिष्कृत करने की आवश्यकता है।

"नैरो टीचर" (Narrow Teacher) का रहस्य

"अनुमान और जाँच" (Guess and Check) का खेल

जादुई संख्याएँ

यह क्या नहीं कहता

निचोड़ (The Bottom Line)

इसी तरह के और पेपर