📊 statistics

Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently

यह शोध पत्र सैद्धांतिक रूप से यह प्रदर्शित करता है कि जबकि प्रोसेस रिवॉर्ड्स के साथ सुदृढीकरण शिक्षण (reinforcement learning) और सुपरवाइज्ड फाइन-ट्यूनिंग (supervised fine-tuning) दोनों ही वन-लेयर ट्रांसफॉर्मर्स को चेन-ऑफ-थॉट रीजनिंग के माध्यम से स्पार्स बूलियन फंक्शन्स को सिद्ध रूप से सीखने में सक्षम बनाते हैं, वे उनके सीखने की गतिशीलता में मौलिक रूप से भिन्न हैं, जहाँ आरएल (RL) संपूर्ण रीजनिंग चेन को एक साथ प्राप्त करता है जबकि एसएफटी (SFT) इसे चरण-दर-चरण सीखता है।

मूल लेखक: Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थोड़ा भ्रमित रोबोट (ट्रांसफॉर्मर) है जिसे एक जटिल पहेली सुलझानी है। यह पहेली एक बूलियन फंक्शन (Boolean function) है, जो केवल एक फैंसी तरीका है यह कहने का कि यह एक लॉजिक की समस्या है जहाँ उत्तर या तो "हाँ" (+1) है या "नहीं" (-1)। विशेष रूप से, यह पेपर "स्पार्स" (sparse) पहेलियों को देखता है, जिसका अर्थ है कि उत्तर केवल शोर (noise) के बीच छिपी कुछ विशिष्ट जानकारियों पर निर्भर करता है।

इन पहेलियों को हल करने के लिए, रोबोट चेन-ऑफ-थॉट (CoT) नामक रणनीति का उपयोग करता है। सीधे उत्तर पर कूदने के बजाय, यह समस्या को छोटे, मध्यवर्ती चरणों में तोड़ देता है, जैसे कि एक इंसान रफ पेपर पर गणित की समस्या को चरण-दर-चरण हल करता है।

यह पेपर इस बात की जांच करता है कि रोबोट को प्रभावी ढंग से CoT का उपयोग करने के लिए सिखाने के दो अलग-अलग तरीके कौन से हैं: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और रीइन्फोर्समेंट लर्निंग (RL)। लेखक सिद्ध करते हैं कि दोनों तरीके काम करते हैं, लेकिन वे रोबोट को मौलिक रूप से अलग तरीकों से सिखाते हैं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. पहेली: रिकर्सिव डिकंपोजिशन (Recursive Decomposition)

कल्पना कीजिए कि पहेली एक विशाल पेड़ की तरह है। शीर्ष पर उत्तर खोजने के लिए, आपको नीचे छोटे 2-टुकड़े वाले लॉजिक समस्याओं को हल करना होगा, फिर उन उत्तरों को मिलाकर थोड़े बड़े 2-टुकड़े वाले समस्याओं को हल करना होगा, और इसी तरह ऊपर तक जाना होगा।

लक्ष्य: रोबोट को केवल उन दो विशिष्ट सूचनाओं (सार्थक पत्तियों) को देखने की आवश्यकता है जो प्रत्येक चरण के लिए आवश्यक हैं और बाकी के शोर को अनदेखा करना है।

2. दो शिक्षक

शिक्षक A: सख्त ड्रिल इंस्ट्रक्टर (SFT)

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) एक ऐसे शिक्षक की तरह है जो रोबोट को पहेली के हर चरण के लिए एकदम सटीक उत्तर कुंजी (answer key) देता है।

यह कैसे काम करता है: शिक्षक कहता है, "चरण 1 के लिए, उत्तर X है। चरण 2 के लिए, उत्तर Y है।"
चुनौती: रोबोट को चरण 2 का उत्तर उस चीज़ के आधार पर उत्पन्न करना होता है जो उसने अभी-अभी चरण 1 के लिए लिखी है।
परिणाम (चरण-दर-चरण सीखना): यह पेपर सिद्ध करता है कि यह रोबोट एक बार में एक चरण सीखता है।
- उपमा: कल्पना कीजिए कि आप एक डांस रूटीन सीखने की कोशिश कर रहे हैं। यदि आप पहले मूव में गलती करते हैं, तो आप दूसरा मूव नहीं सीख सकते क्योंकि आपकी शुरुआती स्थिति गलत है। रोबोट को चरण 1 में महारत हासिल करनी होगी इससे पहले कि वह चरण 2 सीखना शुरू कर सके। चरण 1 को ठीक करने के लिए एक ट्रेनिंग सेशन चाहिए, फिर चरण 2 को ठीक करने के लिए दूसरा, और इसी तरह। यह एक धीमी, रैखिक (linear) प्रक्रिया है।

शिक्षक B: प्रोसेस कोच (RL with Process Rewards)

रीइन्फोर्समेंट लर्निंग (RL) एक ऐसे कोच की तरह है जो न केवल अंतिम स्कोर देखता है बल्कि रोबोट द्वारा किए गए हर एक मूव पर फीडबैक भी देता है।

यह कैसे काम करता है: रोबोट पहेली को हल करने की कोशिश करता है। यदि वह एक छोटा कदम सही करता है, तो कोच उसे तुरंत "अच्छा काम किया" का रिवॉर्ड देता है। यदि वह गलत होता है, तो उसे पेनल्टी मिलती है।
परिणाम (एक साथ सीखना): यह पेपर सिद्ध करता है कि यह रोबोट पूरी श्रृंखला (chain) को एक साथ सीखता है।
- उपमा: कल्पना कीजिए कि एक कोच चिल्ला रहा है, "मूव 1 पर अच्छे फुटवर्क! मूव 5 पर अच्छी हैंड पोजीशन! मूव 3 पर खराब एल्बो!" और यह सब एक ही समय में हो रहा है। क्योंकि रोबोट को हर चरण के लिए विशिष्ट फीडबैक मिलता है, चाहे पिछले चरण परफेक्ट हों या नहीं, वह एक ही ट्रेनिंग सेशन में अपना पूरा रूटीन एडजस्ट कर सकता है। वह पूरा डांस एक साथ सीखता है।

3. बड़ी खोज: "प्रोसेस" बनाम "आउटकम"

पेपर इस बात पर प्रकाश डालता है कि ये दोनों शिक्षक फीडबैक कैसे देते हैं:

SFT रोबोट के अपने पिछले आउटपुट पर निर्भर करता है। यदि रोबोट शुरुआत में गलत है, तो अगले चरण के लिए "ग्राउंड ट्रुथ" (वास्तविक सत्य) भ्रमित करने वाला शोर बन जाता है। यह चरण-दर-चरण सीखने के लिए मजबूर करता है।
RL (विशेष रूप से प्रोसेस रिवार्ड्स के साथ) रोबोट को प्रत्येक चरण के लिए स्वतंत्र रूप से सही "ग्राउंड ट्रुथ" देता है। इससे फर्क नहीं पड़ता कि रोबोट ने चरण 1 में गलती की थी; कोच अभी भी जानता है कि चरण 2 क्या होना चाहिए था और उसके अनुसार रिवॉर्ड या दंड देता है। यह "एक साथ" सीखने की अनुमति देता है।

4. "कठिन" पहेलियाँ क्या हैं?

इस पेपर का परीक्षण तीन विशिष्ट प्रकार के लॉजिक पहेलियों पर किया गया:

k-PARITY: यह चेक करने जैसा है कि स्विचों के एक समूह में "ऑन" पोजीशन की संख्या सम (even) है या विषम (odd)। (यह AI के लिए बिना मदद के सीखना बहुत कठिन है)।
k-AND: यह चेक करना कि क्या सभी विशिष्ट स्विच "ऑन" हैं।
k-OR: यह चेक करना कि क्या कम से कम एक विशिष्ट स्विच "ऑन" है।
पेपर गणितीय रूप से सिद्ध करता है कि इन तीनों पहेलियों के लिए, दोनों शिक्षण विधियां काम करती हैं, बशर्ते रोबोट "महत्वपूर्ण" सूचनाओं और "शोर" के बीच अंतर कर सके।

निष्कर्ष का सारांश

दोनों काम करते हैं: आप एक ट्रांसफॉर्मर को जटिल तर्क (reasoning) का उपयोग करके काम करना सिखा सकते हैं, चाहे वह SFT हो या RL।
वे अलग हैं:
- SFT एक ऐसे छात्र की तरह है जिसे आगे बढ़ने से पहले बुनियादी बातों में महारत हासिल करनी होती है। यह चरण-दर-चरण सीखता है।
- RL (प्रोसेस रिवार्ड्स के साथ) एक ऐसे छात्र की तरह है जिसे समस्या के हर विशिष्ट हिस्से पर तत्काल फीडबैक मिलता है। यह पूरी श्रृंखला को एक साथ सीखता है।
चेतावनी: यदि आप वास्तविक जीवन में SFT और RL की तुलना करते हैं, तो आपको सावधान रहना होगा। यदि आप शिक्षक के फीडबैक देने के तरीके को बदलते हैं (उदाहरण के लिए, हर चरण में "प्रोसेस रिवार्ड्स" के बजाय केवल अंत में "फाइनल रिवॉर्ड" का उपयोग करना), तो सीखने का व्यवहार पूरी तरह बदल जाता है। पेपर सुझाव देता है कि इन दोनों विधियों की तुलना करने के लिए रिवॉर्ड्स के डिज़ाइन को नियंत्रित करना आवश्यक है, न कि केवल विधि को।

संक्षेप में, पेपर दिखाता है कि हालांकि दोनों तरीके एक रोबोट को तार्किक रूप से सोचना सिखा सकते हैं, वे अलग-अलग "सीखने की गति" और "शिक्षण शैलियों" के साथ ऐसा करते हैं, और इन अंतरों को समझना बेहतर AI बनाने की कुंजी है।

तकनीकी सारांश: ट्रांसफॉर्मर्स RL या SFT के माध्यम से प्रमाणिक रूप से स्पार्स बूलियन फलनों को सीखते हैं, लेकिन अलग तरीके से

समस्या विवरण
ट्रांसफॉर्मर आर्किटेक्चर पर आधारित लार्ज लैंग्वेज मॉडल्स (LLMs) ने चेन-ऑफ-थॉट (CoT) प्रॉम्पटिंग के माध्यम से उल्लेखनीय तर्क क्षमताएं प्रदर्शित की हैं। जबकि सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और रीइन्फोर्समेंट लर्निंग (RL) इन क्षमताओं को बढ़ाने के प्राथमिक तरीके हैं, इनके सीखने के गतिकी (learning dynamics) के अंतर्निहित सैद्धांतिक तंत्र अभी भी अच्छी तरह से समझ में नहीं आए हैं। विशेष रूप से, RL (विशेष रूप से प्रोसेस रिवॉर्ड के साथ) और SFT (विशेष रूप से बिना टीचर फोर्सिंग के) के बीच तुलना करने के लिए एक कठोर विश्लेषण का अभाव है कि वे कैसे जटिल, स्पार्स बूलियन फलनों (sparse Boolean functions) को सीखने में सक्षम बनाते हैं, जिन्हें एंड-टू-एंड तरीके से सीखना कठिन होता है। यह कार्य एक मध्यवर्ती तर्क चरणों (intermediate reasoning steps) से सुसज्जित एक वन-लेयर ट्रांसफार्मर का उपयोग करके $k$ -स्पार्स बूलियन फलनों (जिनका निर्धारण इनपुट बिट्स के $k$ छोटे उपसमुच्चय द्वारा किया जाता है) की सीखने की क्षमता की जांच करके इस अंतराल को संबोधित करता है।

कार्यप्रणाली
लेखक $k$ -स्पार्स बूलियन फलनों के एक विशिष्ट वर्ग पर RL और SFT दोनों के सीखने के गतिकी का विश्लेषण करने के लिए एक एकीकृत सैद्धांतिक ढांचे का प्रस्ताव करते हैं। ये फलन निश्चित 2-स्पार्स बूलियन फलनों (जैसे, पैरिटी, AND, OR) में पुनरावर्ती रूप से विघटित होते हैं, जो एक तर्क श्रृंखला (reasoning chain) बनाते हैं।

मॉडल आर्किटेक्चर: अध्ययन एक सरलीकृत वन-लेयर ट्रांसफार्मर का उपयोग करता जिसमें पोजीशनल एनकोडिंग, एक सेल्फ-अटेंशन लेयर और एक फीडफॉरवर्ड लेयर शामिल है। मॉडल को अंतिम उत्तर देने से पहले मध्यवर्ती तर्क चरणों ( $y^{(t)}$ ) को पुनरावर्ती रूप से उत्पन्न करने के लिए डिज़ाइन किया गया है।
"प्रीट्रेंड" मास्क: सैद्धांतिक सुगमता सुनिश्चित करने और प्रीट्रेनिंग से प्राप्त संरचनात्मक पूर्वग्रहों (structural priors) का अनुकरण करने के लिए, लेखक अटेंशन वेट्स पर एक विशिष्ट "प्रीट्रेंड" मास्क लागू करते हैं। यह मास्क तर्क टोकन (reasoning tokens) के अटेंशन को उनके प्रासंगिक चाइल्ड नोड्स (जैसा कि पुनरावर्ती विघटन में परिभाषित है) और इनपुट अनुक्रम तक सीमित करता है, जिससे एरर प्रोपेगेशन को नियंत्रित किया जा सके।
लर्निंग पैराडिम्स:
- प्रोसेस रिवॉर्ड के साथ RL: ट्रांसफार्मर को प्रत्येक मध्यवर्ती तर्क चरण ( $r_t$ ) के लिए रिवॉर्ड असाइन करते हुए, केवल अंतिम परिणाम के बजाय, पॉलिसी ग्रेडिएंट के माध्यम से अनुकूलित किया जाता है।
- बिना टीचर फोर्सिंग के SFT: ट्रांसफार्मर को ग्राउंड-ट्रुथ लेबल्स के मुकाबले उत्पन्न तर्क श्रृंखलाओं पर लॉस (हिंज लॉस) को कम करने के लिए प्रशिक्षित किया जाता है। महत्वपूर्ण रूप से, मॉडल प्रशिक्षण के दौरान अपने स्वयं के मध्यवर्ती चरणों को उत्पन्न करता है (ऑटोरेग्रेसिव जनरेशन) न कि ग्राउंड-ट्रुथ प्रीफिक्स को फीड करता है (टीचर फोर्सिंग), जो ट्रेन-इन्फरेंस मिसमैच को संबोधित करता है।
मुख्य विश्लेषणात्मक उपकरण: लेखक एक "क्रिटिकल ग्रेडिएंट कंपोनेंट" ( $\gamma$ ) पेश करते हैं। वे प्रदर्शित करते हैं कि इस घटक का पृथक्करण—जहाँ प्रासंगिक स्थितियों (चाइल्ड नोड्स) के लिए ग्रेडिएंट सिग्नल अप्रासंगिक स्थितियों की तुलना में स्पष्ट रूप से अधिक होता है—प्रमाणिक सीखने की क्षमता के लिए एक पर्याप्त स्थिति (sufficient condition) के रूप में कार्य करता है।

प्रमुख योगदान और परिणाम
यह शोध स्थापित करता है कि किन परिस्थितियों में एक वन-लेयर ट्रांसफार्मर $k$ -स्पर्स बूलियन फलनों को RL और SFT दोनों के माध्यम से प्रमाणिक रूप से सीख सकता है। मुख्य निष्कर्ष निम्नलिखित हैं:

एकीकृत सीखने की स्थिति: दोनों RL और SFT तब सफल होते हैं जब क्रिटिकल ग्रेडिएंट कंपोनेंट प्रासंगिक और अप्रासंगिक स्थितियों को अलग करता है। यह स्थिति तीन मौलिक उदाहरणों के लिए सत्यापित की गई है: $k$ -PARITY, $k$ -AND, और $k$ -OR।
विशिष्ट सीखने की गतिकी:
- RL (प्रोसेस रिवॉर्ड): पृथक्करण की स्थिति के तहत, RL एक ही ग्रेडिएंट अपडेट में पूरी CoT तर्क श्रृंखला को एक साथ (simultaneously) सीखता है। प्रोसेस रिवॉर्ड अन्य चरणों की वर्तमान स्थिति की परवाह किए बिना सभी चरणों के लिए सूचनात्मक सिग्नल प्रदान करता है, जिससे मॉडल तुरंत पूर्ण तर्क क्षमता प्राप्त कर लेता है।
- SFT (बिना टीचर फोर्सिंग के): इसके विपरीत, SFT चरण-दर-चरण (step-by-step) सीखने का व्यवहार प्रदर्शित करता है। ऑटोरेग्रेसिव जनरेशन की प्रकृति के कारण, मॉडल चरण $t$ को तब तक विश्वसनीय रूप से नहीं सीख सकता जब तक कि चरण $t-1$ को सही ढंग से उत्पन्न न किया गया हो। फलस्वरूप, SFT को पूरी श्रृंखला को सीखने के लिए $T$ ग्रेडिएंट अपडेट (जहाँ $T$ श्रृंखला की लंबाई है) की आवश्यकता होती है, जो प्रति अपडेट एक चरण को हल करता है।
फाइनल रिवॉर्ड की कठिनाई: पेपर सिद्ध करता है कि केवल अंतिम (आउटकम-आधारित) रिवॉर्ड के साथ अनुकूलित RL इन फलनों को कुशलतापूर्वक सीखने में विफल रहता है। पॉलिसी ग्रेडिएंट वेरिएंस (variance) घातीय रूप से छोटा होता है, जिससे सिग्नल शोर (noise) में दब जाता है, जो जटिल तर्क कार्यों के लिए प्रोसेस रिवॉर्ड की आवश्यकता को स्पष्ट करता है।
सीरियल CoT तक विस्तार: बाइनरी-ट्री डिकंपोजिशन से परे विश्लेषण को सीरियल CoT संरचनाओं (जो व्यावहारिक LLMs में सामान्य हैं) तक विस्तारित किया गया है, यह पुष्टि करते हुए कि उपयुक्त मास्किंग के तहत समान सीखने की गतिकी (RL के लिए एक साथ, SFT के लिए चरण-वार) बनी रहती है।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य ट्रांसफॉर्मर्स के लिए प्रोसेस रिवॉर्ड के साथ RL के सीखने के गतिकी का पहला सैद्धांतिक लक्षण वर्णन प्रदान करता है, जो साहित्य में एक महत्वपूर्ण अंतराल को भरता है। पूर्ववर्ती सैद्धांतिक कार्यों (जैसे, किम और सुजुकी, 2025) में उपयोग किए जाने वाले टीचर फोर्सिंग और डेटा ऑग्मेंटेशन रणनीतियों को हटाकर, यह अध्ययन RL और SFT के बीच अधिक यथार्थवादी तुलना प्रदान करता है।

इसका महत्व यह प्रकट करने में निहित है कि जबकि दोनों विधियाँ सीखने योग्य होने में सक्षम हैं, वे मौलिक रूप से भिन्न तंत्रों के माध्यम से ऐसा करती हैं:

प्रोसेस रिवॉर्ड के साथ RL, टीचर फोर्सिंग के साथ SFT की दक्षता की नकल करता है, जिससे पूरी श्रृंखला को एक साथ सीखा जा सके।
बिना टीचर फोर्सिंग के SFT स्वाभाविक रूप से एक चरण-दर-चरण करिकुलम (curriculum) को प्रेरित करता है, जो ऑटोरेग्रेसिव ट्रेनिंग का एक अंतर्निहित गुण है और इसके लिए बाहरी करिकुलम लर्निंग या डेटा फ़िल्टरिंग की आवश्यकता नहीं होती है।

पेपर निष्कर्ष निकालता है कि RL और SFT के बीच अनुभवजन्य (empirical) तुलनाओं को उन कारकों के लिए सावधानीपूर्वक नियंत्रित किया जाना चाहिए जैसे रिवॉर्ड डिज़ाइन (प्रोसेस बनाम आउटकम) और ट्रेनिंग रिजीम (टीचर फोर्सिंग बनाम ऑटोरेग्रेसिव जनरेशन), क्योंकि ये कारक सीखने की गतिकी को महत्वपूर्ण रूप से बदल देते हैं और अनुकूलन विधियों के स्वयं के तुलनात्मक अध्ययन को भ्रमित कर सकते हैं।