🤖 machine learning

Review Residuals: Update-Conditioned Residual Gating for Transformers

यह शोध पत्र 'रिव्यू रेसिडुअल्स' (Review Residuals) को प्रस्तुत करता है, जो एक नवीन गेटिंग तंत्र है जो वर्तमान अवस्था और प्रस्तावित अपडेट दोनों के आधार पर ट्रांसफॉर्मर अपडेट को स्केल करता है, यह प्रदर्शित करते हुए कि यह योगात्मक, पहचान-संरक्षण वाला रूप सभी गहराइयों पर स्थिर प्रशिक्षण सक्षम बनाता है और विशेष रूप से बड़े मॉडल पैमानों पर मानक रेसिडुअल्स और हाईवे गेट्स की तुलना में महत्वपूर्ण प्रदर्शन लाभ प्रदान करता है।

मूल लेखक: Kyle Kramer

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kyle Kramer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ऊँचा टॉवर बना रहे हैं, एक-एक परत करके। AI मॉडल्स (ट्रांसफॉर्मर्स) के मानक तरीके में, हर नई परत एक कार्यकर्ता की तरह काम करती है जो कहता है, "मेरे पास टॉवर को ठीक करने का एक विचार है," और बॉस तुरंत उस विचार को संरचना में एक गुणांक (coefficient) के एक के साथ जोड़ देता है। बॉस कभी नहीं पूछता, "क्या यह एक अच्छा विचार है?" या "क्या यह सुरक्षित है?" वह बस इसे जोड़ देता है।

"रिव्यू रेसिडुअल्स" (Review Residuals) पेपर सुझाव देता है कि यह "अंधविश्वास" एक समस्या है। यह एक नए नियम का प्रस्ताव करता है जो उच्च-जोखिम वाले मानव उद्योगों (जैसे विमानन या परमाणु ऊर्जा) में उपयोग किए जाने वाले सिद्धांत पर आधारित है: स्वतंत्र सत्यापन (Independent Verification)। किसी भी कार्य को करने से पहले, आपको पहले उसकी जांच करनी चाहिए।

यहाँ उनके नए विचार का विवरण, उन्होंने इसका परीक्षण कैसे किया, और उन्हें क्या मिला, सरल उपमाओं (analogies) का उपयोग करते हुए दिया गया है।

1. नया नियम: "अपना काम जमा करने से पहले उसे जाँचें"

पुराने सिस्टम में, एक परत बदलाव ( $u$ ) प्रस्तावित करती है और उसे वर्तमान स्थिति ( $h$ ) में सीधे जोड़ देती है।
$h_{new} = h_{old} + u$

नए रिव्यू रेसिडुअल सिस्टम में, परत बदलाव प्रस्तावित तो करती है, लेकिन उसे जोड़ने से पहले, एक "द्वारपाल" (gatekeeper) टॉवर की वर्तमान स्थिति और प्रस्तावित किए जा रहे विशिष्ट बदलाव दोनों को देखता है।

द्वारपाल: एक छोटा, स्मार्ट फ़िल्टर जो पूछता है, "अभी हम जहाँ हैं, और आपके इस विशिष्ट विचार को देखते हुए... क्या यह विचार बनाने लायक है?"
निर्णय: द्वारपाल 0 और 1 के बीच एक स्कोर देता है। यदि विचार शानदार है, तो यह इसे पूरी तरह से जोड़ देता है। यदि विचार बुरा या जोखिम भरा है, तो यह इसे कम कर देता है या अनदेखा कर देता है।
मुख्य अंतर: पिछले तरीकों में केवल "वर्तमान स्थिति" (हम कहाँ हैं) को देखा जाता था। यह नया तरीका प्रस्ताव स्वयं (हम क्या करने की कोशिश कर रहे हैं) को देखता है। यह एक मैनेजर द्वारा यह कहने के बीच का अंतर है कि, "हम मीटिंग में हैं, इसलिए शांत रहें," बनाम एक मैनेजर द्वारा यह कहना कि, "आपने चिल्लाने का सुझाव दिया है, इसलिए हम ऐसा नहीं करेंगे।"

2. "गहराई" की समस्या: क्यों पहला विचार विफल रहा

शोधकर्ताओं ने पहले इसे करने का एक "कॉन्वेक्स" (convex) तरीका आज़माया (एक गणितीय सूत्र जहाँ पुराने राज्य और नए विचार को एक स्मूदी की तरह मिला दिया जाता है)।

उपमा: कल्पना कीजिए कि 40 लोगों की एक कतार में एक फुसफुसाहट भेजी जा रही है। यदि हर व्यक्ति आगे भेजने से पहले फुसफुसाहट को थोड़ा सा पतला (dilute) कर देता है, तो अंत तक पहुँचते-पहुँचते संदेश गायब हो जाएगा।
परिणाम: यह "स्मूदी" वाला तरीका छोटे टॉवरों (लगभग 20 परतों) के लिए काम करता था, लेकिन गहरे (deep) टॉवरों के लिए पूरी तरह विफल रहा। सिग्नल बहुत कमजोर हो गया, और मॉडल सीख नहीं पाया।
समाधान: वे एक "एडिटिव" (additive) तरीके पर स्विच हो गए (मूल पथ को 100% स्पष्ट रखते हुए, बस ऊपर से स्केल्ड विचार को जोड़ना)। यह एक सीधा फोन लाइन खुला रखने जैसा है जबकि साथ ही नए विचार को भी सुन रहे हैं। इसने मॉडल को अत्यधिक गहराई (40+ परतों) पर सफलतापूर्वक प्रशिक्षित होने में सक्षम बनाया।

3. "स्केल" का आश्चर्य: यह तभी काम करता है जब टीम बड़ी हो

शोधकर्ताओं ने इन मॉडल्स को पाँच अलग-अलग आकारों पर स्क्रैच से प्रशिक्षित किया, जो एक बहुत छोटे "खिलौना" मॉडल (60 मिलियन पैरामीटर्स) से लेकर एक बड़े "प्रोफेशनल" मॉडल (1 बिलियन पैरामीटर्स) तक थे।

छोटे पैमाने पर (60M – 320M): नया तरीका काम नहीं आया। वास्तव में, छोटे मॉडल्स पुराने, अंधविश्वास वाले तरीके के साथ थोड़े बेहतर काम करते थे। यह एक दो लोगों की टीम को एक जटिल सुरक्षा चेकलिस्ट देने जैसा है; यह बस उन्हें धीमा कर देता है बिना किसी मूल्य को जोड़े।
मध्यम पैमाने पर (590M): जादू हुआ। नया तरीका पुराने तरीके को महत्वपूर्ण रूप से हराने लगा। "अपना काम चेक करने" का नियम उपयोगी हो गया।
बड़े पैमाने पर (1 बिलियन): लाभ और भी बढ़ गया। मॉडल जितना बड़ा होता गया, नया तरीका उतना ही अधिक मदद करता गया।

बड़ी सीख: अधिकांश नए AI ट्रिक्स छोटे मॉडल्स पर सबसे अच्छा काम करते हैं और जैसे-जैसे मॉडल्स विशाल होते जाते हैं, वे फीके पड़ जाते हैं। यह इसके बिल्कुल विपरीत है। लाभ उभरता है और मॉडल के बड़ा होने के साथ बढ़ता है।

4. यह क्यों मायने रखता है (पेपर के अनुसार)

लेखक तर्क देते हैं कि बुद्धिमत्ता "सीमित" (bounded) है—भले ही सिस्टम स्मार्ट हों, वे अनुमानित गलतियाँ करते हैं क्योंकि उनका ध्यान सीमित होता है (जैसे बास्केटबॉल गेम के दौरान एक गोरिल्ला सूट पहने व्यक्ति को मिस कर देना)।

दर्शन: आप केवल यह मांग नहीं कर सकते कि एक सिस्टम पूर्ण हो। इसके बजाय, आपको सिस्टम में विश्वसनीयता (reliability) को इंजीनियर करना होगा।
उपमा: एक उच्च-विश्वसनीयता वाले उद्योग में, आप केवल सबसे स्मार्ट पायलट को काम पर नहीं रखते; आप उन्हें एक चेकलिस्ट और एक को-पायलट देते हैं जो हर चाल को सत्यापित करता है। रिव्यू रेसिडुअल्स उसी चेकलिस्ट का AI संस्करण हैं। मॉडल अपने अपडेट को प्रतिबद्ध करने से पहले स्वयं की "समीक्षा" करना सीखता है।

परिणामों का सारांश

क्या यह छोटे मॉडल्स पर काम करता है? नहीं, यह वास्तव में थोड़ा बदतर या तटस्थ है।
क्या यह बड़े मॉडल्स पर काम करता है? हाँ, मानक तरीके की तुलना में काफी बेहतर।
क्या यह एक बहुत बड़ा सुधार है? पेपर स्वीकार करता है कि सुधार पूर्ण संख्या में छोटा है (लॉस रिडक्शन में लगभग 0.016 "नैट्स"), लेकिन ट्रेंड (रुझान) ही मायने रखता है: यह बेहतर होता जाता है जैसे-जैसे मॉडल बड़ा होता है।
आगे क्या है? लेखक इसे और भी बड़े मॉडल्स (फ्रंटियर स्केल) और वास्तविक दुनिया के टेक्स्ट डेटा पर टेस्ट करने की योजना बना रहे हैं ताकि यह देखा जा सके कि क्या यह ट्रेंड जारी रहता है।

संक्षेप में: यह पेपर एक तरीका पेश करता है जिससे AI मॉडल्स अपना होमवर्क जमा करने से पहले उसे "दोबारा चेक" कर सकें। हालांकि यह छोटे मॉडल्स की मदद नहीं करता है, लेकिन जैसे-जैसे मॉडल्स बड़े और अधिक जटिल होते जाते हैं, यह और भी महत्वपूर्ण होता जाता है, जो यह सुझाव देता है कि "सत्यापन" (verification) वास्तव में विश्वसनीय, बड़े-स्तर की बुद्धिमत्ता बनाने के लिए एक प्रमुख घटक है।

तकनीकी सारांश: रिव्यू रेसिडुअल्स (Review Residuals): ट्रांसफॉर्मर्स के लिए अपडेट-कंडीशन्ड रेसिडुअल गेटिंग

1. समस्या विवरण (Problem Statement)

मानक ट्रांसफॉर्मर आर्किटेक्चर रेसिडुअल कनेक्शन पर निर्भर करते हैं जहाँ प्रत्येक सबलेयर का प्रस्तावित अपडेट ( $u_l$ ) पिछले स्टेट ( $h_{l-1}$ ) में एक निश्चित गुणांक एक के साथ जोड़ा जाता है ( $h_l = h_{l-1} + u_l$ )। यह डिज़ाइन स्वाभाविक रूप से "भरोसेमंद" (trusting) है, जो बिना मूल्यांकन किए ही हर अपडेट को स्वीकार कर लेता है। मानव-कारक इंजीनियरिंग (human-factors engineering) के सिद्धांतों—विशेष रूप से स्वतंत्र सत्यापन (किसी प्रस्तावित कार्रवाई को लागू करने से पहले उसकी जांच करना) की अवधारणा—का उपयोग करते हुए, लेखक तर्क देते हैं कि न्यूरल नेटवर्क को भी किसी अपडेट को लागू करने से पहले उसकी विश्वसनीयता का मूल्यांकन करना चाहिए। मुख्य समस्या जो संबोधित की गई है वह रेसिडुअल स्ट्रीम के भीतर एक तंत्र का अभाव है जो यह गतिशील रूप से आकलन कर सके कि क्या कोई प्रस्तावित परिवर्तन करना सार्थक है, विशेष रूप से जब मॉडल गहराई और आकार में बड़े होते जाते हैं।

2. कार्यप्रणाली: रिव्यू रेसिडुअल्स (Methodology: Review Residuals)

यह पेपर रिव्यू रेसिडुअल्स पेश करता है, जो एक प्रिमिटिव (primitive) है जो प्रत्येक रेसिडुअल अपडेट को एक सीखे गए, इनपुट-डिपेंडेंट गेट ( $r_l$ ) द्वारा स्केल करता है। पिछले गेटिंग तंत्रों के विपरीत, यह गेट वर्तमान स्टेट और प्रस्तावित अपडेट दोनों पर आधारित (conditioned) है।

अपडेट नियम को इस प्रकार परिभाषित किया गया है:
$h_l = h_{l-1} + r_l \odot u_l$
$r_l = \sigma\left(W_r \cdot [\text{RMSNorm}(h_{l-1}), \text{RMSNorm}(u_l)]\right)$

जहाँ:

$u_l$ सबलेयर से प्रस्तावित अपडेट है।
$r_l$ एक प्रति-चैनल गेट वेक्टर है जो $(0, 1)^d$ में है।
$\sigma$ सिग्मॉइड फंक्शन है।
गेट इनपुट नॉर्मलाइज्ड वर्तमान स्टेट और नॉर्मलाइज्ड प्रस्तावित अपडेट को जोड़ता (concatenate) है।

प्रमुख डिज़ाइन विकल्प:

अपडेट-कंडीशनिंग (Update-Conditioning): यह विशिष्ट विशेषता है। गेट यह तय करने के लिए अपडेट ( $u_l$ ) का निरीक्षण करता है कि उस पर कितना भरोसा किया जाए, न कि केवल स्टेट ( $h_{l-1}$ ) पर निर्भर रहता है जैसा कि हाईवे नेटवर्क्स में होता है।
आइडेंटिटी प्रिजर्वेशन (Identity Preservation): आर्किटेक्चर एक एडिटिव (additive) रूप ( $h_{l-1} + \dots$ ) का उपयोग करता है, न कि कॉनवेक्स कॉम्बिनेशन (convex combination) का। लेखकों ने पाया कि एक कॉनवेक्स रूप (हाईवे-शैली: $(1-r)h_{l-1} + r u_l$ ) गहरे नेटवर्क्स में वैनिशिंग ग्रेडिएंट्स (vanishing gradients) को फिर से पेश करता है, जिससे ~20 परतों के बाद ट्रेनिंग रुक जाती है। एडिटिव रूप ग्रेडिएंट पाथ को सुरक्षित रखता है, जिससे गहराई में स्थिरता सुनिश्चित होती है।
इनिशियलाइजेशन (Initialization): वेट मैट्रिक्स $W_r$ को शून्य (zero) पर इनिशियलाइज़ किया गया है, जिसके परिणामस्वरूप प्रारंभिक गेट मान $r \approx 0.5$ (तटस्थ/agnostic) होता है, जिससे नेटवर्क एक न्यूट्रल स्टार्टिंग पॉइंट से ट्रस्ट लेवल सीख सकता है।

3. मुख्य योगदान (Key Contributions)

रिव्यू रेसिडुअल्स प्रिमिटिव: एक नवीन रेसिडुअल अपडेट तंत्र जहाँ स्केलिंग गेट स्वयं प्रस्तावित अपडेट पर आधारित होता है, जिससे नेटवर्क अपने स्वयं के परिवर्तनों की "समीक्षा" (review) कर सकता है।
डेप्थ-स्टेबिलिटी फाइंडिंग: यह पेपर प्रदर्शित करता है कि जबकि कॉनवेक्स गेटिंग (हाईवे-शैली) उथले (shallow) नेटवर्क्स के लिए काम करती है, यह वैनिशिंग ग्रेडिएंट्स के कारण गहराई में विफल हो जाती है। प्रस्तावित एडिटिव, आइडेंटिटी-प्रिजर्विंग रूप गहरे मॉडल्स (40–48 परतें) में स्थिर ट्रेनिंग के लिए आवश्यक है।
स्केल के साथ उभरना (Emergence-with-Scale): मॉडल के आकार (60M से 1B पैरामीटर्स) के माध्यम से मल्टी-सीड स्वीप के जरिए, लेखक दिखाते हैं कि रिव्यू रेसिडुअल्स का लाभ तुरंत नहीं मिलता है, बल्कि यह छोटे स्केल से उभरता है और बढ़ता है।
कठोर प्रोटोकॉल: अध्ययन एक पैरामीटर-मैच्ड प्रोटोकॉल का उपयोग करता है (रिव्यू रेसिडुअल्स के पैरामीटर काउंट से मैच करने के लिए बेसलाइन्स को चौड़ा करना) और ईमानदार प्रभाव आकार (effect sizes) और सांख्यिकीय महत्व रिपोर्ट करता है, जिससे अन-ट्यून्ड बेसलाइन्स के विरुद्ध तुलना करने की सामान्य गलती से बचा जा सके।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोगों को 'नेक्स्ट-टोकन प्रेडिक्शन' का उपयोग करके TinyStories डेटासेट पर स्क्रैच से प्रशिक्षित डिकोडर-ओनली ट्रांसफॉर्मर्स पर किया गया था। मॉडल की तुलना एक पैरामीटर-मैच्ड स्टैंडर्ड रेसिडुअल और एक पैरामीटर-मैच्ड हाईवे गेट से की गई थी।

छोटा स्केल (≤320M): रिव्यू रेसिडुअल्स ने कोई लाभ नहीं दिखाया। 60M पैरामीटर्स पर, स्टैंडर्ड रेसिडुअल वास्तव में थोड़ा बेहतर प्रदर्शन करता है। अंतर शोर (noise) की सीमा के भीतर था।
मध्यम स्केल (590M): एक सांख्यिकीय रूप से महत्वपूर्ण लाभ उभरा। रिव्यू रेसिडुअल्स ने हाईवे गेट (+0.009 nats, $p < 0.05$ ) और स्टैंडर्ड रेसिडुअल (+0.011 nats, $p < 0.05$ ) दोनों से बेहतर प्रदर्शन किया।
बड़ा स्केल (1B): लाभ बढ़कर दोनों बेसलाइन्स पर +0.016 nats हो गया। हालांकि यह परिणाम पूरी तरह से 0.05 स्तर पर महत्वपूर्ण होने के बजाय एक मजबूत रुझान ( $p \approx 0.07$ ) था, लेकिन दिशा और परिमाण 590M के परिणामों के अनुरूप थे।

महत्वपूर्ण अवलोकन: प्रदर्शन का अंतर स्केल के साथ कम नहीं हुआ; यह बढ़ता गया। लाभ छोटे स्केल पर अनुपस्थित था लेकिन बड़े स्केल पर मापने योग्य और महत्वपूर्ण हो गया, जो कई आर्किटेक्चरल बदलावों के विपरीत है जो बढ़ते मॉडल्स के साथ घटते रिटर्न (diminishing returns) प्रदान करते हैं।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि रिव्यू रेसिडुअल्स, मानक रेसिडुअल कनेक्शन (जो फ्रंटियर मॉडल्स में उपयोग किया जाता है) के ऊपर एक पैरामीटर-कंट्रोल्ड, स्केल-इमर्जेंट सुधार का प्रतिनिधित्व करते हैं।

परिमाण पर मामूली दावे: लेखक स्पष्ट रूप से कहते हैं कि सुधार का पूर्ण परिमाण (absolute magnitude) बहुत छोटा (लॉस के 1% से कम) है, जैसा कि उन्होंने ≤1B के स्केल पर देखा। वे वर्तमान फ्रंटियर स्केल पर कच्चे प्रदर्शन के मामले में इसे "ब्रेकब्रेकथ्रू" (breakthrough) होने का दावा नहीं करते हैं।
ट्रैजेक्टरी (Trajectory) का महत्व: प्राथमिक योगदान ट्रैजेक्टरी है। तथ्य यह है कि लाभ मॉडल के आकार के साथ बढ़ता है—कम होने के बजाय—एक महत्वपूर्ण खोज है। यह सुझाव देता है कि "विश्वसनीयता इंजीनियरिंग" (अपडेट का स्पष्ट सत्यापन) एक ऐसा गुण है जो मॉडल क्षमता बढ़ने पर अधिक मूल्यवान हो जाता है।
सैद्धांतिक निहितार्थ: परिणाम इस थीसिस का समर्थन करते हैं कि सीमित-बुद्धि (bounded-intelligence) प्रणालियों में, विश्वसनीय व्यवहार को केवल स्केल पर निर्भर रहने के बजाय स्पष्ट जाँच (जैसे स्वतंत्र सत्यापन) के माध्यम से इंजीनियर किया जाना चाहिए।
भावी कार्य: पेपर निष्कर्ष निकालता है कि हालांकि वर्तमान परिणाम आशाजनक हैं, लेकिन "फ्रंटियर स्केल" (1B से काफी बड़ा) पर पुष्टि और वास्तविक दुनिया के टेक्स्ट और डाउनस्ट्रीम कार्यों पर मूल्यांकन आवश्यक अगले कदम हैं। वर्तमान कार्य एक प्रूफ-ऑफ-कॉन्सेप्ट के रूप में कार्य करता है कि "रिव्यू" तंत्र व्यवहार्य है और अनुकूल रूप से स्केल करता है।