🤖 machine learning

Structural Sensitivity in Compressed Transformers: Error Propagation, Lyapunov Stability, and Formally Verified Bounds

यह शोध पत्र प्रकट करता है कि ट्रांसफॉर्मर संपीड़न संवेदनशीलता विशिष्ट मैट्रिक्स प्रकारों में पांच आदेशों (orders of magnitude) तक भिन्न होती है, जो यह प्रदर्शित करता है कि जहाँ लियापुनोव स्थिरता (Lyapunov stability) त्रुटि संकुचन सुनिश्चित करती है, वहीं आर्किटेक्चर-विशिष्ट अतिरेक (architecture-specific redundancy) मजबूती के लिए समान रूप से महत्वपूर्ण है, एक ऐसा निष्कर्ष जिसे व्यापक अनुभवजन्य परीक्षणों के माध्यम से मान्य किया गया है और दस मशीन-जाँचा गया लीन 4 (Lean 4) प्रमेय द्वारा औपचारिक रूप से सत्यापित किया गया है।

मूल लेखक: Abhinaba Basu

प्रकाशित 2026-03-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abhinaba Basu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, जटिल फैक्ट्री है (एक लार्ज लैंग्वेज मॉडल जैसे GPT-2 या Mistral) जो कच्चे माल (टेक्स्ट) को तैयार उत्पादों (इंटेलिजेंट रिस्पॉन्स) में बदलती है। इस फैक्ट्री में हजारों कर्मचारी (मैथमेटिकल मैट्रिसेस) हैं जो असेंबली लाइनों (लेयर्स) में व्यवस्थित हैं।

यह शोध पत्र एक सरल लेकिन खतरनाक सवाल पूछता है: "यदि हम कुछ कर्मचारियों को नौकरी से निकाल दें या उन्हें काम पूरा करने के लिए शॉर्टकट लेने के लिए मजबूर करें, तो हम विशेष रूप से किन लोगों के साथ छेड़छाड़ कर सकते हैं जिससे पूरा कारखाना ढह न जाए?"

उनके निष्कर्षों का विवरण यहाँ दिया गया, जिसे रोजमर्रा की भाषा में अनुवादित किया गया है:

1. "एक बुरा सेब" वाली समस्या (स्ट्रक्चरल सेंसिटिविटी)

शोधकर्ताओं ने पाया कि सभी कर्मचारी समान नहीं होते हैं। वास्तव में, महत्व का अंतर बहुत बड़ा है—जैसे एक सफाई कर्मचारी और एक CEO के बीच का अंतर।

उपमा: कल्पना कीजिए कि फैक्ट्री में 468 अलग-अलग टीमें हैं। यदि आप बेसमेंट के सफाई कर्मचारी को हटा देते हैं, तो कुछ नहीं होता। लेकिन यदि आप पहली टीम को हटा देते है जिसे कच्चा माल प्राप्त होता है, तो पूरी फैक्ट्री तुरंत काम करना बंद कर देती है।
निष्कर्ष: उन्होंने पाया कि फैक्ट्री की शुरुआती कुछ लेयर्स, विशेष रूप से वे टीमें जो डेटा को "विस्तारित" (expand) करती हैं (जिन्हें MLP अप-प्रोजेक्शन कहा जाता है), अविश्वसनीय रूप से नाजुक हैं। इनमें से केवल एक विशिष्ट टीम को भी कंप्रेस करने से मॉडल का प्रदर्शन 20,000 गुना तक गिर गया।
सुरक्षित क्षेत्र: इसके विपरीत, कुछ टीमें (जैसे अटेंशन मैकेनिज्म में "वैल्यू" प्रोजेक्शन) अत्यधिक स्टाफ वाले विभागों की तरह हैं। आप उनके कार्यबल को आधा भी कर दें, तो उन्हें शायद ही कोई फर्क पड़ता है। वे "मुफ्त में कंप्रेस होने योग्य" (compressible for free) हैं।

नियम: आप फैक्ट्री के साथ एक समान व्यवहार नहीं कर सकते। आपको "एंट्री गेट" टीमों को हर कीमत पर सुरक्षित रखना होगा, जबकि आप "मिडल मैनेजमेंट" और "आउटपुट" टीमों को आक्रामक रूप से कम कर सकते हैं।

2. "शॉक एब्जॉर्बर" सिस्टम (ल्यपुनोव स्टेबिलिटी)

आप सोच सकते हैं: "यदि मध्य परतों (middle layers) में त्रुटियां होती हैं, तो वे जमा होकर फैक्ट्री को क्यों नहीं उड़ा देतीं?"

उपमा: फैक्ट्री को वॉटर स्लाइड (पानी की फिसलने वाली स्लाइड) की एक श्रृंखला के रूप में सोचें। यदि आप ऊपर एक कंकड़ (त्रुटि) गिराते हैं, तो वह आमतौर पर बह जाता है। क्यों? क्योंकि पानी (मॉडल की हिडन स्टेट) कंकड़ के गिरने की तुलना में बहुत अधिक तेजी से स्लाइड से नीचे बह रहा है। पानी की गति कंकड़ को "पतला" (dilute) कर देती है।
निष्कर्ष: शोध पत्र गणितीय रूप से सिद्ध करता है कि "रेसिडुअल कनेक्शंस" (वे स्किप कनेक्शंस जो डेटा को लेयर्स के ऊपर से कूदने देते हैं) इन शॉक एब्जॉर्बर के रूप में कार्य करते हैं। जब तक डेटा का प्रवाह त्रुटियों के बढ़ने की दर से तेज रहता है, त्रुटियां बह जाती हैं।
सावधानी: यह "शॉक एब्जॉर्बर" सिस्टम हर फैक्ट्री डिजाइन के लिए एकदम सही नहीं है।
- GPT-2 Small: पानी इतनी तेजी से बहता है कि वह हर त्रुटि को निगल लेता है (बहुत स्थिर)।
- Qwen3-8B: पानी का प्रवाह थोड़ा डगमगाता हुआ है; त्रुटियां कभी-कभी बढ़ जाती हैं, जिससे क्रैश हो जाता है।
- LFM2 (हाइब्रिड): भले ही पानी का प्रवाह डगमगाता हो, लेकिन फैक्ट्री में इतने बैकअप जनरेटर (रिडंडेंसी) हैं कि वह जीवित रहती है।

पाठ: एक अच्छा शॉक एब्जॉर्बर सिस्टम होना आवश्यक है, लेकिन यह पर्याप्त नहीं है। आपके पास एक ऐसा फैक्ट्री डिजाइन भी होना चाहिए जिसमें अंतर्निहित बैकअप हों।

3. "गणितीय सुरक्षा जाल" (फॉर्मल वेरिफिकेशन)

आमतौर पर, जब इंजीनियर मॉडल्स को कंप्रेस करते हैं, तो वे केवल अनुमान लगाते हैं और जांचते हैं। "क्या यह अभी भी काम कर रहा है? ठीक है, अच्छा है।"

उपमा: यह एक पुल बनाने और यह उम्मीद करने जैसा है कि वह गिरेगा नहीं।
नवाचार: इस शोध पत्र ने एक "गणितीय सुरक्षा जाल" (Lean 4 का उपयोग करके फॉर्मल वेरिफिकेशन) का उपयोग किया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक कंप्यूटर प्रोग्राम लिखा जिसने 100% निश्चितता के साथ सिद्ध किया कि उनके एरर अनुमान सही थे।
परिणाम: उन्होंने 14,000 से अधिक विभिन्न परिदृश्यों का परीक्षण किया। "सुरक्षा जाल" हर बार सफल रहा। उन्होंने साबित किया कि उनके गणितीय सूत्र (कि "हमने कितनी त्रुटि पेश की") हमेशा रूढ़िवादी (सुरक्षित) थे और कभी झूठ नहीं बोले।

4. "स्मार्ट बजट" रणनीति

तो, हम इन मॉडल्स को प्रभावी ढंग से कैसे कंप्रेस करें?

पुराना तरीका: "आइए हर टीम से 50% कर्मचारियों को समान रूप से काट दें।" -> परिणाम: आपदा।
नया तरीका (शोध पत्र की रणनीति): "आइए संवेदनशीलता (sensitivity) के मानचित्र को देखें।"
1. एंट्री गेट की रक्षा करें: पहली कुछ लेयर्स को न छुएं।
2. फालतू को काटें: उन मध्य और अंतिम परतों में भारी कटौती करें जहाँ "शॉक एब्जॉर्बर" अच्छी तरह काम करते हैं।
3. मानचित्र का उपयोग करें: उन्होंने एक "सेंसिटिविटी मैप" बनाया जो आपको बताता है कि कौन सी विशिष्ट टीमों को हटाना है और किन्हें रखना है।

एक वाक्य में सारांश

यह शोध पत्र सिद्ध करता है कि AI मॉडल्स नाजुक किलों की तरह हैं जहाँ नींव कांच की बनी होती है (बहुत संवेदनशील) लेकिन दीवारें फोम की बनी होती हैं (बहुत कंप्रेसिबल), और वे एक गणितीय रूप से गारंटीकृत मानचित्र प्रदान करते हैं जो आपको बताता है कि आप कहाँ सुरक्षित रूप से हथौड़ा चला सकते हैं बिना पूरे ढांचे को गिराए।

यहाँ शोध पत्र "Structural Sensitivity in Compressed Transformers: Error Propagation, Lyapunov Stability, and Formally Verified Bounds" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) तेजी से कंप्यूट के बजाय मेमोरी बैंडविड्थ द्वारा बाधित हो रहे हैं, जो मॉडल कंप्रेशन (प्रूनिंग, क्वांटाइजेशन, लो-रैंक फैक्टराइजेशन) की आवश्यकता को बढ़ा रहा है। हालाँकि, वर्तमान कंप्रेशन विधियाँ अत्यधिक अनुभवजन्य ह्यूरिस्टिक्स (empirical heuristics) पर निर्भर करती हैं और उनमें इस बात की मौलिक समझ का अभाव है कि कंप्रेशन एरर (त्रुटियाँ) ट्रांसफार्मर लेयर्स के माध्यम से कैसे प्रसारित होती हैं।

अंतराल (The Gap): अभ्यासकर्ताओं को यह नहीं पता कि कौन से घटक (components) सुरक्षित रूप से कंप्रेस किए जा सकते हैं और कौन से विनाशकारी हो सकते हैं। आउटपुट गुणवत्ता पर औपचारिक गारंटी का अभाव है, और इसके संरचनात्मक कारण—जैसे कि कुछ घटक (जैसे शुरुआती-लेयर MLPs) अत्यधिक संवेदनशील क्यों हैं जबकि अन्य (जैसे वैल्यू प्रोजेक्शन्स) मजबूत क्यों हैं—अस्पष्ट बने हुए हैं।
मुख्य प्रश्न: कंप्रेशन एरर ट्रांसफार्मर लेयर्स के माध्यम से कैसे प्रसारित होते हैं, और कौन से संरचनात्मक गुण इस प्रसार को नियंत्रित करते हैं?

2. कार्यप्रणाली (Methodology)

लेखक एक ढांचा प्रस्तावित करते हैं जिसे "Living Inference" कहा जाता है, जो स्ट्रक्चरल सेंसिटिविटी मैपिंग, डायनेमिकल सिस्टम थ्योरी और फॉर्मल वेरिफिकेशन को जोड़ता है।

A. स्ट्रक्चरल सेंसिटिविटी मैपिंग (Structural Sensitivity Mapping)

लेखक पाँच आर्किटेक्चर (GPT-2 Small/Medium, LFM2-2.6B, Mistral-7B, Qwen3-8B) पर ग्रैनुलर एब्लेशन अध्ययन करते हैं।

ग्रैनुलैरिटी (Granularity): वे पूरे लेयर्स के बजाय व्यक्तिगत वेट मैट्रिसेस (GPT-2 Small में 468 मैट्रिसेस) को कंप्रेस करते हैं।
मेट्रिक्स (Metrics): वे "रेग्रेट" (एडिटिव परप्लेक्सिटी इंक्रीज) और "डिग्रेडेशन फैक्टर" (मल्टीप्लिकेटिव परप्लेक्सिटी इंक्रीज) को मापते हैं।
कंप्रेशन तकनीकें: वे तीन कंपोजेबल एप्रोक्सिमेशन चरणों को लागू करते हैं:
1. सेमेंटिक कैशिंग (Semantic Caching): समान इनपुट्स के लिए कैश किए गए आउटपुट्स का पुन: उपयोग करना।
2. स्पार्स एक्टिवेशन (Sparse Activation): मैग्नीट्यूड (top-k%) के आधार पर वेट्स को प्रून करना।
3. लो-रैंक एप्रोक्सिमेशन (Low-Rank Approximation): सिंगुलर वैल्यू डिकंपोजिशन (SVD) को रैंक $r$ तक ट्रंकेट करना।

B. लियापुनोव स्टेबिलिटी एनालिसिस (Lyapunov Stability Analysis)

यह समझाने के लिए कि त्रुटियाँ 12+ लेयर्स के ऊपर विनाशकारी रूप से क्यों संचित नहीं होती हैं, लेखक डायनेमिकल सिस्टम्स से लियापुनोव स्टेबिलिटी थ्योरी लागू करते हैं।

परिभाषा: वे रिलेटिव एरर एनर्जी $V(t) = \|e_t\|^2 / \|h_t\|^2$ को परिभाषित करते हैं, जहाँ $e_t$ एरर है और $h_t$ हिडन स्टेट है।
तंत्र (Mechanism): वे सिद्ध करते हैं कि रेसिडुअल कनेक्शंस (केवल LayerNorm नहीं) एरर कॉन्ट्रैक्शन (त्रुटि संकुचन) के लिए जिम्मेदार हैं। कॉन्ट्रैक्शन तब होता है जब हिडन स्टेट, एरर की तुलना में तेजी से बढ़ता है ( $\alpha > \beta$ ), जिससे रिलेटिव एरर सिकुड़ जाता है ( $\rho < 1$ )।
बाउंड (Bound): इससे एरर संचय के लिए एक ज्योमेट्रिक सीरीज़ बाउंड प्राप्त होता है, जो नेइव लीनियर बाउंड्स की तुलना में काफी अधिक सटीक ( $23\times$ ) है।

C. फॉर्मल वेरिफिकेशन (Lean 4)

लेखक तीनों एप्रोक्सिमेशन चरणों और उनके कंपोजिशन के लिए एरर बाउंड्स को Lean 4 का उपयोग करके औपचारिक रूप देते हैं।

थ्योरम्स (Theorems): दस मशीन-चेक्ड थ्योरम्स प्रति-मैट्रिक्स एरर बाउंड्स को परिभाषित करते हैं (जैसे, $\|Wx - \hat{W}x\| \leq \|W_{residual}\| \cdot \|x\|$ )।
वेरिफिकेशन: इन प्रमाणों में कोई sorry मार्कर नहीं है और इन्हें 14,040+ कॉन्फ़िगरेशन के विरुद्ध सत्यापित किया गया है, जो यह सुनिश्चित करता है कि बाउंड्स IEEE 754 अंकगणित में भी मान्य हैं।

3. मुख्य योगदान (Key Contributions)

स्ट्रक्चरल सेंसिटिविटी पदानुक्रम (Structural Sensitivity Hierarchy):
- उन्होंने पाँच ऑर्डर्स ऑफ मैग्नीट्यूड तक फैले एक सुसंगत पदानुक्रम की खोज की:
  $mlp\_fc \gg Q > K > mlp\_proj > attn\_proj > V$
- "द कैटास्ट्रोफी" (The Catastrophe): केवल लेयर 0 में MLP अप-प्रोजेक्शन को कंप्रेस करने से (GPT-2 Small के 468 मैट्रिसेस में से 1) परप्लेक्सिटी 20,000× बढ़ जाती है।
- "द क्लिफ" (The Cliff): लेयर 2 और लेयर 3 के बीच एक तीव्र फेज ट्रांजिशन है; शुरुआती लेयर्स विनाशकारी रूप से संवेदनशील हैं, जबकि मध्य-से-देर वाली लेयर्स अपेक्षाकृत मजबूत हैं।
- फ्री कंप्रेशन (Free Compression): वैल्यू प्रोजेक्शन्स ( $V$ ) को नगण्य प्रभाव के साथ लगभग "मुफ्त" में कंप्रेस किया जा सकता है।
एरर प्रोपेगेशन की लियापुनोव स्टेबिलिटी:
- प्रदर्शित किया कि रेसिडुअल कनेक्शंस हिडन स्टेट को एरर के संचय से अधिक तेजी से बढ़ाकर त्रुटियों को संकुचित (contract) करते हैं।
- पहचाना कि केवल LayerNorm अपर्याप्त है; सब-लेयर गेन और रेसिडुअल अलाइनमेंट के बीच का परस्पर संबंध स्थिरता निर्धारित करता है।
- दिखाया कि GPT-2 Small पूरी तरह से कॉन्ट्रैक्टिंग ( $\rho_{max} = 0.96$ ) है, जबकि GPT-2 Medium में एक एम्प्लीफाइंग (बढ़ने वाली) अंतिम लेयर है ( $\rho_{max} = 2.05$ )।
क्रॉस-आर्किटेक्चर वैलिडेशन और "फ्रैजिलिटी इंडेक्स":
- 117M से 8B पैरामीटर्स तक के मॉडल्स में निष्कर्षों को मान्य किया।
- स्थिरता आवश्यक है लेकिन पर्याप्त नहीं है:
  - Qwen3-8B ( $\rho_{max}=1.33$ ) 42,922× डिग्रेडेशन पर कोलैप्स हो जाता है।
  - Mistral-7B ( $\rho_{max}=1.14$ ) केवल 11× डिग्रेड होता है।
  - GPT-2 Small (पूर्णतः कॉन्ट्रैक्टिंग, $\rho_{max}=0.96$ ) 120× डिग्रेड होता है।
  - LFM2-2.6B (हाइब्रिड, $\rho_{max}=1.12$ ) केवल 7× डिग्रेड होता है।
- निष्कर्ष: कंप्रेशन मजबूती, लियापुनोव स्टेबिलिटी (एरर एम्प्लीफिकेशन) और आर्किटेक्चर-विशिष्ट रेडंडेंसी (जैसे हाइब्रिड कन्वेन्शनल-अटेंशन डिज़ाइन या वाइडर डायमेंशन) दोनों पर निर्भर करती है।
- एक कंप्रेशन फ्रैजिलिटी इंडेक्स (CFI) प्रस्तावित किया जो अस्थिरता पदों (instability terms) और विड्थ पेनल्टी को मिलाकर मजबूती का अनुमान लगाता है।
फॉर्मली वेरिफाइड बाउंड्स:
- ट्रांसफार्मर इंफरेंस एप्रोक्सिमेशन के लिए पहले मशीन-चेक्ड एरर बाउंड्स प्रदान किए।
- 14,040+ कॉन्फ़िगरेशन में शून्य उल्लंघन को सत्यापित किया, जिससे पुष्टि हुई कि लीनियर प्रति-मैट्रिक्स बाउंड्स, पूर्ण नॉन-लीनियर फॉरवर्ड पास के माध्यम से कंपोज होने पर भी रूढ़िवादी (conservative) रहते हैं।

4. मुख्य परिणाम (Key Results)

सेंसिटिविटी लैंडस्केप: सेंसिटिविटी पदानुक्रम कंप्रेशन स्तरों (5% से 99% स्पर्सिटी), मूल्यांकन पैमानों (2K से 51K टोकन), और डेटासेट्स (WikiText-103, C4) में अपरिवर्तित रहता है।
अर्ली-लेयर कैटास्ट्रोफी: लेयर 0 का MLP अप-प्रोजेक्शन सबसे महत्वपूर्ण घटक है। इसकी संवेदनशीलता कम आउटपुट कोवेरिएंस रैंक, हेवी-टेल्ड एक्टिवेशंस और लो GELU स्पर्सिटी के कारण है। यह एक "अपूरणीय फीचर-क्रिएशन बॉटलनेक" के रूप में कार्य करता है।
ग्रीडी एलोकेशन (Greedy Allocation): एक ग्रीडी रणनीति जो सबसे कम संवेदनशील घटकों को पहले कंप्रेस करती है (V प्रोजेक्शन्स और बाद की लेयर्स से शुरू होकर) केवल 27% परप्लेक्सिटी इंक्रीज के साथ 24% FLOPS बचत प्राप्त करती है। यूनिफॉर्म कंप्रेशन विनाशकारी रूप से विफल हो जाता है (168× बेसलाइन परप्लेक्सिटी)।
डाउनस्ट्रीम प्रभाव: परप्लेक्सिटी डिग्रेडेशन, टास्क एक्यूरेसी लॉस के साथ सह-संबंधित है। Mistral-7B के लिए, यूनिफॉर्म 50% प्रूनिंग HellaSwag एक्यूरेसी को 81.1% से घटाकर 43.9% कर देती है। सेंसिटिविटी-गाइडेड प्रूनिंग इस नुकसान को कम करती है।

5. महत्व और निहितार्थ (Significance and Implications)

सिद्धांत-आधारित कंप्रेशन: यह शोध कार्य कंप्रेशन को अनुभवजन्य परीक्षण-और-त्रुटि (trial-and-error) से एक सिद्धांत-आधारित, संरचनात्मक दृष्टिकोण की ओर ले जाता है। यह पहचानता है कि किन मैट्रिसेस को सुरक्षित रखना है (शुरुआती MLPs) और किन्हें आक्रामक रूप से कंप्रेस करना है (वैल्यू प्रोजेक्शन्स)।
सैद्धांतिक अंतर्दृष्टि: यह प्रकट करता है कि ट्रांसफार्मर रिप्रेजेंटेशन्स, एम्बेडिंग-टू-हिडन-स्पेस ट्रांजिशन (लेयर 0) पर सूचना घनत्व (information density) को केंद्रित करते हैं, जिससे यह चरण गैर-अतिरेखी (non-redundant) बन जाता है।
औपचारिक गारंटी: Lean 4 वेरिफिकेशन का एकीकरण, ट्रांसफार्मर इंफरेंस एप्रोक्सिमेशन के लिए मशीन-चेक्ड एरर बाउंड्स प्रदान करता है, जो उन तरीकों की अनुपस्थिति में एक नया मानक स्थापित करता है जो SparseGPT या Wanda जैसे तरीकों में मौजूद नहीं हैं।
आर्किटेक्चरल डिज़ाइन: निष्कर्ष बताते हैं कि भविष्य के मॉडल आर्किटेक्चर को "कंप्रेशन मजबूती" को एक डिज़ाइन मेट्रिक के रूप में विचार करना चाहिए, जो संभावित रूप से हाइब्रिड डिज़ाइन (जैसे LFM2) या व्यापक डायमेंशन का पक्ष ले सकते हैं जो वेट पर्सर्बेशन (weight perturbations) के विरुद्ध संरचनात्मक रेडंडेंसी प्रदान करते हैं।

संक्षेप में, यह कार्य ट्रांसफार्मर कंप्रेशन को समझने के लिए एक कठोर गणितीय और अनुभवजन्य ढांचा प्रदान करता है, यह सिद्ध करता है कि स्ट्रक्चरल सेंसिटिविटी, मॉडल मजबूती का एक प्रमुख कारक है, और विनाशकारी विफलता के बिना अनुकूलित करने के लिए औपचारिक उपकरण प्रदान करता है।