🤖 machine learning

DiBA: Diagonal and Binary Matrix Approximation for Neural Network Weight Compression

यह शोध पत्र DiBA प्रस्तुत करता है, जो एक कॉम्पैक्ट मैट्रिक्स फैक्टराइजेशन विधि है जो स्टोरेज और गणना लागत को महत्वपूर्ण रूप से कम करने के लिए डायगोनल और बाइनरी मैट्रिसेस का उपयोग करके डेंस न्यूरल नेटवर्क वेट्स का अनुमान लगाता है, साथ ही DiBA-Greedy और DiBARD एल्गोरिदम भी पेश करता है जो बाइनरी घटकों को पुन: प्रशिक्षित किए बिना उच्च सटीकता और कुशल डाउनस्ट्रीम अनुकूलन प्राप्त करते हैं।

मूल लेखक: Nobutaka Ono

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nobutaka Ono

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल, अविश्वसनीय रूप से विस्तृत पुस्तकालय है (एक न्यूरल नेटवर्क)। इनमें से अधिकांश किताबें भारी, मोटे कागज पर लिखी गई हैं (डेंस मैट्रिसेस) जो बहुत अधिक शेल्फ स्पेस घेरती हैं और जिन्हें पलटना धीमा होता है। इस शोध पत्र के लेखक, नोबुताका ओनो, इन किताबों को सिकोड़ना चाहते हैं ताकि वे कहानी खोए बिना एक बैकपैक में फिट हो सकें।

यहाँ उनके समाधान, DiBA, का सरल विवरण और यह कैसे काम करता है, दिया गया है।

समस्या: भारी किताबें

आधुनिक AI मॉडल "डेंस मैट्रिसेस" से भरे होते हैं। इन्हें विशाल स्प्रेडशीट के रूप में सोचें जहाँ प्रत्येक सेल में एक विशिष्ट, सटीक संख्या होती है। ये स्प्रेडशीट बहुत बड़ी होती हैं। वे बहुत अधिक मेमोरी लेती हैं और फोन या छोटे उपकरणों पर AI को चलाने में उन्हें धीमा बना देती हैं।

समाधान: DiBA ("डायगोनल और बाइनरी" ट्रिक)

बड़ी स्प्रेडशीट के हर एक नंबर को सिकोड़ने की कोशिश करने के बजाय, DiBA उस बड़ी स्प्रेडशीट को दो सरल प्रकार के हिस्सों में तोड़ देता है:

"बाइनरी मिक्सिंग" (ब्लूप्रिंट): एक स्टेंसिल या कुकी कटर की कल्पना करें जो 0 और 1 से बना है। इसमें कोई नंबर नहीं होते; यह केवल यह तय करता है कि कौन से तत्व आपस में मिलेंगे। यह एक स्विचबोर्ड की तरह है जो कहता है, "इस तार को उस तार से जोड़ो," या "इसे अकेला छोड़ दो।" क्योंकि यह केवल 0 और 1 का उपयोग करता है, इसलिए यह लगभग न के बराबर जगह लेता है (जैसे एक छोटा सा स्केच)।
"डायगोनल स्केलिंग" (वॉल्यूम नॉब्स): कल्पना करें कि तीन पंक्तियों वाले वॉल्यूम नॉब्स (बटन) हैं। एक पंक्ति इनपुट को नियंत्रित करती है, एक बीच वाले को, और एक आउटपुट को। ये नॉब्स ही एकमात्र स्थान हैं जहाँ वास्तविक "तेजी" या सटीक मान (values) मौजूद होते हैं।

उपमा (Analogy):
मूल भारी स्प्रेडशीट को एक पूर्ण-रंग, हाई-डेफिनिशन पेंटिंग के रूप में सोचें।

DiBA हर पिक्सेल को बचाने की कोशिश नहीं करता है। इसके बजाय, यह एक ब्लैक-एंड-व्हाइट स्टेंसिल (बाइनरी हिस्सा) बचाता है जो बताता है कि पेंट कहाँ लगेगा।
फिर, यह उन जगहों पर लगाने के लिए रंगों और मात्राओं की एक सूची (डायगोनल हिस्सा) बचाता है।
उस स्टेंसिल को रंग की सूची के साथ मिलाकर, आप पेंटिंग को बहुत करीब से पुन: बना सकते हैं, लेकिन इसकी "फ़ाइल का आकार" बहुत छोटा होता है क्योंकि स्टेंसिल केवल ब्लैक एंड व्हाइट डॉट्स है और रंग की सूची केवल कुछ नंबरों की है।

उन्होंने सबसे अच्छा मिश्रण कैसे पाया (DiBA-Greedy)

लेखकों को यह पता लगाने के लिए एक तरीका चाहिए था कि सही स्टेंसिल और सही वॉल्यूम नॉब्स क्या हैं। उन्होंने DiBA-Greedy नामक एक टूल बनाया।

प्रक्रिया: यह "हॉट एंड कोल्ड" (पास या दूर) के खेल जैसा है।
1. वे एक रैंडम स्टेंसिल और रैंडम नॉब्स से शुरुआत करते हैं।
2. वे नॉब्स (नंबरों) को एडजस्ट करते हैं ताकि तस्वीर मूल के जितना संभव हो सके उतनी करीब दिखे। यह आसान गणित है।
3. फिर वे स्टेंसिल को देखते हैं। वे पूछते हैं, "यदि मैं इस एक डॉट को 0 से 1 में बदल दूँ, तो क्या तस्वीर बेहतर होगी?" यदि हाँ, तो वे इसे बदलते हैं। यदि नहीं, तो वे इसे वैसा ही छोड़ देते हैं।
4. वे इसे दोहराते हैं—नॉब्स को एडजस्ट करना, फिर डॉट्स को बदलना, बार-बार—जब तक कि तस्वीर उतनी अच्छी न हो जाए जितनी वह हो सकती है।

"फाइन-ट्यूनिंग" ट्रिक (DiBARD)

यहाँ चालाकी भरा हिस्सा है। कभी-कभी, जब आप एक किताब को सिकोड़ते हैं, तो एक नए संदर्भ (जैसे अलग भाषा या विशिष्ट कार्य) में पढ़ने पर कहानी थोड़ी "अलग" महसूस होती है। आमतौर पर, इसे ठीक करने के लिए आपको पूरी किताब को फिर से लिखना पड़ता है।

लेकिन DiBARD के साथ, लेखकों ने एक शॉर्टकट खोजा:

वे स्टेंसिल (बाइनरी हिस्से) को बिल्कुल वैसा ही रखते हैं। यह स्थिर (frozen) है।
वे केवल वॉल्यूम नॉब्स (डायगोनल हिस्से) को फिर से घुमाते हैं, लेकिन इस बार वे विशिष्ट कार्य (जैसे प्रश्न पूछना या आवाज पहचानना) को सुनकर नॉब्स को एडजस्ट करते हैं।

रूपक (Metaphor):
एक रेडियो की कल्पना करें जो एक विशिष्ट स्टेशन (मूल AI) के लिए ट्यून किया गया था। आप उस रेडियो को अपनी जेब में फिट होने के लिए सिकोड़ते हैं (DiBA), लेकिन अब सिग्नल थोड़ा धुंधला है।

पुराना तरीका: आपको पूरा रेडियो सर्किट फिर से बनाना होगा।
DiBARD तरीका: आप बस ट्यूनिंग डायल (डायगोनल नॉब्स) को तब तक घुमाते हैं जब जब तक संगीत स्पष्ट न सुनाई देने लगे। आप आंतरिक वायरिंग (बाइनरी स्टेंसिल) को बिल्कुल नहीं छूते हैं।

इस पेपर ने वास्तव में क्या सिद्ध किया

लेखकों ने 40 अलग-अलग "स्प्रेडशीट्स" और दो विशिष्ट कार्यों पर परीक्षण किया:

पढ़ना/लिखना (DistilBERT): उन्होंने एक लैंग्वेज मॉडल के वर्ड-एम्बेडिंग हिस्से को बदला। केवल "वॉल्यूम नॉब्स" (DiBARD) घुमाने के बाद, मॉडल की गायब शब्दों का अनुमान लगाने की क्षमता में काफी सुधार हुआ, जिसने मानक संपीड़न (compression) विधियों को पीछे छोड़ दिया।
सुनना (Audio Spectrogram Transformer): उन्होंने AI के उन हिस्सों को बदला जो वॉयस कमांड सुनते हैं। "नॉब घुमाने" के बाद, AI की सटीकता लगभग 77% से बढ़कर लगभग 98% हो गई, जो मूल, विशाल मॉडल के लगभग बराबर है।

वह कमी (जो यह पेपर नहीं दावा करता)

यह पेपर इस बारे में बहुत ईमानदार है कि इसने अभी तक क्या नहीं किया है:

सिद्धांत बनाम वास्तविकता: उन्होंने गणना की कि इससे कितना स्थान बचना चाहिए (सैद्धांतिक स्टोरेज), लेकिन उन्होंने यह साबित करने के लिए वास्तव में सुपर-फास्ट कंप्यूटर चिप्स नहीं बनाए कि यह वास्तव में वास्तविक जीवन में कितनी तेज़ चलती है।
लोकल ऑप्टिमा (Local Optima): उनका "हॉट एंड कोल्ड" गेम (DiBA-Greedy) एक अच्छा समाधान ढूंढता है, लेकिन आवश्यक रूप से परफेक्ट गणितीय समाधान नहीं।
दायरा (Scope): उन्होंने केवल मॉडलों के विशिष्ट हिस्सों पर परीक्षण किया, पूरे मॉडल पर एक साथ नहीं, और केवल कुछ विशिष्ट कार्यों पर।

संक्षेप में, DiBA संरचना (एक छोटा, सरल बाइनरी मैप) को मूल्यों (कुछ एडजस्टेबल नॉब्स) से अलग करके AI के दिमाग को कंप्रेस करने का एक नया तरीका है। यह आपको मॉडल को बहुत अधिक सिकोड़ने और फिर इसे पूरी तरह से काम करने के लिए केवल नॉब्स को "ट्यून" करने की अनुमति देता है, बिना पूरी संरचना को फिर से सीखने के।

तकनीकी सारांश: DiBA (डायगोनल एंड बाइनरी मैट्रिक्स एप्रोक्सिमेशन)

समस्या विवरण
आधुनिक न्यूरल नेटवर्क में घने मैट्रिक्स (Dense matrices) एक प्रमुख स्टोरेज और कम्प्यूटेशनल इकाई के रूप में मौजूद हैं, जो लीनियर लेयर्स, टोकन एम्बेडिंग्स, अटेंशन प्रोजेक्शन्स और $1 \times 1$ कनवल्शन में दिखाई देते हैं। हालांकि इन वेट्स को कंप्रेस करने के लिए प्रूनिंग (pruning), क्वांटाइजेशन (quantization) और लो-रैंक डिकंपोजिशन (low-rank decomposition) जैसी तकनीकों को विकसित किया गया है, लेकिन वे विशिष्ट ट्रेड-ऑफ का सामना करती हैं। क्वांटाइजेशन, हालांकि हार्डवेयर-फ्रेंडली है, स्वाभाविक रूप से डिस्क्रीट ऑप्टिमाइजेशन समस्याओं को पेश करता है जिन्हें हल करना कठिन होता है, और अक्सर इसके लिए जटिल मिक्स्ड-इंटीजर फॉर्मुलेशन या स्ट्रेट-थ्रू एस्टिमेटर्स की आवश्यकता होती है। लो-रैंक फैक्टोरिज़ेशन अक्सर उन विशिष्ट संरचनात्मक बाधाओं की कमी का सामना करता है जो कुशल बिट-लेवल स्टोरेज और अरिथमेटिक के लिए आवश्यक हैं। यह शोध पत्र एक कॉम्पैक्ट मैट्रिक्स प्रतिनिधित्व की आवश्यकता को संबोधित करता है जो स्टोरेज रिडक्शन, एप्रोक्सिमेशन एक्यूरेसी और बिना डिस्क्रीट घटकों को पुनः अनुकूलित (re-optimize) किए डाउनस्ट्रीम टास्क अडैप्टेशन की व्यवहार्यता के बीच संतुलन बनाता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र DiBA (Diagonal and Binary Matrix Approximation) का प्रस्ताव करता है, जो एक स्ट्रक्चर्ड मैट्रिक्स फैक्टराइजेशन है जो एक डेंस टारगेट मैट्रिक्स $A \in \mathbb{R}^{m \times n}$ को इस प्रकार एप्रोक्सिमेट करता है:
$\hat{A} = D_1 B_1 D_2 B_2 D_3$
जहाँ:

$D_1, D_2, D_3$ क्रमशः $m \times m$ , $k \times k$ , और $n \times n$ आकार के रियल-वैल्यूड डायगोनल मैट्रिसेस हैं।
$B_1 \in \{0, 1\}^{m \times k}$ और $B_2 \in \{0, 1\}^{k \times n}$ बाइनरी मैट्रिसेस हैं।
$k$ एक इंटरमीडिएट डायमेंशन है जो स्टोरेज और एक्यूरेसी के बीच ट्रेड-ऑफ को नियंत्रित करता है।

सैद्धांतिक गुण (Theoretical Properties):

स्टोरेज: बाइनरी फैक्टर्स को प्रति एंट्री 1 बिट पर स्टोर किया जाता है, जबकि डायगोनल फैक्टर्स स्टैंडर्ड फ्लोटिंग-पॉइंट प्रिसिजन ( $Q$ बिट्स) का उपयोग करते हैं। एक डेंस $Q$ -बिट मैट्रिक्स के सापेक्ष सैद्धांतिक स्टोरेज रेशियो $\rho_{\text{DiBA}} = \frac{k(m+n) + Q(m+k+n)}{Qmn}$ है।
कम्प्यूटेशन: मैट्रिक्स-वेक्टर प्रोडक्ट्स को तीन एलिमेंट-वाइज स्केलिंग ऑपरेशन्स (डायगोनल) और दो बाइनरी मिक्सिंग ऑपरेशन्स (सिलेक्शन और समेशन) में विभाजित किया जाता है, जिससे फ्लोटिंग-पॉइंट मल्टीप्लिकेशन्स $mn $से घटकर$ m + k + n$ हो जाते हैं।
संरचना: यह एप्रोक्सिमेशन $k$ स्केल्ड रैंक-वन बाइनरी पैटर्न्स का एक सुपरपोजिशन है, जिसे रो (row) और कॉलम डायगोनल स्केल्स द्वारा सुधारा गया है।

ऑप्टिमाइजेशन: DiBA-Greedy
एक प्री-ट्रेन्ड वेट मैट्रिक्स को DiBA फैक्टर्स में फिट करने के लिए, लेखक एक अल्टरनेटिंग सॉल्वर, DiBA-Greedy पेश करते हैं:

डायगोनल अपडेट्स: बाइनरी फैक्टर्स को फिक्स्ड रखते हुए, डायगोनल मैट्रिसेस को क्लोज्ड-फॉर्म लीस्ट-स्क्वायर्स सॉल्यूशंस के माध्यम से अपडेट किया जाता है।
बाइनरी अपडेट्स: डायगोनल फैक्टर्स को फिक्स्ड रखते हुए, बाइनरी मैट्रिसेस को एक सिंगल बिट को फ्लिप करने से होने वाले स्क्वेर्ड फ्रोबेनियस एरर (squared Frobenius error) के सटीक परिवर्तन का मूल्यांकन करके अपडेट किया जाता है। एक फ्लिप तभी स्वीकार किया जाता है जब सुधार $\tau$ टॉलरेंस से अधिक हो।
यह दृष्टिकोण निरंतर (continuous) और डिस्क्रीट अपडेट्स को अलग करके डायनामिक नॉन-कन्वेक्सिटी से बचता है, हालांकि यह एक लोकल ग्रीडी सॉल्वर है और ग्लोबल ऑप्टिमम की गारंटी नहीं देता है।

डाउनस्ट्रीम अडैप्टेशन: DiBARD
यह पहचानते हुए कि रिकंस्ट्रक्शन एरर को कम करने का मतलब डाउनस्ट्रीम टास्क पर प्रदर्शन की गारंटी देना नहीं है, यह पेपर DiBARD (DiBA with Retuning only Diagonal factors) का प्रस्ताव करता है। इस प्रोटोकॉल में:

बाइनरी मैट्रिसेस $B_1$ और $B_2$ को शुरुआती DiBA-Greedy फिटिंग के बाद फ्रीज कर दिया जाता है।
केवल डायगोनल एंट्रियों $D_1, D_2, D_3$ को स्टैंडर्ड ग्रेडिएंट-बेस्ड ऑप्टिमाइजेशन का उपयोग करके डाउनस्ट्रीम ट्रेनिंग डेटा पर रिट्यून किया जाता है।
यह अनुकूलन चरण को एक छोटे निरंतर ऑप्टिमाइजेशन समस्या में बदल देता है, जिससे फाइन-ट्यूनिंग के दौरान डिस्क्रीट सर्च की आवश्यकता समाप्त हो जाती है।

मुख्य योगदान

फॉर्मुलेशन: डेंस वेट कंप्रेशन के लिए डायगोनल-एंड-बाइनरी फैक्टराइजेशन के रूप में DiBA की परिभाषा, जिसमें सैद्धांतिक स्टोरेज अकाउंटिंग शामिल है।
एल्गोरिदम: क्लोज्ड-फॉर्म लीस्ट-स्क्वायर्स अपडेट्स के साथ सटीक वन-बिट ग्रीडी अपडेट्स को संयोजित करने वाले DiBA-Greedy का विकास।
एम्पिरिकल इवैल्यूएशन (मैट्रिक्स लेवल): पब्लिक प्री-ट्रेन्ड मॉडल्स (NLP और विजन) से निकाले गए 40 डेंस वेट मैट्रिसेस पर मूल्यांकन। परिणाम दिखाते हैं कि जैसे-जैसे सैद्धांतिक स्टोरेज रेशियो बढ़ता है, सिग्नल-टू-नॉइज़ रेशियो (SNR) में निरंतर सुधार होता है, जिसमें एम्बेडिंग मैट्रिसेस विशेष रूप से उच्च SNR दिखाते हैं।
अडैप्टेशन प्रोटोकॉल: DiBARD का परिचय और दो कंपोनेंट-रिप्लेसमेंट अध्ययनों में इसका सत्यापन:
- DistilBERT/WikiText: टाइड एम्बेडिंग/आउटपुट प्रोजेक्शन को रिप्लेस करना। DiBARD ने मास्क्ड-टोकन एक्यूरेसी को 0.4447 (DiBA प्री-रिट्यूनिंग) से बढ़ाकर 0.5210 कर दिया, जो Int4-स्केल-RT (0.5110) से बेहतर है और ओरिजिनल मॉडल (0.4906) के करीब पहुँच गया, बावजूद इसके कि इसका सैद्धांतिक स्टोरेज रेशियो कम था।
- AST/Speech Commands: ऑडियो स्पेक्ट्रोग्राम ट्रांसफार्मर में 48 अटेंशन प्रोजेक्शन मैट्रिसेस को रिप्लेस करना। DiBARD ने टेस्ट एक्यूरेसी को 0.7684 से बढ़ाकर 0.9781 तक रिकवर किया (ओरिजिनल 0.9837 था), जिससे शुरुआती कंप्रेशन द्वारा उत्पन्न प्रदर्शन गैप का 97.4% हिस्सा रिकवर हो गया।

महत्व और दावे
पेपर दावा करता है कि DiBA एक कॉम्पैक्ट वेट रिप्रेजेंटेशन प्रदान करता है जो फिक्स्ड बाइनरी मिक्सिंग के साथ लाइटवेट डायगोनल रिट्यूनिंग को प्रभावी ढंग से जोड़ता है। प्राथमिक महत्व यह प्रदर्शित करने में है कि:

डेंस वेट्स को एलिमेंट-वाइज क्वांटाइजेशन के बिना डायगोनल स्केलिंग और शेयर्ड बाइनरी मिक्सिंग को इंटरलीव करके एप्रोक्सिमेट किया जा सकता है।
डायगोनल फैक्टर्स को रिट्यून करके केवल डायगोनल फैक्टर्स को रिट्यून करके आक्रामक कंप्रेशन के बाद भी डाउनस्ट्रीम प्रदर्शन को रिकवर किया जा सकता है, जिससे नॉन-लीनियर नेटवर्क लॉस के भीतर डिस्क्रीट वेरिएबल्स को पुनः अनुकूलित करने की कम्प्यूटेशनल कठिनाई से बचा जा जा सकता है।

सीमाएं और विनम्रता (Limitations and Modesty)
लेखक स्पष्ट रूप से कई सीमाओं को नोट करते हैं:

सैद्धांतिक स्टोरेज: स्टोरेज रेशियो सैद्धांतिक हैं, जो बिट-पैक्ड बाइनरी मैट्रिसेस को मानते हैं; कोई मापा गया मेमोरी या बिट-पैक्ड कर्नेल स्पीडअप प्रदान नहीं किया गया है।
स्कोप: प्रयोग 2-1 और 2-2 केवल रिप्लेस्ड कंपोनेंट्स के सापेक्ष कंप्रेशन रेशियो रिपोर्ट करते हैं, न कि पूरे मॉडल के।
सॉल्वर: DiBA-Greedy एक लोकल ग्रीडी सॉल्वर है, ग्लोबल ऑप्टिमाइज़र नहीं।
मूल्यांकन: डाउनस्ट्रीम इवैल्यूएशन फिक्स्ड डेटा स्प्लिट्स और सीमित सीड्स का उपयोग करते हैं।
पेपर कोई मापा गया इंफरेंस स्पीडअप या एंड-टू-एंड रनटाइम रिडक्शन का दावा नहीं करता है, बल्कि एप्रोक्सिमेशन क्वालिटी, सैद्धांतिक स्टोरेज और डायगोनल-ओनली रिकवरी की व्यवहार्यता पर ध्यान केंद्रित करता है।