📊 statistics

Spectral Rank Certification for Foundation Model Adapters

यह शोध पत्र स्पेक्ट्रल विश्लेषण और ची-स्क्वायर डाइवर्जेंस (chi-square divergence) का उपयोग करते हुए एक परिमित-नमूना सांख्यिकीय ढांचे (finite-sample statistical framework) को प्रस्तुत करता है, जो लोरा (LoRA) एडेप्टर के प्रभावी रैंक को प्रमाणित करता है, और सार्वजनिक मॉडलों के ऑडिट के माध्यम से यह प्रकट करता है कि उनके कैलिब्रेटेड प्रभावी रैंक आमतौर पर उनके नाममात्र के डिजाइन मापदंडों से बहुत कम होते हैं और मानक ऊर्जा प्रतिधारण मेट्रिक्स (energy retention metrics) से भिन्न होते हैं।

मूल लेखक: Mohammed Ahnouch, Lotfi Elaachak

प्रकाशित 2026-08-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammed Ahnouch, Lotfi Elaachak

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, विशाल मॉडलों को भाषा समझने, चित्र बनाने और जटिल समस्याओं को हल करने के लिए प्रशिक्षित किया जाता है। ये फाउंडेशन मॉडल्स शक्तिशाली हैं, लेकिन वे बहुत विशाल भी हैं, जिन्हें चलाने के लिए भारी मात्रा में कंप्यूटर मेमोरी और ऊर्जा की आवश्यकता होती है। उन्हें विशिष्ट कार्यों के लिए व्यावहारिक बनाने के लिए, शोधकर्ता 'लो-रैंक अडैप्टेशन' (low-rank adaptation) नामक एक तकनीक का उपयोग करते हैं। इस प्रक्रिया को एक विशाल मॉडल से निर्देशों के एक छोटे, विशिष्ट सेट को जोड़ने के रूप में समझें, जो मॉडल को उसके पूरे मस्तिष्क को फिर से लिखे बिना एक नया कौशल सीखने की अनुमति देता है। इस जुड़ाव का आकार इंजीनियर द्वारा चुनी गई एक संख्या द्वारा नियंत्रित होता है, जिसे 'नोमिनल रैंक' (nominal rank) कहा जाता है। यह संख्या यह निर्धारित करती है कि सिस्टम के पास कितने समायोज्य (adjustable) भाग हैं, लेकिन यह हमें यह नहीं बताती कि उनमें से कितने भाग वास्तव में उपयोगी कार्य कर रहे हैं। सिर्फ इसलिए कि एक उपकरण में सौ सेटिंग्स हैं, इसका मतलब यह नहीं है कि काम पूरा करने के लिए सौ ही आवश्यक हैं।

वैज्ञानिकों के लिए केंद्रीय प्रश्न यह है कि अडैप्टर के उन हिस्सों के बीच अंतर कैसे किया जाए जो वास्तव में सीख रहे हैं और वे जो केवल शोर (noise) हैं। यदि कोई इंजीनियर रैंक को उच्च संख्या पर सेट करता है, तो सिस्टम आंतरिक मानों का एक जटिल पैटर्न उत्पन्न कर सकता है। हालांकि, इन पैटर्नों का परीक्षण करने के किसी तरीके के बिना, यह जानना असंभव है कि क्या वह जटिलता वास्तविक है या केवल एक यादृच्छिक उतार-चढ़ाव है। यह अनिश्चितता यह जानने में कठिन बना देती है कि कब एक मॉडल वास्तव में कुशल है या कब वह अनावश्यक भार ढो रहा है। शोधकर्ताओं को इन अडैप्टर्स के भीतर देखने और केवल उन घटकों को गिनने के लिए एक विधि की आवश्यकता है जो सांख्यिकीय रूप से महत्वपूर्ण हैं, यानी सिग्नल को बैकग्राउंड स्टेटिक से अलग करना।

शोधकर्ताओं के एक दल ने इस समस्या को हल करने के लिए एक नया ढांचा विकसित किया है, जिससे इन अडैप्टर्स के वास्तविक, प्रभावी रैंक को मापने का एक तरीका बनाया गया है। इंजीनियर द्वारा शुरू में चुनी गई संख्या पर निर्भर रहने के बजाय, उन्होंने एक सांख्यिकक परीक्षण बनाया है जो यह पूछता है कि क्या अडैप्टर में पाए गए आंतरिक पैटर्न इतने आश्चर्यजनक हैं कि उन्हें वास्तविक शिक्षण माना जा सके। उन्होंने रैंडम नॉइज़ (random noise) के व्यवहार पर आधारित एक गणितीय संदर्भ प्रयोग बनाया। वास्तविक अडैप्टर डेटा की तुलना उस स्थिति से करके जो तब होती जब सिस्टम केवल यादृच्छिक संख्याएं उत्पन्न कर रहा होता, उन्होंने एक सख्त मानक स्थापित किया कि क्या एक सार्थक खोज माना जाए। यह दृष्टिकोण उन्हें यह गणना करने की अनुमति देता है कि एक विशिष्ट भाग का एक सटीक प्रायिकता (probability) क्या है कि वह कुछ महत्वपूर्ण कर रहा है, न कि केवल प्रशिक्षण प्रक्रिया का एक यादृच्छिक आर्टिफैक्ट है।

शोधकर्ताओं ने सार्वजनिक अडैप्टर्स के एक बड़े संग्रह पर इस पद्धति को लागू किया, जिसमें मॉडलों के विभिन्न परिवारों के सैकड़ों मॉड्यूल का परीक्षण किया गया। उन्होंने इन प्रणालियों की आंतरिक संरचना का प्रतिनिधित्व करने वाले हजारों डेटा बिंदुओं का विश्लेषण किया। परिणाम चौंकाने वाले और सुसंगत थे: इन अडैप्टर्स की वास्तविक, प्रभावी रैंक उनके रचनाकारों द्वारा चुनी गई नोमिनल रैंक से लगभग हमेशा बहुत कम होती है। कई मामलों में, उन घटकों की संख्या जो वास्तविक होने के सांख्यिकीय परीक्षण में पास हुए, उन घटकों की संख्या से बहुत कम थी जिनके लिए सिस्टम को डिज़ाइन किया गया था। उदाहरण के लिए, एक भाषा कार्य के लिए प्रशिक्षित अडैप्टर्स के एक विशिष्ट सेट में, ऊर्जा के 95% हिस्से को बनाए रखने के लिए पर्याप्त जानकारी रखने की मानक पद्धति ने सुझाव दिया कि कई घटक रखें, लेकिन नए सांख्यिकीय परीक्षण ने दिखाया कि केवल एक या दो ही वास्तव में आश्चर्यजनक थे जिन्हें वास्तविक माना जा सके। यह प्रकट करता है कि अडैप्टर द्वारा रिटेन की गई जानकारी की मात्रा के आधार पर उनका आकलन करने की सामान्य प्रथा उस प्रश्न का उत्तर दे रही है जो कि उनके आंतरिक भागों के सांख्यिकीय रूप से महत्वपूर्ण होने के प्रश्न से भिन्न है।

यह सुनिश्चित करने के लिए कि ये निष्कर्ष केवल गणित का परिणाम नहीं हैं, टीम ने सिंथेटिक डेटा पर अपने तरीके का परीक्षण किया जहाँ वे उत्तर पहले से जानते थे। उन्होंने ज्ञात शक्ति वाले अडैप्टर्स का अनुकरण किया और पुष्टि की कि उनके सांख्यिकीय नियमों ने मजबूत संकेतों को सही ढंग से पहचाना जबकि कमजोर संकेतों को अनदेखा कर दिया। उन्होंने यह भी जांचा कि उनका तरीका तब भी काम करता है जब डेटा आदर्श गणितीय धारणाओं से पूरी तरह मेल नहीं खाता, जिसके लिए उन्होंने 'एम्पिरिकल नल' (empirical null) नामक तकनीक का उपयोग किया। इसमें उसी डेटा से अडैप्टर के हजारों नकली संस्करण बनाना शामिल है ताकि यह देखा जा सके कि उस विशिष्ट संदर्भ में यादृच्छिक पैटर्न कैसे दिखते हैं। वास्तविक अडैप्टर की इन हजारों नकली संस्करणों के साथ तुलना करके, वे एक कस्टम थ्रेशोल्ड निर्धारित कर सके कि क्या एक खोज मानी जाए। यह प्रक्रिया सुनिश्चित करती है कि परिणाम केवल सैद्धांतिक नहीं हैं बल्कि मशीन लर्निंग मॉडलों के वास्तविक दुनिया के ऑडिटिंग के लिए पर्याप्त मजबूत हैं।

अध्ययन ने यह भी देखा कि इन निष्कर्षों का मॉडलों के वास्तविक प्रदर्शन पर क्या प्रभाव पड़ता है। एक विशिष्ट भाषा कार्य का उपयोग करते हुए एक छोटे पैमाने के परीक्षण में, शोधकर्ताओं ने पूर्ण अडैप्टर की तुलना उन संस्करणों से की जिन्हें उनके नए सांख्यिकीय नियमों का उपयोग करके ट्रिम (छोटा) किया गया था। उन्होंने पाया कि ट्रिम किए गए संस्करण, जिन्होंने केवल सांख्यिकीय रूप से महत्वपूर्ण भागों को रखा था, बीस उदाहरणों के सेट पर पूर्ण, अनट्रिम किए गए संस्करणों के समान ही प्रदर्शन करते थे। हालांकि सैंपल साइज सभी भविष्य के कार्यों के बारे में निर्णायक दावा करने के लिए बहुत छोटा था, इसने एक स्पष्ट मार्ग प्रदर्शित किया: यह संभव है कि अतिरिक्त घटकों को हटा दिया जाए बिना मॉडल की समस्या को हल करने की क्षमता खोए। यह सुझाव देता है कि कई वर्तमान अडैप्टर अनावश्यक पैरामीटर्स का भारी बोझ ढो रहे हैं जिन्हें मेमोरी और कंप्यूटेशन समय बचाने के लिए हटाया जा सकता है।

शोधकर्ता इस बात पर जोर देते हैं कि यह कार्य अंशांकन (calibration) और माप के बारे में है, न कि मॉडल दक्षता के बारे में अंतिम समाधान घोषित करने के बारे में। वे चेतावनी देते हैं कि उनकी सांख्यिकीय सीमाएं उनके द्वारा डिजाइन किए गए संदर्भ प्रयोग के लिए विशिष्ट हैं और वास्तविक दुनिया के डेटा में जटिल संरचनाएं हो सकती हैं जो उनकी धारणाओं से भिन्न होती हैं। हालांकि, मुख्य निष्कर्ष ठोस है: एक इंजीनियर द्वारा शामिल किए जाने वाले घटकों की संख्या वह नहीं है जो वास्तव में कार्य कर रहे हैं। इन नए उपकरणों का उपयोग करके अडैप्टर्स का ऑडिट करके, समुदाय अनुमान लगाने के बजाय यह समझने की ओर बढ़ सकता है कि ये मॉडल वास्तव में क्या सीख रहे हैं। परिणाम कृत्रिम बुद्धिमत्ता की आंतरिक मशीनरी की एक स्पष्ट तस्वीर पेश करता है, जो यह प्रकट करता है कि अक्सर, कम होना न केवल अधिक कुशल है, बल्कि इस बात के प्रति भी अधिक ईमानदार है कि सिस्टम ने वास्तव में क्या सीखा है।

तकनीकी सारांश: फाउंडेशन मॉडल एडेप्टर्स के लिए स्पेक्ट्रल रैंक प्रमाणन

समस्या विवरण
लो-रैंक एडेप्टेशन (LoRA) और संबंधित पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) विधियाँ सघन (dense) फाइन-ट्यूनिंग अपडेट को लो-रैंक एडेप्टर्स से बदल देती हैं। जबकि номинаल रैंक $r$ एक डिज़ाइन हाइपरपैरामीटर है जो मेमोरी और प्रशिक्षण योग्य मापदंडों को नियंत्रित करता है, प्रभावी रैंक (effective rank)—अर्थात वे सिंगुलर घटक जो शून्य संरचना (null structure) से अलग पहचाने जा सकते हैं—एक अनुमानात्मक प्रश्न है। वर्तमान अभ्यास अक्सर पुनर्निर्माण ऊर्जा (जैसे, 95% ऊर्जा बनाए रखना) या स्पर्शोन्मुखी (asymptotic) स्पेक्ट्रल नियमों पर निर्भर करते हैं। हालाँकि, ये दृष्टिकोण परिमित-नमूना प्रभावों (finite-sample effects), विशिष्ट परत आयामों, और एक परिभाषित शून्य परिकल्पना (null hypothesis) के तहत सिंगुलर मानों की सांख्यिकीय सार्थकता को ध्यान में रखने में विफल रहते हैं। दो एडेप्टर्स समान номинаल रैंक वाले हो सकते हैं, फिर भी उनके स्पेक्ट्रा में बहुत भिन्नता हो सकती है, और मानक ट्रंकेशन नियम अलग-अलग फाल्स-पॉजिटिव व्याख्याएँ दे सकते हैं। यह शोध पत्र एक परिमित-नमूना ढांचे (finite-sample framework) की आवश्यकता को संबोधित करता है जो यह प्रमाणित कर सके कि कौन से सिंगुलर घटक केवल वर्णनात्मक होने के बजाय सांख्यिकीय रूप से "आश्चर्यजनक" (surprising) हैं।

कार्यप्रणाली
यह शोध पत्र एक संदर्भ प्रयोग और एक एम्पिरिकल-नल वर्कफ़्लो पर केंद्रित एक कठोर सांख्यिकीय ढांचे को विकसित करता है।

सैद्धांतिक मूल (परिमित-नमूना सीमाएँ):
लेखक एक संदर्भ प्रयोग को परिभाषित करते हैं जो शून्य परिकल्पना $H_0: Y = \sigma G$ और वैकल्पिक परिकल्पना $H_1: Y = \theta uv^\top + \sigma G$ के बीच अंतर करता है, जहाँ $G$ गाऊसी शोर (Gaussian noise) है और $u, v$ अज्ञात सिग्नल दिशाएँ हैं जो एक रोटेशन-इनवेरिएंट हार प्रायोर (Haar prior) से ली गई हैं।

सटीक ची-स्क्वायर डाइवर्जेंस (Exact Chi-Square Divergence): शोध पत्र निश्चित आयामों $(m, n)$ पर नल और हार मिश्रण के बीच $\chi^2$ -डाइवर्जेंस के लिए एक सटीक सीरीज़ विस्तार (series expansion) व्युत्पन्न करता है। यह दिए गए फाल्स-पॉजिटिव दर के लिए प्राप्त की जा सकने वाली शक्ति (attainable power) के लिए एक गणनीय परिमित-नमूना ले कैम बाउंड (Le Cam bound) प्रदान करता है।
आयताकार BBP सीमा (Rectangular BBP Limit): उच्च आयामों में यह सीरीज़ आयताकार बेक-बेरो-एरॉस-पेचे (BBP) सीमा की ओर अभिसरित होती है, जो परिमित-नमूना सिद्धांत और स्पर्शोन्मुखी परिणामों के बीच एक सेतु प्रदान करती है।
लाप्लास विस्तार (Laplace Expansion): एकीकृत संभावना (integrated likelihood) का एक कॉम्पैक्ट-मैनिफोल्ड लाप्लास विस्तार यह प्रकट करता है कि साक्ष्य न केवल अग्रणी सिंगुलर मान $s_1$ पर, बल्कि $s_1$ और बाद के मानों ( $s_2, s_3, \dots$ ) के बीच के स्पेक्ट्रल गैप्स पर भी निर्भर करते हैं। विशेष रूप से, संभावना में एक कारक $s_1^{|m-n|} \prod_{i \ge 2} (s_1^2 - s_i^2)$ शामिल है। इसका तात्पर्य है कि समान शीर्ष सिंगुलर मानों वाले लेकिन भिन्न गैप संरचनाओं वाले मैट्रिसेस के पास अलग-अलग साक्ष्य भार (evidential weights) होते हैं।

एम्पिरिकल-नल वर्कफ़्लो:
वास्तविक प्रशिक्षित एडेप्टर्स पर इन सैद्धांतिक सीमाओं को लागू करने के लिए, लेखक एक तैनात करने योग्य (deployable) वर्कफ़्लो प्रस्तावित करते हैं:

PEFT पुनर्निर्माण: सार्वजनिक LoRA कारकों ( $lora\_A, lora\_B$ ) से सघन एडेप्टर अपडेट $\Delta W$ को पुनर्गठित करना।
नल निर्माण: "नल" एडेप्टर व्यवहार को सिम्युलेट करने के लिए फैक्टर-चैनल शफल, साइन फ्लिप, या मैच-गाऊसी रीसैंपलिंग के माध्यम से नल वितरण उत्पन्न करना।
स्टेजवाइज टेस्टिंग: देखे गए एडेप्टर्स के लिए सिंगुलर मानों की गणना करना और मोंटे कार्लो $p$ -मानों (एक 'एड-वन' सुधार के साथ) का उपयोग करके उन्हें नल क्वांटाइल्स के विरुद्ध तुलना करना।
मल्टीप्लिसिटी कंट्रोल: मॉड्यूल या कॉर्पस स्तर पर बेनजामिनी-होचबर्ग (BH) सुधार लागू करना।
ब्लॉक टेस्टिंग: जब स्पेक्ट्रल गैप्स छोटे हों (जो गैर-अपभ्रष्ट लैप्लास स्थिति का उल्लंघन करते हैं), तो घटकों को ब्लॉकों में समूहित किया जाता है और उन्हें संयुक्त रूप से टेस्ट किया जाता है ताकि आसन्न सिंगुलर दिशाओं के बीच अंतर को अत्यधिक आंकने से बचा जा सके।

प्रमुख परिणाम
लेखकों ने छह आर्किटेक्चर परिवारों (जिसमें RoBERTa, FLAN-T5, LLaMA, और Whisper शामिल हैं) के 26 सार्वजनिक एडेप्टर्स के ऑडिट के लिए 684 मॉड्यूल और 31,000 से अधिक स्पेक्ट्रल रोज़ का विश्लेषण किया।

कैलिब्रेटेड बनाम номинаल रैंक: प्राथमिक अनुभवजन्य निष्कर्ष यह है कि कैलिब्रेटेड प्रभावी रैंक आमतौर पर номинаल रैंक से बहुत कम होती है। उदाहरण के लिए, एक RoBERTa-large MRPC रैंक स्वीप में, एक номинаल रैंक 64 ने केवल 2.5 का मेडियन कैलिब्रेटेड प्रभावी रैंक दिया, जबकि एक номинаल रैंक 1 ने 0 का मेडियन दिया।
ऊर्जा बनाम आश्चर्य (Energy vs. Surprise): ऊर्जा प्रतिधारण (energy retention) और सांख्यिकीय आश्चर्य के बीच एक व्यवस्थित विचलन है। 95% ऊर्जा प्रतिधारण नियम अक्सर तीन घटकों को बनाए रखता है, जबकि कैलिब्रेटेड सांख्यिकीय निर्णय (BH at $q=0.10$ ) एक घटक को बनाए रखता है।
सिंथेटिक सत्यापन: सिंथेटिक प्रयोगों ने पुष्टि की कि स्पर्शोन्मुखी एज थ्रेसहोल्ड (जिनका अक्सर ह्यूरिस्टिक के रूप में उपयोग किया जाता है) ~0.129 की परिमित-नमूना फाल्स-पॉजिटिव दर पर कार्य करते हैं, न कि नाममात्र 0.05 पर, जो परिमित-नमूना अंशांकन (calibration) की आवश्यकता को प्रमाणित करता है।
मापन पथ: 24 उदाहरणों पर एक RoBERT-RTE एडेप्टर के एक स्लाइस ने दिखाया कि मॉड्यूल-वार कैलिब्रेटेड BH ट्रंकेशन (रैंक बजट का 13% बनाए रखना) ने पूर्ण एडेप्टर के समान सटीकता प्राप्त की, जबकि ऊर्जा-95 ट्रंकेशन (26% बनाए रखना) ने थोड़ी कम सटीकता दिखाई, हालांकि नमूना आकार मजबूत महत्व के दावों को रोकता है।

महत्व और दावे
यह शोध पत्र फाउंडेशन मॉडल एडेप्टर्स में प्रभावी रैंक संरचना का अनुमान लगाने के लिए पहला परिमित-नमूना ढांचा (finite-sample framework) प्रदान करने का दावा करता है। इसका महत्व निम्नलिखित में निहित है:

डिज़ाइन को अनुमान से अलग करना: यह घटक की सार्थकता के लिए एक "पुनरुत्पादक लेबल" (reproducible label) प्रदान करते हुए, डिज़ाइन विकल्प (नोमिनल रैंक) को सांख्यिकीय साक्ष्य (प्रभावी रैंक) से अलग करता है।
सैद्धांतिक सटीकता: यह स्पर्शोन्मुखी सन्निकटन (approximations) को सटीक परिमित-नमूना सीमाओं (ले कैम बाउंड्स) और स्पष्ट शेष पदों (remainder terms) से बदल देता है, जिससे ठोस परत आकारों पर कठोर अंशांकन संभव होता है।
अनुभवजन्य वास्तविकता की जाँच: यह दर्शाता है कि मानक ऊर्जा-आधारित छंटनी (pruning) नियम और номинаल हाइपरपैरामीटर अक्सर एडेप्टर्स की वास्तविक सूचना सामग्री को बढ़ा-चढ़ाकर बताते हैं, जिससे पता चलता है कि कई प्रशिक्षित घटक प्रस्तावित नल के तहत शोर से सांख्यिकीय रूप से अविभेद्य हैं।

लेखक स्पष्ट रूप से कहते हैं कि कैलिब्रेटेड प्रभावी रैंक इंजीनियरिंग मूल्यांकन के लिए एक इनपुट है, न कि कार्य मेट्रिक्स, विलंबता (latency), या मेमोरी माप का विकल्प। यह कार्य इस बात की व्याख्या करने का दावा नहीं करता है कि प्रशिक्षण गतिशीलता इन विशिष्ट रैंकों का परिणाम क्यों होती है, बल्कि यह उन्हें सटीक रूप से मापने के लिए सांख्यिकीय मशीनरी प्रदान करता है।

इसी तरह के और पेपर