🤖 machine learning

Bayesian Fine-tuning in Projected Subspaces

यह शोधपत्र पैरामीटर-कुशल बेयसियन फाइन-ट्यूनिंग के लिए एक नवीन ढांचे का प्रस्ताव करता है जो वेट स्पेस अनिश्चितता को बहुत कम-आयामी उप-स्थानों (subspaces) में प्रोजेक्ट करके प्रभावी अनिश्चितता परिमाणीकरण और बेहतर मॉडल अंशांकन (calibration) प्राप्त करता है, जिससे मौजूदा बेयसियन लोरा (LoRA) विधियों की उच्च पैरामीटर लागत और प्रशिक्षण अस्थिरता पर विजय प्राप्त होती है।

मूल लेखक: Viktar Dubovik, Patryk Marszałek, Jacek Tabor, Tomasz Kuśmierczyk

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Viktar Dubovik, Patryk Marszałek, Jacek Tabor, Tomasz Kuśmierczyk

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Bayesian Fine-tuning in Projected Subspaces" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।

बड़ी समस्या: "अति-आत्मविश्वासी" AI

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान विश्वकोश (एक Large Language Model) है जो लगभग सब कुछ जानता है। यह बहुत अच्छा है, लेकिन इसे अपडेट करना बहुत बड़ा और महंगा काम है।

इसे नई चीजें सिखाने के लिए, हम आमतौर पर LoRA (Low-Rank Adaptation) नामक विधि का उपयोग करते हैं। LoRA को विश्वकोश में एक छोटे, चिपचिपे नोट (sticky-note) की परत जोड़ने जैसा समझें। पूरे अध्याय को फिर से लिखने के बजाय, आप बस पन्नों पर कुछ नए नोट्स लिख देते हैं। यह सस्ता और तेज़ है।

हालाँकि, एक पेंच है: मानक LoRA एक ऐसे छात्र की तरह है जो नोट्स को तो पूरी तरह याद कर लेता है, लेकिन उसे यह पता नहीं होता कि वे कब गलत हो सकते हैं। वह अति-आत्मविश्वासी (overconfident) हो जाता है। यदि आप उससे ऐसा प्रश्न पूछते हैं जो उसे नहीं पता, तो वह 100% निश्चितता के साथ अनुमान लगाएगा, भले ही वह गलत हो। वास्तविक दुनिया में, हमें ज़रूरत है कि AI को पता हो कि वह कब अनिश्चित है (uncertainty quantification)।

इसे ठीक करने के लिए, वैज्ञानिकों ने Bayesian LoRA का प्रयास किया। यह छात्र को एक "कॉन्फिडेंस मीटर" देने जैसा है ताकि वह कह सके, "मुझे इस बात की 80% यकीन है।" लेकिन, एक नई समस्या है: इस कॉन्फिडेंस मीटर को बनाने के लिए, छात्र को अतिरिक्त डेटा का एक भारी बस्ता (backpack) साथ लेकर चलना पड़ता है। यह इस तरीके को फिर से धीमा और महंगा बना देता है, जिससे "सस्ते स्टिकी नोट्स" का उद्देश्य ही खत्म हो जाता है।

समाधान: "छोटा कमरा" रणनीति

लेखकों ने एक चतुर तरकीब सुझाई है। वे पूछते हैं: क्या हमें आत्मविश्वास मापने के लिए वास्तव में पूरे भारी बस्ते की आवश्यकता है? या क्या हम इसे एक छोटे, व्यवस्थित कमरे में कर सकते हैं?

वे एक नया ढांचा पेश करते हैं जहाँ वे केवल पूरे पुस्तक में नोट्स नहीं जोड़ते। इसके बजाय, वे:

समस्या को प्रोजेक्ट करते हैं: वे AI को अपडेट करने के विशाल और जटिल कार्य को एक बहुत ही छोटे, कम-आयामी (low-dimensional) "कमरे" (subspace) में सिकोड़ देते हैं।
दीवारों को स्थिर करते हैं: वे इस कमरे की दीवारें बनाने के लिए मूल विश्वकोश की संरचना का उपयोग करते हैं। ये दीवारें स्थिर हैं और हिलती नहीं हैं।
कमरे को सजाते हैं: वे केवल इस छोटे से कमरे के भीतर फर्नीचर (मुख्य पैरामीटर्स) को व्यवस्थित करना सीखते हैं।

उपमा (Analogy):
कल्पना कीजिए कि आप एक विशाल, अस्त-व्यस्त गोदाम (AI का दिमाग) के भीतर सामान को पुनर्व्यवस्थित करने की कोशिश कर रहे हैं।

Standard LoRA कुछ डिब्बों को इधर-उधर ले जाने के लिए एक टीम को काम पर रखने जैसा है। यह तेज़ है, लेकिन उन्हें नहीं पता कि डिब्बे नाजुक हैं या नहीं।
पुराना Bayesian LoRA हर एक डिब्बे के लिए एक पूरी टीम, ब्लूप्रिंट और सेंसर के साथ सुरक्षा निरीक्षकों को काम पर रखने जैसा है। यह सुरक्षित है, लेकिन यह बहुत महंगा और धीमा है।
इस पेपर का तरीका गोदाम के भीतर एक छोटा, विशेष "पुनर्व्यवस्था पॉड" (rearrangement pod) बनाने जैसा है। आप बाकी गोदाम को अपनी जगह पर लॉक कर देते हैं। आप केवल इस छोटे से पॉड के भीतर फर्नीचर को हिलाते हैं। क्योंकि यह पॉड बहुत छोटा और व्यवस्थित है, आप आसानी से माप सकते हैं कि फर्नीचर कितना डगमगा सकता है (अनिश्चितता), बिना निरीक्षकों की एक बड़ी टीम की आवश्यकता के।

उन्होंने "कमरा" कैसे बनाया (प्रोजेक्शंस)

पेपर में यह देखने के लिए कि कौन सा तरीका सबसे अच्छा काम करता है, उन्होंने इस छोटे कमरे की दीवारें बनाने के चार अलग-अलग तरीकों का परीक्षण किया:

SVD (द "प्रिंसिपल" विधि): वे मूल विश्वकोश को देखते हैं और सबसे महत्वपूर्ण दिशाओं (जैसे मुख्य गलियारे) को ढूंढते हैं और उन रेखाओं के साथ कमरा बनाते हैं। यह बहुत अच्छा काम करता है।
Whitened SVD (द "डेटा-अवेयर" विधि): वे उन विशिष्ट प्रश्नों को देखते हैं जिनका वे उत्तर देना चाहते हैं और उनके आधार पर कमरा बनाते हैं। यह एक विशिष्ट प्रकार के ग्राहक के लिए कमरे को कस्टमाइज़ करने जैसा है। यह अक्सर सबसे अच्छा काम करता है।
DCT (द "पैटर्न" विधि): वे कमरे को व्यवस्थित करने के लिए एक गणितीय पैटर्न (जैसे लहर) का उपयोग करते हैं। यह एक मानक ग्रिड का उपयोग करने जैसा है। यह ठीक-ठाक काम करता है लेकिन कस्टम तरीकों जितना अच्छा नहीं है।
Random Projections (द "शॉटगन" विधि): वे कमरे को बनाने के लिए बस रैंडम दिशाएं चुन लेते हैं। यह आमतौर पर विफल हो जाता है क्योंकि कमरा एक अजीब जगह पर बन जाता है जहाँ फर्नीचर फिट नहीं बैठता।

निष्कर्ष: "प्रिंसिपल" और "डेटा-अवेयर" विधियाँ (SVD वेरिएंट) विजेता हैं। वे एक ऐसा कमरा बनाते हैं जहाँ AI कुशलतापूर्वक सीख सकता है और साथ ही यह भी जान सकता है कि वह कब अनिश्चित है।

परिणाम: छोटा आकार, बड़ा आत्मविश्वास

लेखकों ने दो प्रकार के AI पर इसका परीक्षण किया: एक मध्यम आकार का (RoBERTa) और एक विशाल (LLaMA-7B)।

कैलिब्रेशन (Calibration): उनका तरीका AI को यह जानने में बहुत बेहतर बनाता है कि वह कब अनिश्चित है। यह गलत होने पर आत्मविश्वास के साथ अनुमान लगाना बंद कर देता है।
दक्षता (Efficiency): उन्होंने पिछले Bayesian तरीकों की तुलना में 5 से 15 गुना कम पैरामीटर्स (कम मेमोरी और स्टोरेज) का उपयोग करके उच्च स्तर की "कॉन्फिडेंस अवेयरनेस" हासिल की।
आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन (Out-of-Distribution Detection): जब AI से ऐसा प्रश्न पूछा जाता है जो उसने पहले कभी नहीं देखा (जैसे कोई ट्रिकी सवाल), तो यह तरीका मानक तरीकों की तुलना में बहुत बेहतर तरीके से कहता है, "मुझे नहीं पता," जबकि मानक तरीके बस आत्मविश्वास के साथ अनुमान लगाते रहते हैं।

मुख्य निष्कर्ष (The Takeaway)

यह पेपर साबित करता है कि AI को विनम्र और अपनी अनिश्चितता के प्रति जागरूक बनाने के लिए आपको एक विशाल, महंगे सिस्टम की आवश्यकता नहीं है। सीखने की प्रक्रिया को चतुराई से डिज़ाइन किए गए एक छोटे "सबस्पेस" (कम-आयामी कमरे) में सिकोड़कर, आप दोनों दुनिया का सर्वश्रेष्ठ प्राप्त कर सकते हैं: तेज़, सस्ता प्रशिक्षण और स्मार्ट, सतर्क निर्णय लेना।

उन्होंने दिखाया कि भले ही "रैंक" (एक छोटा कमरा) बहुत कम हो, फिर भी AI अपने ज्ञान के बीच के जटिल संबंधों को पकड़ सकता है, बशर्ते कमरा सही दिशा में बनाया गया हो।

तकनीकी सारांश: प्रक्षिप्त उपस्थानों में बेयसियन फाइन-ट्यूनिंग (Bayesian Fine-tuning in Projected Subspaces)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) और अन्य डीप न्यूरल नेटवर्क अक्सर फाइन-ट्यूनिंग के दौरान, विशेष रूप से सीमित डेटा पर, ओवरकॉन्फिडेंस (अति-आत्मविश्वास) और खराब कैलिब्रेशन से ग्रस्त होते हैं। जबकि लो-रैंक एडेप्टेशन (LoRA) वेट अपडेट को लो-रैंक मैट्रिसेस में विघटित करके पैरामीटर-कुशल फाइन-ट्यूनिंग के लिए एक समाधान प्रदान करता है, मानक LoRA में अनिश्चितता मात्रा निर्धारण (uncertainty quantification) के लिए तंत्रों का अभाव है।

बेयसियन वेरिएंट्स ऑफ लोरा (Bayesian LoRA) को पैरामीटर्स पर पोस्टीरियर डिस्ट्रीबशन सीखने के माध्यम से इस समस्या को हल करने के लिए प्रस्तावित किया गया है। हालांकि, ये विधियां एक महत्वपूर्ण ट्रेड-ऑफ का सामना करती हैं: पोस्टीरियर कोवेरियेंस मैट्रिक्स (जो एपिस्टेमिक अनिश्चितता के लिए आवश्यक है) को मॉडल करने के लिए उन पैरामीटर्स की संख्या की आवश्यकता होती है जो प्रशिक्षण योग्य भारों के साथ द्विघातीय (quadratically) रूप से स्केल करती है। यह भंडारण और कम्प्यूटेशनल लागत को काफी बढ़ा देता है, जिससे LoRA के दक्षता लाभ आंशिक रूप से समाप्त हो जाते हैं। इसके अलावा, इन उच्च-आयामी बेयसियन मॉडल्स को प्रशिक्षित करना अस्थिर और कन्वर्जेंस के लिए कठिन हो सकता है।

कार्यप्रणाली (Methodology)

लेखक एक नया फ्रेमवर्क प्रस्तावित करते हैं जो एक प्रक्षिप्त निम्न-आयामी उपस्थान (projected low-dimensional subspace) के भीतर पैरामीटर-कुशल फाइन-ट्यूनिंग और बेयसियन इन्फरेंस को जोड़ता है। मुख्य विचार बेयसियन पोस्टीरियर्स को पूर्ण पैरामीटर स्पेस के बजाय एक संकुचित मैनिफोल्ड (manifold) तक सीमित करना है।

1. प्रक्षिप्त उपस्थान पैरामीट्राइजेशन (Projected Subspace Parameterization)

पूर्ण लो-रैंक अपडेट $\Delta W = AB$ सीखने के बजाय (जैसा कि मानक LoRA में होता है जहाँ $A$ और $B$ दोनों प्रशिक्षण योग्य होते हैं), प्रस्तावित विधि बेसिस मैट्रिसेस $A$ और $B$ को फ्रीज कर देती है और केवल एक छोटा, वर्गाकार "कोर" मैट्रिक्स $R$ सीखती है। वेट अपडेट को इस प्रकार परिभाषित किया गया है:
$\Delta W = ARB$
यहाँ $A \in \mathbb{R}^{n \times r}$ और $B \in \mathbb{R}^{r \times m}$ प्री-कंप्यूटेड प्रोजेक्शन मैट्रिसेस हैं जो प्री-ट्रेन्ड वेट्स $W_0$ से प्राप्त किए गए हैं, और $R \in \mathbb{R}^{r \times r}$ एक सीखने योग्य पैरामीटर है। यह प्रशिक्षण योग्य पैरामीटर्स की संख्या को $r(n+m)$ से घटाकर $r^2$ कर देता है, जिससे एक अत्यधिक संकुचित पैरामीटर स्पेस बनता है।

2. प्रोजेक्शन रणनीतियाँ (Projection Strategies)

पेपर फ्रीज्ड प्रोजेक्शन मैट्रिसेस $A$ और $B$ की गणना के लिए चार अलग-अलग तरीकों का मूल्यांकन करता है:

ट्रंकेटेड SVD (Truncated SVD): मूल वेट मैट्रिक्स $W_0$ की प्रमुख दिशाओं के साथ प्रोजेक्शन को संरेखित करता है।
ट्रंकेटेड व्हाइटनड SVD (W-SVD): एक्टिवेशन एरर्स को कम करने के लिए इनपुट डेटा सांख्यिकी (कोवेरियेंस $\Sigma_{xx}$ ) को ध्यान में रखता है।
2D डिस्क्रीट कोसाइन ट्रांसफॉर्म (DCT): कोसाइन तरंगों के एक निश्चित, सार्वभौमिक बेसिस का उपयोग करता है, जिसके पहले वेट्स का एक नियतात्मक परम्यूटेशन किया जाता है ताकि स्थानिक सहसंबंध (spatial correlation) प्रेरित किया जा सके।
रैंडम प्रोजेक्शंस (Random Projections): Haar-वितरित गॉसियन ऑर्थोगोनल मैट्रिसेस का उपयोग करता है, जो वेट्स के बारे में कोई संरचनात्मक धारणा नहीं बनाता है।

3. उपस्थान में बेयसियन इन्फरेंस (Bayesian Inference in the Subspace)

फ्रेमवर्क पूर्ण वेट अपडेट के बजाय कोर मैट्रिसेस $R$ पर बेयसियन इन्फरेंस करता है। दो अनुमानित बेयसियन विधियों का उपयोग किया जाता है:

SWAG (Stochastic Weight Averaging-Gaussian): एक लो-रैंक प्लस डायगोनल कोवेरियेंस के साथ गॉसियन पोस्टीरियर बनाने के लिए स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) के प्रक्षेपवक्र (trajectory) का लाभ उठाता है।
लाप्लेस एप्रोक्सिमेशन (Laplace Approximation): एक मैक्सिमम ए पोस्टीरियर (MAP) समाधान के आसपास पोस्टीरियर का अनुमान लगाता है। लेखक हेसियन/फिशर इंफॉर्मेशन मैट्रिक्स के लिए डायगोनल (DIAG) और क्रोनेकर-फैक्टर्ड (KRON) दोनों प्रकार के अनुमानों को लागू करते हैं ताकि अभिव्यक्ति और मेमोरी दक्षता के बीच संतुलन बनाया जा सके।

महत्वपूर्ण बात यह है कि वेट अपडेट $\Delta W$ का पूर्ण कोवेरियेंस कभी भी भौतिक रूप (materialize) नहीं किया जाता है। इसके बजाय, कोवेरियेंस को प्रक्षिप्त उपस्थान के क्रोनेकर स्ट्रक्चर के माध्यम से स्पष्ट रूप से परिभाषित किया जाता है, जिससे कुशल सैंपलिंग और अनिश्चितता अनुमान संभव हो पाता है।

मुख्य योगदान (Key Contributions)

पैरामीटर-कुशल बेयसियन फ्रेमवर्क: यह पेपर एक ऐसी विधि पेश करता है जो LoRA के दक्षता लाभों से समझौता किए बिना, बहुत कम-आयामी पैरामीटर स्पेस ( $r^2$ पैरामीटर्स प्रति लेयर) में प्रभावी अनिश्चितता मात्रा निर्धारण प्राप्त करती है।
सामान्यीकृत प्रोजेक्शन रणनीतियाँ: पूर्ववर्ती कार्यों के विपरीत, जो मुख्य रूप से SVD पर निर्भर थे, यह कार्य SVD (W-SVD) और संरचना-अज्ञेय (DCT, Random) प्रोजेक्शन सहित एक सामान्यीकृत फ्रेमवर्क पेश करता है और उसका मूल्यांकन करता है।
लो-रैंक कोवेरियेंस का अनुभवजन्य सत्यापन: लेखक प्रदर्शित करते हैं कि प्रक्षिप्त उपस्थानों में वेट कोवेरियेंस लो-रैंक गुण प्रदर्शित करते हैं, जिसका अर्थ है कि अनिश्चितता को प्रभावी ढंग से मॉडल करने के लिए बहुत कम-रैंक कोवेरियेंस अनुमान (जैसे $k=2$ ) भी पर्याप्त हैं।
स्केलेबिलिटी: दृष्टिकोण को RoBERTa-large और LLaMA2-7B पर मान्य किया गया है, जो दिखाता है कि यह कम्प्यूटेशनल व्यवहार्यता बनाए रखते हुए बड़े मॉडल्स तक स्केल करता है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग RoBERTa-large का उपयोग करके GLUE कार्यों (RTE, MRPL, CoLA, SST-2) पर और LLaMA2-7B का उपयोग करके कॉमनसेन्स रीजनिंग कार्यों (OBQA, ARC-E, ARC-C) पर किए गए।

कैलिब्रेशन और अनिश्चितता: प्रस्तावित विधियाँ (B-LoRA-XS और L-LoRA-XS) एक्सपेक्टेड कैलिब्रेशन एरर (ECE) और नेगेटिव लॉग-लाइक्लीहुड (NLL) में मानक LoRA और LoRA-XS की तुलना में लगातार बेहतर प्रदर्शन करती हैं। वे पूर्ण बेयसियन LoRA बेसलाइन्स (जैसे LoRA-SWAG) के बराबर या उससे बेहतर कैलिब्रेशन प्राप्त करती हैं, जबकि 5 से 15 गुना कम पैरामीटर्स का उपयोग करती हैं।
प्रोजेक्शन प्रदर्शन: व्हाइटनड SVD (W-SVD) और मानक SVD प्रोजेक्शन लगातार सर्वश्रेष्ठ प्रदर्शन करते हैं। डेटा-अज्ञेय विधियाँ जैसे रैंडम प्रोजेक्शन और DCT काफी खराब प्रदर्शन करते हैं, विशेष रूप से कम रैंक पर, जो वेट स्ट्रक्चर के साथ उपस्थान को संरेखित करने के महत्व को उजागर करता है।
कोवेरियेंस रैंक: मॉडल बहुत कम-रैंक कोवेरियेंस अनुमानों के साथ भी मजबूत रहे। उदाहरण के लिए, B-LoRA-XS ने $k=2$ या $k=5$ जैसे बहुत कम कोवेरियेंस रैंक पर भी इष्टतम कैलिब्रेशन प्राप्त किया, जबकि मानक बेयसियन LoRA विधियाँ रैंक घटने पर काफी खराब प्रदर्शन करती हैं।
OOD डिटेक्शन: बेयसियन वेरिएंट्स ने डिटर्मिनिस्टिक बेसलाइन्स की तुलना में इन-डिस्ट्रीब्यूशन (ID) से आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डेटा को अलग करने में बेहतर क्षमता प्रदर्शित की, जिसमें प्रस्तावित उपस्थान विधियों ने प्रेडिक्टिव एंट्रॉपी में मजबूत अलगाव दिखाया।
LLaMA2-7B परिणाम: बड़े मॉडल पर, संकुचित वेरिएंट (जैसे $r=64$ के साथ L-LoRA-XS) ने Laplace-LoRA बेसलाइन द्वारा आवश्यक पैरामीटर बजट के एक-तिहाई से भी कम का उपयोग करते हुए महत्वपूर्ण कैलिब्रेशन सुधार प्राप्त किए, साथ ही प्रतिस्पर्धी सटीकता भी बनाए रखी।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि प्रभावी अनिश्चितता मात्रा निर्धारण के लिए उच्च-आयामी पैरामीटर स्पेस की आवश्यकता नहीं होती है। एक सावधानीपूर्वक चुने गए निम्न-आयामी मैनिफोल्ड पर वेट अपडेट को प्रोजेक्ट करके, लेखक प्रदर्शित करते हैं कि:

अनिश्चितता को कुशलतापूर्वक मॉडल किया जा सकता है: वेट्स के बीच सहसंबंधों को निम्न-आयामी उपस्थानों में प्रभावी ढंग से कैप्चर किया जा सकता है, जिससे लो-रैंक कोवेरियेंस मैट्रिसेस का उपयोग करना संभव होता है जो मेमोरी और कंप्यूट लागत को नाटकीय रूप से कम कर देते हैं।
स्थिरता में सुधार होता है: कम पैरामीटर स्पेस में काम करने से अनुकूलन (optimization) स्थिर होता है, जिससे सीमित कम्प्यूटेशनल बजट के तहत बेहतर कन्वर्जेंस और कैलिब्रेशन मिलता है।
सिनर्जिस्टिक ट्रेड-ऑफ: यह विधि एक सिनर्जिस्टिक ट्रेड-ऑफ प्रदान करती है जहाँ प्रेडिक्टिव प्रदर्शन को बनाए रखा या सुधारा जाता है, और कैलिब्रेशन को काफी बढ़ाया जाता है, जबकि मौजूदा बेयसियन LoRA विधियों की तुलना में बहुत कम पैरामीटर्स का उपयोग किया जाता है।

लेखक निष्कर्ष निकालते हैं कि उनका फ्रेमवर्क संकुचित उपस्थानों में बेयियन इन्फरेंस लागू करने में एक वैचारिक नवाचार है, जो संसाधन-बाधित सेटिंग्स में बड़े मॉडल्स के अनिश्चितता-जागरूक फाइन-ट्यूनिंग के लिए एक व्यावहारिक समाधान प्रदान करता है।