🤖 machine learning

Feature Geometry of LoRA Adapters: A Sparse Autoencoder Analysis of Representational Divergence in Fine-Tuned Language Models

यह शोध पत्र स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders) का उपयोग यह प्रदर्शित करने के लिए करता है कि लो-रैंक एडेप्टेशन (LoRA) फाइन-ट्यूनिंग भाषा मॉडलों के भीतर विशिष्ट प्रतिनिधित्व संरचनाओं को प्रेरित करती है जो प्रीट्रेंड फीचर डिक्शनरीज़ के साथ ज्यामितीय रूप से मिसअलाइन्ड हैं, जो यह सुझाव देता है कि एडॉप्टर-विशिष्ट अपडेट रेसिडुअल स्ट्रीम में आंशिक रूप से अद्वितीय स्थानों पर कब्जा करते हैं।

मूल लेखक: Prasanth K K

प्रकाशित 2026-05-29✓ Author reviewed ⓘ

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Prasanth K K

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: एक पुराने घर में एक नया कमरा

कल्पना कीजिए कि एक विशाल, अत्यधिक बुद्धिमान पुस्तकालय (Base Model) है जो पहले से ही लिखना, कोडिंग करना और तर्क करना जानता है। इस पुस्तकालय के पास अपनी किताबों और विचारों को व्यवस्थित करने का एक विशिष्ट तरीका है, जिसे शोधकर्ता उसकी "आंतरिक ज्यामिति" (internal geometry) कहते हैं।

अब, कल्पना कीजिए कि आप इस पुस्तकालय को एक नया कौशल सिखाना चाहते हैं, जैसे कि एक विशिष्ट शैली में लिखना या नए सुरक्षा नियमों का पालन करना। पूरे पुस्तकालय को फिर से बनाने के बजाय, आप इसमें एक छोटा, अस्थायी अनुलग्नक (annex) जोड़ देते हैं। यह एक हल्का "अडैप्टर" (LoRA) है जो मूल पुस्तकालय के ऊपर बैठता है ताकि मूल पुस्तकों को बदले बिना इसके व्यवहार को थोड़ा बदला जा सके।

समस्या: हम जानते हैं कि यह अनुलग्नक पुस्तकालय के कहने के तरीके को बदल देता है, लेकिन हमें वास्तव में यह नहीं पता कि यह पुस्तकालय की आंतरिक सोच को कैसे बदलता है। क्या यह अनुलग्नक केवल मौजूदा किताबों को पुनर्व्यवस्थित करता है, या यह एक पूरी तरह से नया, अदृश्य विंग (wing) बनाता है जिसे मूल पुस्तकालय के मानचित्र पर नहीं दिखाया गया है?

प्रयोग: द "डेल्टा" डिटेक्टिव (The "Delta" Detective)

शोधकर्ता यह देखना चाहते थे कि यह अनुलग्नक (LoRA एडैप्टर) पुस्तकालय के मस्तिष्क के भीतर वास्तव में क्या कर रहा है।

"पहले और बाद की" फोटो: उन्होंने अनुलग्नक जोड़ने से पहले पुस्तकालय के विचारों की एक तस्वीर ली ( $h_{base}$ ) और जोड़ने के बाद एक दूसरी तस्वीर ली ( $h_{adapted}$ )।
"अंतर" ( $h_\Delta$ ): उन्होंने "बाद" की फोटो में से "पहले" की फोटो को घटा दिया। परिणाम, जिसे डेल्टा (Delta) कहा जाता है, एडैप्टर की शुद्ध "आत्मा" (ghost) है। यह केवल वही दिखाता है जो नए अनलग्नक ने जोड़ा है, और मूल पुस्तकालय जो पहले से जानता था उसे हटा देता है।
अनुवादक (Sparse Autoencoder): इस "आत्मा" को समझने के लिए, उन्होंने एक विशेष उपकरण का उपयोग किया जिसे स्पार्स ऑटोएनकोडर (SAE) कहा जाता है। SAE को एक अनुवादक के रूप में सोचें जो जटिल विचारों को सरल, स्पष्ट अवधारणाओं (जैसे "खुशी", "गणित", या "खतरा") के एक विशिष्ट शब्दकोश का उपयोग करके वर्णित करने का प्रयास करता है।

खोज: दो अलग-अलग भाषाएँ

शोधकर्ताओं ने अपने अनुवादक को दो अलग-अलग चीजों पर प्रशिक्षित किया:

शब्दकोश A: मूल पुस्तकालय की मौजूदा अवधारणाएं (Pre-trained SAE)।
शब्दकोश B: अनलग्नक की "आत्मा" (Delta SAE) पर विशेष रूप से प्रशिक्षित एक नया शब्दकोष।

यहाँ उन्हें क्या मिला:

1. पुराना शब्दकोश अनुवादक के लिए विफल रहा

जब उन्होंने मूल पुस्तकालय के शब्दकोश का उपयोग करके अनलग्नक के विचारों का वर्णन करने की कोशिश की, तो अनुवादक बुरी तरह विफल रहा।

उपमा: कल्पना कीजिए कि आप सेब और संतरे के शब्दों का उपयोग करके एक नए प्रकार के एलियन फल का वर्णन करने की कोशिश कर रहे हैं। आप ऐसा नहीं कर सकते। "त्रुटि" इतनी अधिक थी कि अनुवादक उस फल के आकार को भी पकड़ नहीं सका।
परिणाम: मूल शब्दकोश उन नई विशेषताओं के प्रति अंधा था जिन्हें एडैप्टर ने बनाया था।

2. नया शब्दकोष पूरी तरह से काम कर गया

जब उन्होंने नए शब्दकोष (जो विशेष रूप से अनलग्नक पर प्रशिक्षित था) का उपयोग किया, तो उसने विचारों का सटीक वर्णन किया।

उपमा: उन्होंने महसूस किया कि अनलग्नक एक थोड़ी अलग बोली बोल रहा है। एक बार जब वे उस विशिष्ट बोली को सीख गए, तो सब कुछ समझ में आ गया।
परिणाम: एडैप्टर अपना स्वयं का अनूठा "फीचर स्पेस" (feature space) बनाता है जो मूल मॉडल से ज्यामितीय रूप से भिन्न है।

3. "आत्मा" एक अलग कमरे में रहती है

शोधकर्ताओं ने मूल पुस्तकालय के विचारों और एडैप्टर के विचारों के बीच के कोण को मापा।

उपमा: यदि मूल पुस्तकालय के विचार उत्तर दिशा की ओर इशारा कर रहे थे, तो एडैप्टर के विचार लगभग सीधे पश्चिम की ओर (लगभग 74 डिग्री अलग) इशारा कर रहे थे। वे केवल थोड़े अलग नहीं हैं; वे पूरी तरह से एक अलग दिशा में काम कर रहे हैं।
परिणाम: एडैप्टर चाहे कितना भी बड़ा या छोटा हो (रैंक या आकार बदलकर), वह हमेशा यह अलग, विशिष्ट कमरा बनाता है।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर सुरक्षा के संबंध में एक विशिष्ट "निगरानी अंतराल" (monitoring gap) को उजागर करता है:

अंधा बिंदु (The Blind Spot): यदि आप मूल पुस्तकालय (बेस मॉडल) पर एक सुरक्षा फ़िल्टर प्रशिक्षित करते हैं और फिर एक सुरक्षा एडैप्टर (LoRA) संलग्न करते हैं, तो सुरक्षा उपकरण गलत मानचित्र देख रहे हो सकते हैं। वे मूल पुस्तकालय के "उत्तर" की जांच कर रहे हैं, जबकि एडैप्टर "पश्चिम" में काम कर रहा है।
जोखिम: क्योंकि एडैप्टर के आंतरिक परिवर्तन मूल मॉडल से इतने अलग हैं, मानक सुरक्षा जांच उन खतरनाक व्यवहारों को मिस कर सकती है जो एडैप्टर पेश करता है। एडैप्टर प्रभावी रूप से उस कमरे में छिप रहा है जिसे सुरक्षा निरीक्षक देख नहीं सकते।

मुख्य निष्कर्षों का सारांश

LoRA केवल एक मामूली बदलाव नहीं है; यह एक नई संरचना है। यह ऐसी विशेषताएं बनाता है जिन्हें मूल मॉडल का शब्दकोश नहीं देख सकता।
आकार दिशा को नहीं बदलता। चाहे एडैप्टर छोटा हो या बड़ा, यह हमेशा यह अलग, विशिष्ट "कमरा" बनाता है।
हमें नए मानचित्रों की आवश्यकता है। इन अनुकूलित मॉडलों को समझने या ऑडिट करने के लिए, हम केवल मूल मॉडल के लिए बनाए गए उपकरणों का उपयोग नहीं कर सकते। हमें नए उपकरण (जैसे "डेल्टा SAE") बनाने की आवश्यकता है जो विशेष रूप से उस चीज़ को देखें जो एडैप्टर जोड़ता है।

संक्षेप में: एडैप्टर केवल मूल घर में फर्नीचर को पुनर्व्यवस्थित नहीं करता है; यह एक नया, अदृश्य विंग बनाता है जिसे समझने के लिए अपने स्वयं के अद्वितीय ब्लूप्रिंट की आवश्यकता होती है।

तकनीकी सारांश: LoRA एडेप्टर की फीचर ज्योमेट्री (Feature Geometry)

समस्या विवरण (Problem Statement)

यद्यपि लो-रैंक अडैप्टेशन (LoRA) लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने के लिए प्रमुख विधि है, लेकिन इसके द्वारा प्रेरित आंतरिक प्रतिनिधित्व परिवर्तन (internal representational changes) अभी भी अपर्याप्त रूप से समझे गए हैं। मौजूदा मैकेनिस्टिक इंटरप्रिटेबिलिटी टूल्स, विशेष रूप से स्पार्स ऑटोएनकोडर्स (SAEs), बेस मॉडल्स और RLHF-ट्यून्ड वेरिएंट्स पर सफलतापूर्वक लागू किए गए हैं ताकि रेसिडुअल स्ट्रीम एक्टिवेशन्स को स्पार्स, मोनोसेमेंटिक फीचर्स में विघटित किया जा सके। हालाँकि, ये टूल्स आमतौर पर पूर्ण एडेप्टेड मॉडल आउटपुट पर लागू किए जाते हैं, जो बेस मॉडल के रिप्रेजेंटेशन को एडेप्टर-विशिष्ट योगदानों के साथ मिला देते हैं।

यह सूक्ष्मता की कमी एक महत्वपूर्ण अंतराल पैदा करती है: यदि LoRA एडेप्टर्स उन रिप्रेसेंटेशनल सबस्पेस में कार्य करते हैं जिन्हें बेस-मॉडल इंटरप्रिटेबिलिटी टूल्स "देख" नहीं सकते, तो फाइन-ट्यून्ड मॉडल्स के सुरक्षा ऑडिट और एलाइनमेंट विश्लेषण व्यवस्थित रूप से अपूर्ण हो सकते हैं। इसके अलावा, मैकेनिस्टिक कारणों का अन्वेषण अभी भी शेष है कि क्यों सुरक्षा फाइन-ट्यूनिंग को बाद के अडैप्टेशन द्वारा आसानी से अनडू (undo) किया जा सकता है।

कार्यप्रणाली (Methodology): डेल्टा SAE फ्रेमवर्क (The Delta SAE Framework)

LoRA एडेप्टर्स के विशिष्ट योगदान को अलग करने के लिए, लेखक एक डेल्टा एक्टिवेशन फ्रेमवर्क पेश करते हैं। पूर्ण एडेप्टेड एक्टिवेशन ( $h_{adapted}$ ) का विश्लेषण करने के बजाय, अध्ययन एक्टिवेशन डेल्टा पर ध्यान केंद्रित करता है:
$h_\Delta = h_{adapted} - h_{base} = \frac{\alpha}{\sqrt{r}} BAx$
यह डेल्टा एडेप्टर का सटीक, मैकेनिस्टिक रूप से स्वच्छ योगदान है, जो बेस मॉडल के सिग्नल से मुक्त है।

एक्सपेरिमेंटल पाइपलाइन में शामिल है:

मॉडल सेटअप: बेस मॉडल के रूप में Gemma-2-9B का उपयोग। चार LoRA एडेप्टर्स को Alpaca डेटासेट (10,000 सैंपल) पर रैंक $r \in \{4, 8, 16, 32\}$ के साथ प्रशिक्षित किया गया, जिसमें रैंक को एकमात्र वेरिएबल के रूप में आइसोलेट करने के लिए अन्य सभी हाइपरपैरामीटर्स को स्थिर रखा गया।
डेल्टा एक्सट्रैक्शन: फॉरवर्ड हुक्स ने बेस और एडेप्टेड दोनों मॉडल्स के लिए छह लक्षित परतों (लेयर 5, 10, 18, 22, 32, 38) पर रेसिडुअल स्ट्रीम एक्टिवेशन्स को कैप्चर किया ताकि $h_\Delta$ की गणना की जा सके।
डेल्टा SAE ट्रेनिंग: प्रत्येक (रैंक, लेयर) पेयर के लिए केवल नॉर्मलाइज्ड $h_\Delta$ वेक्टर्स पर समर्पित SAEs को प्रशिक्षित किया गया। इनकी तुलना प्री-ट्रेन्ड Gemma Scope SAEs (जो बेस मॉडल के रेसिडुअल स्ट्रीम पर प्रशिक्षित थे) से की गई।
जियोमेट्रिक एनालिसिस: एडेप्टर-प्रेरित फीचर्स और बेस मॉडल फीचर्स के बीच एलाइनमेंट का मूल्यांकन करने के लिए तीन पूरक मापों का उपयोग किया गया:
- कोसाइन सिमिलैरिटी (Cosine Similarity): डेल्टा SAE डिकोडर दिशाओं और Gemma Scope फीचर दिशाओं के बीच अधिकतम समानता।
- प्रिंसिपल एंगल एनालिसिस (Principal Angle Analysis): डेल्टा SAE और Gemma Scope डिकोडर मैट्रिसेस के टॉप-256 डायमेंशनल सबस्पेस के बीच के कोण।
- सेंटर्ड कर्नल एलाइनमेंट (CKA): $h_{base}$ और $h_\Delta$ एक्टिवेशन सेट्स के बीच रिप्रेसेंटेशनल सिमिलैरिटी को मापना।

मुख्य परिणाम (Key Results)

1. बेस SAEs द्वारा एडेप्टर सिग्नल्स को पुनर्गठित करने में विफलता

जब Gemma Scope (बेस मॉडल) SAEs का उपयोग $h_\Delta$ को पुनर्गठित करने के लिए किया गया, तो रिलेटिव रिकंस्ट्रक्शन एरर सभी लेयर्स और रेंक्स में 1.0 से अधिक था। यह इंगित करता है कि बेस डिक्शनरी का एप्रोक्सिमेशन एरर एडेप्टर के सिग्नल मैग्नीट्यूड से बड़ा है। यह त्रुटि शुरुआती परतों (लेयर 5, $\epsilon \approx 2.3$ ) में सबसे गंभीर थी और गहराई के साथ थोड़ा सुधरा, लेकिन फिर भी उच्च बनी रही।

2. एडेप्टर-विशिष्ट SAEs की श्रेष्ठता

विशेष रूप से $h_\Delta$ पर प्रशिक्षित SAEs ने होल्ड-आउट डेटा पर बेस SAEs की तुलना में काफी बेहतर प्रदर्शन किया। रिकंस्ट्रक्शन में सुधार 46.3% से 86.2% तक रहा, जो यह दर्शाता है कि LoRA एडेप्टर्स वास्तविक, सामान्यीकरण योग्य संरचनाएं सीखते हैं जो बेस मॉडल के फीचर डिक्शनरी द्वारा कैप्चर नहीं की जाती हैं।

3. जियोमेट्रिक डाइवर्जेंस (Geometric Divergence)

तीन स्वतंत्र विश्लेषणों ने पुष्टि की कि LoRA फीचर्स एक ज्यामितीय रूप से भिन्न सबस्पेस में स्थित हैं:

कोसाइन सिमिलैरिटी: डेल्टा फीचर्स और बेस फीचर्स के बीच औसत अधिकतम कोसाइन सिमिलैरिटी ~0.071 थी, जो 3,584 डायमेंशन्स में रैंडम वेक्टर्स के अपेक्षित मान (~0) से थोड़ा ही अधिक है। केवल 0.01–0.02% डेल्टा फीचर्स ने बेस फीचर्स के साथ मजबूत एलाइनमेंट (>0.7) दिखाया।
प्रिंसिपल एंगल्स: सबस्पेस के बीच औसत प्रिंसिपल एंगल ~74° था, जिसमें 0% दिशाओं ने एलाइनमेंट (<20°) दिखाया। लगभग 66% सबस्पेस नियर-ऑर्थोगोनल (>70°) था।
CKA: $h_{base}$ और $h_\Delta$ के बीच CKA लेयर 18 (सेमेंटिक प्रोसेसिंग लेयर) पर सबसे कम था, जो ~0.05–0.08 तक गिर गया, जो अधिकतम रिप्रेसेंटेशनल डाइवर्जेंस को दर्शाता है जहाँ सेमेंटिक प्रोसेसिंग केंद्रित होती है।

4. रैंक और डेप्थ प्रभाव

फीचर डेंसिटी: टोकन प्रति सक्रिय फीचर्स की संख्या लेयर डेप्थ और LoRA रैंक दोनों के साथ मोनोटोनिक रूप से बढ़ी। उदाहरण के लिए, लेयर 38 पर, रैंक 4 ने ~30 फीचर्स/टोकन सक्रिय किए, जबकि रैंक 32 ने ~41 सक्रिय किए।
जियोमेट्रिक स्टेबिलिटी: डेंसिटी और कैपेसिटी में बदलाव के बावजूद, मौलिक जियोमेट्रिक नवीनता (प्रिंसिपल एंगल्स और कोसाइन सिमिलैरिटी द्वारा मापी गई) रैंक-इनवेरिएंट (rank-invariant) रही। सभी रेंक्स ने ऐसे रिप्रेजेंटेशन उत्पन्न किए जो बेस मॉडल से ज्यामितीय रूप से अलग थे।
वीकली अलाइन्ड फीचर्स (Weakly Aligned Features): $h_\Delta$ द्वारा सक्रिय किए गए 93% से अधिक फीचर्स "वीकली अलाइन्ड" थे (जो केवल डेल्टा पर सक्रिय थे, बेस पर नहीं), एक ऐसा हिस्सा जो सभी रेंक्स और लेयर्स में सुसंगत रहा।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह LoRA फीचर ज्योमेट्री का पहला व्यवस्थित मैकेनिस्टिक विश्लेषण प्रदान करता है। प्राथमिक योगदान एक "मॉनिटरिंग गैप" की पहचान करना है: बेस मॉडल एक्टिवेशन्स पर प्रशिक्षित इंटरप्रिटेबिलिटी टूल्स व्यवस्थित रूप से LoRA एडेप्टर्स के रिप्रेसेंटेशनल योगदान को देखने में अंधे होते हैं।

लेखकों का तर्क है कि:

सुरक्षा ऑडिट अधूरे हैं: यदि कोई संगठन एक सुरक्षा-फाइन-ट्यून्ड LoRA मॉडल तैनात करता है, तो मानक SAE-आधारित ऑडिट एडेप्टर-एन्कोडेड रिप्रेजेंटेशन का पता लगाने में विफल हो सकते हैं क्योंकि बेस डिक्शनरी डेल्टा सिग्नल को पुनर्गठित नहीं कर सकती है।
नाजुकता (Fragility) के लिए मैकेनिस्टिक स्पष्टीकरण: जियोमेट्रिक सेपरेशन यह समझाने के लिए एक मैकेनिस्टिक आधार प्रदान करता है कि क्यों सुरक्षा फाइन-ट्यूनिंग को आसानी से अनडू किया जा सकता है; बाद का फाइन-ट्यूनिंग मॉडल को बस एक अलग सबस्पेस में शिफ्ट कर सकता है जहाँ मूल सुरक्षा प्रतिबंध (जो बेस ज्योमेट्री में एनकोड किए गए हैं) प्रभावी ढंग से निगरानी नहीं कर पाते हैं।
मेथोडोलॉजिकल समाधान: डेल्टा SAE फ्रेमवर्क को फाइन-ट्यून्ड मॉडल्स के फीचर-लेवल ऑडिटिंग के लिए एक आवश्यक टूल के रूप में प्रस्तावित किया गया है, जो एडेप्टर-विशिष्ट योगदानों को आइसोलेट और एनालाइज करने में सक्षम बनाता है।

अध्ययन निष्कर्ष निकालता है कि जबकि LoRA एडेप्टर्स उच्च रैंक के साथ रिप्रेसेंटेशनल कैपेसिटी (डेंसिटी) बढ़ाते हैं, वे मौलिक रूप से एक अलग जियोमेट्रिक सबस्पेस में कार्य करते हैं, जिसके लिए फाइन-ट्यून्ड मॉडल्स के लिए नए इंटरप्रिटेबिलिटी दृष्टिकोणों की आवश्यकता होती है।