💻 computer science

Sparse Autoencoders enable Robust and Interpretable Fine-tuning of CLIP models

यह शोध पत्र SAE-FT का प्रस्ताव करता है, जो CLIP मॉडलों के लिए एक गणनात्मक रूप से कुशल और व्याख्या योग्य फाइन-ट्यूनिंग विधि है जो विजुअल रिप्रेजेंटेशन परिवर्तनों को नियमित करने के लिए स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders) का उपयोग करती है, जिससे वितरण बदलावों (distribution shifts) के विरुद्ध मजबूती बनाए रखते हुए और कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को रोकते हुए डाउनस्ट्रीम प्रदर्शन में सुधार होता है।

मूल लेखक: Fabian Morelli, Arnas Uselis, Ankit Sonthalia, Seong Joon Oh

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fabian Morelli, Arnas Uselis, Ankit Sonthalia, Seong Joon Oh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: AI को "सिखाने" की समस्या

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान और विद्वान लाइब्रेरियन है (CLIP मॉडल) जिसने लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं। इस वजह से, वह केवल एक तस्वीर देखकर यह अंदाजा लगाने में माहिर है कि वह क्या है, भले ही उसने उस विशेष प्रकार की तस्वीर को पहले कभी न देखा हो। इसे "जीरो-शॉट" (zero-shot) प्रदर्शन कहा जाता है।

हालाँकि, यदि आप चाहते हैं कि यह लाइब्रेरियन एक विशेषज्ञ (specialist) बने (उदाहरण के लिए, एक डिलीवरी कंपनी के लिए विशिष्ट प्रकार के ट्रकों की पहचान करने के लिए), तो आप उन्हें "फाइन-ट्यून" (fine-tune) करने की कोशिश कर सकते हैं। आप उन्हें ट्रकों की हजारों तस्वीरें दिखाते हैं और कहते हैं, "यह एक फायर ट्रक है, यह एक पिकअप ट्रक है।"

समस्या: जब आप ऐसा करते हैं, तो लाइब्रेरियन अक्सर नए कार्य पर बहुत अधिक केंद्रित हो जाता है। वे वह सामान्य ज्ञान भूलने लगते हैं जो उन्होंने पहले सीखा था। वे यह पहचानना बंद कर सकते हैं कि एक फायर ट्रक भी एक "वाहन" (vehicle) है या उसमें "पहिए" (wheels) हैं, क्योंकि उनका दिमाग अब केवल "सीढ़ी" (ladder) और "लाल पेंट" (red paint) को खोजने के लिए फिर से तैयार (rewired) किया गया है। यदि आप उन्हें किसी अजीब सेटिंग (जैसे कि मूवी सेट) में फायर ट्रक की तस्वीर दिखाते हैं, तो वे भ्रमित हो सकते हैं क्योंकि उन्होंने दुनिया की अपनी सामान्य समझ खो दी है। इसे डिस्ट्रीब्यूशन शिफ्ट (distribution shift) कहा जाता है, और यह मॉडल को नाजुक (fragile) बनाता है।

पुराने समाधान: मिश्रण और मिलान

पिछले तरीकों ने इसे ठीक करने की कोशिश की:

वेट्स का मिश्रण (Mixing weights): "विशेषज्ञ" मस्तिष्क को "सामान्यज्ञ" (generalist) मस्तिष्क के साथ मिलाना (जैसे WiSE-FT)। यह मदद करता है, लेकिन यह थोड़ा एक मोटा औजार (blunt instrument) है।
टेक्स्ट ट्रिक्स (Text tricks): मॉडल को चीजें याद रखने के लिए मजबूर करने की कोशिश करना, जैसे टेक्स्ट प्रॉम्प्ट्स को बदलना या नकली डेटा जोड़ना। यह जटिल है और इसमें बहुत अधिक अतिरिक्त काम की आवश्यकता होती है।

नया समाधान: SAE-FT (द "डिक्शनरी" अप्रोच)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे SAE-FT कहा जाता है। लाइब्रेरियन को नया कार्य सिखाने के बजाय, वे उन्हें सीखने के दौरान उपयोग करने के लिए एक विशेष डिक्शनरी (शब्दकोश) देते हैं।

यह कैसे काम करता है, चरण-दर-चरण:

1. डिक्शनरी (स्पार्स ऑटोएनकोडर - Sparse Autoencoder)

लाइब्रेरियन को नया कार्य सिखाने से पहले, शोधकर्ता लाइब्रेरियन के वर्तमान मस्तिष्क का एक स्नैपशॉट लेते हैं। वे एक टूल का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (SAE) कहा जाता है, जो लाइब्रेरियन के जटिल विचारों को सरल, अलग-अलग अवधारणाओं (concepts) की एक सूची में तोड़ देता है।

उपमा (Analogy): कल्पना कीजिए कि लाइब्रेरियन का मस्तिष्क एक विशाल, अस्त-व्यस्त लाइब्रेरी है जहाँ किताबें एक के ऊपर एक रखी हुई हैं। SAE एक ऐसा लाइब्रेरियन है जो इन किताबों को एक व्यवस्थित, लेबल वाली कार्ड कैटलॉग में व्यवस्थित करता है। यह "सीढ़ी", "क्रोम बंपर", "लाल पेंट" या "सड़क" जैसी विशिष्ट "फीचर्स" (features) की पहचान करता है।

2. नियम पुस्तिका (प्रतिबंध - The Constraint)

अब, जब लाइब्रेरियन नया कार्य सीखना शुरू करता है (जैसे, फायर ट्रक और पिकअप ट्रक के बीच अंतर करना), तो शोधकर्ता उन्हें एक सख्त नियम देते हैं: "आप अपना विचार बदल सकते हैं, लेकिन आपको केवल अपनी डिक्शनरी में मौजूद अवधारणाओं (concepts) का ही उपयोग करने की अनुमति है। आप नए शब्द नहीं बना सकते, और न ही पुराने शब्दों को फेंक सकते हैं।"

यह क्या रोकता है: लाइब्रेरियन अचानक यह निर्णय नहीं ले सकता कि "फायर ट्रक" वास्तव में "फरिश्ते" (एक नया, अजीब विचार) हैं या यह भूल नहीं सकता कि उनमें "पहिए" होते हैं (एक पुराना विचार फेंक देना)।
यह क्या करने देता है: लाइब्रेरियन को मौजूदा अवधारणाओं को पुनः भारित (re-weight) करने की अनुमति है। वे कह सकते हैं, "ठीक है, इस विशिष्ट कार्य के लिए, 'सीढ़ी' की अवधारणा 'लाल पेंट' की तुलना में 10 गुना अधिक महत्वपूर्ण है।"

3. परिणाम: एक स्मार्ट विशेषज्ञ

चूंकि लाइब्रेरियन केवल मौजूदा अवधारणाओं के महत्व को पुनर्व्यवस्थित कर रहा है, न कि अपने पूरे मस्तिष्क को ओवरराइट कर रहा है, इसलिए:

वे मजबूत (Robust) रहते हैं: वे यह नहीं भूलते कि एक फायर ट्रक अभी भी एक वाहन है, इसलिए वे अजीब तस्वीरों (डिस्ट्रीब्यूशन शिफ्ट) को बहुत बेहतर तरीके से संभाल सकते हैं।
वे व्याख्या योग्य (Interpretable) रहते हैं: हम डिक्शनरी को देख सकते हैं और देख सकते हैं कि वास्तव में क्या बदला है। हम कह सकते हैं, "आह, मॉडल ट्रकों को पहचानने में बेहतर हो गया क्योंकि इसने तय किया कि उसे 'सीढ़ी' फीचर पर अधिक ध्यान देना चाहिए और 'लाल पेंट' फीचर पर कम ध्यान देना चाहिए।"

यह केवल "L2 रेगुलराइजेशन" से बेहतर क्यों है?

आप पूछ सकते हैं, "क्यों न बस लाइब्रेरियन को 'बहुत अधिक न बदलने' के लिए कहा जाए?" (यह वही है जो मानक गणितीय ट्रिक्स जैसे L2 रेगुलराइजेशन करते हैं)।

मानक रेगुलराइजेशन (L2): यह लाइब्रेरियन को यह बताने जैसा है कि, "अपने पैर 1 इंच से ज्यादा मत हिलाओ।" यह उन्हें दूर भागने से रोकता है, लेकिन इसकी परवाह नहीं करता कि वे क्या सोच रहे हैं। वे अभी भी गलत चीजें सोच सकते हैं, बस चुपचाप।
SAE-FT: यह यह कहने जैसा है कि, "अपने पैर मत हिलाओ, और साथ ही, आप केवल उसी शेल्फ की किताबों को पुनर्व्यवस्थित कर सकते हैं जिस पर आप खड़े हैं।" यह बदलावों को इस तरह से होने के लिए मजबूर करता है जो अर्थपूर्ण (semantically) रूप से समझ में आए।

निचोड़ (The Bottom Line)

यह पेपर दिखाता है कि AI को अपने मस्तिष्क को फिर से लिखने के बजाय अपने मौजूदा ज्ञान को पुनर्व्यवस्थित करके नए कार्य सीखने के लिए मजबूर करके, हमें एक ऐसा मॉडल मिलता है जो:

अन्य शीर्ष विधियों की तरह ही नए कार्य में अच्छा है।
अजीब या अप्रत्याशित स्थितियों (robustness) को संभालने में बहुत बेहतर है।
समझने में आसान है क्योंकि हम देख सकते हैं कि मॉडल ने किन "डिक्शनरी शब्दों" (फीचर्स) पर ध्यान केंद्रित करने का निर्णय लिया।

संक्षेप में, SAE-FT AI को विशेषज्ञ बनने के लिए प्रशिक्षित करता है बिना उसे एक सामान्यज्ञ (generalist) बनना भुलाए।

तकनीकी सारांश: स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders) CLIP मॉडल्स के सुदृढ़ और व्याख्या योग्य फाइन-ट्यूनिंग को सक्षम करते हैं

समस्या विवरण

CLIP जैसे बड़े पैमाने के प्री-ट्रेंड विजन-लैंग्वेज मॉडल्स, उल्लेखनीय ज़ीरो-शॉट प्रदर्शन और डिस्ट्रीब्यूशन शिफ्ट के प्रति सुदृढ़ता (robustness) प्रदर्शित करते हैं। हालाँकि, इन मॉडल्स को डाउनस्ट्रीम कार्यों पर इन-डिस्ट्रीब्यूशन (ID) प्रदर्शन सुधारने के लिए फाइन-ट्यून करने से अक्सर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सुदृढ़ता में गिरावट आती है। यह घटना, जिसे "रिप्रजेंटेशनल ड्रिफ्ट" (representational drift) या "फीचर सप्रेशन" (feature suppression) कहा जाता है, इसलिए होती है क्योंकि मानक फाइन-ट्यूनिंग प्री-ट्रेंड रिप्रजेंटेशन स्पेस को विकृत कर देती है, जिससे अर्थपूर्ण फीचर्स को कार्य-विशिष्ट शोर (noise) या मनमाने दिशाओं से बदल दिया जाता है।

मौजूदा सुदृढ़ फाइन-ट्यूनिंग विधियाँ इस समझौते (trade-off) को कम करने का प्रयास करती हैं लेकिन उन्हें महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

WiSE-FT: यह ज़ीरो-शॉट और फाइन-ट्यून्ड मॉडल्स के बीच वेट्स (weights) का औसत निकालता है। प्रभावी होने के बावजूद, यह अक्सर टेक्स्ट एनकोडर की अनदेखी करता है और सरल इंटरपोलेशन पर निर्भर करता है, जिससे इस बात पर सीमित नियंत्रण मिलता है कि किन फीचर्स को संरक्षित किया जाए।
टेक्स्ट-गाइडेड दृष्टिकोण (जैसे, FLYP, StarFT): ये विधियाँ विजन और टेक्स्ट दोनों एनकोडर्स को फाइन-ट्यून करती हैं या टेक्स्ट प्रॉम्प्ट्स में सिंथेटिक फीचर्स और बाहरी प्रायर (priors) इंजेक्ट करती हैं। ये दृष्टिकोण कम्प्यूटेशनल जटिलता पेश करते हैं और बाहरी डेटा इंजीनियरिंग पर निर्भर करते हैं, जिससे फाइन-ट्यूनिंग पाइपलाइन जटिल हो जाती है।

मुख्य चुनौती एक ऐसी सुदृढ़ फाइन-ट्यूनिंग प्राप्त करना है जो प्री-ट्रेंड मॉडल के व्याख्या योग्य फीचर स्पैन (interpretable feature span) के भीतर रहते हुए ID प्रदर्शन में सुधार करे, और साथ ही यह भी करे कि यह केवल विजुअल मोडैलिटी पर संचालित हो और यह स्पष्ट करे कि मॉडल कैसे अनुकूलित होता है।

कार्यप्रणाली: SAE-FT

लेखक SAE-FT (स्पार्स ऑटोएनकोडर फाइन-ट्यूनिंग) प्रस्तावित करते हैं, जो एक रेगुलराइजेशन फ्रेमवर्क है जो फाइन-ट्यूनिंग प्रक्रिया को प्री-ट्रेंड मॉडल के व्याख्या योग्य फीचर स्पैन के भीतर सीमित करता है। यह विधि लीनियर रिप्रजेंटेशन हाइपोथीसिस (Linear Representation Hypothesis) पर आधारित है, जो यह मानती है कि उच्च-स्तरीय अवधारणाएं (concepts) एक्टिवेशन स्पेस में लीनियर दिशाओं के रूप में एनकोड की जाती हैं।

मुख्य घटक

स्पार्स ऑटोएनकोडर (SAE) ट्रेनिंग:
- एक टॉप-k SAE को प्री-ट्रेंड ज़ीरो-शॉट CLIP मॉडल के फ्रोजन विजुअल रिप्रजेंटेशन्स ( $r_0$ ) पर अनसुपरवाइज्ड तरीके से प्रशिक्षित किया जाता है।
- SAE घने, पॉलीसेमेंटिक (polysemantic) रिप्रजेंटेशन्स को अर्थपूर्ण फीचर्स ( $s$ ) के एक स्पार्स, ओवरकंप्लीट बेसिस में विभाजित करता है।
- SAE वेट्स को ट्रेनिंग के बाद फ्रीज कर दिया जाता है और वे व्याख्या योग्य फीचर्स के एक फिक्स्ड डिक्शनरी के रूप में कार्य करते हैं।
रेगुलराइजेशन रणनीति:
विज़न एनकोडर ( $f_{ft}$ ) के फाइन-ट्यूनिंग के दौरान, मॉडल को यह सुनिश्चित करने के लिए बाधित किया जाता है कि रिप्रजेंटेशन्स ( $r_{ft}$ ) में बदलाव प्री-ट्रेंड SAE के सेमेंटिक स्पैन के भीतर रहे। कुल लॉस फंक्शन स्टैंडर्ड क्रॉस-एन्ट्रॉपी लॉस ( $L_{CE}$ ) के साथ दो विशिष्ट रेगुलराइजेशन टर्म्स को जोड़ता है:
- रेसिड्यूअल एलाइनमेंट पेनल्टी ( $L_{resid}$ ): यह सुनिश्चित करता है कि रिप्रजेंटेशन में परिवर्तन ( $\Delta r = r_{ft} - r_0$ ) को SAE डिकोडर द्वारा पुनर्गठित (reconstruct) किया जा सके। यह अपडेट को सीखे गए सेमेंटिक फीचर्स के लीनियर कॉम्बिनेशन के रूप में व्यक्त करने के लिए मजबूर करता है, जिससे मॉडल को डिक्शनरी के ऑर्थोगोनल (orthogonal) मनमानी दिशाओं में जाने से रोका जा सके।
  $L_{resid} := \|\Delta r - W_d(\Delta s)\|_2^2$
- फीचर प्रिजर्वेशन पेनल्टी ( $L_{add}$ ): यह स्पष्ट रूप से उन फीचर्स के एक्टिवेशन को दंडित करता है जो ज़ीरो-शॉट मॉडल में निष्क्रिय थे। यह नए, संभावित रूप से स्प्यूरियस (spurious) सेमेटिक कॉन्सेप्ट्स के "जुड़ने" को रोकता है।
  $L_{add} := \lambda_{add} \sum_{k=1}^{p} (1 - m_k)|s_{ft}^k|$
  जहाँ $m_k$ , ज़ीरो-शॉट मॉडल में सक्रिय फीचर्स के लिए एक इंडिकेटर है।
ट्रेनिंग और इन्फरेंस:
- फाइन-ट्यूनिंग के दौरान SAE को अपडेट नहीं किया जाता है और न ही इसे इन्फरेंस के दौरान उपयोग किया जाता है। यह केवल ट्रेनिंग लूप के दौरान एक ज्योमेट्रिक कंस्ट्रेंट के रूप में कार्य करता है।
- यह विधि विशेष रूप से विजन एनकोडर पर काम करती है और एक लीनियर-हेड क्रॉस-एन्ट्रॉपी सेटअप का उपयोग करती है, जिससे टेक्स्ट-साइड डेटा इंजीनियरिंग की जटिलता से बचा जा सकता है।

मुख्य योगदान

SAE-FT फ्रेमवर्क: एक नवीन फाइन-ट्यूनिंग रणनीति जो प्री-ट्रेंड बैकबोन के व्याख्या योग्य फीचर स्पैन में रिप्रजेंटेशन अपडेट को सीमित करती है। यह सुनिश्चित करती है कि अनुकूलन (adaptation) सामान्य ज्ञान को मिटाने के बजाय मौजूदा सेमेटिक कॉन्सेप्ट्स को री-वेट (re-weight) करके होता है, जिससे जनरल नॉलेज का कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) रुक जाता है।
प्रदर्शन और दक्षता: व्यापक प्रयोगों से पता चलता है कि SAE-FT, ImageNet और डिस्ट्रीब्यूशन शिफ्ट बेंचमार्क पर स्टेट-ऑफ-द-आर्ट (SOTA) सुदृढ़ता के बराबर या उससे बेहतर प्रदर्शन करता है। महत्वपूर्ण रूप से, यह बिना किसी टेक्स्ट-साइड ऑगमेंटेशन या बाहरी प्रायर के यह हासिल करता है, जो इसे टेक्स्ट-गाइडेड तरीकों की तुलना में कम्प्यूटेशनल रूप से कुशल और तैनात करने में आसान बनाता है।
मैकेनिस्टिक अंतर्दृष्टि: फ्रेमवर्क फीचर प्रिजर्वेशन का सूक्ष्म विश्लेषण प्रदान करता है। यह स्पष्ट रूप से प्रदर्शित करता है कि सुदृढ़ फाइन-ट्यूनिंग में पूरी तरह से नए रिप्रजेंटेशन सीखने के बजाय मौजूदा फीचर्स को री-वेट करना (जैसे, फायर ट्रक के लिए "सीढ़ी" और "लाल पेंट" को बढ़ाना) शामिल है, जो अनुकूलन प्रक्रिया का एक पारदर्शी दृश्य प्रदान करता है।

प्रयोगात्मक परिणाम

लेखकों ने कई बेंचमार्क्स पर OpenAI ViT-B/16 मॉडल पर SAE-FT का मूल्यांकन किया:

ImageNet और डिस्ट्रीब्यूशन शिफ्ट: SAE-FT ने 82.9% की ImageNet सटीकता प्राप्त की (SOTA के बराबर) और डिस्ट्रीब्यूशन शिफ्ट बेंचमार्क्स (ImageNet-R, A, S, V2) में उच्चतम औसत सटीकता (64.6%) प्राप्त की। इसने CAR-FT और WiSE-FT जैसे अन्य विजन-एनकोडर-ओनली तरीकों को पछाड़ दिया।
डाउनस्ट्रीम ट्रांसफर: बिना किसी और फाइन-ट्यूनिंग के CIFAR-10, CIFAR-100, Caltech-101 और STL-10 पर मूल्यांकन करने पर, SAE-FT ने उच्चतम औसत ट्रांसफर सटीकता (87.8%) प्राप्त की, जो दर्शाता है कि इसके रिप्रजेंटेशन्स विविध कार्यों के लिए प्रभावी ढंग से सामान्य होते हैं।
iWilds बेंचमार्क्स: वास्तविक दुनिया के OOD डेटासेट्स (iWildCam और FMoW) पर, SAE-FT ने सर्वश्रेष्ठ या निकटतम-सर्वश्रेष्ठ प्रदर्शन किया, विशेष रूप से वर्स्ट-ग्रुप एक्यूरेसी और OOD मैक्रो F1 स्कोर में, जिसने L2 रेगुलराइजेशन और अन्य सुदृढ़ फाइन-ट्यूनिंग विधियों को पीछे छोड़ दिया।
बेसलाइन्स के साथ तुलना: जबकि जेनेरिक रेगुलराइजेशन विधियों (L1, L2, PCA) ने भी ज्योमेट्रिक ड्रिफ्ट को सीमित करके सुदृढ़ता में सुधार किया, SAE-FT ने विशिष्ट फीचर परिवर्तनों पर बेहतर नियंत्रण प्रदान किया। इसने इन बेसलाइन्स की तुलना में थोड़ी अधिक औसत सटीकता प्राप्त की, लेकिन एक सीखे गए, सेमेटिक रूप से सार्थक फीचर बेसिस में कार्य करने का विशिष्ट लाभ भी दिया।

महत्व और दावे

पेपर का दावा है कि SAE-FT फाइन-ट्यूनिंग को सुदृढ़ और व्याख्या योग्य बनाने की दिशा में एक महत्वपूर्ण कदम है।

व्याख्यात्मकता (Interpretability): मानक नॉर्म रेगुलराइजेशन के विपरीत, जो सभी दिशाओं के साथ समान व्यवहार करता है, SAE-FT शोधकर्ताओं को सीधे यह विश्लेषण करने की अनुमति देता है कि किन सेमेटिक फीचर्स को संरक्षित, री-वेट या दबाया गया है। लेखक दिखाते हैं कि मॉडल (उदाहरण के लिए, पाइरेट शिप और स्कूनर के बीच अंतर करने के लिए) मूल फीचर शब्दावली को बनाए रखते हुए कार्य-प्रासंगिक फीचर्स को बढ़ाकर गलत वर्गीकरण को ठीक करता है।
दक्षता: केवल विजुअल मोडैलिटी पर काम करके और जटिल टेक्स्ट-साइड मैनिपुलेशन या बाहरी LLM डेटा से बचकर, SAE-FT सुदृढ़ फाइन-ट्यूनिंग के लिए एक सुव्यवस्थित पाइपलाइन प्रदान करता है।
सफलता का तंत्र: लेखक तर्क देते हैं कि SAE-FT की सफलता मौजूदा फीचर्स के एक अधिक स्पार्स, अधिक प्रासंगिक सबसेट पर ध्यान केंद्रित करने के लिए मॉडल को मजबूर करने की क्षमता से आती है। यह उन सामान्य फीचर्स के "विकलांग होने" को रोकता है जो आमतौर पर मानक फाइन-ट्यूनिंग के दौरान होता है, जिससे मॉडल के सामान्य ज्ञान को सुरक्षित रखते हुए कार्य-विशिष्ट अंतरों को तेज किया जा सकता है।

यह कार्य निष्कर्ष निकालता है कि व्याख्या योग्य रेगुलराइजेशन, प्री-ट्रेंड मॉडल्स के सीखे गए कॉन्सेप्ट्स को मिटाए बिना कुशल फाइन-ट्यूनिंग को सक्षम कर सकता है, जो जटिल, टेक्स्ट-डिपेंडेंट रोबस्ट फाइन-ट्यूनिंग रणनीतियों के लिए एक व्यवहार्य विकल्प प्रदान करता है।