🤖 machine learning

Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing

यह शोध पत्र प्रीट्रेनिंग और लीनियर प्रोबिंग का एक विश्लेषणात्मक उच्च-आयामी मॉडल प्रस्तुत करता है जो इष्टतम प्रतिनिधित्व आकार (representation sizes) की पहचान करने के लिए सटीक सामान्यीकरण त्रुटि व्यंजक (generalization error expressions) व्युत्पन्न करता है, जिससे यह पता चलता है कि जब प्रीट्रेनिंग डेटा प्रचुर मात्रा में हो लेकिन डाउनस्ट्रीम डेटा कम हो तो अधिकतम संकुचित प्रतिनिधित्व सबसे अच्छे होते हैं, जबकि सीमित प्रीट्रेनिंग डेटा के साथ उच्च-आयामी प्रतिनिधित्व बेहतर प्रदर्शन करते हैं।

मूल लेखक: Valentina Njaradi, Clémentine Dominé, Rachel Swanson, Marco Mondelli, Andrew Saxe

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Valentina Njaradi, Clémentine Dominé, Rachel Swanson, Marco Mondelli, Andrew Saxe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नया कौशल सीख रहे हैं, जैसे पियानो पर एक विशिष्ट गीत बजाना। आपके पास दो प्रकार के संसाधन हैं:

शीट संगीत का एक विशाल पुस्तकालय (अनलेबल डेटा): जिसे आप संगीत सामान्य रूप से कैसे काम करता है यह समझने के लिए पढ़ सकते हैं, लेकिन आपको अभी यह नहीं पता कि आपके विशिष्ट गीत में कौन से स्वर (notes) शामिल हैं।
कुछ अभ्यास सत्र (लेबल वाला डेटा): जहाँ एक शिक्षक आपको बताता है कि आपके गीत के लिए कौन से स्वर बजाने हैं।

यह शोध पत्र एक आधुनिक रणनीति की खोज करता है जिसका उपयोग कंप्यूटर और, संभावित रूप से, मस्तिष्क दोनों द्वारा किया जाता है: प्रीट्रेनिंग के बाद फाइन-ट्यूनिंग (Pretraining followed by Fine-tuning)। पहले, आप संगीत की सामान्य समझ बनाने के लिए पुस्तकालय का अध्ययन करते हैं (प्रीट्रेनिंग)। फिर, आप उस समझ का उपयोग अपने विशिष्ट गीत को बहुत कम अभ्यास सत्रों के साथ जल्दी सीखने के लिए करते हैं (फाइन-ट्यूनिंग)।

बड़ा सवाल जो लेखक पूछते हैं वह यह है: आपको अपने दिमाग में उस सामान्य पुस्तकालय का वास्तव में कितना हिस्सा रखना चाहिए?

क्या आपको पुस्तकालय से हर एक स्वर और नियम को याद रखने की कोशिश करनी चाहिए (एक विशाल, जटिल स्मृति)? या क्या आपको इसे केवल सबसे आवश्यक कॉर्ड्स और रिदम तक सीमित कर देना चाहिए (एक संकुचित, सरल स्मृति)?

मुख्य खोज: यह इस पर निर्भर करता है कि आपके पास कितना अभ्यास है

लेखकों ने इस उत्तर को खोजने के लिए एक गणितीय मॉडल बनाया। उन्होंने पाया कि कितनी स्मृति रखनी है, यह पूरी तरह से आपके पुस्तकालय के आकार और आपके अभ्यास के समय के बीच के संतुलन पर निर्भर करता है।

परिदृश्य A: आपके पास एक विशाल पुस्तकालय है, लेकिन अभ्यास का समय बहुत कम है।

परिणाम: आपको अपनी स्मृति को संकुचित (Compress) करना चाहिए।
उपमा: कल्पना कीजिए कि आपने 10,000 किताबें पढ़ी हैं, लेकिन आपके पास क्विज़ की तैयारी के लिए केवल 10 मिनट हैं। यदि आप हर किताब के हर विवरण को याद रखने की कोशिश करते हैं, तो आपका मस्तिष्क भ्रमित हो जाएगा और चीजें आपस में मिल जाएंगी। इसके बजाय, उन 10,000 किताबों को उन "शीर्ष 10 नियमों" में निचोड़ देना बेहतर है जो लगभग हर चीज़ पर लागू होते हैं। यह "संकुचित" संस्करण मजबूत होता है और तब गलतियाँ करने से रोकता है जब आपके पास गहराई से सोचने का समय नहीं होता।
शोध पत्र का दावा: जब प्रीट्रेनिंग डेटा प्रचुर मात्रा में हो लेकिन डाउनस्ट्रीम (कार्य) डेटा कम हो, तो अधिकतम संकुचित प्रतिनिधित्व (maximally compressed representations) इष्टतम होते हैं।

परिदृश्य B: आपके पास एक छोटा पुस्तकालय है, लेकिन अभ्यास का समय बहुत अधिक है।

परिणाम: आपको अधिक विवरण (उच्च आयाम/dimensions) रखने चाहिए।
उपमा: कल्पना कीजिए कि आपने केवल 5 किताबें पढ़ी हैं, लेकिन आपके पास अभ्यास के लिए 50 घंटे हैं। यदि आप उन 5 किताबों को केवल "शीर्ष 10 नियमों" में निचोड़ने की कोशिश करते हैं, तो आप उन विशिष्ट विवरणों को फेंक सकते हैं जिनकी आपको वास्तव में आवश्यकता है। चूंकि आपके पास अभ्यास के लिए पर्याप्त समय है, इसलिए आप उन 5 किताबों की बारीकियों को सही करने के लिए एक अधिक विस्तृत, उच्च-आयामी स्मृति रखने का जोखिम उठा सकते हैं।
शोध पत्र का दावा: जब प्रीट्रेनिंग डेटा सीमित होता है, तो उच्च-आयामी प्रतिनिधित्व (higher-dimensional representations) बेहतर सामान्यीकरण करते हैं।

"लीक" (Leak) की समस्या: संपीड़न क्यों मदद करता है

शोध पत्र एक पेचीदा घटना की व्याख्या करता है जिसे "लीकेज" कहा जाता है।

कल्पना कीजिए कि आपके पुस्तकालय में एक छिपा हुआ पैटर्न (एक "स्पाइक") है—शायद 90% किताबें जैज़ (jazz) के बारे में हैं, और केवल 10% रॉक (rock) के बारे में।

यदि आप सब कुछ रखते हैं (बिना संपीड़न के), तो आपका मस्तिष्क जैज़ और रॉक दोनों को सीखने की कोशिश करता है। लेकिन क्योंकि आपके पास बहुत सारा जैज़ डेटा है, आपका मस्तिष्क "भ्रमित" हो जाता है और सोचता है कि जैज़ के नियम आपके रॉक गीत पर भी लागू होते हैं। यह सूचना का एक "लीक" है जो त्रुटियों का कारण बनता है।
यदि आप संकुचित करते हैं (केवल शीर्ष पैटर्न रखते हैं), तो आप अपने मस्तिष्क को सबसे मजबूत, सबसे विश्वसनीय पैटर्न (जैज़) पर ध्यान केंद्रित करने और शोर (noise) को अनदेखा करने के लिए मजबूर करते हैं। यह वास्तव में आपको नए कार्य पर बेहतर प्रदर्शन करने में मदद करता है, भले ही वह कार्य पूरी तरह से जैज़ से संबंधित न हो, क्योंकि यह भ्रम को रोकता है।

डेटा की "करेंसी" (Currency)

लेखकों ने एक दिलचस्प ट्रेड-ऑफ की गणना भी की है: एक अनलेबल डेटा, एक लेबल वाले नमूने के बराबर कितना मूल्यवान है?

उन्होंने पाया कि कुछ स्थितियों में (बहुत सारा पुस्तकालय, कम अभ्यास), आपके पुस्तकालय में अधिक पृष्ठ जोड़ना वास्तव में शिक्षक के साथ एक अतिरिक्त मिनट अभ्यास करने से अधिक मूल्यवान है। "अनलेबल" डेटा "लेबल वाले" डेटा के लिए एक शक्तिशाली विकल्प के रूप में कार्य करता है, लेकिन केवल तभी जब आप इसे सही ढंग से संकुचित करना जानते हों।

वास्तविक दुनिया के परीक्षण

लेखकों ने केवल गणित का उपयोग नहीं किया। उन्होंने इन विचारों का परीक्षण किया:

ऑटोएन्कोडर्स (Autoencoders): डेटा को संकुचित करने के लिए डिज़ाइन किए गए सरल न्यूरल नेटवर्क। उन्होंने पाया कि जब इन नेटवर्कों के पास डेटा सीखने के लिए पर्याप्त था, तो वे स्वाभाविक रूप से उसी तरह व्यवहार करने लगे जैसा कि गणित ने भविष्यवाणी की थी।
लार्ज लैंग्वेज मॉडल्स (LLMs): उन्होंने वास्तविक AI मॉडल (जैसे Pythia) का अध्ययन किया। जब उन्होंने AI के "मस्तिष्क" (इसके आंतरिक प्रतिनिधित्व) को लिया और उसे एक नए कार्य (सेंटिमेंट एनालिसिस) के लिए उपयोग करने की कोशिश की, तो उन्होंने पाया कि AI के कुछ आंतरिक आयामों को प्रूनिंग (हटाने) से यह नए कार्य में बेहतर हो गया, लेकिन केवल तभी जब उस नए कार्य के लिए डेटा बहुत कम था।

एक वाक्य में सारांश

यदि आपके पास व्यापक सामान्य ज्ञान है लेकिन विशिष्ट अभ्यास बहुत कम है, तो सबसे समझदारी भरा काम अपने ज्ञान को सरल और संकुचित करना है ताकि भ्रम से बचा जा सके; लेकिन यदि आपके पास सीमित सामान्य ज्ञान और बहुत अधिक अभ्यास का समय है, तो प्रशिक्षण का अधिकतम लाभ उठाने के लिए आपको विवरणों को बनाए रखना चाहिए।

तकनीकी सारांश: इष्टतम प्रतिनिधित्व आकार: प्रीट्रेनिंग और लीनियर प्रोबिंग का उच्च-आयामी विश्लेषण

समस्या विवरण
आधुनिक मशीन लर्निंग पाइपलाइन तेजी से एक दो-चरणीय प्रतिमान (paradigm) पर निर्भर करती हैं: प्रचुर मात्रा में अनलेबल डेटा पर प्रीट्रेनिंग करना ताकि पुन: प्रयोज्य संरचना (reusable structure) निकाली जा सके, और उसके बाद विशिष्ट कार्यों के लिए सीमित लेबल वाले डेटा पर फाइन-ट्यूनिंग या लीनियर प्रोबिंग करना। हालांकि इस दृष्टिकोण ने महत्वपूर्ण सैंपल दक्षता (sample efficiency) प्रदान की है, लेकिन इस बात की सैद्धांतिक समझ अधूरी है कि प्रीट्रेन्ड प्रतिनिधित्व (representation) की आयामीता (dimensionality) डाउनस्ट्रीम सामान्यीकरण (generalisation) को कैसे प्रभावित करती है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या इष्टतम प्रदर्शन के लिए अधिकतम संकुचित (कम-आयामी) प्रतिनिधित्व की आवश्यकता होती है या उच्च-आयामी प्रतिनिधित्व की, और यह विकल्प प्रीट्रेनिंग डेटा के आयतन, डाउनस्ट्रीम लेबल की कमी, कार्य संरेखण (task alignment) और सिग्नल-टू-नॉइज़ अनुपात के बीच परस्पर क्रिया पर कैसे निर्भर करता है।

कार्यप्रणाली
लेखक इस दो-चरणीय शिक्षण प्रक्रिया का अध्ययन करने के लिए एक विश्लेषणात्मक रूप से सुलभ (analytically tractable) सैद्धांतिक मॉडल प्रस्तावित करते हैं, जो उच्च-आयामी शासन (high-dimensional regime) में काम करता है (जहाँ $p$ फीचर्स, $n_u$ अनलेबल नमूने, और $n_l$ लेबल वाले नमूने समानुपातिक रूप से बढ़ते हैं)।

प्रीट्रेनिंग चरण: मॉडल एक स्पाइक्ड कोवेरियेंस मॉडल $\Sigma = I_p + (\lambda - 1)vv^\top$ पर आधारित अनलेबल डेटासेट $X_u$ पर प्रिंसिपल कंपोनेंट एनालिसिस (PCA) के माध्यम से प्रतिनिधित्व सीखता है। मॉडल शीर्ष $m$ प्रिंसिपल कंपोनेंट्स को बनाए रखता है, जो एक प्रोजेक्शन मैट्रिक्स $P_m$ को परिभाषित करता है।
डाउनस्ट्रीम चरण: एक अलग लेबल वाले डेटासेट $X_l, y_l$ का उपयोग पर्यवेक्षित शिक्षण (supervised learning) के लिए किया जाता है। कार्य को लीनियर रिग्रेशन $y_l = X_l w^* + \xi$ के रूप में मॉडल किया गया है, जहाँ $w^*$ वास्तविक सिग्नल है और $\xi$ गॉसियन शोर (Gaussian noise) है। रिग्रेशन को प्रोजेक्टेड इनपुट्स $X_l P_m$ पर किया जाता है।
विश्लेषण: लेखक $p, n_u, n_l, m \to \infty$ होने पर एस्टीमेशन एरर (estimation error), जनरलाइजेशन एरर (generalisation error), और ट्रेनिंग एरर (training error) के सटीक स्पर्शोन्मुखी (asymptotic) व्यंजक प्राप्त करते हैं। ये व्यंजक त्रुटि को "लुप्त सिग्नल" (जो सीमित नमूनों के कारण अप्राप्य है), "लीक्ड सिग्नल" (पॉपुलेशन स्पाइक के माध्यम से ऑर्थोगोनल सबस्पेस के जुड़ाव से प्रेरित बायस), और वेरिएंस पदों में विभाजित करते हैं।

प्रमुख योगदान

सटीक स्पर्शोन्मुखी व्यंजक: पेपर एस्टीमेशन, जनरलाइजेशन और ट्रेनिंग एरर के लिए क्लोज्ड-फॉर्म व्यंजक (Theorems 1, 2, और 3) व्युत्पन्न करता है। ये व्यंजक त्रुटि को "लुप्त सिग्नल" (सीमित नमूनों के कारण अप्राप्य), "लीक्ड सिग्नल" (पॉपुलेशन स्पाइक के कारण ऑर्थोगोनल सबस्पेस के युग्मन से प्रेरित बायस), और वेरिएंस पदों में विभाजित करते हैं।
इष्टतम प्रतिनिधित्व आकार का लक्षण वर्णन: लेखक इष्टतम आयामीता $\alpha^*$ $α^{*}$ के लिए अलग-अलग शासन (regimes) की पहचान करते हैं:
- दुर्लभ प्रीट्रेनिंग, दुर्लभ डाउनस्ट्रीम: जब प्रीट्रेनिंग डेटा प्रिंसिपल कंपोनेंट्स को विश्वसनीय रूप से अनुमानित करने के लिए अपर्याप्त होता है, तो उच्च-आयामी प्रतिनिधित्व ( $\alpha \approx 1$ ) इष्टतम होता है।
- प्रचुर प्रीट्रेनिंग, दुर्लभ डाउनस्ट्रीम: जब प्रीट्रेनिंग डेटा प्रचुर मात्रा में हो लेकिन डाउनस्ट्रीम लेबल सीमित हों, तो अधिकतम संकुचित प्रतिनिधित्व ( $\alpha < 1$ ) इष्टतम होता है। संपीड़न एक रेगुलराइज़र के रूप में कार्य करता है, जो डाउनस्ट्रीम कार्य में 'डबल-डेसेंट' घटना के कारण होने वाले वेरिएंस को कम करता है।
- प्रचुर डाउनस्ट्रीम: जब डाउनस्ट्रीम लेबल प्रचुर मात्रा में होते हैं, तो बहुत कम संपीड़न की आवश्यकता होती ( $\alpha \approx 1$ )।
फेज ट्रांजिशन (Phase Transitions): अध्ययन सटीक फेज ट्रांजिशन सीमाओं (Corollaries 1 और 2) की पहचान करता है जहाँ इष्टतम रणनीति संपीड़न और फुल-रैंक प्रतिनिधित्व के बीच बदल जाती है। ये सीमाएं सिग्नल-टू-नॉइज़ रेशियो (SNR), स्पाइक स्ट्रेंथ $\lambda$ , और टास्क अलाइनमेंट $\eta$ पर गैर-तुच्छ (non-trivial) रूप से निर्भर करती हैं।
ट्रेड-ऑफ का परिमाणीकरण: लेखक अनलेबल और लेबल वाले डेटा के बीच प्रतिस्थापन की सीमांत दर (marginal rate of substitution) को मात्रात्मक रूप से निर्धारित करते हैं, जिससे पता चलता है कि किन परिस्थितियों में अतिरिक्त अनलेबल डेटा, अतिरिक्त लेबल वाले नमूनों की तुलना में जनरलाइजेशन एरर को अधिक प्रभावी ढंग से कम करता है।

परिणाम

सैद्धांतिक भविष्यवाणियाँ बनाम सिमुलेशन: व्युत्पन्न स्पर्शोन्मुखी सूत्र विभिन्न पैरामीटर सेटिंग्स (SNR, स्पाइक स्ट्रेंथ और सैंपल साइज में बदलाव सहित) में संख्यात्मक सिमुलेशन के साथ उत्कृष्ट सहमति दिखाते हैं।
त्रुटि अपघटन (Error Decomposition): विश्लेषण प्रकट करता है कि एक पॉपुलेशन स्पाइक की उपस्थिति में, रिटेन किए गए सबस्पेस के ऑर्थोगोनल घटक सीखे गए सबस्पेस में "लीक" हो सकते हैं, जिससे एक बायस टर्म बनता है। यह लीक स्पाइक्ड कोवेरियेंस संरचना का एक गैर-तुच्छ प्रभाव है जो इस प्रीट्रेनिंग सेटिंग को मानक प्रिंसिपल कंपोनेंट रिग्रेशन (PCR) से अलग करता है।
यथार्थवादी मॉडलों में सत्यापन:
- ऑटोएनकोडर्स: स्पाइक्ड कोवेरियेंस डेटा पर प्रशिक्षित लीनियर और नॉन-लीनियर ऑटोएनकोडर्स पर प्रयोग पुष्टि करते हैं कि सैद्धांतिक फेज संरचना बनी रहती है। लीनियर ऑटोएनकोडर्स PCA व्यवहार के करीब होते हैं, जबकि नॉन-लीनियर ऑटोएनकोडर्स केवल तब विचलन प्रदर्शित करते हैं जब प्रीट्रेनिंग डेटा कम होता है (जहाँ वे सबस्पेस सीखने के बजाय उसे याद करने/memorize करने की प्रवृत्ति रखते हैं)।
- प्रीट्रेन्ड ट्रांसफॉर्मर्स: पाइथिया (Pythia) लैंग्वेज मॉडल्स पर लीनियर प्रोबिंग प्रयोग दर्शाते हैं कि प्रीट्रेनिंग के दौरान सीखे गए प्रतिनिधित्व एक स्पाइक्ड कोवेरियेंस संरचना प्रदर्शित करते हैं। इन प्रतिनिधित्वों पर PCA के माध्यम से प्रतिनिधित्व की आयामीता को ट्यून करने से डाउनस्ट्रीम प्रदर्शन (SST-2 सेंटीमेंट टास्क पर) में सुधार होता है, विशेष रूप से छोटे डाउनस्ट्रीम डेटासेट और लंबे समय तक प्रशिक्षित मॉडलों के लिए, जो सैद्धांतिक भविष्यवाणियों के अनुरूप है।

महत्व
यह पेपर एक सिद्धांतिक ढांचा प्रदान करता है जो समझाता है कि क्यों और कब प्रीट्रेनिंग के दौरान संपीड़न (compression) डाउनस्ट्रीम जनरलाइजेशन में सुधार करता है। यह इस अंतर्ज्ञान को चुनौती देता है कि अधिक आयाम हमेशा बेहतर होते हैं, और यह दिखाता है कि इष्टतम आयामीता डेटा की उपलब्धता और कार्य संरचना का एक फलन (function) है। विशेष रूप से, यह रेखांकित करता है कि आधुनिक पाइपलाइनों में जहाँ प्रीट्रेनिंग डेटा प्रचुर है लेकिन डाउनस्ट्रीम डेटा सीमित है, आक्रामक संपीड़न सैद्धांतिक रूप से इष्टतम है। इसके अलावा, यह कार्य अनसुपरवाइज्ड प्रीट्रेनिंग और सुपरवाइज्ड लर्निंग के बीच एक मात्रात्मक ट्रेड-ऑफ स्थापित करता है, जो ट्रांसफर लर्निंग की सैंपल दक्षता पर अंतर्दृष्टि प्रदान करता है। निष्कर्ष आइडियलाइज्ड रैंड मैट्रिक्स थ्योरी और डीप लर्निंग के अनुभवजन्य अवलोकनों के बीच के अंतर को पाटते हैं, यह सुझाव देते हुए कि बड़े भाषा मॉडलों (LLMs) में देखी जाने वाली कम आंतरिक आयामीता (low intrinsic dimensionality) केवल एक उपोत्पाद नहीं बल्कि एक विशेषता है जिसे इष्टतम अनुकूलन के लिए उपयोग किया जा सकता है।

मुख्य खोज: यह इस पर निर्भर करता है कि आपके पास कितना अभ्यास है

"लीक" (Leak) की समस्या: संपीड़न क्यों मदद करता है

डेटा की "करेंसी" (Currency)

वास्तविक दुनिया के परीक्षण

एक वाक्य में सारांश

इसी तरह के और पेपर