🤖 machine learning

GPart: End-to-End Isometric Fine-Tuning via Global Parameter Partitioning

GPart एक अत्यधिक पैरामीटर-कुशल फाइन-ट्यूनिंग विधि पेश करता है जो एक एकल निम्न-आयामी (low-dimensional) प्रशिक्षित वेक्टर को एक वैश्विक विभाजन मैट्रिक्स (global partition matrix) के माध्यम से सीधे पूर्ण भार स्थान (full weight space) में मैप करके एंड-टू-एंड आइसोमेट्री (isometry) प्राप्त करता है, जिससे LoRA की दूरी-विकृत करने वाली लो-रैंक बाधा (distance-distorting low-rank bottleneck) समाप्त हो जाती है और विविध कार्यों में अत्याधुनिक प्रदर्शन मिलता है।

मूल लेखक: Paolo Mandica, Michał Brzozowski, Zuzanna Dubanowska, Neo Christopher Chung

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Paolo Mandica, Michał Brzozowski, Zuzanna Dubanowska, Neo Christopher Chung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से विस्तृत लाइब्रेरी है (एक लार्ज लैंग्वेज मॉडल) जो पहले से ही लिखना, तर्क करना और दुनिया को समझना जानती है। आप इसे एक विशिष्ट नया कौशल सिखाना चाहते हैं, जैसे गणित की समस्याओं को हल करना या किसी विशिष्ट बोली को समझना।

पुराना तरीका यह था: फुल फाइन-ट्यूनिंग (Full Fine-Tuning): आपने लाइब्रेरी की हर एक किताब को फिर से लिखने के लिए संपादकों की एक टीम को काम पर रखा। यह बहुत अच्छा काम करता है, लेकिन यह महंगा, धीमा है और सभी बदलावों को ट्रैक करने के लिए बहुत अधिक स्टोरेज स्पेस की आवश्यकता होती है।

फिर LoRA (लो-रैंक अडैप्टेशन) आया, जो वर्तमान में एक लोकप्रिय तरीका है। हर किताब को फिर से लिखने के बजाय, LoRA कहता है, "आइए बस कुछ सारांश नोट्स (summary notes) लिखें और उन्हें स्टिकी पैड्स पर लिखकर शेल्फ पर चिपका दें।" यह बहुत सस्ता है। हालाँकि, यह पेपर तर्क देता है कि LoRA में एक छिपा हुआ दोष है: जिस तरह से यह नोट्स लिखता है वह "मुड़ा हुआ" (bent) है। यह एक रूलर और प्रोट्रैक्टर का उपयोग करके एक आदर्श वृत्त (circle) बनाने की कोशिश करने जैसा है; ज्यामिति (geometry) विकृत हो जाती है। यदि आप "नोट-राइटिंग" पैड पर अपना हाथ थोड़ा सा भी हिलाते हैं, तो किताब में होने वाला वास्तविक बदलाव एक दिशा में बहुत बड़ा और दूसरी दिशा में बहुत छोटा हो सकता है। यह सीखने की प्रक्रिया को अव्यवस्थित और अक्षम बनाता है।

Uni-LoRA नामक एक अन्य पद्धति ने इसे ठीक करने की कोशिश की, जिसमें नोट्स को और भी छोटा बनाया गया (केवल संख्याओं की एक लंबी सूची का उपयोग करके)। लेकिन इसे अभी भी "LoRA स्टिकी पैड" पर चिपकाना पड़ता था, जिसका अर्थ था कि "मुड़ी हुई ज्यामिति" की समस्या अभी भी वहीं थी, बस एक कदम और गहराई में छिप गई थी।

पेश है GPart: द "ग्लोबल पार्टीशन" (The Global Partition)

लेखक GPart (ग्लोबल पार्टीशन फाइन-ट्यूनिंग) का प्रस्ताव देते हैं। यहाँ सरल उपमा (analogy) दी गई है:

कल्पना कीजिए कि लाइब्रेरी में लाखों किताबें हैं। नोट्स लिखने या जटिल प्रणाली का उपयोग करने के बजाय, GPart आपको एक एकल, छोटा रिमोट कंट्रोल देता है जिसमें केवल कुछ बटन हैं (मान लीजिए $d$ बटन)।

जादुई रिमोट: आपके पास एक गुप्त कोड (एक रैंडम सीड) है जो लाइब्रेरी को ठीक से बताता है कि कौन सी किताबें आपके रिमोट के किस बटन से संबंधित हैं।
- बटन 1, 10,000 किताबों को नियंत्रित करता है।
- बटन 2, 12,000 किताबों को नियंत्रित करता है।
- और इसी तरह।
अपडेट: जब आप लाइब्रेरी को एक नया कौशल सिखाना चाहते हैं, तो आप बस अपने छोटे रिमोट के नॉब्स (knobs) घुमाते हैं। यदि आप बटन 1 को थोड़ा सा ऊपर घुमाते हैं, तो बटन 1 को असाइन की गई हर एक किताब को उसी सटीक मात्रा से अपडेट किया जाएगा (उस समूह में किताबों की संख्या के आधार पर थोड़ा समायोजित करते हुए)।
परिणाम: आपको लाखों बदलावों को स्टोर करने की आवश्यकता नहीं है। आपको केवल अपने रिमोट के बटनों की स्थिति और गुप्त कोड को सहेजना होगा।

यह विशेष क्यों है? (The "Isometry" Secret)

पेपर का मुख्य तकनीकी दावा दूरी (distance) के बारे में है।

LoRA के साथ समस्या: कल्पना कीजिए कि आप एक ट्रैम्पोलिन पर चल रहे हैं जो असमान रूप से फैला हुआ है। यदि आप एक कदम आगे लेते हैं, तो आप हवा में 10 फीट ऊपर उड़ सकते हैं। यदि आप एक कदम बगल में लेते हैं, तो आप केवल एक इंच तक ही हिल सकते हैं। आपके द्वारा तय की गई "दूरी" उस "दूरी" से मेल नहीं खाती जो आप वास्तव में तय करते हैं। यह ऑप्टिमाइज़र (कार्य को सीखने वाला मस्तिष्क) को भ्रमित करता है।
GPart का समाधान: GPart एक पूरी तरह से समतल, कठोर फर्श पर चलने जैसा है। यदि आप अपने रिमोट पर एक कदम उठाते हैं, तो लाइब्रेरी वास्तविक दुनिया में ठीक उसी "दूरी" से बदल जाती है। पेपर इसे एंड-टू-एंड आइसोमेट्री (End-to-End Isometry) कहता है। इसका अर्थ है कि सीखने की प्रक्रिया सुचारू, अनुमानित और विकृति से मुक्त है।

उन्होंने क्या पाया?

लेखकों ने तीन अलग-अलग प्रकार के कार्यों पर इस "छोटे रिमोट" पद्धति का परीक्षण किया:

भाषा को समझना: (जैसे रीडिंग कॉम्प्रिहेन्शन टेस्ट)।
गणितीय तर्क: (जैसे वर्ड प्रॉब्लम्स हल करना)।
कंप्यूटर विज़न: (जैसे फोटो में बिल्ली बनाम कुत्ते को पहचानना)।

परिणाम:

प्रदर्शन (Performance): GPart ने वर्तमान सर्वोत्तम तरीकों (जैसे Loora और Uni-LoRA) के समान या कभी-कभी उनसे बेहतर प्रदर्शन किया, भले ही यह मेमोरी की उतनी ही कम मात्रा का उपयोग करता है।
सरलता (Simplicity): इसमें केवल एक ही "नॉब" घुमाना होता है (रिमोट पर बटनों की संख्या), जिससे इसे उपयोग करना बहुत आसान हो जाता है।
दक्षता (Efficiency): यह "लो-रैंक बॉटलनेक" (वह प्रतिबंध जो अपडेट को सरल सारांश बनाने के लिए मजबूर करता है) को हटा देता है। GPart अपडेट को सीधा और पूर्ण बनाने की अनुमति देता है, बस एक छोटे रिमोट द्वारा निर्देशित होता है।

निचोड़ (The Bottom Line)

यह पेपर तर्क देता है कि बड़े मॉडल्स को नए कौशल सिखाने के लिए हमें जटिल, मुड़ी हुई गणित की आवश्यकता नहीं है। एक सरल, रैंडम मैपिंग (रिमोट कंट्रोल) का उपयोग करके जो सीखने की प्रक्रिया के "आकार" को सुरक्षित रखती है, हम एक बहुत ही स्वच्छ, अधिक सुंदर प्रणाली के साथ समान (या बेहतर) परिणाम प्राप्त कर सकते हैं। यह इस अहसास जैसा है कि आपको अपना रास्ता खोजने के लिए एक जटिल मानचित्र की आवश्यकता नहीं है; आपको बस एक सीधी रेखा की आवश्यकता है।

तकनीकी सारांश: GPart (ग्लोबल पार्टीशन फाइन-ट्यूनिंग)

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) और अन्य फाउंडेशन मॉडल्स को अनुकूलित करने के लिए पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) आवश्यक है, क्योंकि फुल फाइन-ट्यूनिंग कम्प्यूटेशनल रूप से अत्यधिक महंगी हो जाती है। जबकि लो-रैंक अडैप्टेशन (LoRA) प्रमुख PEFT प्रतिमान (paradigm) बन गया है, यह एक महत्वपूर्ण ज्यामितीय सीमा पेश करता है: ट्रेन करने योग्य पैरामीटर्स से वेट अपडेट्स का मैपिंग बाइलीनियर ( $\Delta W = BA$ ) है, न कि लीनियर।

यह बाइलीनियर संरचना यह अर्थ देती है कि मैपिंग आइसोमेट्री (isometry) नहीं है; ट्रेन करने योग्य पैरामीटर स्पेस में यूक्लिडियन दूरियां मॉडल के वेट स्पेस में संरक्षित नहीं रहती हैं। फलस्वरूप, ऑप्टिमाइज़र द्वारा देखे जाने वाला ऑप्टिमाइज़ेशन लैंडस्केप, प्रेरित वेट अपडेट्स की ज्यामिति के साथ संरेखित नहीं होता है। यूनि-लोरा (Uni-LoRA) जैसे हालिया तरीके एक लो-डायमेंशनल वेक्टर को लोरा के पैरामीटर स्पेस में एक आइसोमेट्रिक मैप के माध्यम से प्रोजेक्ट करके दक्षता में सुधार करने का प्रयास करते हैं। हालांकि, चूंकि अंतिम चरण अभी भी बाइलीनियर लोरा मैप ( $\Delta W = BA$ ) पर निर्भर करता है, इसलिए एंड-टू-एंड आइसोमेट्री टूट जाती है, जिससे ज्यामितीय विरूपण (geometric distortion) की समस्या अनसुलझी रह जाती है।

2. कार्यप्रणाली: GPart (Methodology: GPart)

लेखक GPart (ग्लोबल पार्टीशन फाइन-ट्यूनिंग) प्रस्तावित करते हैं, जो मध्यवर्ती लो-रैंक बॉटलनेक को पूरी तरह से समाप्त कर देता है। लोरा फैक्टर स्पेस में प्रोजेक्ट करने के बजाय, GPart एक लो-डायमेंशनल ट्रेन करने योग्य वेक्टर को सीधे मॉडल के पूर्ण वेट स्पेस में मैप करता है।

मुख्य तंत्र (Core Mechanism)

$N$ एडेप्टेड पैरामीटर्स वाले एक प्रीट्रेंड मॉडल को एक वेक्टर $w_0 \in \mathbb{R}^N$ के रूप में मान लें। GPart एक ट्रेन करने योग्य वेक्टर $\theta_d \in \mathbb{R}^d$ (जहाँ $d \ll N$ ) पेश करता है। वेट अपडेट को इस प्रकार परिभाषित किया गया है:
$\Delta w = P \theta_d$
जहाँ $P \in \mathbb{R}^{N \times d}$ एक रैंडम पार्टीशन मैट्रिक्स है।

पार्टीशन मैट्रिक्स का निर्माण (Construction of the Partition Matrix)

मैट्रिक्स $P$ का निर्माण एक सीड-डिपेंडेंट स्यूडो-रैंडम प्रक्रिया के माध्यम से किया जाता है:

ग्लोबल असाइनमेंट: एक रैंडम असाइनमेंट फंक्शन $g: \{1, \dots, N\} \to \{1, \dots, d\}$ प्रत्येक $N$ मॉडल पैरामीटर को $d$ विलगित (disjoint) समूहों में से एक में असाइन करता है।
नॉर्मलाइजेशन: प्रत्येक समूह $j$ के लिए, $n_j$ को उस समूह में असाइन किए गए पैरामीटर्स की संख्या मान लें। एंट्री $P_{ij}$ को इस प्रकार परिभाषित किया गया है:
$P_{ij} = \begin{cases} \frac{1}{\sqrt{n_j}} & \text{यदि } g(i) = j \\ 0 & \text{अन्यथा} \end{cases}$
आइसोमेट्री गुण (Isometry Property): निर्माण के अनुसार, $P^\top P = I_d$ है। यह सुनिश्चित करता है कि $P$ , $\mathbb{R}^d$ से $\mathbb{R}^N$ में एक आइसोमेट्रिक एम्बेडिंग है।

ऑप्टिमाइजेशन और स्टोरेज (Optimization and Storage)

फॉरवर्ड पास: किसी विशिष्ट पैरामीटर $i$ के लिए अपडेट $\Delta w_i = \theta_{g(i)} / \sqrt{n_{g(i)}}$ है। यह अलग-अलग लेयर्स में कई पैरामीटर्स में एक ही ट्रेन करने योग्य वैल्यू को ब्रॉडकास्ट करने की अनुमति देता है।
बैकवर्ड पास: $\theta_d$ के सापेक्ष ग्रेडिएंट की गणना प्रत्येक समूह के भीतर नॉर्मलाइज्ड ग्रेडिएंट समों को संचित करके की जाती है: $(\nabla_{\theta_d} L)_j = \sum_{i: g(i)=j} (\nabla_w L)_i / \sqrt{n_j}$ ।
इनिशियलाइजेशन: $\theta_d$ को शून्य पर इनिशियलाइज़ किया जाता है, जिससे यह सुनिश्चित होता है कि मॉडल ठीक प्रीट्रेंड वेट्स से शुरू होता है ( $\Delta W = 0$ ), जिसके लिए सिमेट्री-ब्रेकिंग रैंडम इनिशियलाइजेशन की आवश्यकता नहीं होती।
स्टोरेज: पूरे फाइन-ट्यून किए गए मॉडल को $d + 1$ वैल्यूज से रिकवर किया जा सकता है: ट्रेन करने योग्य वेक्टर $\theta_d$ और रैंडम सीड $s$ जिसका उपयोग $P$ को पुनर्गठित करने के लिए किया गया था।

3. मुख्य योगदान (Key Contributions)

एंड-टू-एंड आइसोमेट्री: GPart ट्रेन करने योग्य सबस्पेस से पूर्ण वेट स्पेस में एक सिंगल लीनियर मैप प्रदान करता है जो यूक्लिडियन ज्योमेट्री को सुरक्षित रखता है। LoRA और Uni-LoRA के विपरीत, $\theta$ -स्पेस में ऑप्टिमाइज़ेशन लैंडस्केप प्रेरित वेट अपडेट स्पेस के आइसोमेट्रिक है।
लो-रैंक बॉटलनेक को हटाना: यह विधि लो-रैंक फैक्टराइजेशन ( $\Delta W = BA$ ) के स्ट्रक्चरल कंस्ट्रेंट्स को हटा देती है, और रैंडम लो-डायमेंशनल सबस्पेस के माध्यम से सीधे एम्बिएंट वेट स्पेस में कार्य करती है।
सरलीकृत हाइपरपैरामीट्राइजेशन: GPart केवल एक हाइपरपैरामीटर, $d$ (सबस्पेस डायमेंशन) पर निर्भर करता है, जो पैरामीटर एफिशिएंसी और एक्सप्रेसिवनेस के बीच ट्रेड-ऑफ को नियंत्रित करता है। यह LoRA (रैंक $r$ की आवश्यकता) और Uni-LoRA (दोनों $r$ और $d$ की आवश्यकता) के विपरीत है।
सैद्धांतिक और अनुभवजन्य सत्यापन: पेपर आइसोमेट्रिक प्रॉपर्टी को सिद्ध करता है और प्रदर्शित करता है कि GPart विविध कार्यों पर मौजूदा PEFT विधियों के बराबर या उनसे बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने नेचुरल लैंग्वेज अंडरस्टैंडिंग (NLU), गणितीय तर्क (Mathematical Reasoning), और कंप्यूटर विजन बेंचमार्क पर GPart का मूल्यांकन किया, और इसकी तुलना फुल फाइन-ट्यूनिंग (FF), लीनियर प्रोबिंग (LP), LoRA, BitFit, VeRA, FourierFT, और Uni-LoRA से की।

नेचुरल लैंग्वेज अंडरस्टैंडिंग (GLUE): RoBERTa-base और RoBERTa-large का उपयोग करते हुए, GPart ने RoBERTa-base (23K पैरामीटर्स) पर PEFT विधियों में औसत सर्वश्रेष्ठ प्रदर्शन हासिल किया, जिसने Uni-LoRA, LoRA और VeRA को पीछे छोड़ दिया। RoBERTa-large पर, इसने औसतन Uni-LoRA में सुधार किया।
गणितीय तर्क (Mathematical Reasoning): विभिन्न डिकोडर-ओनली मॉडल्स (Qwen, Gemma, Llama) का उपयोग करके GSM8K और MATH पर मूल्यांकन किया गया। GPart समान पैरामीटर बजट के तहत Uni-LoRA के साथ प्रतिस्पर्धी रहा, जिसमें GSM8K और MATH पर मामूली औसत सुधार देखा गया।
कंप्यूटर विज़न: आठ डेटासेट्स (जैसे OxfordPets, CIFAR-100) पर ViT-Base और ViT-Large का उपयोग करते हुए, GPart ने PEFT विधियों में सबसे मजबूत औसत प्रदर्शन हासिल किया, जो फुल फाइन-ट्यूनिंग के परिणामों के करीब है और Uni-LoRA से बेहतर है।
लॉस लैंडस्केप विश्लेषण: SST-2 पर लॉस लैंडस्केप के विज़ुअलाइज़ेशन ने दिखाया कि GPart अपने आइसोमेट्रिक पैरामीट्राइजेशन के अनुरूप एक स्मूथ और वेल-सेंटर्ड बेसिन बनाता है। इसके विपरीत, Uni-LoRA ने शार्प हाई-लॉस रीजन दिखाए, जिसका कारण बाइलीनियर रिकंस्ट्रक्शन स्टेप है।
आइसोमेट्री पर एब्लेशन: आइसोमेट्रिक GPart ( $1/\sqrt{n_j}$ नॉर्मलाइजेशन के साथ) की तुलना नॉन-आइसोमेट्रिक वेरिएंट से करने वाले प्रयोगों ने दिखाया कि नॉर्मलाइजेशन महत्वपूर्ण है। नॉन-आइसोमेट्रिक वेरिएंट गंभीर अंडर-रेगुलराइजेशन और कम प्रदर्शन से ग्रस्त था, जो पुष्टि करता है कि आइसोमेट्रिक प्रॉपर्टी केवल एक ज्यामितीय सुविधा नहीं बल्कि ऑप्टिमाइजेशन स्थिरता के लिए आवश्यक है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि GPart ऑप्टिमाइज़ेशन लैंडस्केप को विकृत करने वाले स्ट्रक्चरल कंस्ट्रेंट्स को हटाकर PEFT के लिए एक सीधा और सुरुचिपूर्ण मार्ग प्रदान करता है।

सैद्धांतिक निहितार्थ: परिणाम इस धारणा का समर्थन करते हैं कि प्रभावी फाइन-ट्यूनिंग लो-रैंक मैट्रिक्स स्ट्रक्चर लागू किए बिना, पूर्ण वेट स्पेस के रैंडम लो-डायमेंशनल सबस्पेस से उभर सकती है। GPart, VeRA और Uni-LoRA जैसी विधियों की स्टोरेज एफिशिएंसी को बरकरार रखते हुए, इंट्रिन्सिक-डायमेंशनलिटी परिणामों (Aghajanyan et al., 2021) के साथ PEFT को फिर से जोड़ता है।
व्यावहारिक प्रभाव: एक सिंगल हाइपरपैरामीटर और न्यूनतम स्टोरेज ओवरहेड ( $d+1$ वैल्यूज) के साथ स्टेट-ऑफ-द-आर्ट एफिशिएंसी और परफॉरमेंस हासिल करके, GPart आधुनिक PEFT में लो-रैंक बॉटलनेक की आवश्यकता को चुनौती देता है।
सीमाएं: लेखक नोट करते हैं कि हालांकि परिणाम एनकोडर्स, डिकोडर्स और विजन में उत्साहजनक हैं, बड़े LMs, मल्टीमॉडल मॉडल्स, और विशिष्ट इंस्ट्रक्शन-फॉलोइंग या लॉन्ग-कॉन्टेक्स्ट सेटिंग्स में सामान्यीकरण के लिए और अधिक जांच की आवश्यकता है। यह कार्य एक नए एप्लिकेशन-स्पेसिफिक क्षमता के बजाय एक मेथडोलॉजिकल योगदान के रूप में प्रस्तुत किया गया है।