💬 NLP

Transport and Merge: Cross-Architecture Merging for Large Language Models

यह शोध पत्र ऑप्टिमल ट्रांसपोर्ट पर आधारित एक क्रॉस-आर्किटेक्चर मर्जिंग फ्रेमवर्क का प्रस्ताव करता है जो विषम मॉडलों के बीच पत्राचार (correspondences) का अनुमान लगाने के लिए एक्टिवेशन्स को संरेखित करता है, जिससे सीधे वेट-स्पेस फ्यूजन के माध्यम से बड़े हाई-रिसोर्स LLMs से छोटे लो-रिसोर्स लक्ष्यों तक प्रभावी ज्ञान हस्तांतरण सक्षम होता है।

मूल लेखक: Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

प्रकाशित 2026-02-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Transport and Merge: Cross-Architecture Merging for Large Language Models" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: AI दिमागों के बीच "भाषा की बाधा" (Language Barrier)

कल्पना कीजिए कि आपके पास दो जीनियस हैं:

सुपर-जीनियस (सोर्स मॉडल): एक विशाल, उच्च शिक्षित AI जिसे पूरे इंटरनेट पर प्रशिक्षित किया गया है। वह सब कुछ जानता है लेकिन एक साधारण फोन पर चलाने या एक छोटी कंपनी के लिए बहुत बड़ा और महंगा है।
लोकल एक्सपर्ट (टारगेट मॉडल): एक छोटा, सस्ता AI जिसे विशेष रूप से कम-संसाधन वाली भाषाओं (जैसे मलय या कैंटोनीज़) या किसी विशिष्ट कार्य (जैसे चिकित्सा निदान) के लिए प्रशिक्षित किया गया है। यह कुशल है लेकिन इसमें सुपर-जीनियस जैसा गहरा और व्यापक ज्ञान नहीं है।

लक्ष्य: हम चाहते हैं कि लोकल एक्सपर्ट को सुपर-जीनियस का ज्ञान मिल जाए, बिना उसे शुरू से फिर से प्रशिक्षित (retrain) किए (जिसमें बहुत समय लगता है और भारी खर्च आता है)।

पुरानी समस्या: आमतौर पर, आप दो दिमागों को तभी "मर्ज" कर सकते हैं जब वे बिल्कुल एक ही तरह से बनाए गए हों (कमरों की संख्या और लेआउट समान हो)। यदि सुपर-जीनियस में न्यूरॉन्स की 32 परतें (layers) हैं और लोकल एक्सपर्ट में केवल 12 हैं, या यदि उनकी आंतरिक वायरिंग अलग है, तो पारंपरिक तरीके कहते हैं, "क्षमा करें, आप इन्हें मिला नहीं सकते।" वे ऐसे हैं जैसे आप एक चौकोर कप से पानी निकालकर गोल छेद में डालने की कोशिश कर रहे हों; पानी हर जगह बिखर जाएगा।

समाधान: "ट्रांसपोर्ट एंड मर्ज" (Transport and Merge)

यह पेपर इन बेमेल दिमागों को मर्ज करने का एक चतुर नया तरीका प्रस्तावित करता है। वे इसे ऑप्टिमल ट्रांसपोर्ट (Optimal Transport) पर आधारित क्रॉस-आर्किटेक्चर मर्जिंग (Cross-Architecture Merging) कहते हैं।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "विचार प्रयोग" (एक्टिवेशन अलाइनमेंट - Activation Alignment)

दोनों मॉडलों को एक जैसा दिखने के लिए मजबूर करने के बजाय, शोधकर्ता उनसे एक ही सरल वाक्य (जैसे "The cat sat on the mat") के बारे में सोचने के लिए कहते हैं।

वे देखते हैं कि सुपर-जीनियस इस वाक्य को कैसे प्रोसेस करता है।
वे देखते हैं कि लोकल एक्सपर्ट उसी वाक्य को कैसे प्रोसेस करता है।

भले ही उनकी आंतरिक वायरिंग अलग हो, वे अक्सर समान पैटर्न में सक्रिय होते हैं। हो सकता है कि सुपर-जीनियस "बिल्ली" (cat) को समझने के लिए "न्यूरॉन #500" का उपयोग करता है, और लोकल एक्सपर्ट उसी चीज़ के लिए "न्यूरॉन #12" का उपयोग करता है।

2. "मूविंग कंपनी" (ऑप्टिमल ट्रांसपोर्ट - Optimal Transport)

यही वह जादुई गणित वाला हिस्सा है। शोधकर्ता ऑप्टिमल ट्रांसपोर्ट नामक अवधारणा का उपयोग करते हैं।

उपमा (Analogy): कल्पना कीजिए कि सुपर-जीनियस के पास ज्ञान (पैकेज) से भरा एक गोदाम है और लोकल एक्सपर्ट के पास खाली अलमारियाँ हैं। पैकेज पर "फीचर्स" (जैसे "बिल्ली", "प्यार", "गणित") के लेबल लगे हैं।
समस्या यह है कि अलमारियों के आकार और साइज अलग-अलग हैं।
ऑप्टिमल ट्रांसपोर्ट एक अत्यंत बुद्धिमान मूविंग कंपनी की तरह है। यह केवल पैकेज को बेतरतीब ढंग से नहीं फेंकता। यह गणना करता है कि सुपर-जीनियस की एक विशिष्ट शेल्फ से लोकल एक्सपर्ट की एक विशिष्ट शेल्फ तक एक पैकेज ले जाने का सबसे सस्ता और सबसे कुशल तरीका क्या है।
यह एक मैप (ट्रांसपोर्ट मैट्रिक्स) बनाता है जो कहता है: "सुपर-जीनियस के 'बिल्ली' वाले न्यूरॉन से ज्ञान लें और उसे लोकल एक्सपर्ट के 'बिल्ली' वाले न्यूरॉन में स्थानांतरित करें।"

3. "सर्जरी" (वेट फ्यूजन - Weight Fusion)

एक बार जब उनके पास मैप आ जाता है, तो वे पूरे दिमाग को कॉपी-पेस्ट नहीं करते हैं। ऐसा करने से लोकल एक्सपर्ट टूट जाएगा।

चयनात्मक सर्जरी (Selective Surgery): वे केवल उन विशिष्ट "न्यूरॉन्स" (दिमाग के हिस्सों) में ज्ञान ले जाते हैं जो सबसे अधिक सक्रिय और प्रासंगिक हैं।
मास्क (The Mask): इसे एक स्टेंसिल (stencil) की तरह समझें। वे लोकल एक्सपर्ट के दिमाग पर एक मास्क रखते हैं, जो इसके 99% हिस्से को ढंक देता है, और केवल उस 1% न्यूरॉन्स को खुला छोड़ते जिन्हें ज्ञान की वृद्धि की आवश्यकता है।
वे सुपर-जीनियस के ज्ञान को उन विशिष्ट स्थानों में इंजेक्ट करते हैं।

4. "फाइन-ट्यूनिंग" (रेसिड्यूअल-फ्रोजन एडेप्टेशन - Residual-Frozen Adaptation)

सर्जरी के बाद, लोकल एक्सपर्ट थोड़ा भ्रमित हो सकता है क्योंकि उसके पास नया ज्ञान है लेकिन पुरानी आदतें भी हैं।

शोधकर्ता लोकल एक्सपर्ट को थोड़े से नए डेटा पर थोड़ा अभ्यास (बहुत कम प्रशिक्षण) करने देते हैं।
महत्वपूर्ण कदम: वे उस नए ज्ञान को "फ्रीज" (freeze) कर देते हैं जिसे उन्होंने अभी-साथ-साथ इंजेक्ट किया है ताकि उसे ओवरराइट न किया जा सके। वे केवल बाकी दिमाग को उस नए ज्ञान के अनुकूल होने के लिए छोड़ते हैं।
अंत में, वे नए ज्ञान को मस्तिष्क की संरचना में स्थायी रूप रूप से समाहित कर देते हैं।

यह एक बड़ी बात क्यों है?

"समान आर्किटेक्चर" का नियम नहीं: अब आप एक विशाल मॉडल (जैसे LLaMA-3 8B) ले सकते हैं और एक छोटे, विशिष्ट मॉडल (जैसे थाई या फाइनेंस के लिए 1B मॉडल) को सिखा सकते हैं, बिना यह देखे कि उन्हें एक ही तरह से बनाया गया है या नहीं।
सस्ता और तेज़: आपको छोटे मॉडल को फिर से प्रशिक्षित करने के लिए विशाल सुपरकंप्यूटरों की आवश्यकता नहीं है। आपको बस "मूविंग मैप" बनाने के लिए एक छोटा सा डेटासेट (कुछ सौ उदाहरण) चाहिए।
बेहतर परिणाम: परीक्षणों में, इन मर्ज किए गए मॉडलों ने पुराने तरीकों या शून्य से प्रशिक्षण लेने की तुलना में कम-संसाधन वाली भाषाओं (जैसे मलय, कैंटोनीज़, थाई) और विशिष्ट क्षेत्रों (चिकित्सा, वित्त) में बहुत अधिक बुद्धिमत्ता दिखाई।

वास्तविक दुनिया का प्रभाव

इसे एक विश्वविद्यालय के प्रोफेसर से एक स्थानीय सामुदायिक शिक्षक को ज्ञान हस्तांतरित करने के रूप में देखें।

पहले: आपको प्रोफेसर को गाँव में रहने के लिए बुलाना पड़ता था, या शिक्षक को वह सब कुछ सिखाने में वर्षों बिताने पड़ते थे जो प्रोफेसर जानता है।
अब: आप प्रोफेसर के सर्वश्रेष्ठ पाठों को शिक्षक की विशिष्ट शिक्षण शैली में तुरंत स्थानांतरित करने के लिए एक "नॉलेज मैप" का उपयोग करते हैं, बिना शिक्षक के व्यक्तित्व या क्लासरूम के लेआउट को बदले।

यह हमें सभी के लिए शक्तिशाली, विशिष्ट AI बनाने की अनुमति देता है, यहाँ तक कि उन भाषाओं और उद्योगों के लिए भी जिनके पास विशाल मॉडल शून्य से बनाने के लिए धन नहीं है।

यहाँ शोध पत्र "Transport and Merge: Cross-Architecture Merging for Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) पैरामीटर्स और डेटा के विशाल विस्तार के माध्यम से उत्कृष्ट प्रदर्शन प्राप्त करते हैं। हालाँकि, वास्तविक दुनिया के डिप्लॉयमेंट के लिए अक्सर छोटे, संसाधन-सीमित मॉडल्स की आवश्यकता होती है (जैसे कि मलय, कैंटोनीज़ जैसी कम-संसाधन वाली भाषाओं या वित्त/चिकित्सा जैसे विशिष्ट डोमेन के लिए)।

अंतराल (The Gap): उच्च-संसाधन, बड़े पैमाने के मॉडल्स और छोटे, कम-संसाधन वाले लक्ष्यों के बीच प्रदर्शन का एक महत्वपूर्ण अंतर होता है।
मौजूदा विधियों की सीमाएँ (The Limitation of Existing Methods):
- ग्रेडिएंट-आधारित अनुकूलन (SFT/Distillation): इसके लिए भारी मात्रा में प्रशिक्षण डेटा और कंप्यूटेशनल संसाधनों की आवश्यकता होती है, जो अक्सर कम-संसाधन वाले परिदृश्यों में उपलब्ध नहीं होते हैं।
- मानक मॉडल मर्जिंग (Standard Model Merging): मौजूदा मर्जिंग तकनीकें (जैसे, Model Soups, TIES-Merging) यह मानती हैं कि स्रोत (source) और लक्ष्य (target) मॉडल्स का आर्किटेक्चर समान है। वे विषम (heterogeneous) मॉडल्स के बीच भार (weights) को सीधे मर्ज नहीं कर सकती हैं (उदाहरण के लिए, एक 7B Qwen मॉडल को 1B LLaMA मॉडल में मर्ज करना), क्योंकि वेट डायमेंशन और न्यूरॉन संरचनाएँ मेल नहीं खाती हैं।
मुख्य प्रश्न: क्या हम व्यापक पुनर्र्प्रशिक्षण (extensive retraining) के बिना, प्रत्यक्ष मॉडल मर्जिंग के माध्यम से विषम आर्किटेक्चर के बीच उच्च-संसाधन से कम-संसाधन ज्ञान हस्तांतरण को सक्षम कर सकते हैं?

2. कार्यप्रणाली: ट्रांसपोर्ट एंड मर्ज (Methodology: Transport and Merge)

लेखक एक ऑप्टिमल ट्रांसपोर्ट (OT) पर आधारित फ्रेमवर्क प्रस्तावित करते हैं जो एक्टिवेशन स्पेस में विषम मॉडल्स को संरेखित (align) करता है और इन संरेखणों को वेट-स्पेस फ्यूजन में अनुवादित करता है।

A. मुख्य अंतर्दृष्टि (Core Insight)

आर्किटेक्चर संबंधी अंतरों के बावजूद, समान इनपुट को प्रोसेस करने वाले लैंग्वेज मॉडल्स अक्सर सह-संबद्ध आंतरिक एक्टिवेशन (correlated internal activations) प्रदर्शित करते हैं। यह विधि एक छोटे अंशांकन इनपुट सेट (calibration inputs) का उपयोग करके स्रोत मॉडल ( $M_B$ ) और लक्ष्य मॉडल ( $M_A$ ) के बीच क्रॉस-न्यूरॉन पत्राचार (correspondences) का अनुमान लगाकर इसका लाभ उठाती है।

B. चरण-दर-चरण पाइपलाइन (Step-by-Step Pipeline)

1. एक्टिवेशन एक्सट्रैक्शन और फीचर अलाइनमेंट (Feature-Level OT)

इनपुट: एक छोटा डेटासेट $D$ दोनों मॉडल्स के माध्यम से पास किया जाता है।
प्रक्रिया: लीनियर सबलेयर्स (अटेंशन प्रोजेक्शन $Q, K, V$ और MLP प्रोजेक्शन) से इंटरमीडिएट एक्टिवेशन निकाले जाते हैं।
कॉस्ट मैट्रिक्स: पीयरसन सहसंबंध दूरी (Pearson correlation distance - $1 - \rho$ ) का उपयोग करके लक्ष्य एक्टिवेशन चैनलों और स्रोत एक्टिवेशन चैनलों के बीच एक कोरिलेशन-आधारित कॉस्ट मैट्रिक्स $C_{\ell m}$ बनाया जाता है।
अनुकूलन (Optimization): एक एंट्रोपिकली रेगुलराइज्ड ऑप्टिमल ट्रांसपोर्ट समस्या को हल किया जाता है ताकि एक ट्रांसपोर्ट प्लान $Q_{\ell m}$ प्राप्त किया जा सके। यह मैट्रिक्स एक 'सॉफ्ट पत्राचार' (soft correspondence) को दर्शाता है, जो यह बताता है कि लक्ष्य फीचर्स को स्रोत फीचर्स के भारित संयोजनों (weighted combinations) के रूप में कैसे पुनर्गठित किया जा सकता है।
$Q_{\ell m} = \arg\min_{Q} \langle C_{\ell m}, Q \rangle - \epsilon H(Q)$

2. लेयर अलाइनमेंट (Layer-Level OT)

प्रक्रिया: फीचर-लेवल ट्रांसपोर्ट लागतों को एक लेयर-टू-लेयर कॉस्ट मैट्रिक्स $C_{layer}$ की गणना करने के लिए एकत्रित किया जाता है।
अनुकूलन: एक दूसरी OT समस्या को हल किया जाता है ताकि एक ग्लोबल लेयर पत्राचार मैट्रिक्स $P$ प्राप्त किया जा सके, जो यह निर्धारित करता है कि कौन से स्रोत लेयर्स किन लक्ष्य लेयर्स के साथ सबसे अच्छा संरेखित होते हैं।
प्रभावी पत्राचार (Effective Correspondence): प्री-एक्टिवेशन और पोस्ट-एक्टिवेशन ट्रांसपोर्ट प्लान्स को एक प्रभावी लेयर पत्राचार $P_{eff}$ बनाने के लिए जोड़ा जाता है।

3. न्यूरॉन रिप्लेसमेंट के माध्यम से वेट फ्यूजन (Weight Fusion via Neuron Replacement)

न्यूरॉन चयन: मजबूती सुनिश्चित करने और हस्तक्षेप (interference) से बचने के लिए, विधि अंशांकन सेट (calibration set) पर लक्ष्य मॉडल में टॉप- $k$ सबसे अधिक सक्रिय न्यूरॉन्स का चयन करती है। फ्यूजन केवल इन्हीं न्यूरॉन्स तक सीमित रहता है।
वेट ट्रांसपोर्ट: स्रोत वेट्स को सीखे गए ट्रांसपोर्ट मैप्स ( $Q_{in}, Q_{out}$ ) और लेयर पत्राचार ( $P_{eff}$ ) का उपयोग करके लक्ष्य के न्यूरॉन बेसिस में "ट्रांसपोर्ट" किया जाता है।
फ्यूजन फॉर्मूला: लक्ष्य लेयर $\ell$ के लिए फ्यूज्ड वेट्स को एक रेसिडुअल एडिशन के रूप में कंप्यूट किया जाता है:
$W^{\ell, fused}_A = W^{\ell}_A + \alpha \cdot M_\ell \odot \left( \sum_{m} P_{eff}[\ell, m] Q^{out}_{\ell m} W^m_B (Q^{in}_{\ell m})^\top - W^{\ell}_A \right)$
जहाँ $M_\ell$ टॉप- $k$ न्यूरॉन्स के लिए एक मास्क है, और $\alpha$ फ्यूजन स्ट्रेंथ को नियंत्रित करता है।

4. रेसिडुअल-फ्रोजन एडेप्टेशन (Residual-Frozen Adaptation - वैकल्पिक)

फ्यूजन के बाद, स्थानांतरित किए गए रेसिडुअल पैरामीटर्स ( $\Delta W$ ) को फ्रीज (frozen) कर दिया जाता है।
केवल लक्ष्य मॉडल के मूल बेस पैरामीटर्स को डाउनस्ट्रीम टास्क पर फाइन-ट्यून किया जाता है।
अंत में, रेसिडुअल को बेस वेट्स में वापस फोल्ड कर दिया जाता है, जिसके परिणामस्वरूप मूल लक्ष्य आर्किटेक्चर वाला मॉडल प्राप्त होता है जो समृद्ध (enriched) पैरामीटर्स से लैस होता है।

3. मुख्य योगदान (Key Contributions)

क्रॉस-आर्किटेक्चर मर्जिंग फ्रेमवर्क: विभिन्न आर्किटेक्चर और क्षमताओं वाले LLMs के बीच प्रत्यक्ष वेट-स्पेस फ्यूजन को बिना डिस्टिलेशन या पूर्ण फाइन-ट्यूनिंग के सक्षम करने वाला पहला तरीका।
न्यूरॉन अलाइनमेंट के लिए ऑप्टिमल ट्रांसपोर्ट: विषम मॉडल्स के बीच स्ट्रक्चर्ड, न्यूरॉन-लेवल पत्राचार को एक्टिवेशन सांख्यिकी (activation statistics) के आधार पर इन्फर करने के लिए OT का उपयोग करने वाला एक सिद्धांतगत दृष्टिकोण।
सैद्धांतिक व्याख्या: शोध पत्र एक गणितीय प्रमाण (Theorem 4.1) प्रदान करता है जो दिखाता है कि वेट ट्रांसपोर्ट, टारगेट फीचर्स को सोर्स कोऑर्डिनेट्स पर मैप करने, सोर्स लीनियर मैप लागू करने और फिर वापस मैप करने के बराबर है।
दक्षता (Efficiency): इस विधि के लिए केवल एक छोटे अंशांकन सेट (कोई विशाल प्रशिक्षण डेटा नहीं) की आवश्यकता होती है और यह सिंगल पास में फ्यूजन करती है, जिससे यह कम-संसाधन वाले परिदृश्यों के लिए अत्यधिक कुशल हो जाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन कम-संसाधन वाली भाषाओं (मलय, इंडोनेशियाई, थाई, कैंटोनीज़) और विशिष्ट डोमेन (वित्त, चिकित्सा) में किया गया।

कम-संसाधन वाली भाषाएँ:
- मलय (MalayMMLU): एडेप्टेशन के साथ फ्यूज्ड मॉडल ने ह्यूमैनिटीज में +6.51% और सोशल साइंस में +5.99% का सुधार किया।
- कैंटोनीज़ (CMMLU): कुल +2.18% का सुधार प्राप्त किया।
- थाई: एडेप्टेशन के साथ MGSM (गणितीय तर्क) में 0.50 से 0.72 तक महत्वपूर्ण लाभ।
डोमेन ट्रांसफर (वित्त और चिकित्सा):
- MMLU सबसेट्स (बिजनेस एथिक्स, माइक्रोइकोनॉमिक्स, एनाटॉमी, मेडिकल जेनेटिक्स) पर निरंतर सुधार।
- फ्यूजन एक प्रभावी इनिशियलाइजेशन के रूप में कार्य करता है, जो अक्सर पोस्ट-फ्यूजन एडेप्टेशन के बिना भी बेस मॉडल से बेहतर प्रदर्शन करता है।
SFT और डिस्टिलेशन के साथ तुलना:
- प्रस्तावित विधि सभी डोमेन में सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और नॉलेज डिस्टिलेशन से लगातार बेहतर रही, विशेष रूप से उन परिदृश्यों में जहाँ डेटा दुर्लभ है।
मजबूती (Robustness):
- विधि विभिन्न स्रोत बैकबोन (जैसे, LLaMA-3 बनाम Qwen2.5) के प्रति मजबूत है।
- प्रदर्शन स्रोत मॉडल के आकार के साथ बढ़ता है (32B स्रोत को मर्ज करने से 8B स्रोत की तुलना में बेहतर परिणाम मिलते हैं)।
- सामान्य क्षमताएं: विधि लक्ष्य मॉडल की सामान्य तर्क क्षमताओं को बनाए रखती है, जो सामान्य बेंचमार्क (ARC, CommonsenseQA, आदि) में कोई महत्वपूर्ण गिरावट नहीं दिखाती है।

5. महत्व (Significance)

LLMs का लोकतंत्रीकरण: यह दृष्टिकोण संगठनों को प्रशिक्षण या डिस्टिलेशन की अत्यधिक लागत के बिना, अपने छोटे, विशिष्ट मॉडल्स को बढ़ावा देने के लिए विशाल, उच्च-संसाधन वाले मॉडल्स के ज्ञान का लाभ उठाने की अनुमति देता है।
विषमता (Heterogeneity) की बाधा को हल करना: यह उस बाधा को तोड़ता है कि मर्जिंग के लिए समान आर्किटेक्चर होना आवश्यक है, जिससे विभिन्न परिवारों (जैसे, Qwen, LLaMA, Mistral) के मॉडल्स को विशिष्ट कार्यों के लिए मिलाने और जोड़ने का मार्ग प्रशस्त होता है।
व्यावहारिक डिप्लॉयमेंट: केवल एक छोटे अंशांकन सेट की आवश्यकता और "प्लग-एंड-प्ले" फ्यूजन तंत्र प्रदान करके, यह उच्च-प्रदर्शन वाले LLMs को संसाधन-सीमित वातावरण (जैसे, एज डिवाइसेस, कम-संसाधन वाली भाषाएँ) में तैनात करने के लिए एक व्यावहारिक समाधान प्रदान करता है।

संक्षेप में, Transport and Merge ज्ञान हस्तांतरण के लिए एक नया प्रतिमान स्थापित करता है, जो ग्रेडिएंट-आधारित अनुकूलन से एक्टिवेशन-अलाइन्ड वेट फ्यूजन की ओर बढ़ता है, और बड़े पैमाने के फाउंडेशन मॉडल्स और विशिष्ट, कम-संसाधन वाले अनुप्रयोगों के बीच के अंतर को प्रभावी ढंग से पाटता है।