🤖 machine learning

Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA

यह शोध पत्र GLoRA को प्रस्तुत करता है, जो एक गेज-अवेयर (gauge-aware) फेडरेटेड लर्निंग फ्रेमवर्क है जो एक सर्वसम्मत अपडेट सबस्पेस का अनुमान लगाकर और साझा संदर्भ निर्देशांकों (shared reference coordinates) में अपडेट को एकत्रित करके मौजूदा LoRA एकत्रीकरण में मौजूद सिमेंटिक मिसमैच को हल करता है, जिससे बिना किसी डेंस रिकंस्ट्रक्शन (dense reconstruction) की आवश्यकता के विषम क्लाइंट वातावरण में बेहतर प्रदर्शन और रैंक अनुकूलता प्राप्त होती है।

मूल लेखक: Jinqian Chen, Chang Liu, Jihua Zhu

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinqian Chen, Chang Liu, Jihua Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA" (GLoRA) का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: मिलकर एक विशाल मस्तिष्क को सिखाना

कल्पना कीजिए कि आपके पास एक विशाल, प्री-ट्रेन्ड एआई मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) है जो बहुत कुछ जानता है लेकिन उसे कुछ विशिष्ट नए कौशल सीखने की आवश्यकता है। आप इसे हज़ारों अलग-अलग लोगों (क्लाइंट्स) के डेटा का उपयोग करके सिखाना चाहते हैं, बिना उनके निजी डेटा को देखे। इसे फेडरेटेड लर्निंग (Federated Learning) कहा जाता है।

समय और स्थान बचाने के लिए, पूरे मस्तिष्क को फिर से प्रशिक्षित करने के बजाय, आप केवल इसके साथ छोटे, हल्के "प्रशिक्षण मॉड्यूल" (जिन्हें LoRA कहा जाता है) जोड़ते हैं। ये मॉड्यूल नए निर्देशों वाले छोटे 'स्टिकी नोट्स' की तरह हैं।

समस्या क्या है? जब हर कोई अपने स्टिकी नोट्स को केंद्रीय शिक्षक (सर्वर) के पास भेजने के बाद उन्हें मिलाने के लिए भेजता है, तो वर्तमान विधि दोषपूर्ण होती है। यह एक रेसिपी को औसत निकालने के लिए सामग्री के नाम जोड़ने के बजाय, सीधे सामग्री को जोड़ने जैसा है।

समस्या: "अनुवाद" का जाल

यह शोध पत्र इन छोटे मॉड्यूल्स को संयोजित करने के वर्तमान तरीके में एक छिपे हुए दोष की पहचान करता है।

उपमा: मानचित्र और दिशा-सूचक यंत्र (Map and Compass)
कल्पना कीजिए कि हाइकर्स (क्लाइंट्स) का एक समूह एक विशिष्ट रास्ते का वर्णन करने की कोशिश कर रहा है जो उन्होंने अभी-अभी तय किया है।

क्लाइंट A कहता है: "10 कदम उत्तर की ओर चलें, फिर 5 कदम पूर्व की ओर।"
क्लाइंट B कहता है: "10 कदम पूर्व की ओर चलें, फिर 5 कदम उत्तर की ओर।"

रुकिए, उन्होंने वास्तव में एक ही रास्ता (वही "अंतर्निहित अपडेट") तय किया था, लेकिन वे इसे वर्णित करने के लिए अलग-अलग समन्वय प्रणालियों (अलग-अलग "गेज/गॉज") का उपयोग कर रहे हैं।

वर्तमान प्रणाली में, केंद्रीय सर्वर केवल "10 उत्तर" और "10 पूर्व" जैसे नंबरों को लेता है और उन्हें अंधाधुंध औसत निकाल देता है। क्योंकि हाइकर्स ने अलग-अलग संदर्भ बिंदुओं का उपयोग किया था, सर्वर भ्रमित हो जाता है और एक धुंधला, गलत रास्ता बना देता है। गणित कहता है कि रास्ता एक ही है, लेकिन उन्हें वर्णित करने वाले नंबर अलग हैं, और सर्वर उन्हें अनुवादित करना नहीं जानता।

शोध पत्र इसे "गेज अस्पष्टता" (Gauge Ambiguity) कहता है। इसका अर्थ है कि कच्चे नंबरों (फैक्टर्स) का औसत निकालना निरर्थक है क्योंकि नंबर एक मनमाने समन्वय चुनाव पर निर्भर करते हैं, न कि वास्तविक सीखने पर।

समाधान: GLoRA (एक "यूनिवर्सल ट्रांसलेटर")

लेखक GLoRA का प्रस्ताव देते हैं, जो सर्वर के लिए इन अपडेट्स को संभालने का एक नया तरीका है। कच्चे नंबरों को अंधाधुंध औसत निकालने के बजाय, GLoRA एक स्मार्ट ट्रांसलेटर की तरह काम करता है जो संयोजन करने से पहले सीखने के "वास्तविक आकार" को खोज लेता है।

यह कैसे काम करता है (रूपक):

साझा आधार खोजें (Consensus Subspace):
हाइकर्स द्वारा भेजे गए विशिष्ट नंबरों को देखने के बजाय, सर्वर उनके रास्तों की दिशा को देखता है। यह पूछता है, "मानचित्र का वह सामान्य क्षेत्र क्या है जहाँ हर कोई चल रहा है?" यह एक साझा "संदर्भ ढांचा" (कॉन्सेंसस सबस्पेस) बनाता है जिस पर सभी सहमत हो सकें।
साझा भाषा में अनुवाद करें:
एक बार जब सर्वर के पास यह साझा मानचित्र आ जाता है, तो वह प्रत्येक हाइकर से अपने निर्देशों को उस विशिष्ट मानचित्र का उपयोग करके फिर से लिखने के लिए कहता है। अब, क्लाइंट A और क्लाइंट B दोनों उसी विशिष्ट समन्वय प्रणाली का उपयोग करके अपने रास्ते का वर्णन कर रहे हैं।
शोर के बजाय अर्थ का औसत निकालें:
अब जब सभी एक ही भाषा बोल रहे हैं, तो सर्वर उनके निर्देशों का सुरक्षित रूप से औसत निकाल सकता है। परिणाम एक साफ, सटीक "मास्टर निर्देश" होता है जो समूह से प्राप्त वास्तविक सीख का प्रतिनिधित्व करता है।
विभिन्न आकार संभालना (Heterogeneous Ranks):
कुछ हाइकर्स के पास छोटे बैकपैक (कम कंप्यूटिंग पावर) हैं और वे केवल कुछ निर्देश ले जा सकते हैं। दूसरों के पास बड़े बैकपैक हैं।

पुरानी विधियाँ अक्सर यहाँ संघर्ष करती थीं या इसके लिए आवश्यक था कि सर्वर एक बहुत बड़ा, भारी निर्देश पत्र (डेंस अपडेट) लिखे ताकि उसे छोटे बैकपैक के लिए काट सके।
GLoRA मास्टर निर्देश को एक संक्षिप्त, लो-रैंक प्रारूप में रखता है। यह बिना किसी भारी, पूर्ण-आकार की किताब को लिखे, तुरंत छोटे बैकपैक के लिए एक छोटा संस्करण और बड़े बैकपैक के लिए एक बड़ा संस्करण "पढ़" सकता है।

यह क्यों महत्वपूर्ण है (परिणाम)

इस शोध पत्र ने विभिन्न कार्यों (जैसे व्याकरण समझना या प्रश्नों के उत्तर देना) और विभिन्न प्रकार के डेटा और क्लाइंट क्षमताओं पर मौजूदा विधियों के विरुद्ध इस नए तरीके (GLoRA) का परीक्षण किया।

यह अधिक सटीक है: क्योंकि यह "अनुवाद त्रुटियों" को रोकता है, एआई बेहतर और तेज़ी से सीखता है, विशेष रूप से तब जब डेटा अव्यवस्थित हो या क्लाइंट्स एक-दूसरे से बहुत भिन्न हों।
यह कुशल है: इसके लिए सर्वर को भारी, धीमी गणितीय गणना (जैसे विशाल मैट्रिक्स बनाना) करने की आवश्यकता नहीं है। यह हल्का बना रहता है, जो बड़े एआई मॉडल के लिए अत्यंत महत्वपूर्ण है।
यह मजबूत (Robust) है: यह तब भी अच्छी तरह काम करता है जब केवल कुछ ही क्लाइंट भाग लेते हैं या जब क्लाइंट्स की हार्डवेयर क्षमताएं बहुत अलग होती हैं।

सारांश

शोध पत्र का तर्क है कि एक विशाल एआई मॉडल को कई छोटे, निजी उपकरणों का उपयोग करके सिखाने के लिए, हम केवल उन गणितीय नंबरों का औसत नहीं निकाल सकते जो लोग भेजते हैं। हमें पहले यह सहमत होना होगा कि उन नंबरों का वास्तव में क्या अर्थ है (अपडेट की ज्यामिति) और उन्हें संयोजित करने से पहले उन्हें एक साझा भाषा में अनुवादित करना होगा। GLoRA इस अनुवाद को करने वाला उपकरण है, जो फेडरेटेड लर्निंग को अधिक स्मार्ट, सटीक और कुशल बनाता है।

तकनीकी सारांश: GLoRA – फेडरेटेड LoRA के लिए गेज-अवेयर लो-रैंक सर्वर रिप्रेजेंटेशन

1. समस्या विवरण (Problem Statement)

फेडरेटेड लर्निंग (FL) को लो-रैंक एडेप्टेशन (LoRA) के साथ जोड़ना विकेंद्रीकृत डेटा और संसाधन बाधाओं के तहत लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने के लिए एक आशाजनक प्रतिमान (paradigm) प्रदान करता है। हालाँकि, मौजूदा फेडरेटेड LoRA विधियाँ अपने एग्रीगेशन नियमों में एक मौलिक सिमेंटिक मिसमैच (semantic mismatch) से ग्रस्त हैं।

मुख्य मुद्दा गेज एम्बिग्युइटी (gauge ambiguity) है। एक LoRA अपडेट को लो-रैंक प्रोडक्ट $\Delta W = BA$ के रूप में दर्शाया जाता है। यह फैक्टराइजेशन अद्वितीय नहीं है; किसी भी इनवर्टिबल मैट्रिक्स $Q$ के लिए, जोड़ी $(BQ, Q^{-1}A)$ ठीक वही अपडेट मैट्रिक्स $\Delta W$ देती है। सेंट्रलाइज्ड ट्रेनिंग में, यह अस्पष्टता हानिरहित है क्योंकि फैक्टर्स एक ही ऑप्टिमाइज़र के भीतर आंतरिक रहते हैं। हालाँकि, फेडरेटेड सेटिंग्स में, क्लाइंट्स सर्वर को रॉ फैक्टर्स $(B, A)$ भेजते हैं। यदि सर्वर इन रॉ फैक्टर्स को सीधे एग्रीगेट करता है (जैसे, $B$ और $A$ को अलग-अलग औसत निकालना), तो परिणामी सर्वर अपडेट व्यक्तिगत क्लाइंट्स द्वारा किए गए मनमाने कोऑर्डिनेट चॉइस (गेज) पर निर्भर करता है। फलस्वरूप, समान आंतरिक क्लाइंट अपडेट, क्लाइंट्स के आंतरिक रीपैरामीट्राइजेशन के आधार पर अलग-अलग सर्वर मॉडल उत्पन्न कर सकते हैं, जिससे एग्रीगेशन नियम अपरिभाषित हो जाता है।

जबकि हालिया कार्यों ने "इनएक्सैक्ट एग्रीगेशन" (वह बीजगणितीय त्रुटि जहाँ $\sum B_i A_i \neq (\sum B_i)(\sum A_i)$ होता है) को संबोधित किया है, उन्होंने इस अधिक मौलिक गेज डिपेंडेंस (gauge dependence) को हल नहीं किया है। एक सीधा समाधान—पूर्ण डेंस अपडेट मैट्रिसेस $\Delta W_i$ को एग्रीगेट करना और फिर उसे रिफैक्टर करना—से मामलों को ठीक किया जा सकता है, लेकिन यह LoRA के दक्षता लाभों को नष्ट कर देता है क्योंकि इसके लिए सर्वर को बड़े $d_{out} \times d_{in}$ मैट्रिसेस को मैटेरियलाइज और डीकंपोज करने की आवश्यकता होती है, जो आधुनिक LLMs के पैमाने पर अव्यवहारिक है।

2. कार्यप्रणाली: GLoRA (Methodology: GLoRA)

लेखक GLoRA (गेज-अवेयर लो-रैंक एग्रीगेशन) का प्रस्ताव करते हैं, जो एक ऐसा सर्वर रिप्रेजेंटेशन है जो डेंस अपडेट्स में वापस गिरे बिना सिमेंटिक शुद्धता बनाए रखता है। GLoRA अपडेट ज्योमेट्री (update geometry) को फैक्टर कोऑर्डिनेट्स (factor coordinates) से अलग करके कार्य करता है।

2.1 गेज-इनवेरिएंट सबस्पेस एक्सट्रैक्शन (Gauge-Invariant Subspace Extraction)

रॉ फैक्टर्स को एग्रीगेट करने के बजाय, GLoRA पहले प्रत्येक क्लाइंट के अपडेट की आंतरिक ज्यामिति निकालता है। क्लाइंट अपडेट $\Delta W_i = B_i A_i$ के लिए, सर्वर $B_i$ का रिड्यूस्ड QR डीकंपोजिशन करता है:
$B_i = U_i T_i$
जहाँ $U_i$ अपडेट के कॉलम स्पेस को स्पैन करने वाला एक ऑर्थोनॉर्मल बेसिस है, और $T_i$ कोऑर्डिनेट्स को समाहित करता है। अपडेट को $\Delta W_i = U_i \tilde{A}_i$ (जहाँ $\tilde{A}_i = T_i A_i$ ) के रूप में फिर से लिखा जाता है।
महत्वपूर्ण रूप से, $U_i$ द्वारा स्पैन किया गया कॉलम सबस्पेस गेज-इनवेरिएंट (gauge-invariant) है; मूल फैक्टर्स पर लागू किसी भी इनवर्टिबल ट्रांसफॉर्मेशन $Q$ के बावजूद यह अपरिवर्तित रहता है। सर्वर इस ज्योमेट्री को ऑर्थोगोनल प्रोजेक्टर $P_i = U_i U_i^\top$ का उपयोग करके दर्शाता है।

2.2 कंसेंसस सबस्पेस कंस्ट्रक्शन (Consensus Subspace Construction)

सर्वर इन प्रोजेक्टर्स को एग्रीगेट करके एक साझा कंसेंसस सबस्पेस (consensus subspace) $U_{ref}$ का अनुमान लगाता है:
$K = \sum_{i} p_i P_i = \sum_{i} p_i U_i U_i^\top$
सर्वर $K$ के टॉप- $R$ आइजनवेक्टर्स को कंप्यूट करके रेफरेंस बेसिस $U_{ref}$ बनाता है। यह चरण कंप्यूटेशनल रूप से कुशल है क्योंकि यह पूर्ण डेंस अपडेट मैट्रिक्स के बजाय क्लाइंट बेसिस की थिन मैट्रिक्स पर कार्य करता है। $U_{ref}$ वर्तमान राउंड के अपडेट्स के लिए एक सामान्य कोऑर्डिनेट फ्रेम को परिभाषित करता है।

2.3 साझा कोऑर्डिनेट्स में एग्रीगेशन (Aggregation in Shared Coordinates)

एक बार $U_{ref}$ स्थापित हो जाने के बाद, प्रत्येक क्लाइंट के अपडेट को इस साझा फ्रेम में प्रोजेक्ट किया जाता है:
$Z_i = U_{ref}^\top \Delta W_i = U_{ref}^\top U_i \tilde{A}_i$
सर्वर फिर इन प्रोजेक्टेड कोऑर्डिनेट्स को सीधे एग्रीगेट करता है:
$Z_{global} = \sum_{i} p_i Z_i$
अंतिम सर्वर स्टेट लो-रैंक जोड़ी $(U_{ref}, Z_{global})$ है, जो अपडेट $\Delta W_{global} = U_{ref} Z_{global}$ को दर्शाता है। यह सुनिश्चित करता है कि सर्वर अपडेट मनमाने फैक्टर कोऑर्डिनेट्स के बजाय आंतरिक मैट्रिसेस $\{\Delta W_i\}$ द्वारा परिभाषित है, जबकि पूरी तरह से लो-रैंक बना रहता है।

2.4 हेटेरोजेनिटी के लिए रैंक-कंपैटिबल रीडआउट (Rank-Compatible Readout for Heterogeneity)

विभिन्न क्लाइंट रैंक बजट ( $r_i$ ) का समर्थन करने के लिए, GLoRA एक कोर-टेल रीडआउट (core–tail readout) तंत्र का उपयोग करता है। सर्वर ऊर्जा के आधार पर घटकों को क्रमबद्ध करने के लिए $Z_{global}$ को SVD के माध्यम से डीकंपोज करता है।

कोर (Core): वैश्विक निरंतरता बनाए रखने के लिए सभी क्लाइंट्स को शीर्ष घटकों का एक साझा सेट सौंपा जाता है।
टेल (Tail): शेष रैंक बजट को क्लाइंट-विशिष्ट ऐतिहासिक अपडेट ज्योमेट्री (एलाइनमेंट स्कोर) के आधार पर या इतिहास उपलब्ध न होने पर ग्लोबल स्पेक्ट्रल ऑर्डर के आधार पर आवंटित किया जाता है।
यह अलग एग्रीगेशन ऑब्जेक्ट्स या डेंस रिफैक्टरिंग की आवश्यकता के बिना, हेटेरोजेनियस क्लाइंट्स को एक ही सर्वर स्टेट से विभिन्न रैंक के एडेप्टर्स को इंस्टैंशिएट करने की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

गेज डिपेंडेंस की पहचान: पेपर फैक्टर-लेवल फेडरेटेड LoRA एग्रीगेशन में गेज डिपेंडेंस को एक सिमेंटिक फेल्योर मोड के रूप में पहचानता है, जो इसे बीजगणितीय "इनएक्सेक्ट एग्रीगेशन" समस्या से अलग करता है। यह तर्क देता है कि रॉ फैक्टर्स गेज एम्बिग्युटी के तहत वैध एग्रीगेशन ऑब्जेक्ट नहीं हैं।
GLoRA फ्रेमवर्क: लेखक एक गेज-अवेयर एग्रीगेशन विधि प्रस्तावित करते हैं जो एक कॉम्पैक्ट लो-रैंक सर्वर स्टेट बनाए रखती है। यह एक कंसेंसस सबस्पेस और साझा रेफरेंस कोऑर्डिनेट्स के माध्यम से अपडेट को एग्रीगेट करता है, जिससे रॉ फैक्टर एग्रीगेशन और डेंस-अपडेट मैटेरियलाइजेशन दोनों से बचा जा सकता है।
हेटेरोजेनिटी सपोर्ट: GLoRA एक रैंक-कंपैटिबल रीडआउट पेश करता है जो एक ही सर्वर स्टेट से विभिन्न रैंक के एडेप्टर्स को इंस्टैंशिएट करता है, जो स्वाभाविक रूप से हेटेरोजेनियस क्लाइंट कैपेसिटी और स्पार्स पार्टिसिपेशन का समर्थन करता है।
प्रायोगिक सत्यापन: व्यापक प्रयोगों से पता चलता है कि GLoRA डेटा हेटेरोजेनिटी, रिसोर्स हेटेरोजेनिटी और टास्क हेटेरोजेनिटी के तहत बेसलाइन्स (FedIT, FedEx-LoRA, FedSA-LoRA, HetLoRA, FlexLoRA) को लगातार पछाड़ता है।

4. प्रायोगिक परिणाम (Experimental Results)

लेखकों ने विभिन्न स्थितियों के तहत GLUE (RoBERTa-Base का उपयोग करके) और SuperNI (LLaMA-1B, Qwen2-7B, और Gemma-2-9B का उपयोग करके) पर GLoRA का मूल्यांकन किया:

डेटा हेटेरोजेनिटी: गंभीर लेबल स्क्यू (Dir(0.1)) के तहत, GLoRA ने GLUE कार्यों पर उच्चतम औसत सटीकता प्राप्त की, जो FedSA-LoRA (जो अधिकांश कार्यों पर कन्वर्ज होने में विफल रहा) और अन्य बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
रिसोर्स हेटेरोजेनिटी: हेटेरोजेनियस क्लाइंट रैंक (Normal, Uniform, Heavy-tail डिस्ट्रीब्यूशन) वाले सेटिंग्स में, GLoRA 15 में से 14 टास्क-डिस्ट्रीब्यूशन पेयर्स में प्रथम स्थान पर रहा, जो विविध एडेप्टर कैपेसिटी के प्रति मजबूती प्रदर्शित करता है।
स्पार्स क्रॉस-टास्क FL: 10% क्लाइंट पार्टिसिपेशन और अनसीन टास्क इवैल्यूएशन के साथ SuperNI पर, GLoRA ने इन-डोमेन और अनसीन क्लाइंट्स दोनों पर सर्वश्रेष्ठ ROUGE-L स्कोर प्राप्त किया, जो रैंक-विशिष्ट ट्रंकेशन विधियों की तुलना में बेहतर जनरलाइजेशन का संकेत देता है।
स्केलेबिलिटी: GLoRA ने बड़े बैकबोन (7B और 9B पैरामीटर्स) पर अपना प्रदर्शन लाभ बनाए रखा, जिससे पता चलता है कि यह दृष्टिकोण छोटे मॉडल्स तक सीमित नहीं है।
दक्षता: GLoRA एक अनुकूल दक्षता-प्रदर्शन ट्रेड-ऑफ प्राप्त करता है। इसकी प्रति-लेयर जटिलता $\Theta(r_\Sigma^2(d_{out} + d_{in}) + r_\Sigma^3)$ है, जो डेंस-अपडेट एग्रीगेशन विधियों (जैसे FlexLoRA) की तुलना में काफी सस्ती है जबकि डायरेक्ट फैक्टर एवरेजिंग की गेज सेंसिटिविटी से बचती है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि प्रभावी फेडरेटेड LoRA के लिए केवल लो-रैंक फैक्टर्स का औसत निकालना ही पर्याप्त नहीं है, बल्कि एग्रीगेशन के लिए एक अर्थपूर्ण सर्वर-साइड रिप्रेजेंटेशन को परिभाषित करना आवश्यक है।

लेखक तर्क देते हैं कि फेडरेटेड LoRA में मुख्य डिज़ाइन विकल्प "फैक्टर्स को कैसे औसत निकालें" से बदलकर "सर्वर-साइड ऑब्जेक्ट क्या है जो एग्रीगेट को दर्शाता है" पर ध्यान केंद्रित करना है। अपडेट ज्योमेट्री को फैक्टर कोऑर्डिनेट्स से अलग करके, GLoRA वर्तमान विधियों में निहित सिमेंटिक मिसमैच को हल करता है। परिणाम बताते हैं कि गेज-अवेयर एग्रीगेशन, विशेष रूप से हेटेरोजेनियस डेटा, रिसोर्स और टास्क के साथ काम करते समय, स्थिर कन्वर्जेंस और उच्च प्रदर्शन के लिए आवश्यक है। पेपर निष्कर्ष निकालता है कि हालांकि वर्तमान कंसेंसस सबस्पेस एस्टीमेशन कॉलम-स्पेस ज्योमेट्री पर निर्भर करता है, भविष्य के कार्य सबस्पेस कंस्ट्रक्शन को और अधिक परिष्कृत करने के लिए अपडेट-एनर्जी या टास्क-अवेयर वेटिंग को शामिल कर सकते हैं।