📊 statistics

Training Infinitely Deep and Wide Transformers

यह शोध पत्र उनके गतिकी को एक न्यूरल PDE के रूप में मॉडल करके, फॉरवर्ड और बैकवर्ड पास की सुव्यवस्थितता (well-posedness) को सिद्ध करते हुए और यह प्रदर्शित करते हुए कि न्यूरल टेंगेंट कर्नेल (Neural Tangent Kernel) की इंजेक्टिविटी की विशिष्ट स्थितियों के तहत ग्रेडिएंट फ्लो वैश्विक न्यूनतम (global minima) की ओर अभिसरित होता है, मीन-फील्ड रिजीम में अनंत रूप से गहरे और चौड़े ट्रांसफॉर्मर्स को प्रशिक्षित करने के लिए एक कठोर गणितीय ढांचा स्थापित करता है।

मूल लेखक: Raphaël Barboni, Maarten V. de Hoop, Takashi Furuya, Gabriel Peyré

प्रकाशित 2026-05-19

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Raphaël Barboni, Maarten V. de Hoop, Takashi Furuya, Gabriel Peyré

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Training Infinitely Deep and Wide Transformers" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी तस्वीर: एक भीड़ से बहती हुई नदी तक

एक आधुनिक ट्रांसफॉर्मर (AI का दिमाग जो चैटबॉट्स जैसे टूल्स के पीछे होता है) की कल्पना एक विशाल फैक्ट्री असेंबली लाइन के रूप में करें।

टोकन्स (Tokens): आने वाला डेटा (जैसे वाक्य में शब्द या इमेज के पैचेस) असेंबली लाइन पर काम करने वाले "मजदूर" हैं।
लेयर्स (Layers): फैक्ट्री में कई मंजिलें (लेयर्स) हैं।
अटेंशन मैकेनिज्म (Attention Mechanism): यह वह नियम है जो हर मजदूर को बताता है कि उसे अगला कदम उठाने के लिए दूसरे हर मजदूर को कैसे देखना है।

आमतौर पर, हम इन फैक्ट्रियों का अध्ययन मंजिलों की एक निश्चित संख्या और मजदूरों की एक निश्चित संख्या के साथ करते हैं। लेकिन यह पेपर एक "क्या होगा अगर" वाला सवाल पूछता है: क्या होगा यदि फैक्ट्री में अनंत मंजिलें और अनंत मजदूर हों?

लेखकों ने यह समझने के लिए एक गणितीय ढांचा तैयार किया कि ये अनंत फैक्ट्रियां कैसे सीखती हैं। उन्होंने पाया कि जबकि अन्य डीप लर्निंग मॉडल (जैसे ResNets) एक पथ पर चलते हुए एक अकेले व्यक्ति की तरह व्यवहार करते हैं, ट्रांसफॉर्मर एक परिदृश्य (landscape) में बहती हुई नदी की तरह व्यवहार करते हैं।

मुख्य अवधारणा 1: "नदी" बनाम "पथ"

पुराना तरीका (ResNets):
एक मानक डीप न्यूरल नेटवर्क को प्रशिक्षित करना एक पहाड़ पर चढ़ने वाले हाइकर (पदयात्री) की तरह सोचने जैसा है। हाइकर एक बार में एक कदम लेता है। गणितीय रूप से, यह एक साधारण अवकल समीकरण (Ordinary Differential Equation - ODE) की तरह है। यह एक एकल पथ है जहाँ हाइकर की स्थिति केवल इस पर निर्भर करती है कि वह अभी कहाँ है।

नया तरीका (Transformers):
एक ट्रांसफॉर्मर में, हर "मजदूर" (टोकन) लगातार दूसरे हर मजदूर को देख रहा होता है। यदि एक भी मजदूर बदलता है, तो इसका प्रभाव पूरे समूह में लहर की तरह फैलता है।

उपमा: एक नदी की कल्पना करें। आप केवल पानी की एक बूंद को ट्रैक नहीं कर सकते; आपको पूरी नदी के प्रवाह को ट्रैक करना होगा। एक बिंदु पर पानी, ऊपर की ओर (upstream) और नीचे की ओर (downstream) मौजूद हर पानी पर निर्भर करता है।
गणित: क्योंकि "मजदूर" लगातार एक-दूसरे को प्रभावित कर रहे हैं, पेपर दिखाता है कि एक ट्रांसफॉर्मर को प्रशिक्षित करना वास्तव में एक आंशिक अवकल समीकरण (Partial Differential Equation - PDE) को नियंत्रित करना है। यह केवल एक पथ नहीं है; यह संभावना वितरण (probability distributions) का एक जटिल, बदलता हुआ प्रवाह है।

मुख्य अवधारणा 2: "मीन-फील्ड" (Mean-Field) की भीड़

अनंत मजदूरों को समझने के लिए, लेखक मीन-फील्ड (Mean-Field) नामक अवधारणा का उपयोग करते हैं।

उपमा: एक स्टेडियम की कल्पना करें जिसमें 1,00,000 लोग हैं। हर व्यक्ति के नाम और स्थान को ट्रैक करने के बजाय, आप भीड़ को एक संपूर्ण "द्रव" (fluid) के रूप रूप में देखते हैं। आप पूछते हैं: "भीड़ यहाँ कितनी घनी है? भीड़ वहाँ कितनी तेजी से चल रही है?"
पेपर का दावा: वे "टोकन्स" (डेटा) को व्यक्तिगत वस्तुओं के रूप में नहीं, बल्कि एक सुचारू वितरण (द्रव) के रूप में देखते हैं जो ट्रांसफॉर्मर की अनंत परतों के माध्यम से आगे बढ़ते हुए विकसित होता है। वे "अटेंशन हेड्स" (नियम जिनका AI ध्यान देने के लिए उपयोग करता है) को भी मापदंडों के एक द्रव वितरण के रूप में देखते हैं।

मुख्य अवधारणा 3: मानचित्र और दिशा-सूचक यंत्र (Map and Compass)

पेपर यह सिद्ध करता है कि यह "नदी" कैसे चलती है, इसके बारे में दो बहुत महत्वपूर्ण बातें:

1. फॉरवर्ड पास (मानचित्र/The Map):
उन्होंने दिखाया कि यदि आप एक विशिष्ट डेटा वितरण से शुरू करते हैं, तो इसके बहने का एक अनूठा और सुस्पष्ट तरीका होता है।

उपमा: यदि आप स्रोत पर एक विशिष्ट मात्रा में नीला रंग (dye) नदी में डालते हैं, तो गणित गारंटी देता है कि आप सटीक भविष्यवाणी कर सकते हैं कि वह रंग कैसे फैलेगा और कैसे आगे बढ़ेगा, भले ही नदी अनंत लंबी क्यों न हो।

2. बैकवर्ड पास (दिशा-सूचक यंत्र/The Compass):
AI को प्रशिक्षित करने के लिए, आपको नियमों (अटेंशन पैरामीटर्स) को कैसे समायोजित करना है, यह जानने की आवश्यकता होती है ताकि आउटपुट बेहतर हो सके। यह "बैकप्रोपैगेशन" (त्रुटि को पीछे की ओर देखना) द्वारा किया जाता है।

उपमा: कल्पना करें कि आप नदी के निचले हिस्से में हैं और आप देखते हैं कि वहां एक पत्थर आ गया है जो वहां नहीं होना चाहिए था। आपको यह पता लगाने की आवश्यकता है कि किस ऊपरी धारा (upstream current) के कारण वह पत्थर वहां पहुँचा। लेखकों ने एक सटीक "दिशा-सूचक यंत्र" (जिसे एडजॉइंट सेंसिटिविटी एनालिसिस कहा जाता है) निकाला है, जो सिस्टम को ठीक से बताता है कि त्रुटि को ठीक करने के लिए अनंत नियमों को कैसे थोड़ा बदला जाए।

मुख्य अवधारणा 4: "कोई डेड एंड नहीं" की गारंटी

AI को प्रशिक्षित करने में सबसे बड़ी चिंता लोकल मिनिमम (local minimum) में फंस जाना है।

उपमा: कल्पना करें कि आप कोहरे से भरी घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। आप एक छोटे गड्ढे (लोकल मिनिमम) में फंस सकते हैं और सोच सकते हैं कि आप नीचे पहुँच गए हैं, जबकि वास्तव में पास में ही कहीं बहुत गहरी घाटी मौजूद है।
पेपर का दावा: लेखकों ने सिद्ध किया कि ट्रांसफॉर्मर्स के लिए, यदि आप एक "पर्याप्त अच्छा" प्रारंभिक सेटअप (विशेष रूप से, यदि "न्यूरल टेंगेंट कर्नेल" इंजेक्टिव है, जो कि एक तकनीकी तरीका है यह कहने का कि AI का आंतरिक मानचित्र पर्याप्त विविध है) से शुरू करते हैं, तो कोई नकली डेड एंड (dead ends) नहीं हैं।
परिणाम: यदि AI समाधान के करीब से शुरू होता है, तो "ग्रेडिएंट फ्लो" (सीखने की प्रक्रिया) गारंटी के साथ सीधे ग्लोबल मिनिमम (global minimum) (पूर्णतः सर्वोत्तम समाधान) की ओर फिसलता है बिना कहीं अटके। यह एक पूरी तरह से चिकनी, कटोरे के आकार की घाटी की तरह है जहाँ रुकने के लिए केवल निचला हिस्सा ही उपलब्ध है।

मुख्य अवधारणा 5: यह कब काम करता है? ("विशिष्टता" का नियम)

पेपर पूछता है: "यह 'नो डेड एंड्स' की गारंटी कब सच होती है?"
उन्होंने डेटा (टोकन्स) से संबंधित एक विशिष्ट शर्त पाई।

उपमा: कल्पना करें कि डेटा पॉइंट्स अलग-अलग रंगों की मार्बल्स (कंकड़) हैं। यदि सभी मार्बल्स एक जैसी हैं, तो AI भ्रमित हो जाएगा और सीख नहीं पाएगा। लेकिन यदि मार्बल्स पर्याप्त रूप से विशिष्ट (जैसे अलग रंग, आकार या आकार) हैं, तो AI उन्हें पहचान सकता है।
गणित: उन्होंने सिद्ध किया कि जब तक डेटा वितरण "लीनियली इंडिपेंडेंट" (गणितीय रूप से विशिष्ट, जैसे अलग-अलग गौसियन मिश्रण या डिस्क्रीट पॉइंट्स) है, तब तक AI का लर्निंग मैप एकदम सटीक होता है।
वास्तविक दुनिया की जांच: उन्होंने दिखाया कि आपके द्वारा उपयोग किए जाने वाले लगभग किसी भी रैंडम डेटा सेट (जैसे रैंडम शब्द या इमेज) के लिए, यह शर्त पूरी होती है। आपको कुछ भी विशेष करने की आवश्यकता नहीं है; प्रकृति आमतौर पर डेटा को पर्याप्त रूप से विशिष्ट प्रदान करती है।

सारांश

यह पेपर अनंत ट्रांसफॉर्मर्स को समझने के लिए एक कठोर गणितीय सेतु बनाता है।

यह प्रशिक्षण के दृष्टिकोण को "पथ पर चलते हाइकर" से बदलकर "बहती हुई नदी" में बदल देता है।
यह सिद्ध करता है कि प्रवाह अनुमानित और सुव्यवस्थित है।
यह प्रशिक्षण प्रक्रिया में नेविगेट करने के लिए एक "दिशा-सूचक यंत्र" प्रदान करता है।
सबसे महत्वपूर्ण बात, यह सिद्ध करता है कि यदि डेटा पर्याप्त विविध है (जो कि आमतौर पर होता है), तो AI खराब समाधानों में नहीं फंसेगा; यह सर्वोत्तम संभव समाधान खोज लेगा।

लेखकों ने यह सरल नेटवर्क (ResNets) के लिए उपयोग किए जाने वाले सिद्धांतों का विस्तार करके और ट्रांसफॉर्मर में पाए जाने वाले जटिल, परस्पर जुड़े हुए अटेंशन मैकेनिज्म के अनुकूल बनाकर किया है।

तकनीकी सारांश: अनंत रूप से गहरे और चौड़े ट्रांसफॉर्मर का प्रशिक्षण

समस्या विवरण
यद्यपि ट्रांसफॉर्मर आधुनिक मशीन लर्निंग में प्रमुख आर्किटेक्चर बन गए हैं, उनके प्रशिक्षण की गतिशीलता (training dynamics) की सैद्धांतिक समझ सीमित है, विशेष रूप से कई परतों (layers) और अटेंशन हेड्स (attention heads) वाले गहरे आर्किटेक्चर के लिए। मौजूदा सैद्धांतिक ढांचे अक्सर न्यूरल टेंगेंट कर्नेल (NTK) शासन (regime) पर निर्भर करते हैं, जो यह मानता है कि वेट्स (weights) $1/\sqrt{\text{width}}$ के रूप में स्केल होते हैं, जिससे "लेजी ट्रेनिंग" (lazy training) होती है जहाँ नेटवर्क इनिशियलाइजेशन के करीब रहता है और फीचर लर्निंग स्थिर (frozen) हो जाती है। वैकल्पिक रूप से, उथले नेटवर्कों या रेज़नेट्स (ResNets) के लिए मीन-फील्ड शासन (mean-field regimes), जिन्हें ऑर्डिनरी डिफरेंशियल इक्वेशंस (ODEs) के रूप में मॉडल किया जाता है, ट्रांसफॉर्मर की जटिलता को पूरी तरह से नहीं पकड़ पाते हैं, जहाँ अटेंशन मैकेनिज्म कई टोकन वितरणों (token distributions) के विकास को जोड़ता है। अनंत गहराई (परतों की संख्या) और अनंत चौड़ाई (अटेंशन हेड्स की संख्या) के संयुक्त सीमा (joint limit) में, टोकन वितरणों और पैरामीटर वितरणों के समवर्ती विकास को ध्यान में रखते हुए, ग्रेडिएंट-आधारित प्रशिक्षण का विश्लेषण करने के लिए एक कठोर गणितीय ढांचे की आवश्यकता है।

कार्यप्रणाली
यह शोध पत्र कंडीशनल ऑप्टिमल ट्रांसपोर्ट (conditional optimal transport) और वासरस्टीन ग्रेडिएंट फ्लो (Wasserstein gradient flows) के सिद्धांत को, जिसे पहले रेज़नेट्स पर लागू किया गया था, ट्रांसफॉर्मर सेटिंग में विस्तारित करके ट्रांसफॉर्मर के लिए एक मीन-फील्ड फ्रेमवर्क विकसित करता है।

दोहरा मीन-फील्ड प्रतिनिधित्व (Dual Mean-Field Representation): मॉडल ट्रांसफॉर्मर्स को अनंत रूप से गहरे (एक निरंतर गहराई चर $s \in [0,1]$ द्वारा पैरामीटराइज्ड) और अनंत रूप से चौड़े (अटेंशन पैरामीटर्स पर एक संभाव्यता वितरण $\rho$ द्वारा पैरामीटराइज्ड) के रूप में मानता है। महत्वपूर्ण रूप से, फ्रेमवर्क दो प्रकार के मेजर रिप्रेजेंटेशन (measure representations) का उपयोग करता है:
- टोकन वितरण (Token Distributions): परतों के माध्यम से टोकन के विकास को टोकन स्पेस पर एक संभाव्यता माप (probability measure) $\mu(s)$ के रूप में मॉडल किया जाता है।
- अटेंशन पैरामीटर्स (Attention Parameters): प्रत्येक परत पर पैरामीटर्स को पैरामीटर स्पेस $\Theta$ (क्वेरी, की, वैल्यू मैट्रिसेस) पर एक माप $\rho(\cdot|s)$ के रूप में दर्शाया जाता है।
न्यूरल PDE फॉर्मूलेशन: रेज़नेट्स के विपरीत, जिन्हें फीचर वेक्टर्स पर एक न्यूरल ODE के रूप में देखा जा सकता है, ट्रांसफॉर्मर का प्रशिक्षण इस फ्रेमवर्क में एक न्यूरल पार्शियल डिफरेंशियल इक्वेशन (PDE) को नियंत्रित करने के अनुरूप है। टोकन का विकास एक निरंतरता समीकरण (continuity equation) द्वारा शासित होता है जहाँ वेलोसिटी फील्ड मीन-फील्ड अटेंशन ऑपरेटर द्वारा निर्धारित होता है, जो सभी टोकनों के वितरण को जोड़ता है।
$\partial_s \mu(s) + \text{div}(\mu(s) \Phi_{\rho(\cdot|s)}[\mu(s)]) = 0$
लेखक इस PDE परिप्रेक्ष्य को फ्लो मैप्स $\Lambda$ पर कार्य करने वाले बानच-स्पेस-वैल्यूड (Banach-space-valued) ODE में पुनर्रूपित करते हैं, जो प्रारंभिक टोकन वितरण को एडवेक्ट (advect) करते हैं। यह पुनर्रूपण मेजर स्पेस में डिफरेंशिएबल स्ट्रक्चर की कमी से बचता है और विश्लेषण के लिए बेहतर रेगुलेरिटी प्रदान करता है।
कंडीशनल वासरस्टीन ग्रेडिएंट फ्लो के माध्यम से प्रशिक्षण: प्रशिक्षण प्रक्रिया को कंडीशनल ऑप्टिमल ट्रांसपोर्ट (COT) मेट्रिक के साथ लैस पैरामीटर वितरणों के स्थान पर एक ग्रेडिएंट फ्लो के रूप में मॉडल किया गया है। यह मेट्रिक यह सुनिश्चित करता है कि परतों के माध्यम से पैरामीटर्स का मार्जिनल वितरण संरक्षित रहे। लेखक एडजॉइंट सेंसिटिविटी एनालिसिस (adjoint sensitivity analysis) का उपयोग करके प्रशिक्षण जोखिम (training risk) के कंडीशनल वासरस्टीन ग्रेडिएंट को प्राप्त करते हैं, जो एडजॉइंट वेरिएबल्स को शामिल करते हुए एक स्पष्ट सूत्र प्रदान करता है जो बैकवर्ड ODE द्वारा शासित होते हैं।
न्यूरल टेंगेंट कर्नेल (NTK) विश्लेषण: अभिसरण (convergence) स्थापित करने के लिए, पेपर अटेंशन मैकेनिज्म के लिए NTK की इंजेक्टिविटी (injectivity) की जांच करता है। लेखक NTK के पॉजिटिव डेफिनिट होने के लिए आवश्यक और पर्याप्त स्थितियाँ प्राप्त करते हैं, जो एफाइन फंक्शन्स (affine functions) के मॉड्यूल में लॉग-सम-एक्सप (log-sum-exp/cumulant generating) फंक्शन्स की लीनियर इंडिपेंडेंस से जुड़ी हैं।

मुख्य योगदान और परिणाम

फॉरवर्ड और ट्रेनिंग डायनेमिक्स की सुव्यवस्थितता (Well-Posedness): पेपर फॉरवर्ड पास (टोकन विकास) और ट्रेनिंग इवोल्यूशन (पैरामीटर वितरण प्रवाह) के समाधानों के अस्तित्व और विशिष्टता को स्थापित करता है। यह सिद्ध करता है कि टोकन विकास फ्लो मैप्स द्वारा विशेषता वाली एक प्रक्रिया है जो फंक्शन स्पेस में ODE का पालन करती है, और ग्रेडिएंट फ्लो कर्व्स कंडीशनल वासरस्टेइन मेट्रिक स्पेस में अद्वितीय और मौजूद हैं।
स्पष्ट ग्रेडिएंट फॉर्मूलेशन: एडजॉइंट सेंसिटिविटी एनालिसिस का उपयोग करते हुए, लेखक ट्रेनिंग रिस्क के कंडीशनल वासरस्टीन ग्रेडिएंट का एक स्पष्ट सूत्र प्राप्त करते हैं। इसमें एडजॉइंट वेरिएबल्स शामिल हैं जो बैकवर्ड ODE का पालन करते हैं, जो मीन-फील्ड लिमिट में ग्रेडिएंट-आधारित प्रशिक्षण के लिए एक कठोर आधार प्रदान करता है।
NTK इंजेक्टिविटी स्थितियाँ: NTK इंजेक्टिविटी का लक्षण वर्णन एक केंद्रीय तकनीकी योगदान है। पेपर सिद्ध करता है कि अटेंशन मैकेनिज्म के लिए NTK इंजेक्टिविटी, एफाइन फंक्शन्स के मॉड्यूल में लॉग-सम-एक्सप फंक्शन्स की लीनियर इंडिपेंडेंस के समकक्ष है। यह स्थिति विविध टोकन वितरणों द्वारा संतुष्ट की जाती है, जिनमें शामिल हैं:
- एक विशिष्टता (distinctness) की स्थिति को संतुष्ट करने वाले डिस्क्रीट डिस्ट्रीब्यूशन (जो एब्सोल्यूटली कंटीन्यूअस मेजर्स से i.i.d. सैंपल्स के लिए लगभग निश्चित रूप से सत्यापित है)।
- अलग-अलग रेडियस वाले क्यूब्स पर यूनिफॉर्म डिस्ट्रीब्यूशन।
- अलग-अलग कोवेरिएंस मैट्रिसेस के साथ सिमेट्रिक मल्टीवेरिएट लैप्लेस डिस्ट्रीब्यूशन।
- अलग-अलग सेपरेशन पैरामीटर्स के साथ टू-कंपोनेंट गौसियन मिक्सचर।
ग्लोबल मिनिमा में अभिसरण: इस धारणा के तहत कि इनिशियलाइजेशन पर NTK पॉजिटिव है (विशेष रूप से, NTK का $V$ -भाग) और प्रारंभिक लॉस पर्याप्त रूप से छोटा है, पेपर सिद्ध करता है कि ग्रेडिएंट फ्लो एक ग्लोबल मिनिमाइज़र की ओर रैखिक अभिसरण दर के साथ अभिसरित होता है। यह परिणाम निर्दिष्ट शासन में ऑप्टिमाइजेशन लैंडस्केप से स्प्यूरियस लोकल मिनिमा को समाप्त करता है।

महत्व और दावे
यह पेपर दावा करता है कि यह अनंत रूप से गहरे और चौड़े ट्रांसफॉर्मर के प्रशिक्षण के लिए एक कठोर गणितीय आधार प्रदान करता है। रेज़नेट्स (न्यूरल ODEs) से मीन-फील्ड थ्योरी को ट्रांसफॉर्मर्स (न्यूरल PDEs) तक विस्तारित करके, यह गहरे रेसिडुअल नेटवर्क्स और अटेंशन मैकेनिज्म की अधिक जटिल गतिशीलता के बीच के अंतर को पाटता है।

लेखक इस बात पर जोर देते हैं कि उनका फ्रेमवर्क अटेंशन मैकेनिज्म के माध्यम से कई टोकन वितरणों के कपलिंग को कैप्चर करता है, जो मानक रेज़नेट विश्लेषण में अनुपस्थित है। NTK इंजेक्टिविटी स्थितियों की स्थापना इनिशियलाइजेशन के लिए रचनात्मक मार्गदर्शन प्रदान करती है, यह सुनिश्चित करती है कि ग्रेडिएंट-आधारित प्रशिक्षण स्प्यूरियस लोकल मिनिमा में फंसने के बिना ग्लोबल मिनिमा तक पहुंचे, बशर्ते कि इनिशियलाइजेशन अनुकूलतम समाधान के पर्याप्त करीब हो।

पेपर विनम्रतापूर्वक नोट करता है कि इसका विश्लेषण एनकोडर-स्टाइल (नॉन-कॉज़ल) अटेंशन तक सीमित है। डीकोडर आर्किटेक्चर में, जो कॉज़ल मास्किंग का उपयोग करते हैं, इस फ्रेमवर्क को विस्तारित करना एक बड़ी तकनीकी चुनौती के रूप में पहचाना गया है क्योंकि यह उन सिमिट्रीज को तोड़ देता है जिनका उपयोग प्रमाणों में किया गया है। इसके अलावा, वर्तमान फॉर्मूलेशन हेड डायमेंशन को फिक्स्ड रखता है जबकि हेड्स की संख्या को अनंत तक बढ़ने देता है; एम्बेडिंग डायमेंशन और हेड काउंट के कपल्ड स्केलिंग को कैप्चर करना एक खुला प्रश्न बना हुआ है।