तकनीकी सारांश: भीड़भाड़ के तहत सुपरवाइज्ड फाइन-ट्यूनिंग बनाम इन-कॉन्टेक्स्ट लर्निंग

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) ने AI सेवाओं में क्रांति ला दी है, फिर भी वैयक्तिकरण (personalization) और संसाधन दुर्लभता के बीच एक महत्वपूर्ण आर्थिक तनाव मौजूद है। जबकि वैयक्तिकरण (सुपरवाइज्ड फाइन-ट्यूनिंग, SFT, या इन-कॉन्टेक्स्ट लर्निंग, ICL के माध्यम से) डोमेन-विशिष्ट कार्यों पर मॉडल के प्रदर्शन में सुधार करता है, यह साझा कंप्यूटेशनल संसाधनों का उपभोग करता है। जब हजारों उपयोगकर्ता साझा बुनियादी ढांचे पर मॉडलों को एक साथ वैयकीकृत करते हैं, तो भीड़भाड़ (congestion) उत्पन्न होती है: प्रत्येक उपयोगकर्ता का विधि और नमूना आकार (sample size) का चुनाव न केवल उनके अपने खर्चों को बल्कि दूसरों के प्रतीक्षा समय और विलंबता (latency) को भी प्रभावित करता है।

यह शोध पत्र तीन प्राथमिक प्रश्नों को संबोधित करता है:

1. एल्गोरिदम का चयन: भीड़भाड़ की अनुपस्थिति में, सांख्यिकीय प्रिमिटिव्स (statistical primitives) के आधार पर उपयोगकर्ताओं को SFT और ICL के बीच कैसे चयन करना चाहिए?
2. संतुलन व्यवहार (Equilibrium Behavior): साझा, सीमित संसाधनों के साथ, उपयोगकर्ता भीड़भाड़ की लागत के विरुद्ध वैयक्तिकरण की गुणवत्ता के बीच कैसे संतुलन बनाते हैं?
3. प्लेटफॉर्म डिज़ाइन: जब संसाधन दुर्लभ होते हैं, तो प्लेटफार्मों को अपने सेवा मेनू (SFT, ICL, या दोनों की पेशकश करना) और मूल्य निर्धारण रणनीतियों को कैसे डिजाइन करना चाहिए?

मौजूदा साहित्य अक्सर स्केलिंग लॉ या शैलीगत व्यवहार संबंधी धारणाओं पर निर्भर करता है, जो व्यक्तिगत एल्गोरिदम और लाखों उपयोगकर्ताओं के स्तर पर होने वाली रणनीतिक अंतःक्रियाओं के बीच के महत्वपूर्ण अंतरों को अनदेखा करता है। यह शोध पत्र सांख्यिकीय शिक्षण सिद्धांत (statistical learning theory) और भीड़भाड़ अर्थशास्त्र (congestion economics) के बीच के अंतर को पाटने का लक्ष्य रखता है।

कार्यप्रणाली (Methodology)

लेखक एक सुलभ ढांचा विकसित करते हैं जो LLM के सांख्यिकीय मॉडलिंग को एक निरंतर-उपयोगकर्ता गेम-थ्योरेटिक मॉडल (continuum-user game-theoretic model) के साथ जोड़ता है।

1. वैयक्तिकरण के सांख्यिकीय मॉडल

यह शोध पत्र LLM वैयक्तिकरण को एक लीनियर रिग्रेशन समस्या के रूप में मॉडल करता है।

• प्रीट्रेनिंग (Pretraining): इसे $N$ आकार के डेटासेट से टास्क पैरामीटर्स $\theta$ पर एक प्राय वितरण (prior distribution) सीखने के रूप में संक्षिप्त किया गया है। प्रीट्रेन्ड मॉडल एक सीखे गए प्राय मीन $\theta_{pre}$ और कोवेरिएंस $\Sigma_{pre}$ के अनुरूप है।
• इन-कॉन्टेक्स्ट लर्निंग (ICL): इसे अनुमानित बेयसियन इन्फरेंस (approximate Bayesian inference) के रूप में मॉडल किया गया है। मॉडल प्रॉम्प्ट में दिए गए $N$ वैयक्तिकरण नमूनों के आधार पर सीखे गए प्राय को कंडीशन करके अपने लक्षित कार्य $\theta^*$ के बारे में अपने विश्वास को अपडेट करता है, बिना पैरामीटर्स को अपडेट किए।
• सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): इसे एक रेगुलराइज्ड एस्टिमेटर के रूप में मॉडल किया गया है जो प्रीट्रेन्ड इनिशियलाइजेशन से शुरू होकर टास्क-विशिष्ट डेटा का उपयोग करके मॉडल पैरामीटर्स को अपडेट करता है। इसमें उच्च कंप्यूटेशनल लागत (FLOPs और मेमोरी) लगती है लेकिन यह प्रीट्रेन्ड सबस्पेस से परे अनुकूलन की अनुमति देता है।

लेखक दोनों विधियों के मीन-स्क्वेर्ड एरर (MSE) के लिए क्लोज्ड-फॉर्म एक्सप्रेशन निकालते हैं, जो त्रुटियों को प्रीट्रेनिंग से विरासत में मिले घटकों, डेटा शोर (data noise), और एल्गोरिदम-विशिष्ट अनिश्चितता में विभाजित करते हैं।

2. निरंतर उपयोगकर्ता मॉडल (LLM-सर्विंग कंजेशन गेम)

इस अंतःक्रिया को निरंतर उपयोगकर्ताओं वाले एक LLM-सर्विंग कंजेशन गेम (LSCG) के रूप में मॉडल किया गया है।

• उपयोगकर्ता प्रकार: उपयोगकर्ताओं को एक प्रकार $t$ द्वारा वर्णित किया जाता है जो उनके लक्षित कार्य और प्रीट्रेन्ड मॉडल के सांख्यिकीय गुणों (जैसे आयाम $d$, प्रीट्रेनिंग कवरेज $r$, सिग्नल-टू-नॉइज़ रेशियो) को सारांशित करता है।
• क्रियाएं (Actions): प्रत्येक उपयोगकर्ता एक वैयक्तिकरण एल्गोरिदम $a \in \{ICL, SFT\}$ और नमूनों की संख्या $\tilde{N}$ चुनता है।
• लागत फलन (Cost Function): एक उपयोगकर्ता की कुल लागत में लर्निंग एरर (सांख्यिकीय प्रदर्शन) और संसाधन लागत शामिल है। संसाधन लागत में प्रति इकाई संसाधन की मौद्रिक कीमत और एक भीड़भाड़-प्रेरित समय लागत $h(R)$ शामिल है, जहाँ $R$ कुल संसाधन मांग है।
• संतुलन (Equilibrium): शोध पत्र इस निरंतर सेटिंग में एक नैश इक्विलिब्रियम (Nash equilibrium) को परिभाषित करता है, जहाँ लगभग हर उपयोगकर्ता दिए गए कुल भीड़भाड़ स्तर को देखते हुए अपनी लागत को कम करता है, और भीड़भाड़ का स्तर सभी उपयोगकर्ताओं के कुल व्यवहार के अनुरूप होता है।

मुख्य योगदान और परिणाम

1. सांख्यिकीय ट्रेड-ऑफ: SFT बनाम ICL

विश्लेषण एक सटीक थ्रेशोल्ड प्रदान करता है कि कब SFT, ICL पर हावी होता है, जो प्रीट्रेनिंग कवरेज ($R = r/(d-r)$) और अनकवर्ड सबस्पेस में डेटा के सिग्नल-टू-नॉइज़ रेशियो ($\kappa$) द्वारा नियंत्रित होता है।

• निष्कर्ष: जब प्रीट्रेनिंग कवरेज कम हो और डेटा शोर वाला/सीमित हो, तब ICL इष्टतम होता है। इस शासन (regime) में, ICL का रूढ़िवाद (केवल प्रीट्रेन्ड सबस्पेस के भीतर अपडेट करना) उस उच्च विचरण (variance) से बचता है जो खराब रूप से समर्थित दिशाओं में सीखने की कोशिश करने वाले SFT से उत्पन्न होता है।
• निष्कर्ष: जब प्रीट्रेनिंग कवरेज अधिक हो और डेटा सूचनात्मक हो, तब SFT प्रभावी होता है। SFT उन दिशाओं में भी त्रुटि को कम कर सकता है जो प्रीट्रेनिंग द्वारा कवर नहीं की गई हैं, जबकि ICL उन दिशाओं में एक निश्चित अपरिहार्य बायस (bias) बनाए रखता है।
• वैलिडेशन: लीनियर रिग्रेशन कार्यों के साथ GPT-2 के प्रयोग पुष्टि करते हैं कि ICL एरर एक बायस पर स्थिर हो जाता है जो अनकवर्ड डायमेंशन द्वारा निर्धारित होता है, जबकि SFT एरर सैंपल साइज के साथ कम होता जाता है।

2. संतुलन भीड़भाड़ गतिशीलता (Equilibrium Congestion Dynamics)

शोध पत्र संतुलन भीड़भाड़ स्तर $R^*$ के अस्तित्व और विशिष्टता को सिद्ध करता है। महत्वपूर्ण रूप से, सिस्टम पैरामीटर्स और भीड़भाड़ के बीच का संबंध गैर-मोनोटोनिक (non-monotonic) है:

• प्रीट्रेनिंग प्रिसिजन: उच्च प्रिसिजन ($\pi$) हमेशा भीड़भाड़ को कम करता है, क्योंकि उपयोगकर्ता महंगी ऑनलाइन वैयक्तिकरण पर कम निर्भर होते हैं।
• प्रीट्रेनिंग कवरेज: मध्यवर्ती शासन में कवरेज ($r$) बढ़ाने से भीड़भाड़ बढ़ सकता है। जैसे-जैसे कवरेज बढ़ता है, उपयोगकर्ता नए रूप से कवर किए गए आयामों का लाभ उठाने के लिए ICL से SFT की ओर स्विच कर सकते हैं (एक्सटेंसिव मार्जिन) या सैंपल साइज बढ़ा सकते हैं (इंटेंसिव मार्जिन), जिससे अस्थायी रूप से कुल मांग बढ़ जाती है।
• कार्य की कठिनाई: कठिन कार्य (उच्च शोर) उपयोगकर्ताओं को वैयक्तिकरण से हतोत्साहित करके भीड़भाड़ को कम कर सकते हैं।
• SFT लागत: SFT की संसाधन लागत बढ़ाने से शुरुआत में भीड़भाड़ बढ़ सकती है (जैसे कि उपयोगकर्ता ICL की ओर स्विच करने से पहले गहन उपयोग करते हैं) लेकिन अंततः यह कम हो जाती है क्योंकि उपयोगकर्ता ICL की ओर प्रतिस्थापन (substitution) करते हैं।

3. प्लेटफॉर्म रणनीति और लाभप्रदता

शोध पत्र एक स्टैकेलबर्ग रणनीति (Stackelberg strategy) का विश्लेषण करता है (लाभ को अधिकतम करने के लिए कीमत $p$ निर्धारित करना)।

• मूल्य निर्धारण: संतुलन भीड़भाड़ स्तर प्रति इकाई संसाधन मूल्य के घटने के साथ घटता है। नियमितता की शर्तों के तहत लाभ अधिकतम करने वाली कीमत परिमित (finite) होती है।
• मेन्यू डिज़ाइन: लेखक सिद्ध करते हैं कि दोनों SFT और ICL की पेशकश करना केवल ICL की पेशकश करने की तुलना में प्लेटफॉर्म के अधिकतम लाभ को कभी कम नहीं करता है। हालांकि SFT जोड़ने से उच्च कुल संसाधन खपत (और इस प्रकार भीड़भाड़) की संभावना बढ़ जाती है, लेकिन यह प्लेटफॉर्म को उन उपयोगकर्ताओं से अधिशेष (surplus) प्राप्त करने की अनुमति देता है जो उच्च-प्रदर्शन, उच्च-लागत वाले विकल्प को पसंद करते हैं।
• अनुभवजन्य साक्ष्य: 21 प्रमुख AI प्लेटफार्मों की समीक्षा दिखाती है कि दोनों SFT और ICL की पेशकश करने वाला हिस्सा 2021 में 9.5% से बढ़कर 2025 में 71.4% हो गया है, जो इस सैद्धांतिक भविष्यवाणी के अनुरूप है कि वैयक्तिकरण विकल्पों में विविधता लाभदायक है।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह उभरते हुए AI-इकोनॉमिक्स साहित्य में योगदान देता है, जो केवल प्रति-टोकन मूल्य निर्धारण से आगे बढ़कर यह समझने के लिए एक व्यवहार-आधारित मॉडल विकसित करता है कि कैसे एल्गोरिदम की विशेषताएं रणनीतिक अंतःक्रियाओं को आकार देती हैं।

• सैद्धांतिक नवीनता: यह क्लासिक कंजेशन गेम थ्योरी (पीक-लोड प्राइसिंग) को LLM के विशिष्ट सांख्यिकीय गुणों के साथ जोड़ता है। पारंपरिक भौतिक नेटवर्क बाधाओं द्वारा संचालित इंफ्रास्ट्रक्चर कंजेशन के विपरीत, यह पेपर वैयक्तिकरण विधियों (जैसे कि SFT और ICL संसाधन तीव्रता और त्रुटि न्यूनीकरण में कैसे भिन्न होते हैं) के एल्गोरिदम गुणों द्वारा संचालित एक नए प्रकार के कंजेशन को उजागर करता है।
• व्यावहारिक प्रासंगिकता: यह ढांचा प्रमुख प्लेटफार्मों द्वारा SFT API के तेजी से अपनाने की व्याख्या करता, भले ही इससे जटिलता और लोड बढ़ जाता है। यह एक सैद्धांतिक औचित्य प्रदान करता है कि प्लेटफार्मों को एक एकल मानकीकृत विधि के बजाय वैयक्तिकरण विकल्पों का एक मेनू क्यों पेश करना चाहिए।
• नीतिगत निहितार्थ: कंजेशन की गैर-मोनोटोनिक प्रकृति यह सुझाव देती है कि केवल प्रीट्रेनिंग मॉडल में सुधार करना या संसाधनों को बढ़ाना भीड़भाड़ को रैखिक रूप से कम नहीं कर सकता है; प्लेटफॉर्म डिज़ाइन को यह ध्यान रखना चाहिए कि उपयोगकर्ता इन परिवर्तनों के जवाब में एल्गोरिदम और सैंपल साइज के बीच कैसे शिफ्ट होते हैं।

लेखक अपने सैद्धांतिक भविष्यवाणियों को GPT-2 प्रयोगों और उद्योग डेटा का उपयोग करके मान्य करते हैं, यह प्रदर्शित करते हुए कि LLM व्यवहार का लीनियर एप्रोक्सिमेशन भीड़भाड़ वाले वातावरण में SFT और ICL के बीच के मुख्य ट्रेड-ऑफ को प्रभावी ढंगत: कैप्चर करता है।