💻 computer science

Scaling Laws for Behavioral Foundation Models over User Event Sequences

यह शोध पत्र यूजर इवेंट सीक्वेंस पर प्रशिक्षित बिहेवियरल फाउंडेशन मॉडल्स के लिए स्केलिंग लॉ (scaling laws) स्थापित करता है, जो यह प्रकट करता है कि एक छोटा फीचर-आधारित एंबेडर (embedder) लगातार कंप्यूट-ऑप्टिमल होता है, और कि इष्टतम प्रशिक्षण रणनीतियाँ बजट और मूल्यांकन मेट्रिक्स के साथ बदलती हैं, तथा नेगेटिव सैंपलिंग बाधाएं अंततः FLOPs से मेमोरी सीमाओं में परिवर्तित हो जाती हैं।

मूल लेखक: Rickard Brüel Gabrielsson

प्रकाशित 2026-06-05

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rickard Brüel Gabrielsson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल ऑनलाइन स्टोर के लिए एक बहुत बड़ा, हाई-स्पीड रिकमेंडेशन इंजन चला रहे हैं। हर बार जब कोई ग्राहक कुछ क्लिक करता है, खरीदता है या सर्च करता है, तो वह एक डिजिटल पदचिह्न (digital footprint) छोड़ देता है। आपका लक्ष्य एक ऐसा AI बनाना है जो ग्राहक के इतिहास के आधार पर यह भविष्यवाणी कर सके कि वे आगे क्या करेंगे।

यह पेपर एक विशाल, वैज्ञानिक "रेसिपी बुक" की तरह है जिसका उपयोग उस AI को बनाने के लिए किया जाता है। लेखकों ने लगभग 600 अलग-अलग प्रयोग किए, उन्होंने AI के दिमाग को हर संभव तरीके से ट्यून किया, ताकि यह पता लगाया जा सके कि अपनी कंप्यूटिंग शक्ति (जिसकी लागत बहुत अधिक होती है और बिजली भी खर्च होती है) को खर्च करने का सबसे कुशल तरीका क्या है।

यहाँ उनके निष्कर्षों का विवरण दिया गया है, जो सरल उपमाओं (analogies) का उपयोग करता है:

1. दो-भाग वाला दिमाग: लाइब्रेरियन और स्टोरीटेलर

इनमें से अधिकांश AI मॉडल में मिलकर काम करने वाले दो अलग-अलग हिस्से होते हैं:

लाइब्रेरियन (द एम्बेडर - The Embedder): यह हिस्सा किसी विशिष्ट आइटम (जैसे जूतों की एक जोड़ी या एक ट्रांजेक्शन) को देखता है और समझता है कि वह क्या है। यह टेक्स्ट, कीमत, रंग और श्रेणी को पढ़ता है।
स्टोरीटेलर (द ट्रांसफॉर्मर - The Transformer): यह घटनाओं के क्रम (sequence) को देखता है। यह याद रखता है कि आपने जूते देखे, फिर एक टोपी देखी, फिर एक जैकेट देखी, और यह अनुमान लगाने की कोशिश करता है कि आप आगे क्या खरीदेंगे।

बड़ी खोज: लेखकों ने पाया कि "लाइब्रेरियन" बहुत छोटा होना चाहिए।

उपमा: कल्पना कीजिए कि आप एक उपन्यास लिखने के लिए एक टीम को काम पर रख रहे हैं। आपके पास एक सीमित बजट है। आप सोच सकते हैं कि आपको हर शब्द के लिए तथ्यों को खोजने के लिए शोधकर्ताओं (लाइब्रेरियन) की एक बड़ी टीम की आवश्यकता होगी। लेकिन लेखकों ने पाया कि आपको केवल एक छोटी टीम (कुल स्टाफ का लगभग 2%) की आवश्यकता है।
क्यों? "लाइब्रेरियन" उन्हीं लोकप्रिय आइटम्स (जैसे "नाइकी स्नीकर्स") को हजारों बार देखता है। वह जल्दी ऊब जाता है और उन्हें जल्दी सीख लेता है। इसके विपरीत, "स्टोरीटेलर" घटनाओं के अद्वितीय संयोजनों को देखता है जो शायद ही कभी दोहराए जाते हैं। स्टोरीटेलर को एक बड़े दिमाग की आवश्यकता होती है; लाइब्रेरियन को केवल एक छोटे, कुशल दिमाग की आवश्यकता होती है।

2. "बैच साइज" का द्वंद्व: कक्षा में कितने छात्र?

AI को प्रशिक्षित करते समय, आप इसे एक बार में एक उदाहरण नहीं दिखाते; आप इसे उदाहरणों का एक "बैच" दिखाते हैं।

उपमा: एक शिक्षक को कक्षा पढ़ाते हुए सोचें। यदि कक्षा बहुत छोटी है (बैच साइज 64), तो शिक्षक व्यक्तिगत विचित्रताओं से विचलित हो सकता है। यदि कक्षा बहुत बड़ी है (बैच साइज 2048), तो शिक्षक अभिभूत हो सकता है या पाठ बहुत सामान्य हो सकता है।
खोज: "स्वीट स्पॉट" (सही संतुलन) इस बात पर निर्भर करता है कि आप क्या माप रहे हैं।
- यदि आप सटीकता (accuracy) की परवाह करते हैं (क्या हमने सही उत्तर प्राप्त किया?), तो स्वीट स्पॉट एक मध्यम आकार की कक्षा (लगभग 570 छात्र) है।
- यदि आप रैंकिंग (ranking) की परवाह करते हैं (क्या शीर्ष परिणाम सबसे अच्छा है?), तो स्वीट स्पॉट एक छोटी कक्षा (लगभग 200-275 छात्र) है।
- सीख: आप सब कुछ के लिए एक ही बैच साइज नहीं चुन सकते। "सबसे अच्छा" साइज बदल जाता है, इस आधार पर कि आप क्या अनुकूलित (optimize) करने की कोशिश कर रहे हैं।

3. डेटा बनाम मॉडल का ट्रेड-ऑफ: बड़ा दिमाग या बड़ी लाइब्रेरी?

आपके पास एक निश्चित राशि (कंप्यूट बजट) है। क्या आप एक सुपर-स्मार्ट AI (अधिक पैरामीटर्स) खरीदते हैं और उसे कम डेटा खिलाते हैं? या थोड़े कम स्मार्ट AI को और अधिक डेटा की विशाल लाइब्रेरी देते हैं?

खोज:
- छोटे बजट पर: आपको AI को भारी मात्रा में डेटा खिलाना चाहिए। AI एक स्पंज की तरह है; उसे अधिक से अधिक जानकारी सोखने की आवश्यकता है क्योंकि वह अभी अपने आप सामान्यीकरण (generalize) करने के लिए पर्याप्त स्मार्ट नहीं है।
- विशाल बजट पर: जैसे-जैसे आप समृद्ध होते जाते हैं (अधिक कंप्यूटिंग पावर), संतुलन बदल जाता है। आप एक स्मार्ट AI और कम डेटा की ओर बढ़ने लगते हैं, और अंततः एक ऐसे बिंदु पर पहुँच जाते हैं जहाँ अनुपात वैसा ही दिखता है जैसा कि बड़े भाषा मॉडल (LLMs, जैसे जो टेक्स्ट लिखते हैं) को प्रशिक्षित करने के लिए होता है।
- ट्रेंड (Trend): यह एक "डेटा-हैवी" रणनीति के रूप में शुरू होता है और जैसे-जैसे आपके पास अधिक शक्तिशाली कंप्यूटर आते हैं, धीरे-धीरे एक "संतुलित" रणनीति की ओर बढ़ता है।

4. "नेगेटिव" सैंपलिंग: कितने गलत उत्तर दिखाने हैं?

जब AI सीखता है, तो वह केवल सही उत्तर ही नहीं देखता; वह यह सीखने के लिए "डिस्ट्रैक्टर्स" (गलत उत्तर) भी देखता है कि क्या नहीं चुनना है।

उपमा: एक बहुविकल्पीय परीक्षा (multiple-choice test) की कल्पना करें। यदि आप छात्र को केवल 3 गलत उत्तर दिखाते हैं, तो वह भाग्यशाली हो सकता है। यदि आप उन्हें 1,000,000 गलत उत्तर दिखाते हैं, तो वे पैटर्न को पूरी तरह से सीख लेते हैं।
खोज:
- छोटे बजट पर: आपको मध्यम संख्या में गलत उत्तरों (लाखों में) की आवश्यकता होती है।
- विशाल बजट पर: आप जितने संभव हो उतने अधिक गलत उत्तर चाहते हैं। वास्तव में, सबसे बड़े बजट पर, सीमा कंप्यूटिंग पावर नहीं थी; बल्कि यह मेमोरी (memory) थी। सिस्टम 2 मिलियन गलत उत्तर दिखाना चाहता था, लेकिन कंप्यूटर के पास उन्हें रखने के लिए जगह खत्म हो गई।
- सावधानी: "सबसे अच्छे" गलत उत्तरों की संख्या इस बात पर निर्भर करती है कि आप साधारण सटीकता (accuracy) माप रहे हैं या जटिल रैंकिंग (ranking)। वे संख्या पर सहमत नहीं हैं।

5. सबसे महत्वपूर्ण सबक: गोलपोस्ट बदल जाता है

पेपर की सबसे महत्वपूर्ण चेतावनी मेट्रिक्स (metrics) (आप सफलता को कैसे मापते हैं) के बारे में है।

उपमा: कल्पना कीजिए कि आप एक रेस कार को प्रशिक्षित कर रहे हैं। यदि आप सफलता को "टॉप स्पीड" से मापते हैं, तो आप इंजन को एक तरीके से ट्यून करते हैं। यदि आप "ईंधन दक्षता" (fuel efficiency) से मापते हैं, तो आप उसे बिल्कुल अलग तरीके से ट्यून करते हैं।
खोज: इन व्यवहारिक मॉडलों में, चुना गया मेट्रिक रेसिपी को बदल देता है।
- यदि आप AI को "लॉस" (गणितीय त्रुटि) को कम करने के लिए प्रशिक्षित करते हैं, तो आपको एक सेटिंग्स मिलती है।
- यदि आप इसे "रैंकिंग" (सर्वश्रेष्ठ आइटम को पहले रखना) को अधिकतम करने के लिए प्रशिक्षित करते हैं, तो आपको एक अलग सेटिंग्स मिलती है।
- महत्वपूर्ण बिंदु: वह AI जो गणितीय त्रुटियों को कम करने में सबसे अच्छा है, वह हमेशा वह AI नहीं होता जो आइटम्स को सही ढंग से रैंक करने में सबसे अच्छा है। आपको शुरू करने से पहले यह तय करना होगा कि आप वास्तव में क्या अनुकूलित (optimize) करना चाहते हैं, क्योंकि "इष्टतम" (optimal) मॉडल आपके चुनाव के आधार पर बदल जाता है।

सारांश

सबसे कुशल "बिहेवियरल फाउंडेशन मॉडल" (एक ऐसा AI जो मानवीय कार्यों को समझता है) बनाने के लिए:

"आइटम समझने" वाले हिस्से (एम्बेडर) को बहुत छोटा रखें (कुल आकार का लगभग 2%)।
एक मध्यम बैच साइज का उपयोग करें, लेकिन इस आधार पर बदलाव करें कि आप सटीकता की परवाह करते हैं या रैंकिंग की।
भारी मात्रा में डेटा के साथ शुरुआत करें, लेकिन जैसे-जैसे आपके पास अधिक शक्तिशाली कंप्यूटर आते हैं, एक स्मार्ट मॉडल की ओर बढ़ें।
जितने भी "गलत उत्तर" के उदाहरण आपकी कंप्यूटर मेमोरी में समा सकें, उनका उपयोग करें।
सबसे महत्वपूर्ण: शुरू करने से पहले तय करें कि "सफलता" का अर्थ क्या है (मेट्रिक), क्योंकि वह निर्णय आपके AI के पूरे आर्किटेक्चर को निर्धारित करता है।

तकनीकी सारांश: उपयोगकर्ता घटना अनुक्रमों (User Event Sequences) पर व्यवहारिक फाउंडेशन मॉडल के लिए स्केलिंग लॉज़ (Scaling Laws)

समस्या विवरण (Problem Statement)

फाउंडेशन मॉडल्स का उपयोग अनुशंसा (recommendations), भुगतान (payments), धोखाधड़ी का पता लगाने (fraud detection) और वाणिज्य (commerce) जैसे डोमेन में उपयोगकर्ता क्रियाओं के अनुक्रमों पर तेजी से किया जा रहा है। हालाँकि, LLMs की तुलना में, इन व्यवहारिक मॉडलों (behavioral models) में कंप्यूट आवंटन को निर्देशित करने के लिए स्थापित स्केलिंग लॉज़ का अभाव है। एक महत्वपूर्ण वास्तुशिल्प अंतर (architectural distinction) मौजूद है: जबकि LLM टोकन आमतौर पर अपारदर्शी शब्दावली आईडी (opaque vocabulary IDs) होते हैं, व्यवहारिक घटनाएँ फीचर-समृद्ध (टेक्स्ट, मेटाडेटा, विजुअल फीचर्स, टाइमस्टैम्प आदि से युक्त) होती हैं। फलस्वरूप, आधुनिक प्रणालियाँ एक दो-भाग वाली वास्तुकला का उपयोग करती हैं: एक फीचर-आधारित इवेंट एम्बेडर (feature-based event embedder) जो कच्चे आइटम फीचर्स को सघन वेक्टर्स (dense vectors) में मैप करता है, और एक डिकोडर-ओनली ट्रांसफॉर्मर कॉन्टेक्स्टुलाइज़र (decoder-only transformer contextualizer) जो इन एम्बेडिंग्स के अनुक्रमों को मॉडल करता है।

यह वास्तुकला मानक टेक्स्ट LMs में मौजूद नहीं होने वाली अनूठी स्केलिंग चुनौतियाँ पेश करती है। विशेष रूप से, इन्फरेंस (inference) के दौरान प्रत्येक संभावित आइटम के लिए एम्बेडर को पुन: गणना करना आवश्यक होता है, जो बड़े कैटलॉग के लिए अत्यधिक महंगा है। मानक प्रक्रिया में एक दो-चरणीय प्रशिक्षण रेसिपी शामिल है: इन-बैच सैंपल्ड सॉफ्टमैक्स (in-batch sampled softmax) के साथ संयुक्त प्रशिक्षण, जिसके बाद एम्बेडर को फ्रीज करके और अधिक नेगेटिव्स के बड़े पूल के साथ कॉन्टेक्स्टुलाइज़र को प्रशिक्षित करने के लिए एम्बेडिंग्स को कैश (cache) करना। यह सेटअप चार जुड़े हुए हाइपरपैरामीटर (knobs) बनाता है जिन्हें कैलिब्रेट करने की आवश्यकता होती है:

एम्बेडर शेयर (Embedder Share): एम्बेडर बनाम कॉन्टेक्सचुलाइज़र के बीच आवंटित मापदंडों (parameters) का अनुपात।
क्रिटिकल बैच साइज (Critical Batch Size): वह बैच साइज जो डेटा दक्षता को अधिकतम करता है।
मॉडल/डेटा आवंटन (Model/Data Allocation): मॉडल आकार ( $N$ ) और डेटा टोकन ( $D$ ) के बीच कंप्यूट बजट का इष्टतम विभाजन।
नेगेटिव सैंपलिंग (Negative Sampling): दूसरे प्रशिक्षण चरण में उपयोग किए जाने वाले अतिरिक्त सैंपल्ड नेगेटिव्स ( $K$ ) की संख्या।

कार्यप्रणाली (Methodology)

यह अध्ययन एक वास्तविक रिटेल इंटरैक्शन कॉर्पस (खोज, व्यूज, क्लिक और खरीदारी को मिलाकर) पर लगभग 600 प्रशिक्षण रन के माध्यम से एक व्यापक अनुभवजन्य जांच (empirical investigation) आयोजित करता है। प्रयोग एक कंप्यूट बजट रेंज $C \in [10^{15}, 10^{19}]$ FLOPs के विस्तार में फैले हुए हैं।

प्रायोगिक डिज़ाइन अन्य को स्थिर रखने या व्यवस्थित रूप से स्वीप करने के साथ चार अक्षों (axes) को अलग करता है:

वास्तुकला (Architecture): एम्बेडर पैरामीटर शेयर ( $s = p_e/N$ ) को 0% से 50% तक बदलकर और कॉन्टेक्सचुलाइज़र की गहराई को बदलकर।
बैच साइज (Batch Size): विभिन्न मेट्रिक्स के लिए क्रिटिकल बैच साइज ( $B_{crit}$ ) की पहचान करने के लिए 64 से 2048 तक ग्लोबल बैच साइज ( $B$ ) को स्वीप करना।
मॉडल/डेटा आवंटन (Model/Data Allocation): विभिन्न बजटों के लिए इष्टतम $N$ और $D$ निर्धारित करने के लिए आइसो-FLOP फ्रंटियर्स पर प्रशिक्षण, "चिंचिला" (Chinchilla) ह्यूरिस्टिक ( $D/N \approx 20$ ) के विरुद्ध तुलना करते हुए।
नेगेटिव सैंपलिंग (Negative Sampling): दूसरे प्रशिक्षण चरण में अतिरिक्त सैंपल्ड नेगेटिव्स ( $K$ ) की संख्या को 0 से 2 मिलियन तक बदलकर।

मूल्यांकन प्रोटोकॉल (Evaluation Protocol): अध्ययन दो मूल्यांकन व्यवस्थाओं के बीच अंतर करता है:

चरण 1 (In-batch): बैच के भीतर अद्वितीय लक्ष्यों (unique targets) के विरुद्ध, जो प्रशिक्षण वितरण से मेल खाता है।
चरण 2 (Full-Catalogue): पूर्ण कैश किए गए उत्पाद कैटलॉग के विरुद्ध, जो तैनात रिट्रीवल सेटिंग का अनुकरण करता है।
मेट्रिक्स में क्रॉस-एन्ट्रॉपी लॉस, परप्लेक्सिटी, रिकॉल@k, NDCG@k, MRR@10 और कवरेज शामिल हैं।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. इष्टतम एम्बेडर छोटा होता है (The Compute-Optimal Embedder is Small)

इस अंतर्ज्ञान के विपरीत कि फीचर-समृद्ध इनपुट के लिए बड़े एनकोडर्स की आवश्यकता होती है, अध्ययन पाता है कि इष्टतम एम्बेडर शेयर उल्लेखनीय रूप से छोटा और चार दशकों के कंप्यूट के दौरान स्थिर रहता है।

निष्कर्ष: इष्टतम पैरामीटर शेयर $s^\star \approx 2\%$ है (विशेष रूप से मेट्रिक और बजट के आधार पर $1.1\% - 3.7\%$ )।
तंत्र (Mechanism): यह दो विषमताओं (asymmetries) द्वारा संचालित है:
1. कंप्यूट विषमता (Compute Asymmetry): एम्बेडर के पैरामीटर्स को ट्रांसफॉर्मर के अनुक्रम लंबाई की तुलना में एम्बेडर के छोटे संदर्भ लंबाई के कारण प्रति आइटम $\approx 24$ बार अधिक बार छुआ जाता है।
2. डेटा वितरण विषमता (Data Distribution Asymmetry): कैटलॉग में लोकप्रिय आइटम सैकड़ों से हजारों बार दोहराए जाते हैं, जिससे एम्बेडर को उच्च-आवृत्ति स्मृति (high-frequency memorization) का सामना करना पड़ता है, जबकि कॉन्टेक्सचुलाइज़र शायद ही कभी एक ही इवेंट विंडो को दोबारा देखता है।
निहितार्थ: एक छोटा एम्बेडर इसलिए कंप्यूट-इष्टतम है क्योंकि इसके पैरामीटर्स प्रति स्टेप अधिक महंगे हैं और अधिक दोहराव वाले डेटा वितरण को देखते हैं।

2. स्केलिंग शुरू में डेटा-भारी होती है, फिर चिंचिला की ओर अभिसरित होती है (Scaling is Initially Data-Heavy, Converging to Chinchilla)

व्यवहारिक मॉडल टेक्स्ट LMs की तुलना में अलग स्केलिंग डायनेमिक्स प्रदर्शित करते हैं, विशेष रूप से निचले कंप्यूट बजट पर।

निष्कर्ष: इष्टतम डेटा-टू-पैरामीटर अनुपात ( $D/N$ ) शुरू में बहुत अधिक होता है, जो $10^{15}$ FLOPs पर $\approx 344$ से शुरू होकर $10^{19}$ FLOPs पर $\approx 36$ तक कम हो जाता है।
रुझान (Trend): जैसे-जैसे कंप्यूट बढ़ता है, अनुपात टेक्स्ट-LM चिंचिला ह्यूरिस्टिक ( $D/N \approx 20$ ) के करीब पहुंच जाता है।
एक्सपोनेंट्स (Exponents): फिट किया गया मॉडल-साइज एक्सपोनेंट $N^\star \propto C^{0.617 \pm 0.025}$ है, जो विभिन्न रैंकिंग मेट्रिक्स (Recall, NDCG) में सुसंगत है।

3. मूल्यांकन मेट्रिक्स स्केलिंग लॉ को परिभाषित करते हैं (Evaluation Metrics Define the Scaling Law)

एक केंद्रीय निष्कर्ष यह है कि मूल्यांकन मेट्रिक "कंप्यूट-इष्टतम रेसिपी" को मौलिक रूप से बदल देता है।

क्रिटिकल बैच साइज ( $B_{crit}$ ): मेट्रिक्स इष्टतम बैच साइज पर असहमत हैं। लॉस और रिकॉल@10 दोनों का $B_{crit} \approx 570$ है, जबकि पोजीशन-वेटेड मेट्रिक्स (NDCG@10, MRR@10) जल्दी संतृप्त हो जाते हैं ( $B_{crit} \approx 200\text{--}275$ )।
नेगेटिव सैंपलिंग ( $K$ ): इष्टतम नेगेटिव्स की संख्या मेट्रिक-निर्भर है। लॉस-जैसे मेट्रिक्स बड़े $K$ (अक्सर $>10^6$ ) पसंद करते हैं, जबकि रैंकिंग मेट्रिक्स छोटे $K$ (अक्सर $10^5$ ) पसंद करते हैं।
लॉस बनाम रैंकिंग असहमति: सैंपल्ड-सॉफ्टमैक्स प्रशिक्षण लॉस हमेशा फुल-कैटलॉग रैंकिंग गुणवत्ता के लिए विश्वसनीय प्रॉक्सी नहीं होता है। चरण 2 में, प्रशिक्षण लॉस और रैंकिंग मेट्रिक्स के बीच सहसंबंध (correlation) कंप्यूट बजट और उपयोग किए गए विशिष्ट मेट्रिक के आधार पर साइन बदल सकता है।

4. नेगेटिव सैंपलिंग कंप्यूट से मेमोरी बाधाओं की ओर स्थानांतरित होती है (Negative Sampling Shifts from Compute to Memory Constraints)

छोटे बजट: इष्टतम $K$ कुछ लाख के निचले स्तर पर है और मेट्रिक-निर्भर है।
बड़े बजट ( $10^{19}$ FLOPs): सबसे बड़े पैमाने पर, हर प्रमुख मेट्रिक $K$ के बढ़ने के साथ अधिकतम परीक्षण किए गए ( $2M$ ) तक सुधार करता है। सक्रिय बाधा (constraint) FLOPs से बदलकर कैंडिडेट-एक्सिस मेमोरी (सॉफ्टमैक्स लॉजिट्स का मेमोरी फुटप्रिंट) हो जाती है।
निहितार्थ: स्केल पर, नेगेटिव सैंपलिंग एक शुद्ध कंप्यूट आवंटन समस्या के बजाय एक मेमोरी इंजीनियरिंग समस्या बन जाती है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि व्यवहारिक फाउंडेशन मॉडल्स के लिए, मूल्यांकन मेट्रिक स्केलिंग लॉ का हिस्सा है। टेक्स्ट LMs के विपरीत जहाँ एक एकल लॉस फंक्शन अक्सर आर्किटेक्चर और प्रशिक्षण रेसिपी को निर्देशित करने के लिए पर्याप्त होता है, व्यवहारिक मॉडल्स के लिए चिकित्सकों को स्केलिंग लॉ को फिट करने से पहले अपने लक्षित मेट्रिक का चयन करना आवश्यक है। मेट्रिक बदलने से इष्टतम एम्बेडर शेयर, बैच साइज और नेगेटिव सैंपलिंग रणनीति बदल सकती है।

अध्ययन मानक इवेंट-एम्बेडर $\to$ ट्रांसफॉर्मर स्टैक प्रशिक्षित करने वाले चिकित्सकों के लिए एक कैलिब्रेटेड "रेसिपी" प्रदान करता है:

वास्तुकला (Architecture): एक छोटा एम्बेडर ( $\approx 2\%$ पैरामीटर्स) उपयोग करें।
डेटा (Data): कम कंप्यूट पर डेटा-हेवी आवंटन ( $D/N$ ) का उपयोग करें, जो उच्च कंप्यूट पर चिंचिला की ओर अभिसरित होता है।
बैच साइज (Batch Size): विशिष्ट लक्षित मेट्रिक के आधार पर ट्यून करें (रैंकिंग के लिए कम, लॉस के लिए अधिक)।
नेगेटिव सैंपलिंग (Negative Sampling): बड़े पैमाने पर नेगेटिव सैंपलिंग को एक मेमोरी-बाउंड समस्या के रूप में मानें; मानक तैनाती के लिए $K$ को लाखों में रखें, लेकिन स्वीकार करें कि $10^{19}$ FLOPs पर, कंप्यूट नहीं, बल्कि मेमोरी बाधाएं आगे के लाभों को सीमित करती हैं।

लेखक इस बात पर जोर देते हैं कि हालांकि स्केलिंग एक्सपोनेंट्स (कैसे $N$ और $D$ , $C$ के साथ बढ़ते हैं) मेट्रिक्स के बीच अपेक्षाकृत सुसंगत हैं, लेकिन क्रियात्मक रेसिपी (वह विशिष्ट सेल जिसे तैनात किया जाना है) चुने गए मूल्यांकन मेट्रिक के प्रति अत्यधिक संवेदनशील है।