What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training
यह शोध पत्र यह प्रदर्शित करता है कि यद्यपि पैरामीटर और कंप्यूट की गणना के लिए विभिन्न लेखांकन परंपराएं (accounting conventions) कंप्यूट-ऑप्टिमल ट्रेनिंग फ्रंटियर के फिटेड एक्सपोनेंट्स को महत्वपूर्ण रूप से बदल देती हैं, लेकिन लॉस लैंडस्केप की सपाटता के कारण प्रशिक्षण दक्षता पर पड़ने वाला परिणामी व्यावहारिक प्रभाव मामूली है, जिसमें विशिष्ट लेखांकन विकल्प सरल आर्किटेक्चरल अनुपातों से पूर्वानुमेय होते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक आदर्श केक बनाने की कोशिश कर रहे हैं, लेकिन आपके पास कोई रेसिपी नहीं है। आप जानते हैं कि स्वाद दो चीजों पर निर्भर करता है: आप कितना आटा उपयोग करते हैं (केक का आकार) और आप इसे कितनी देर तक बेक करते हैं (समय की मात्रा)। आर्टिफिशियल इंटेलिजेंस की दुनिया में, वैज्ञानिक ट्रांसफॉर्मर्स नामक विशाल मस्तिष्क जैसे कंप्यूटरों को प्रशिक्षित करने के लिए एक आदर्श "रेसिपी" खोजने की कोशिश कर रहे हैं। वे जानना चाहते हैं कि, यदि मेरे पास बिजली और कंप्यूटर समय पर खर्च करने के लिए धन की एक निश्चित राशि है, तो क्या मुझे एक छोटा मस्तिष्क बनाना चाहिए और उसे डेटा का एक पहाड़ खिलाना चाहिए, या एक विशाल मस्तिष्क और उसे बस थोड़ा सा डेटा देना चाहिए?
इसे समझने के लिए, शोधकर्ताओं को कुछ गणित करना पड़ता है। वे "सामग्री" (मस्तिष्क का आकार) और "प्रयास" (आवश्यक कंप्यूटर कार्य) को गिनते हैं। लेकिन पेचीदा हिस्सा यह है कि ठीक वैसे ही जैसे एक बेकर कटोरे के वजन के साथ या केवल आटे के वजन के आधार पर "आटे के कप" को अलग तरह से गिन सकता है, AI वैज्ञानिक भी "सामग्री" और "लागत" को अलग-अलग तरीकों से गिनते हैं। कुछ मस्तिष्क के हर एक हिस्से को गिनते हैं, जबकि अन्य केवल मुख्य सोचने वाले हिस्सों को गिनते हैं। कुछ कच्चे गणितीय ऑपरेशन्स को गिनते हैं, जबकि अन्य वास्तव में कंप्यूटर द्वारा लिए गए सेकंडों को गिनते हैं। वर्षों तक, सभी ने माना कि इन अलग-अलग गिनती के तरीकों से बहुत अधिक फर्क नहीं पड़ता क्योंकि वे बहुत विशाल मस्तिष्क का अध्ययन कर रहे थे कि अतिरिक्त हिस्से नगण्य थे। लेकिन क्या होगा अगर आप एक विशाल वेडिंग केक के बजाय एक छोटा कप केक बना रहे हैं? क्या सामग्री गिनने का तरीका अचानक आपकी रेसिपी बदल देता है?
यह शोध पत्र, स्वतंत्र शोधकर्ता अलेक्जेंडर मेमिंग द्वारा लिखा गया है, बिल्कुल यही सवाल पूछता है। लेखक ने अनुमान लगाना बंद करने और मापना शुरू करने का निर्णय लिया। विशाल, महंगे AI मॉडल देखने के बजाय जिन्हें केवल बड़ी कंपनियां ही वहन कर सकती हैं, मेमिंग ने 35 छोटे, प्रबंधनीय AI मॉडल का एक ग्रिड बनाया। उन्होंने उन सभी को एक ही शैक्षिक पाठ पर, उन्हीं नियमों का उपयोग करके प्रशिक्षित किया, लेकिन उन्होंने परिणामों का चार अलग-अलग तरीकों से विश्लेषण किया, जिसमें केवल "आकार" और "लागत" को गिनने का तरीका बदला गया था।
इसके निष्कर्ष कुछ हद तक ऐसा है जैसे यह पता चलना कि आपका किचन स्केल झूठ बोल रहा है, लेकिन केवल तभी जब आप कम मात्रा को तौलते हैं। शोध पत्र में पाया गया कि जब आप पुराने, सरल तरीके से गिनती करते हैं (जो मस्तिष्क के "आउटपुट हेड" को अनदेखा करता है), तो गणित यह सुझाव देता है कि आपको एक ऐसा मॉडल बनाना चाहिए जो अधिक सटीक गणना के सुझाव की तुलना में लगभग 19 गुना छोटा हो। दूसरे शब्दों में, आप जिस "रूलर" का उपयोग करते हैं, उसके आधार पर अनुशंसित रेसिपी नाटकीय रूप से बदल जाती है। घातांक (exponent)—एक संख्या जो बताती है कि मॉडल कितनी तेजी से बढ़ना चाहिए—गिनती के तरीके को बदलने मात्र से 0.25 से 0.42 हो गया। यह एक बड़ा अंतर है, जो बताता है कि दो वैज्ञानिक एक ही ट्रेनिंग रन को देख रहे होने के बावजूद पूरी तरह से अलग "इष्टतम" रेसिपी प्रकाशित कर सकते हैं, केवल इसलिए क्योंकि उन्होंने अपने नंबरों के लिए अलग-अलग परिभाषाओं का उपयोग किया।
हालाँकि, एक मोड़ है जो इन मॉडलों को बनाने वाले किसी भी व्यक्ति के लिए इसे कम डरावना बनाता है। भले ही कागज पर रेसिज़ बहुत अलग दिख रही थीं, लेकिन केक का स्वाद लगभग एक जैसा था। लेखक ने पाया कि सर्वोत्तम प्रदर्शन की "घाटी" (valley) बहुत सपाट है। इसका मतलब है कि यदि आप गलत रेसिपी (पुरानी, सरल गिनती पद्धति पर आधारित) का पालन करते हैं, तो आप अपना पूरा बजट बर्बाद नहीं करते हैं। आप अपने कंप्यूट का लगभग 18% बर्बाद कर सकते हैं, लेकिन अंतिम परिणाम अभी भी सर्वोत्तम संभव परिणाम के बहुत करीब होता है। शोध पत्र निष्कर्ष निकालता है कि हालांकि हमें अपने नंबरों को रिपोर्ट करने के बारे में बहुत सावधान रहने की आवश्यकता है ताकि वैज्ञानिक सेब की तुलना सेब से कर सकें, लेकिन गिनती को थोड़ा गलत करने की व्यावहारिक लागत आश्चर्यजनक रूप से कम है। "परफेक्ट" रेसिपी एक चलता-फिरता लक्ष्य है, लेकिन "काफी अच्छे" रेसिपी की सीमा हमारी सोच से कहीं अधिक विस्तृत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।