LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws
यह शोध पत्र यह प्रदर्शित करता है कि प्रीट्रेनिंग डेटा बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में लॉस-टू-लॉस स्केलिंग लॉज़ का प्राथमिक निर्धारक है, जबकि मॉडल का आकार, आर्किटेक्चर और हाइपरपैरामीटर्स का न्यूनतम प्रभाव पड़ता है, जो यह सुझाव देता है कि डाउनस्ट्रीम प्रदर्शन को अनुकूलित करने के लिए आर्किटेक्चरल विकल्पों की तुलना में डेटा क्यूरेशन अधिक महत्वपूर्ण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बेहतरीन ब्रेड (पाव) बनाने की कोशिश कर रहे हैं। सालों से, वैज्ञानिक इस रेसिपी को लेकर जुनूनी रहे हैं: "यदि आप 100 ग्राम आटा और 500 ग्राम पानी का उपयोग करते हैं, तो आपको एक विशिष्ट बनावट मिलती है।" यह बिल्कुल वैसा ही है जैसे हम वर्तमान में लार्ज लैंग्वेज मॉडल्स (LLMs) बनाते हैं। हमारे पास "स्केलिंग लॉज़" (scaling laws) हैं जो हमें बताते हैं कि मॉडल कितना बड़ा होना चाहिए और उसे सीखने के लिए कितने डेटा की आवश्यकता है, इस आधार पर कि हमारे पास कितनी कंप्यूटर शक्ति उपलब्ध है।
लेकिन एक पेच है। सिर्फ इसलिए कि एक मॉडल ने रेसिपी को पूरी तरह से सीख लिया है, इसका मतलब यह नहीं है कि वह एक शानदार केक (वास्तविक दुनिया के कार्यों पर प्रदर्शन) बना पाएगा।
यह पेपर, "LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws," एक सरल प्रश्न पूछता है: एक बार जब मॉडल ने सीखना समाप्त कर लिया है, तो वास्तव में क्या निर्धारित करता है कि वह नए कार्यों पर कैसा प्रदर्शन करेगा?
लेखकों ने दर्जनों चरों (variables) का परीक्षण किया—मॉडल के मस्तिष्क की संरचना, मॉडल के आकार, टेक्स्ट को पढ़ने के लिए उपयोग किए जाने वाले टूल और यहाँ तक कि सिखाने के लिए उपयोग किए जाने वाले गणित को भी बदला। उन्होंने एक बहुत बड़ा, आश्चर्यजनक सत्य पाया: डेटा ही एकमात्र चीज़ है जो वास्तव में मायने रखती है।
यहाँ सरल उपमाओं (analogies) का विवरण दिया गया है:
1. "लॉस-टू-लॉस" लाइन (The "Loss-to-Loss" Line)
कल्पना कीजिए कि आप एक छात्र को प्रशिक्षित कर रहे हैं। आप उन्हें एक अभ्यास टेस्ट (Training Loss) देते हैं और फिर एक अंतिम परीक्षा (Test Loss) देते हैं।
- खोज: अभ्यास टेस्ट पर उनके प्रदर्शन और अंतिम परीक्षा पर उनके प्रदर्शन के बीच एक बहुत ही अनुमानित, सीधी रेखा जुड़ी हुई है।
- उपमा: यदि एक छात्र अभ्यास में 90% अंक प्राप्त करता है, तो वह निश्चित रूप से अंतिम परीक्षा में भी 90% अंक प्राप्त करेगा, चाहे उसने लाल शर्ट पहनी हो या नीली। पेपर इसे एक "शिफ्टेड पावर लॉ" (shifted power law) कहता है। यह एक विश्वसनीय नियम है जो लगभग हर चीज़ पर लागू होता है।
2. "तीन बड़े कारक" (और वे क्यों मायने नहीं रखते)
शोधकर्ताओं ने प्रशिक्षण प्रक्रिया के साथ "मैड लिब्स" (Mad Libs) जैसा खेल खेला, यानी उन्होंने अलग-अलग सामग्रियों को बदलकर देखा कि अंतिम परिणाम में क्या बदलाव आता है। उन्होंने पाया कि तीन प्रमुख श्रेणियों का उस अनुमानित रेखा पर लगभग शून्य प्रभाव पड़ा:
- आर्किटेक्चर (मस्तिष्क की संरचना): उन्होंने Llama (एक ट्रांसफार्मर, एक मानक मानव मस्तिष्क की तरह) की तुलना Mamba (एक स्टेट-स्पेस मॉडल, एक पूरी तरह से अलग प्रकार के एलियन मस्तिष्क की तरह) से की।
- परिणाम: यदि आप दोनों मस्तिष्कों को बिल्कुल एक ही पाठ्यपुस्तक खिलाते हैं, तो वे बिल्कुल एक ही प्रदर्शन रेखा पर समाप्त होते हैं। इससे कोई फर्क नहीं पड़ता कि मस्तिष्क ट्रांसफार्मर की तरह आकार में है या मम्बा की तरह; यदि डेटा समान है, तो परिणाम भी समान होगा।
- टोकेनाइज़र (शब्दकोश): यह वह टूल है जो वाक्यों को शब्दों या टुकड़ों में तोड़ता है। उन्होंने विभिन्न शब्दकोशों (कुछ 128,000 शब्दों वाले, कुछ 50,000 वाले) का परीक्षण किया।
- परिणाम: शब्दकोश बदलना पाठ्यपुस्तक पर फॉन्ट बदलने जैसा था। इसने यह नहीं बदला कि छात्र सामग्री को कितनी अच्छी तरह सीखता है।
- सेटिंग्स (पढ़ने की आदतें): उन्होंने मॉडल का आकार (छोटा बनाम बड़ा), वाक्य की लंबाई (कॉन्टेक्स्ट लेंथ), और गलतियों को सुधारने के लिए उपयोग किए जाने वाले गणित (ऑप्टिमाइज़र) को बदला।
- परिणाम: चाहे छात्र ने 10 मिनट पढ़ाई की हो या 10 घंटे, या लाल पेन का उपयोग किया हो या नीले पेन का, अभ्यास और अंतिम स्कोर के बीच का संबंध समान रहा।
3. "एक चीज़" जो मायने रखती है: डेटा
जबकि मस्तिष्क की संरचना, शब्दकोश और अध्ययन की आदतें मायने नहीं रखती थीं, पाठ्यपुस्तक स्वयं सब कुछ बदल देती है।
- उपमा: दो छात्रों की कल्पना करें। छात्र A कुकिंग (खाना पकाने) के बारे में एक पाठ्यपुस्तक पढ़ता है। छात्र B एस्ट्रोफिजिक्स (खगोल भौतिकी) के बारे में एक पाठ्यपुस्तक पढ़ता है।
- भले ही छात्र A के पास एक सुपर-कंप्यूटर मस्तिष्क हो और छात्र B के पास एक साधारण कैलकुलेटर वाला मस्तिष्क हो, छात्र A कुकिंग में बहुत अच्छा होगा और एस्ट्रोफिजिक्स में बहुत खराब। छात्र B इसके विपरीत होगा।
- पेपर ने पाया कि प्री-ट्रेनिंग डेटा (पाठ्यपुस्तक) को बदलने से पूरा प्रदर्शन ग्राफ (performance line) शिफ्ट हो जाता है। यदि आप उच्च गुणवत्ता वाले शैक्षिक डेटा (जैसे "FineWeb-Edu") पर प्रशिक्षण देते हैं, तो मॉडल वास्तविक दुनिया के कार्यों पर बेहतर प्रदर्शन करता है। यदि आप अव्यवस्थित (messy) डेटा पर प्रशिक्षण देते हैं, तो यह खराब प्रदर्शन करता है।
पेशेवरों के लिए सीख (Takeaway for Practitioners)
पेपर एक स्पष्ट संदेश के साथ समाप्त होता है जो AI बनाने वाले किसी भी व्यक्ति के लिए है:
आर्किटेक्चर पर ध्यान केंद्रित करना बंद करें और डेटा पर ध्यान केंद्रित करना शुरू करें।
यदि आप एक ऐसा मॉडल चाहते हैं जो वास्तविक दुनिया के कार्यों पर अच्छा प्रदर्शन करे, तो आपको एक नए प्रकार का मस्तिष्क आविष्कार करने या गणित की सेटिंग्स को ट्यून करने की आवश्यकता नहीं है। आपको एक बेहतर डेटासेट तैयार करने की आवश्यकता है।
- डेटा चालक (driver) है। यह मंजिल निर्धारित करता है।
- आर्किटेक्चर और सेटिंग्स केवल कार हैं। आप यात्रा को अधिक कुशल या सस्ता बनाने के लिए कार को फेरारी या होंडा से बदल सकते हैं, लेकिन यदि आप GPS में गलत मैप (डेटा) डालते हैं, तो आप अभी भी गलत जगह ही पहुँचेंगे।
संक्षेप में: डेटा मंजिल निर्धारित करता है; बाकी सब केवल यह निर्धारित करता है कि आप वहां कितनी कुशलता से पहुँचते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।