कल्पना कीजिए कि आप एक रोबोट को कहानी सुनाना, गणित की समस्या हल करना या कविता लिखना सिखाने की कोशिश कर रहे हैं। आप सोच सकते हैं कि यदि आप बस रोबोट को अधिक मस्तिष्क शक्ति (अधिक कंप्यूटर चिप्स) दे दें और उसे अधिक पुस्तकें (अधिक डेटा) खिला दें, तो वह अंततः हर चीज़ में पूर्ण हो जाएगा। यह विचार आर्टिफिशियल इंटेलिजेंस के तीव्र विकास के पीछे की प्रेरक शक्ति रहा है। लेकिन क्या होगा अगर कोई छिपा हुआ सीलिंग (छत) हो? क्या होगा अगर कुछ कार्य ऐसे हों जिन्हें कितना भी स्मार्ट होने के बावजूद 100% सही करना असंभव हो? यह शोध पत्र सूचना सिद्धांत (information theory) नामक विज्ञान की एक शाखा का उपयोग करके इस प्रश्न की गहराई में जाता है। सूचना सिद्धांत को एक संदेश में पैक की गई "आश्चर्य" (surprise) या "अनिश्चितता" के अध्ययन के रूप में समझें। यदि आप रोबोट से पूछते हैं "2+2 क्या है?", तो इसमें शून्य आश्चर्य है; उत्तर हमेशा 4 ही होता है। लेकिन यदि आप कहते हैं "एक उदास बादल के बारे में एक कविता लिखो", तो इसमें बहुत अधिक आश्चर्य है क्योंकि इसका कोई एक सही उत्तर नहीं है। लेखक यह पूछ रहे हैं: एक रोबोट वास्तव में उस आश्चर्य को कितना हल कर सकता है, और वह कहाँ जाकर रुक जाता है?

यह पत्र तर्क देता है कि यह लोकप्रिय धारणा—कि बड़े मॉडल अंततः किसी भी कार्य पर पूर्ण विश्वसनीयता प्राप्त कर लेंगे—गणितीय रूप से गलत है। लेखक दिखाते हैं कि प्रत्येक कार्य की एक "विश्वसनीयता सीलिंग" (reliability ceiling) होती है, जो एक कठिन सीमा है कि एक मॉडल कितना सटीक हो सकता है। यह सीमा मॉडल के आकार के बारे में नहीं है; यह कार्य की प्रकृति के बारे में है। गणित की समस्या के लिए, सीलिंग आसमान है (100% सटीकता संभव है)। रचनात्मक लेखन के लिए, सीलिंग बहुत नीचे है क्योंकि "सही" उत्तर व्यक्तिपरक भावनाओं और सांस्कृतिक संदर्भों पर निर्भर करता है जिसे कोई भी रोबोट वास्तव में नहीं जान सकता। यह पत्र सिद्ध करता है कि आप इस सीलिंग को पार करने के लिए केवल स्केल (बड़ा करना) नहीं कर सकते।

इसके अलावा, लेखकों ने पाया कि ये मॉडल जिस तरह से टेक्स्ट जनरेट करते हैं—शब्द दर शब्द, एक श्रृंखला प्रतिक्रिया की तरह—वह चीजों को और भी खराब बना देता है। यदि मॉडल शुरुआत में एक छोटी सी गलती करता है, तो वह त्रुटि बर्फ के गोले (snowball) की तरह बढ़ सकती है, जिससे पूरी कहानी या कोड पटरी से उतर सकता है। उन्होंने पाया कि कोडिंग जैसे कुछ कार्य एक मजबूत ईंट की दीवार की तरह होते हैं जहाँ एक ढीली ईंट पूरे ढांचे को गिरा नहीं देती। अन्य कार्य, जैसे कविता लिखना, ताश के पत्तों के घर (house of cards) की तरह होते हैं; शुरुआत में एक गलत चाल पूरे ढांचे को ढहा सकती है।

अंत में, यह पत्र इन मॉडलों को विकसित करने के लिए एक नया नियम प्रदान करता है। केवल किसी समस्या पर अधिक डेटा या अधिक कंप्यूटर शक्ति झोंकने के बजाय, लेखक सुझाव देते हैं कि प्रदर्शन उस संसाधन द्वारा बाधित होता है जो कम उपलब्ध है। यदि आपके पास बहुत सारा डेटा है लेकिन एक छोटा दिमाग है, तो अधिक डेटा जोड़ने से मदद नहीं मिलेगी। यदि आपके पास एक विशाल दिमाग है लेकिन कोई डेटा नहीं है, तो अधिक मस्तिष्क शक्ति जोड़ने से मदद नहीं मिलेगी। आपको उन्हें पूरी तरह से संतुलित करने की आवश्यकता है। यह नया नियम समझाता है कि क्यों कुछ कार्य स्केलिंग के साथ बेहतर होते हैं जबकि अन्य एक पठार (plateau) पर पहुँच जाते हैं, और यह एक गणितीय मानचित्र प्रदान करता है कि कब अधिक संसाधन जोड़ना वास्तव में काम करता है और कब यह केवल समय की बर्बादी है।

अदृश्य सीलिंग (The Invisible Ceiling)

कल्पना कीजिए कि आप "अगला शब्द अनुमान लगाने" का खेल खेल रहे हैं। कभी-कभी, खेल आसान होता है। यदि वाक्य है "सूर्य पूर्व में...", तो अगला शब्द लगभग निश्चित रूप से "उदय" होगा। यहाँ कोई रहस्य नहीं है। लेकिन अन्य बार, यह एक ट्विस्ट के साथ अनुमान लगाने वाला खेल है। यदि वाक्य है "बिल्ली ... पर बैठी थी", तो अगला शब्द "चटाई," "गलीचा," "सोफा," या "फर्श" हो सकता है। सभी सही हैं, लेकिन वे अलग महसूस होते हैं।

इस शोध पत्र के लेखक इस "पूर्व" वाले परिदृश्य को एक पूर्णतः सत्यापन योग्य कार्य (fully verifiable task) कहते हैं। इन मामलों में, जैसे गणित का समीकरण हल करना या ऐसा कोड लिखना जिसे बिना किसी त्रुटि के चलना चाहिए, उत्तर पूरी तरह से प्रश्न द्वारा निर्धारित होता है। यहाँ कोई छिपी हुई जानकारी नहीं है। इन कार्यों के लिए "विश्वसनीयता सीलिंग" 100% है। यदि आपके पास एक आदर्श मॉडल है, तो आपको एक आदर्श स्कोर मिलता है।

लेकिन फिर अ-सत्यापन योग्य कार्य (unverifiable tasks) आते हैं, जैसे रचनात्मक लेखन या जीवन की सलाह देना। यहाँ, "सही" उत्तर उन चीजों पर निर्भर करता है जिन्हें मॉडल देख नहीं सकता, जैसे लेखक का मूड, पाठक की पसंद, या सांस्कृतिक क्षण। लेखक इस गायब जानकारी को "लेटेंट कॉन्टेक्स्ट" (latent context) या सुप्त संदर्भ कहते हैं। क्योंकि यह संदर्भ छिपा हुआ और व्यक्तिपरक है, कोई भी मात्रा में डेटा या कंप्यूटर शक्ति मॉडल को कभी भी 100% विश्वसनीय नहीं बना सकती। सीलिंग कम है, और यह स्थायी है। आप उस कार्य पर पूर्णता हासिल करने के लिए स्केल नहीं कर सकते जहाँ पूर्णता केवल एक राय का मामला है।

यह पत्र इसे दो प्रकार के अंतराल (gaps) में विभाजित करता है। पहला है समाधान योग्य अंतराल (resolvable gap)। यह वह गायब जानकारी है जिसे प्रदान किया जा सकता है। उदाहरण के लिए, यदि एक मॉडल एक विशिष्ट व्यक्ति के बारे में कहानी लिख रहा है लेकिन उसे उनका नाम नहीं पता, तो यह एक समाधान योग्य अंतराल है। यदि आप मॉडल को नाम देते हैं (इनपुट में जोड़कर), तो अंतराल बंद हो जाता है, और मॉडल बेहतर हो जाता है। दूसरा है व्यक्तिपरक अंतराल (subjective gap)। यह वह गायब जानकारी है जिसे प्रदान नहीं किया जा सकता क्योंकि इसका कोई निश्चित मान नहीं होता। यदि कार्य एक "मजेदार" चुटकुला लिखना है, तो जो एक व्यक्ति के लिए मजेदार है वह दूसरे के लिए उबाऊ हो सकता है। अतिरिक्त डेटा की कितनी भी मात्रा इस समस्या को ठीक नहीं कर सकती। शोध पत्र सिद्ध करता है कि इन कार्यों के लिए, मॉडल के पास हमेशा एक स्थायी अविश्वसनीयता का आधार रहेगा।

डोमिनो प्रभाव (The Domino Effect)

अब, कल्पना कीजिए कि मॉडल एक टावर बना रहा है, एक बार में एक ब्लॉक। वह पहला ब्लॉक रखता है, फिर दूसरा, फिर तीसरा। एलार्ज लैंग्वेज मॉडल्स इसी तरह काम करते; वे टोकन-दर-टोकन टेक्स्ट जनरेट करते हैं। समस्या यह है कि यदि मॉडल पहले ब्लॉक को थोड़ा तिरछा रखता है, तो दूसरे ब्लॉक को एक तिरछे आधार के ऊपर रखा जाना चाहिए।

लेखक इसे ऑटोरेग्रेसिव डिग्रेडेशन (autoregressive degradation) कहते हैं। यह "टेलीफोन" के खेल जैसा है जहाँ हर फुसफुसाहट के साथ संदेश विकृत हो जाता है। यदि मॉडल वाक्य की शुरुआत में एक छोटी सी गलती करता है, तो वह गलती अगले शब्द के लिए संदर्भ बदल देती है, जो अगले शब्द के लिए संदर्भ बदल देता है। त्रुटियाँ संचयी (compound) होती हैं।

हालाँकि, सभी टावर एक जैसे नहीं बनाए जाते। यह पत्र एक अवधारणा पेश करता है जिसे डिपेंडेंसी कर्नेल (dependency kernel) कहा जाता है, जो एक फैंसी तरीका है यह बताने का कि प्रत्येक शब्द पिछले शब्दों पर कितना निर्भर है।

• बैंडेड डिपेंडेंसीज़ (ईंट की दीवार): कोडिंग या गणित के बारे में सोचें। कोड की एक पंक्ति में, अगला शब्द आमतौर औसतन अपने ठीक पहले वाले शब्द पर निर्भर करता है (जैसे एक ओपनिंग ब्रैकेट से मैच करने वाला क्लोजिंग ब्रैकेट)। यदि आप एक गलती करते हैं, तो वह आमतौर पर उसी छोटे क्षेत्र तक सीमित रहती है। बाकी कोड अभी भी समझ में आ सकता है। यहाँ "डिपेंडेंसी कर्नेल" संकीर्ण है, जैसे एक ईंट की दीवार। एक ईंट में गलती पूरे दीवार को नहीं गिराती।
• डेंस डिपेंडेंसीज़ (ताश के पत्तों का घर): कविता या रचनात्मक लेखन के बारे में सोचें। एक कविता में, आपके द्वारा शुरू में चुना गया शब्द पूरी कविता के राइम स्कीम (तुकांत योजना) को निर्धारित कर सकता है। यदि आप शुरुआत में गलत शब्द चुनते हैं, तो पूरी कविता अपना लय या अर्थ खो सकती है। यहाँ "डिपेंडेंसी कर्नेल" घना है, जैसे ताश के पत्तों का घर। पहले कार्ड में एक गलती पूरे ढांचे को बर्बाद कर सकती है।

पत्र दिखाता है कि डेंस डिपेंडेंसी वाले कार्यों के लिए, मॉडल का प्रदर्शन टेक्स्ट लंबा होने के साथ बहुत तेजी से गिरता है। एक एकल प्रारंभिक त्रुटि पूरी विफलता में बदल सकती है। यह समझाता है कि मॉडल छोटे, तार्किक कार्यों में उत्कृष्ट हैं लेकिन लंबे, रचनात्मक कार्यों में संघर्ष करते हैं।

संतुलन का खेल (The Balancing Act)

अंत में, यह पत्र स्केलिंग के प्रश्न को संबोधित करता है: "यदि हम मॉडल को बड़ा करते जाएँ और इसे अधिक डेटा देते जाएँ, तो क्या यह बेहतर होगा?"

उत्तर है: यह इस पर निर्भर करता है कि आपके पास क्या कम है।

लेखक एक नया "स्केलिंग लॉ" निकालते हैं जो एक सरल गणितीय समीकरण जैसा दिखता है। यह कहता है कि मॉडल का प्रदर्शन दुर्लभ संसाधन (scarcer resource) द्वारा सीमित होता है।

• यदि आपके पास डेटा की भारी मात्रा है लेकिन एक छोटा मॉडल है, तो अधिक डेटा जोड़ने से बहुत अधिक मदद नहीं मिलेगी क्योंकि मॉडल इतना छोटा है कि वह सब कुछ सीख नहीं पाएगा।
• यदि आपके पास एक विशाल मॉडल है लेकिन बहुत कम डेटा है, तो अधिक पैरामीटर्स जोड़ने से मदद नहीं मिलेगी क्योंकि मॉडल के पास सीखने के लिए कुछ भी नहीं है।

वह 'स्वीट स्पॉट', जहाँ आपको सबसे अधिक सुधार मिलता है, तब होता है जब आप दोनों को संतुलित करते हैं। यह "चिंचिना" (Chinchilla) कानून के समान है जिसे शोधकर्ता पहले से जानते थे, लेकिन यह पत्र समझाता है कि यह क्यों काम करता है और एक महत्वपूर्ण नया विवरण जोड़ता है: मैक्स (max) फंक्शन। इसका अर्थ है कि आपको एक चीज़ का बहुत अधिक होने पर अतिरिक्त क्रेडिट नहीं मिलता है। यदि आपके पास मॉडल द्वारा संभालने योग्य डेटा से 100 गुना अधिक डेटा है, तो वह अतिरिक्त डेटा बेकार है। आपको अपने मॉडल के आकार के साथ अपने डेटा का मिलान करना होगा।

भविष्य के लिए इसका क्या अर्थ है

यह पत्र हमें केवल यह नहीं बताता कि बेहतर मॉडल कैसे बनाएँ; यह हमें यह भी बताता है कि हम क्या नहीं कर सकते। यह सुझाव देता है कि एक "सामान्य एआई" (General AI) जो हर चीज़ में पूर्ण है, एक मिथक है। ऐसे कार्य हैं जहाँ सीलिंग कम है, और कितना भी स्केलिंग करने से हम कभी 100% सटीकता तक नहीं पहुँच पाएंगे।

यह यह भी समझाता है कि कुछ तकनीकें क्यों काम करती हैं। उदाहरण के लिए, रिट्रीवल-ऑगमेंटेड जनरेशन (RAG)—जहाँ मॉडल उत्तर देने से पहले एक डेटाबेस से तथ्य खोजता है—इसलिए काम करता है क्योंकि यह "समाधान योग्य अंतरालों" को भर देता है। यह मॉडल को वह गायब संदर्भ प्रदान करता है जिसकी उसे उच्च सीलिंग तक पहुँचने के लिए आवश्यकता होती है। लेकिन व्यक्तिपरक कार्यों के लिए, RAG भी "विषयगत अंतराल" को ठीक नहीं कर सकता।

यह पत्र कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) के बारे में भी चेतावनी देता है। जब आप एक मॉडल को एक नए कार्य पर प्रशिक्षित करते हैं, तो यह एक पुराने कार्य को "भूल" सकता है। लेखक इसे संसाधनों के पुनर्वितरण के रूप में समझाते हैं। मॉडल के पास मस्तिष्क शक्ति का एक सीमित "बजट" होता है। यदि आप इसे एक ऐसे नए कार्य पर ध्यान केंद्रित करने के लिए मजबूर करते हैं जिसका ढांचा बहुत अलग है (एक अलग डिपेंडेंसी कर्नेल), तो इसे जगह बनाने के लिए पुराने ढांचों को छोड़ना पड़ता है। यह एक नई भाषा सीखने जैसा है; यदि आप फ्रेंच पर बहुत अधिक ध्यान केंद्रित करते हैं, तो आप स्पेनिश के व्याकरण के नियमों को भूलना शुरू कर सकते हैं।

संक्षेप में, यह पत्र बताता है कि एआई कोई जादुई छड़ी नहीं है जो हर समस्या को हल कर देगी। यह विशिष्ट सीमाओं वाला एक उपकरण है। कुछ समस्याएं पर्याप्त डेटा और कंप्यूट के साथ हल की जा सकती हैं; अन्य मौलिक रूप से अस्पष्ट हैं। कुंजी भविष्य की नहीं केवल "बड़ी" होने की नहीं है, बल्कि इस बारे में "स्मार्ट" होने की है कि हम मॉडलों से क्या पूछते हैं और हम अपने संसाधनों को कैसे संतुलित करते हैं। हमें पूर्णता की अपेक्षा करना बंद करना होगा जहाँ यह असंभव है और ऐसे समाधान तैयार करने शुरू करने होंगे जो प्रत्येक कार्य की प्राकृतिक सीलिंग का सम्मान करते हों।