How Response Parsing Manufactures Scaling Laws: A Replication and Measurement-Validity Audit of Constraint-Tracking Capacity in LLMs

एक ऐसे कंप्यूटर प्रोग्राम की कल्पना कीजिए जो नियमों की एक सूची पढ़ सकता है और उन्हें पूरी तरह से पालन कर सकता है, चाहे वह सूची कितनी भी लंबी क्यों न हो जाए। यह आधुनिक आर्टिफिशियल इंटेलिजेंस का वादा है, विशेष रूप से एक प्रकार के सिस्टम का जिसे 'लार्ज लैंग्वेज मॉडल' कहा जाता है। ये प्रोग्राम टेक्स्ट की विशाल मात्रा पर प्रशिक्षित होते हैं और सवालों के जवाब दे सकते हैं, कहानियाँ लिख सकते हैं या समस्याओं को हल कर सकते हैं। जैसे-जैसे ये सिस्टम बड़े होते जाते हैं, अधिक आंतरिक घटकों और अधिक डेटा के साथ, वे आम तौर पर जटिल कार्यों में बेहतर होते जाते हैं। वैज्ञानिकों ने लंबे समय से यह जानने की कोशिश की है कि क्या एक एकल मॉडल अपने "मन" में एक साथ कितने स्वतंत्र निर्देशों को रख सकता है, इसकी कोई कठोर सीमा है। यदि आप किसी मॉडल को दस नियमों का पालन करने के लिए देते हैं, तो क्या वह कर सकता है? बीस के लिए? क्या नियमों का पालन करने की क्षमता मॉडल के बड़े होने के साथ लगातार बढ़ती है, या यह अचानक टूट जाती है?

एक हालिया अध्ययन ने दावा किया है कि उसने इस प्रश्न का एक सटीक उत्तर खोज लिया है। इसने सुझाव दिया कि जैसे-जैसे मॉडल बड़े होते हैं, कई नियमों को ट्रैक करने की उनकी क्षमता एक विशिष्ट गणितीय पैटर्न, जैसे कि एक अनुमानित वक्र (कर्व) के अनुसार बढ़ती है। शोधकर्ताओं ने प्रस्तावित किया कि एक छोटा मॉडल कुछ ही नियमों के बाद विफल हो सकता है, जबकि एक बड़ा मॉडल कई अधिक नियमों को संभाल सकता है, और यह संबंध एक सख्त नियम का पालन करता है। यह विचार रोमांचक था क्योंकि इसने यह भविष्यवाणी करने का एक तरीका प्रदान किया कि भविष्य की मशीन अपने आकार के आधार पर कितनी सक्षम होगी। हालाँकि, एक नए अन्वेषण ने मूल संख्याओं और उन तरीकों पर बारीकी से नज़र डाली जिनका उपयोग उनके परिणामों को प्राप्त करने के लिए किया गया था, और वह एक अलग कहानी बताती है। नया कार्य पाता है कि हालांकि सीमा का मूल विचार वास्तविक है, लेकिन वह विशिष्ट नियम जो उस सीमा के बढ़ने का वर्णन करता है, साक्ष्यों द्वारा समर्थित नहीं है।

अन्वेषण की शुरुआत मूल डेटा लॉग्स की पुन: जांच करके हुई, जो वे रिकॉर्ड हैं जो मॉडलों ने परीक्षणों के जवाब में वास्तव में लिखे थे। शोधकर्ताओं ने इन प्रतिक्रियाओं को पढ़ने का एक नया, अधिक सख्त तरीका बनाया। मूल अध्ययन में, उत्तरों को ग्रेड देने के लिए उपयोग किए जाने वाले कंप्यूटर प्रोग्राम में एक सुरक्षा जाल (सेफ्टी नेट) था: यदि वह प्रतिक्रिया में पर्याप्त स्पष्ट उत्तर नहीं पा सका, तो वह पूरे टेक्स्ट को फिर से स्कैन करेगा, यह देखने के लिए कि "हाँ" या "नहीं" शब्द कहीं भी दिखाई देते हैं या नहीं। यदि उसे वे मिल जाते, तो वह उन्हें सही उत्तरों के रूप में गिन लेता, भले ही मॉडल ने वास्तव में उन विशिष्ट प्रश्नों के लिए उन्हें उत्तर के रूप में देने का इरादा न किया हो। यह सुरक्षा जाल लगभग एक चौथाई परीक्षणों में सक्रिय हुआ। इसने अनिवार्य रूप से मॉडलों के खाली स्थानों को भर दिया, उन्हें उन शब्दों के लिए श्रेय दिया जो उन्होंने गलती से या वाक्य के हिस्से के रूप में लिखे थे, न कि सीधे उत्तर के रूप में।

जब नए शोधकर्ताओं ने इस सुरक्षा जाल को हटा दिया और कंप्यूटर को केवल उन्हीं उत्तरों को गिनने के लिए मजबूर किया जो स्पष्ट रूप से और सही ढंग से स्वरूपित (फॉर्मेटेड) थे, तो परिणाम बदल गए। यह घटना कि एक सीमा मौजूद है, अभी भी बनी रही। एक छोटा मॉडल संघर्ष करता रहा और अंततः कई नियमों का पालन करने में विफल रहा, जबकि उसी परिवार का एक बड़ा मॉडल बहुत बेहतर प्रदर्शन करता है। इसने इस बात की पुष्टि की कि मूल अवलोकन वास्तविक था: मॉडलों की एक क्षमता सीमा होती है, और आकार मायने रखता है। हालाँकि, वह विशिष्ट वक्र जो आकार के साथ इस क्षमता के बढ़ने का वर्णन करता था, गायब हो गया। मूल दावा कि मॉडल के बड़े होने पर नियमों का पालन करने की क्षमता एक अनुमानित तरीके से दोगुनी या तीन गुनी हो जाती है, एक भ्रम था जो उत्तरों को गिनने के तरीके से पैदा हुआ था।

शोधकर्ताओं ने फिर इस सुधारात्मक पद्धति का बहुत सारे मॉडलों पर परीक्षण किया, जिसमें ऑनलाइन सेवाओं के माध्यम से उपलब्ध आठ अलग-अलग सिस्टम परिवार शामिल थे। उन्होंने पाया कि मूल गणितीय नियम कायम नहीं रहा। एक प्रकार के कार्य पर, मॉडलों ने अनुमानित वृद्धि नहीं दिखाई; इसके बजाय, वे एक ऐसी सीमा (सीलिंग) पर पहुँच गए जहाँ वे एक निश्चित संख्या से अधिक नियमों को नहीं संभाल सके, चाहे वे कितने भी बड़े क्यों न हों। दूसरे कार्य पर, मॉडल सभी नियमों का पूरी तरह से पालन करते हुए प्रतीत हुए, लेकिन ऐसा इसलिए था क्योंकि वे वास्तव में प्रत्येक नियम को व्यक्तिगत रूप से ट्रैक करने के बजाय केवल निर्देशों को एक लंबे पैराग्राफ में दोहरा रहे थे। कई मामलों में, मॉडल इसलिए विफल नहीं हुए क्योंकि उनमें नियमों का पालन करने की बुद्धि की कमी थी, बल्कि इसलिए क्योंकि उन्होंने उस सख्त प्रारूप का पालन नहीं किया जो पास होने के लिए आवश्यक था। उन्होंने लंबे, विचारशील निबंध लिखे जब परीक्षण में एक सरल सूची की मांग की गई थी, और स्कोरिंग सिस्टम ने इसे पूर्ण विफलता के रूप में गिना।

अन्वेषण ने उस सिद्धांत की भी जांच की जिसका उपयोग यह समझाने के लिए किया गया था कि मॉडल कैसा व्यवहार करते हैं। मूल अध्ययन ने सुझाव दिया कि सीमा मॉडल की एक विशिष्ट स्थापत्य विशेषता (आर्किटेक्चरल फीचर) द्वारा निर्धारित होती है, जो उनके आंतरिक ढांचे से गणना की गई एक संख्या है। नए ऑडिट ने पाया कि इस सिद्धांत को सिद्ध करने के लिए उपयोग किए गए दोनों मॉडलों में इस विशेषता का बिल्कुल समान मान था, फिर भी वे बहुत अलग प्रदर्शन करते थे। इसका अर्थ था कि सिद्धांत वास्तव में उनके बीच के अंतर को स्पष्ट नहीं कर सकता था। प्रस्तावित स्पष्टीकरण बहुत व्यापक था; यह किसी भी परिणाम की अनुमति देता था, इसलिए यह विशिष्ट परिणाम की भविष्यवाणी नहीं कर सकता था।

अंतिम निष्कर्ष यह है कि इन मशीनों की कई बाधाओं (कन्स्ट्रेंट्स) को ट्रैक करने की क्षमता एक वास्तविक और मापने योग्य चीज़ है, लेकिन वह सटीक गणितीय नियम जो इसके वर्णन का दावा किया गया था, अभी तक समर्थित नहीं है। मूल खोज एक वास्तविक खोज और एक मापन त्रुटि का मिश्रण थी। त्रुटि उत्तरों को पढ़ने के तरीके में एक सामान्य, अदृश्य विकल्प से आई थी, एक ऐसा विकल्प जिसने अनजाने में छूटे हुए डेटा को भर दिया और एक झूठा पैटर्न बना दिया। शोधकर्ता इस बात पर जोर देते हैं कि इसका मतलब यह नहीं है कि मॉडल पूर्ण हैं या हम उनकी सीमाओं को पूरी तरह समझते हैं। इसका सीधा अर्थ यह है कि स्केलिंग लॉ के बारे में विशिष्ट दावा कमजोर आधार पर बना था। आगे बढ़ने के लिए, भविष्य के अध्ययनों को उत्तरों को पढ़ने के लिए सख्त नियमों का उपयोग करना चाहिए, प्रत्येक छूटे हुए उत्तर को विफलता के रूप में गिनना चाहिए, और एक सार्वभौमिक नियम घोषित करने से पहले कई अधिक मॉडलों का परीक्षण करना चाहिए। इन मशीनों को समझने का मार्ग स्पष्ट है, लेकिन इसके लिए डेटा को उन सुरक्षा जालों के बिना देखना आवश्यक है जो सत्य को छिपा सकते हैं।