Capability, ranking dynamics, and inference pricing in the large language model ecosystem: evidence from linked public data
यह शोध पत्र लीडरबोर्ड, मानव-वरीयता पैनलों और मूल्य निर्धारण कैटलॉग से जुड़े सार्वजनिक डेटा को एकीकृत करके लार्ज लैंग्वेज मॉडल पारिस्थितिकी तंत्र का चित्रण करता है, जिससे यह प्रकट होता है कि प्रदर्शन पैरामीटर संख्या और समय के साथ बढ़ता है, वरीयता रेटिंग मॉडलों के भीतर तीव्र टर्नओवर और स्थिरता प्रदर्शित करती है, और मूल्य निर्धारण क्षमता स्कोर और ओपन-वेट स्थिति द्वारा महत्वपूर्ण रूप से संचालित होता है, बावजूद इसके कि प्रदाताओं की कीमतों में उल्लेखनीय भिन्नता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, लार्ज लैंग्वेज मॉडल नामक एक विशिष्ट प्रकार का कंप्यूटर प्रोग्राम लेखन, तर्क और समस्याओं को हल करने के लिए एक केंद्रीय उपकरण बन गया है। इन प्रणालियों को विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया जाता है, जिससे वे अगले शब्द की भविष्यवाणी करना सीखते हैं, जब तक कि वे सुसंगत पैराग्राफ, जटिल प्रश्नों के उत्तर और यहाँ तक कि कोड भी लिख सकें। चूंकि अब हजारों ऐसे मॉडल मौजूद हैं, जिनमें विशाल तकनीकी कंपनियों द्वारा बनाए गए बड़े सिस्टम से लेकर स्वतंत्र शोधकर्ताओं द्वारा बनाए गए छोटे, ओपन संस्करणों तक शामिल हैं, इसलिए यह समझने की आवश्यकता उत्पन्न हो गई है कि वे एक-दूसरे से कैसे तुलना करते हैं। इसे करने के लिए, समुदाय दो मुख्य चीजों पर निर्भर करता है: मानकीकृत परीक्षण (standardized tests), जहाँ मॉडल एक कठिन प्रश्नों के सेट का उत्तर देकर स्कोर अर्जित करते हैं, और मानव वरीयता अरीना (human preference arenas), जहाँ लोग इस पर वोट करते हैं कि उन्हें दो मॉडल उत्तरों में से कौन सा बेहतर लगा। इन प्रदर्शन मेट्रिक्स के साथ-साथ, एक बाजार भी उभरा है जहाँ कंपनियाँ शब्दों के आधार पर इन मॉडलों तक पहुँच बेचती हैं, जिससे कीमतों और क्षमताओं का एक जटिल परिदृश्य बनता है जिसे समझना कठिन है।
कोर्विनस यूनिवर्सिटी ऑफ बुडापेस्ट के पीटर बागो द्वारा किए गए एक हालिया अध्ययन ने तीन विशाल, सार्वजनिक डेटा स्रोतों को जोड़कर इस अराजक पारिस्थितिकी तंत्र में व्यवस्था लाने का प्रयास किया। शोधकर्ता ने हजारों ओपन मॉडलों के टेस्ट स्कोर के रिकॉर्ड, मानव वरीयता रैंकिंग के एक दीर्घकालिक लॉग और विभिन्न प्रदाताओं द्वारा ली जाने वाली कीमतों के एक व्यापक कैटलॉग को संयोजित किया। इन डेटासेट्स को जोड़कर, अध्ययन ने केवल सबसे प्रसिद्ध मॉडलों को देखने से आगे बढ़कर पूरे परिदृश्य का परीक्षण किया, यह पूछा कि प्रदर्शन का आकार से क्या संबंध है, रैंकिंग समय के साथ कैसे बदलती है, और वास्तव में कीमत कैसे निर्धारित होती है। इसका लक्ष्य किसी एक विजेता की घोषणा करना नहीं था, बल्कि उन अंतर्निहित नियमों को समझना था जो यह नियंत्रित करते हैं कि इन डिजिटल उपकरणों का मूल्य कैसे तय किया जाता है और वे कैसे विकसित होते हैं।
पहला प्रमुख निष्कर्ष स्वयं परीक्षणों की प्रकृति से संबंधित है। अध्ययन ने छह अलग-अलग बेंचमार्क पर परीक्षण किए गए ओपन मॉडलों के 4,500 से अधिक रिकॉर्ड का विश्लेषण किया, जो निर्देश पालन (instruction following) से लेकर उन्नत गणित तक विस्तृत थे। शोधकर्ताओं ने पाया कि ये छह अलग-अलग परीक्षण छह अलग-अलग कौशल नहीं माप रहे हैं; इसके बजाय, वे अत्यधिक रूप से एक ही, प्रमुख क्षमता को माप रहे हैं। जब एक मॉडल एक परीक्षण पर अच्छा प्रदर्शन करता है, तो वह लगभग निश्चित रूप से अन्य पर भी अच्छा प्रदर्शन करता है। यह सामान्य सूत्र पूरे पारिस्थितिकी तंत्र में स्कोर के लगभग तीन-चौथाई भिन्नता की व्याख्या करता है। हालाँकि, अध्ययन ने यह भी नोट किया कि ये परीक्षण प्रदर्शन के बहुत निचले स्तर पर संघर्ष करते हैं। कई मॉडल इतना कम स्कोर करते हैं कि उन्हें रैंडम गेसिंग (random guessing) से अलग नहीं किया जा सकता, जो यह सुझाव देता है कि वर्तमान परीक्षण सर्वश्रेष्ठ को अच्छे से अलग करने में तो बेहतर हैं, लेकिन बहुत खराब को गैर-कार्यात्मक से अलग करने में उतने सक्षम नहीं हैं।
जब यह देखने की बात आई कि मॉडल को बेहतर बनाने के लिए क्या प्रेरित करता है, तो अध्ययन ने पुष्टि की कि आकार मायने रखता है, लेकिन यह पूरी कहानी नहीं है। बड़े मॉडल, जिन्हें उनके पैरामीटर्स की संख्या से मापा जाता है, आम तौर पर उच्च स्कोर करते हैं। विशेष रूप से, एक मॉडल जो दूसरे की तुलना में दस गुना बड़ा है, वह औसत परीक्षण पर लगभग 13.7 अंक अधिक स्कोर करता है। फिर भी, समय एक समान रूप से शक्तिशाली बल है। यहाँ तक कि एक ही आकार और प्रकार के मॉडलों की तुलना करते समय भी, जो हाल ही में प्रस्तुत किए गए हैं, वे काफी बेहतर प्रदर्शन करते हैं। एक मॉडल जो दूसरे के एक वर्ष बाद प्रस्तुत किया गया है, लेकिन समान कंप्यूटिंग पावर के साथ बनाया गया है, लगभग 10.5 अंक अधिक स्कोर करता है। यह सुझाव देता है कि क्षेत्र में सुधार न केवल बड़ी मशीनें बनाने से, बल्कि उन्हें प्रशिक्षित करने के स्मार्ट तरीके खोजने से हो रहा है। अध्ययन ने यह भी पाया कि बातचीत के लिए डिज़ाइन किए गए मॉडल या मौजूदा मॉडलों को मिलाकर बनाए गए मॉडल अक्सर अपने कच्चे, अनमॉडिफाइड समकक्षों की तुलना में बेहतर प्रदर्शन करते हैं, जो यह दर्शाता है कि फाइन-ट्यूनिंग और संयोजन की प्रक्रिया वर्तमान प्रगति का एक प्रमुख चालक है।
पारिस्थितिकी तंत्र का मानवीय पक्ष स्थिरता के बारे में एक अलग कहानी बताता है। अध्ययन ने एक वर्ष से अधिक समय तक एक मानव वरीयता अरीना में शीर्ष-रैंक वाले मॉडलों को ट्रैक किया, और देखा कि नेतृत्व अविश्वसनीय रूप से क्षणभंगुर है। शीर्ष मॉडल का खिताब 19 बार बदला गया, और औसत नेता केवल लगभग 12 दिनों तक शीर्ष स्थान पर रहा। इस निरंतर बदलाव के बावजूद, सबसे अच्छे और दसवें सबसे अच्छे मॉडल के बीच का अंतर आश्चर्यजनक रूप से स्थिर रहा। अध्ययन ने स्कोरिंग प्रणाली में एक महत्वपूर्ण बदलाव भी प्रकट किया। मई 2025 में एक विशिष्ट तिथि पर, स्कोर की गणना करने का डिफ़ॉल्ट तरीका बदल गया, जिससे हर मॉडल की रेटिंग रातों-रात लगभग 18 अंक बढ़ गई। इसका मतलब था कि उस तारीख से पहले और बाद के स्कोर की बिना समायोजन के तुलना करना भ्रामक होगा, क्योंकि संख्याएँ अब एक ही पैमाने पर नहीं थीं। इस परिवर्तन से पहले, रेटिंग स्थिर थी, और मॉडल केवल बार-बार सूचीबद्ध होने से ऊपर या नीचे नहीं जाते थे।
शायद सबसे जटिल निष्कर्ष इन मॉडलों के उपयोग की कीमत से संबंधित है। अध्ययन ने 82 विभिन्न प्रदाताओं के लगभग 2,700 अलग-अलग मूल्य लिस्टिंग की जांच की। इसने पाया कि बिल्कुल एक ही मॉडल के लिए, कीमतें इस बात पर बहुत भिन्न हो सकती हैं कि उसे कौन बेच रहा है। उन मॉडलों के लिए जो तीन या अधिक प्रदाताओं द्वारा पेश किए जाते हैं, सबसे महंगी लिस्टिंग सबसे सस्ती लिस्टिंग से आमतौर पर 38 प्रतिशत अधिक होती है, और कुछ मॉडलों के लिए, यह अंतर और भी अधिक है। यह सुझाव देता है कि केवल इधर-उधर देखकर खरीदारी करने से एक खरीदार काफी पैसा बचा सकता है। अध्ययन ने इन कीमतों को समझने के लिए एक मॉडल भी बनाया। इसने पाया कि क्षमता एक प्रमुख कारक है: एक मॉडल जो मानव वरीयता रेटिंग में एक मानक विचलन (standard deviation) बेहतर है, वह एक ऐसी कीमत कमांड करता है जो सबसे सस्ती से तीन गुना अधिक है। हालाँकि, एक ओपन मॉडल होना, जहाँ कोड सार्वजनिक रूप से उपलब्ध है, एक बड़ा डिस्काउंट प्रदान करता है, जिससे इसकी कीमत समान कौशल वाले प्रोप्राइटरी मॉडल की तुलना में पांचवें हिस्से से भी कम हो जाती है। इसके अतिरिक्त, अध्ययन ने पाया कि पुराने मॉडल, जो लंबे समय से सूचीबद्ध हैं, वे प्रीमियम मूल्य रखते हैं, जो यह सुझाव देता है कि स्थापित मॉडल मूल्य बनाए रखते हैं भले ही नए, संभावित रूप से बेहतर मॉडल आ रहे हों।
अंत में, अध्ययन ने जांचा कि गुणवत्ता को मापने के दो मुख्य तरीके कितनी अच्छी तरह सहमत हैं। जब शोधकर्ताओं ने उन 69 मॉडलों को देखा जो टेस्ट स्कोर रिकॉर्ड और मानव वरीयता रैंकिंग दोनों में दिखाई दिए, तो उन्होंने एक मजबूत सहमति पाई। जो मॉडल मानकीकृत परीक्षणों में अच्छा स्कोर करते थे, वे आम तौर पर वही थे जिन्हें मनुष्य पसंद करते थे। यह अभिसरण (convergence) बताता है कि हालांकि परीक्षण और मानव वोट चीजें थोड़ी अलग तरह से मापते हैं, लेकिन वे क्षमता की एक ही वास्तविकता की ओर इशारा कर रहे हैं। अध्ययन निष्कर्ष निकालता है कि हालांकि परिदृश्य विशाल है और डेटा अव्यवस्थित है, लेकिन स्रोतों को जोड़ने पर स्पष्ट पैटर्न उभरते हैं। यह पारिस्थितिकी तंत्र एक एकल प्रमुख क्षमता द्वारा संचालित है, समय और आकार द्वारा सुधारा जाता है, और इस तरह से मूल्यवान बनाया जाता है जो प्रदर्शन को पुरस्कृत करता है लेकिन ओपन एक्सेस को भारी छूट देता है। यदि कोई इन उपकरणों को समझने या खरीदने की कोशिश कर रहा है, तो सबक यह है कि प्रदर्शन अनुमानित है, नेतृत्व अस्थायी है, और आप जो कीमत चुकाते हैं वह इस बात पर निर्भर करती है कि इसे कौन बेच रहा है और आप कब खरीदते हैं, जितना कि इस पर कि मॉडल वास्तव में क्या कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।