💬 NLP

Cost-of-Pass: An Economic Framework for Evaluating Language Models

यह शोध पत्र "कॉस्ट-ऑफ-पास" (Cost-of-Pass) प्रस्तुत करता है, जो एक आर्थिक ढांचा है जो सटीकता और अनुमान लागत (inference costs) को जोड़कर भाषा मॉडल की उत्पादकता का मूल्यांकन करता है, यह प्रकट करते हुए कि पूरक मॉडल-स्तरीय नवाचार ही लागत-दक्षता के प्राथमिक चालक हैं और तैनाती संबंधी निर्णयों के मार्गदर्शन के लिए एक सिद्धांतपूर्ण उपकरण प्रदान करते हैं।

मूल लेखक: Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

प्रकाशित 2026-02-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल निर्माण कंपनी चला रहे हैं। आपके पास ब्लूप्रिंट्स (कार्यों) का एक बहुत बड़ा ढेर है जिन्हें बनाया जाना है। आपके पास इस काम को पूरा करने के दो मुख्य तरीके हैं:

एक मानव मास्टर बिल्डर को काम पर रखें: वे अविश्वसनीय रूप से कुशल हैं, शायद ही कभी गलतियाँ करते हैं, और लगभग किसी भी समस्या को हल कर सकते हैं। लेकिन वे महंगे हैं। आपको उन्हें उच्च प्रति घंटा वेतन देना होगा। और वे मानवीय गति से काम करते हैं।
AI रोबोटों के बेड़े का उपयोग करें: कुछ रोबोट छोटे और सस्ते हैं लेकिन आसानी से भ्रमित हो सकते हैं। अन्य विशाल, सुपर-स्मार्ट रोबोट हैं जिन्हें चलाना बहुत महंगा पड़ता है लेकिन वे शायद ही कभी विफल होते हैं। कुछ "सोचने वाले" (thinking) रोबोट भी हैं जो जवाब देने से पहले समस्या पर अतिरिक्त समय लेते हैं, जिससे लागत बढ़ती है लेकिन उनकी सटीकता बढ़ जाती है।

लंबे समय से, तकनीकी दुनिया केवल यह पूछ रही है: "कौन सा रोबोट सबसे अच्छा घर बनाता है?" (सटीकता)। लेकिन यह पेपर एक बहुत अधिक व्यावहारिक प्रश्न पूछता है: "कौन सा रोबोट सबसे कम पैसे में घर बनाता है, यह ध्यान में रखते हुए कि रोबोट की कीमत और उसकी गलतियों की आवृत्ति क्या है?"

लेखक इस नए मीट्रिक को "Cost-of-Pass" कहते हैं।

यहाँ उनके निष्कर्षों का रोजमर्रा के उपमाओं (analogies) का उपयोग करके एक सरल विवरण दिया गया है:

1. "Cost-of-Pass" की अवधारणा: एक सही उत्तर की कीमत

कल्पना कीजिए कि आप गणित की एक समस्या का सही उत्तर खरीदने की कोशिश कर रहे हैं।

यदि एक सस्ता रोबोट चलाने के लिए $0.01 खर्च होता है लेकिन वह केवल 10 में से 1 बार सही उत्तर देता है, तो आपको एक सही उत्तर पाने के लिए उसे 10 बार चलाना होगा। इसकी लागत आपको **$ 0.10** पड़ेगी।
यदि एक महंगा रोबोट चलाने के लिए $1.00 खर्च होता है लेकिन वह 100% बार सही उत्तर देता है, तो आप इसे केवल एक बार चलाते हैं। इसकी लागत **$ 1.00** होगी।

इस परिदृश्य में, सस्ता रोबोट वास्तव में बेहतर सौदा है, भले ही वह "कम बुद्धिमान" हो। "Cost-of-Pass" केवल एक एकल सही समाधान प्राप्त करने के लिए आवश्यक अपेक्षित कुल नकदी है।

2. "फ्रंटियर" (The Frontier): उपलब्ध सबसे अच्छा सौदा

लेखक किसी भी दिए गए कार्य के लिए सही उत्तर प्राप्त करने के सबसे सस्ते तरीके को खोजने के लिए AI मॉडल और मनुष्यों के पूरे बाजार को देखते हैं। वे इसे "Frontier Cost-of-Pass" कहते हैं।

इसे एक शॉपिंग साइट पर "बेस्ट प्राइस गारंटी" की तरह समझें। यह आपको बताता है: "चाहे कुछ भी हो, यह वह न्यूनतम राशि है जो आपको आज इस विशिष्ट समस्या को हल करने के लिए खर्च करने की आवश्यकता होगी।"

3. बड़ी खोजें: कौन सबसे अच्छी डील है?

पेपर ने पाया कि विभिन्न प्रकार के AI मॉडल अलग-अलग प्रकार के कार्यों के लिए "सबसे अच्छी डील" हैं। यह केवल सबसे महंगे, शक्तिशाली मॉडल को खरीदने के बारे में नहीं है।

सरल कार्यों के लिए (जैसे 2+2): लाइटवेट मॉडल (छोटे, सस्ते रोबोट) विजेता हैं। वे इतने तेज़ और सस्ते हैं कि भले ही वे कुछ गलतियाँ करें, फिर भी यह किसी मानव या विशाल सुपर-कंप्यूटर को काम पर रखने की तुलना में अधिक किफायती है।
- उपमा: यदि आपको केवल एक बॉक्स हिलाने की आवश्यकता है, तो आपको फोर्कलिफ्ट की आवश्यकता नहीं है; एक डली (dolly) के साथ एक मजबूत व्यक्ति सबसे किफायती है।
ज्ञान संबंधी कार्यों के लिए (जैसे "Pride and Prejudice किसने लिखा?"): लार्ज मॉडल (बड़े, सामान्य उद्देश्य वाले रोबोट) सबसे अच्छे हैं। वे इतने स्मार्ट हैं कि बिना अधिक "सोचे" उत्तर जानते हैं, और वे विशेष "सोचने वाले" मॉडलों जितने महंगे भी नहीं हैं।
कठिन गणित और तर्क के लिए (जैसे एक जटिल पहेली को हल करना): रीजनिंग मॉडल ("सोचने वाले" रोबोट) जीत जाते हैं। भले ही उन्हें चलाना महंगा है, लेकिन वे इन कठिन समस्याओं को हल करने में इतने अच्छे हैं कि उन्हें 100 बार प्रयास करने की आवश्यकता नहीं होती। वे पहली बार में ही इसे हल कर देते हैं, जिससे लंबे समय में आपके पैसे बचते हैं।
- उपमा: यदि आप बम को डिफ्यूज करने की कोशिश कर रहे हैं, तो आप सबसे सस्ता, तेज़ व्यक्ति नहीं चाहते। आप उस महंगे विशेषज्ञ को चाहते हैं जो पहली बार में ही सही काम करे, क्योंकि असफल होने की कीमत बहुत अधिक होती है।

4. "ह्यूमन बेसलाइन": एक मानव विशेषज्ञ की कीमत

यह सुनिश्चित करने के लिए कि वे केवल रोबोट की तुलना रोबोट से नहीं कर रहे हैं, लेखकों ने गणना की कि एक वास्तविक मानव विशेषज्ञ को इन समस्याओं को हल करने के लिए काम पर रखने की लागत क्या होगी।

सरल गणित के लिए, एक मानव बहुत महंगा है।
अत्यधिक कठिन गणित के लिए, एक मानव अभी भी महंगा है, लेकिन नए "रीजनिंग" AI मॉडल अब इतने अच्छे हैं कि वे वास्तव में उसी समस्या को हल करने के लिए एक मानव ट्यूटर को काम पर रखने की तुलना में सस्ते हैं।

5. "जादुई ट्रिक्स" (Inference Techniques)

लोग अक्सर प्रक्रिया के दौरान AI को स्मार्ट बनाने के लिए "जादुई ट्रिक्स" का उपयोग करते हैं, जैसे कि AI को अपने काम की जांच करने के लिए कहना (Self-Refinement) या एक ही प्रश्न तीन बार पूछने और सबसे आम उत्तर चुनने के लिए कहना (Majority Voting)।

पेपर ने पाया कि इनमें से अधिकांश ट्रिक्स पैसे की बर्बादी हैं।

उपमा: यह एक मैकेनिक को $10 के ऑयल चेंज के लिए$ 50 देने जैसा है। अतिरिक्त जांच से कार 1% बेहतर चल सकती है, लेकिन यह $50 खर्च करा देती है। इससे "Cost-of-Pass" कम होने के बजाय बढ़ जाता है।
एकमात्र अपवाद एक नई, स्मार्ट तकनीक है जिसे TALE-EP कहा जाता है, जो एक ऐसे मैकेनिक की तरह है जो जानता है कि कब रुकना है और आगे बढ़ना है। वह वास्तव में पैसे बचाता है।

6. निचोड़ (The Bottom Line): प्रगति वास्तविक है

लेखकों ने इस "सबसे सस्ती संभव कीमत" को पिछले एक वर्ष में ट्रैक किया। उन्होंने पाया कि सबसे कठिन गणितीय समस्याओं के लिए, एक सही उत्तर प्राप्त करने की लागत हर कुछ महीनों में आधी हो गई है।

इसका मतलब है कि AI न केवल स्मार्ट हो रहा है, बल्कि बहुत तेज़ी से बहुत अधिक किफायती भी हो रहा है। पेपर निष्कर्ष निकालता है कि इस प्रगति का सबसे बड़ा चालक "जादुई ट्रिक्स" या "अधिक प्रयास करना" नहीं है, बल्कि शुरू से ही बेहतर, अधिक कुशल मॉडल बनाना है।

संक्षेप में: केवल यह न देखें कि एक AI कितना स्मार्ट है। एक सही उत्तर की कीमत देखें। कभी-कभी "कम बुद्धिमान" सस्ता रोबोट सबसे अच्छा सौदा होता है, और कभी-कभी महंगा जीनियस रोबोट ही पैसा बचाने का एकमात्र तरीका होता है। कुंजी सही काम के लिए सही उपकरण का मिलान करना है।

यहाँ शोध पत्र "COST-OF-PASS: AN ECONOMIC FRAMEWORK FOR EVALUATING LANGUAGE MODELS" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अर्थव्यवस्था में लार्ज लैंग्वेज मॉडल्स (LMs) का व्यापक उपयोग इस बात पर निर्भर करता है कि क्या उनके द्वारा उत्पन्न आर्थिक मूल्य उनकी इन्फरेंस लागत (inference costs) से अधिक है। वर्तमान मूल्यांकन मेट्रिक्स मुख्य रूप से सटीकता या कच्ची क्षमता (raw capability) पर ध्यान केंद्रित करते हैं, जो अक्सर इन्फरेंस की मौद्रिक लागत को अनदेखा कर देते हैं। यह प्रगति की एक अधूरी तस्वीर पेश करता है, जहाँ एक मॉडल अत्यधिक सटीक हो सकता है लेकिन सस्ते विकल्पों या मानव श्रम की तुलना में आर्थिक रूप से अव्यवहार्य हो सकता है। इसके अलावा, लागत को शामिल करने के मौजूदा प्रयास अक्सर मनमाने निश्चित बजट या गैर-मौद्रिक अनुमानी (heuristics) पर निर्भर करते हैं, जिनमें आर्थिक व्याख्यात्मकता का अभाव होता है।

मूल समस्या विभिन्न मॉडल परिवारों और कार्य प्रकारों के बीच प्रदर्शन (सही समाधान की संभावना) और लागत (मौद्रिक इन्फरेंस व्यय) के बीच ट्रेड-ऑफ का मूल्यांकन करने के लिए एक सिद्धांत-आधारित, आर्थिक रूप से सुदृढ़ ढांचे की कमी है।

2. कार्यप्रणाली (Methodology)

लेखक एलएम (LMs) के लिए एक मात्रात्मक मूल्यांकन ढांचा बनाने के लिए अर्थशास्त्र से फैरेल के उत्पादक दक्षता सिद्धांत (Farrell's theory of productive efficiency) और स्टोकेस्टिक फ्रंटियर प्रोडक्शन फंक्शन्स को अनुकूलित करते हैं।

मुख्य अवधारणाएं (Core Concepts)

कॉस्ट-ऑफ-पास ( $v(m, p)$ ): इसे एक विशिष्ट समस्या $p$ $p$ के लिए एक एकल सही समाधान उत्पन्न करने की अपेक्षित मौद्रिक लागत के रूप में परिभाषित किया गया है, जिसका उपयोग मॉडल $m$ $m$ द्वारा किया जाता है।
- सूत्र: $v(m, p) = \frac{C_m(p)}{R_m(p)}$
- जहाँ $C_m(p)$ एक इन्फरेंस प्रयास की अपेक्षित लागत है (टोकन $\times$ कीमत), और $R_m(p)$ सफलता की संभावना (सटीकता) है।
- यदि कोई मॉडल किसी समस्या को हल नहीं कर पाता ( $R_m=0$ ), तो कॉस्ट-ऑफ-पास अनंत होता है।
फ्रंटियर कॉस्ट-ऑफ-पास ( $V_p$ ): यह दिए गए समस्या के लिए सभी उपलब्ध रणनीतियों (उपलब्ध मॉडलों $M$ $M$ और एक मानव विशेषज्ञ बेसलाइन $M_0$ $M_{0}$ का एक सेट) में न्यूनतम प्राप्त करने योग्य कॉस्ट-ऑफ-पास है।
- $V_p(M \cup M_0) = \min(V_p(M), v(\text{expert}, p))$
- यह किसी समस्या को हल करने के लिए वास्तविक आर्थिक निचली सीमा (lower bound) का प्रतिनिधित्व करता है।
मानव-विशेषज्ञ बेसलाइन (Human-Expert Baseline): मूल्यांकन को आधार देने के लिए, लेखक एक योग्य मानव विशेषज्ञ को एक समस्या हल करने के लिए नियुक्त करने की लागत ( $v(\text{expert}, p)$ ) का अनुमान लगाते हैं। इसकी गणना आवश्यक विशेषज्ञता, प्रति समस्या समय और बाजार की प्रति घंटा दरों के आधार पर की जाती है।
लाभ ( $G_p$ ): एक नए मॉडल रिलीज द्वारा प्राप्त फ्रंटियर कॉस्ट-ऑफ-पास में कमी, जो पिछले सर्वोत्तम विकल्प के सापेक्ष इसके आर्थिक योगदान को मापती है।

प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल श्रेणियाँ (Model Categories):
1. लाइटवेट (Lightweight): कम प्रति-टोकन लागत (<$1/M टोकन), जैसे Llama-3.1-8B, GPT-4o mini।
2. लार्ज (Large): उच्च-क्षमता वाले सामान्य मॉडल, जैसे Llama-3.1-405B, GPT-4o, Claude 3.5 Sonnet।
3. रीज़निंग (Reasoning): रीज़निंग के लिए विशेष पोस्ट-ट्रेनिंग वाले मॉडल, जैसे OpenAI o1, o3-mini, DeepSeek-R1।
कार्य श्रेणियाँ (Task Categories):
1. बेसिक क्वांटिटेटिव (Basic Quantitative): अंकगणित (Two-Digit Addition), ग्रेड-स्कूल मैथ (GSM8K)।
2. नॉलेज-बेस्ड (Knowledge-Based): वैज्ञानिक QA (GPQA-Diamond), बायस डिटेक्शन (BBQ)।
3. कॉम्प्लेक्स क्वांटिटेटिव (Complex Quantitative): प्रतियोगिता गणित (MATH-500, AIME-2024)।
इन्फरेंस-टाइम तकनीकें (Inference-Time Techniques): ढांचा मेजरिटी वोटिंग (Majority Voting), सेल्फ-रिफाइनमेंट (Self-Refinement), और बजट-जागरूक तकनीक TALE-EP जैसी तकनीकों के आर्थिक प्रभाव का मूल्यांकन करता है।

3. प्रमुख योगदान (Key Contributions)

सैद्धांतिक ढांचा: कॉस्ट-ऑफ-पास को पेश किया, जो सटीकता और लागत को एक एकल आर्थिक रूप से व्याख्या योग्य इकाई (अपेक्षित डॉलर प्रति सही उत्तर) में एकीकृत करता है, जो सटीकता और लागत की अलग-अलग रिपोर्टिंग से आगे बढ़ता है।
फ्रंटियर विश्लेषण: एक मानव-विशेषज्ञ बेसलाइन के सापेक्ष फ्रंटियर कॉस्ट-ऑफ-पास को परिभाषित किया, जिससे समय के साथ आर्थिक प्रगति को ट्रैक करना और किसी भी कार्य के लिए सबसे लागत-प्रभावी रणनीति की पहचान करना संभव हुआ।
काउंटरफैक्चुअल एसेंशियलनेस (Counterfactual Essentialness): एक विशिष्ट मॉडल परिवार (जैसे, रीज़निंग मॉडल) को इकोसिस्टम से हटाने पर फ्रंटियर लागत में कितनी वृद्धि होती है, इसे मापकर विभिन्न मॉडल परिवारों की "अनिवार्यता" को मापने के लिए एक विधि विकसित की।
अनुभवजन्य अंतर्दृष्टि (Empirical Insights): मई 2024 से फरवरी 2025 तक के एलएम (LM) इकोसिस्टम का एक व्यापक विश्लेषण प्रदान किया, जो विभिन्न प्रकार के मॉडलों के लिए विशिष्ट आर्थिक निचे (niches) को प्रकट करता है।

4. मुख्य परिणाम (Key Results)

A. मॉडल परिवारों के लिए विशिष्ट आर्थिक निचे (Distinct Economic Niches)

लाइटवेट मॉडल: बेसिक क्वांटिटेटिव कार्यों (जैसे, Two-Digit Addition, GSM8K) के लिए सबसे अधिक लागत-प्रभावी हैं। चूंकि इन कार्यों के लिए सभी मॉडलों में सटीकता उच्च है, इसलिए सबसे कम लागत वाले मॉडल हावी रहते हैं।
लार्ज मॉडल: नॉलेज-इंटेंसिव कार्यों (जैसे, GPQA-Diamond) के लिए आवश्यक हैं। वे लाइटवेट मॉडलों की तुलना में उच्च सटीकता और उचित लागत के बीच सबसे अच्छा संतुलन प्रदान करते हैं, क्योंकि लाइटवेट मॉडल यहाँ अक्सर विफल हो जाते हैं।
रीज़निंग मॉडल: कॉम्प्लेक्स क्वांटिटेटिव कार्यों (जैसे, AIME, MATH-500) पर हावी हैं। उच्च प्रति-टोकन लागत के बावजूद, उनकी श्रेष्ठ सटीकता अपेक्षित कॉस्ट-ऑफ-पास को नाटकीय रूप रूप से कम कर देती है (कम प्रयासों की आवश्यकता होती है), जिससे वे कठिन समस्याओं के लिए सबसे किफायती विकल्प बन जाते हैं।

B. प्रगति ट्रैकिंग (Progress Tracking)

पिछले एक वर्ष में फ्रंटियर कॉस्ट-ऑफ-पास तेजी से (exponentially) कम हुआ है।
कॉम्प्लेक्स क्वांटिटेटिव कार्यों के लिए, एक सही समाधान उत्पन्न करने की लागत लगभग हर 2.6 महीने (MATH-500) और 7.1 महीने (AIME-2024) में आधी हो गई है।
यह प्रगति मुख्य रूप से मॉडल-स्तरीय नवाचारों (नए रिलीज) द्वारा संचालित है, न कि इन्फरेंस-टाइम तकनीकों द्वारा।

C. मॉडल परिवारों की अनिवार्यता (Essentialness of Model Families - Counterfactual Analysis)

लाइटवेट मॉडल्स को हटाने से बुनियादी कार्यों के लिए लागत में भारी वृद्धि होती है।
लार्ज मॉडल्स को हटाने से ज्ञान-आधारित कार्यों पर महत्वपूर्ण प्रभाव पड़ता है।
रीज़निंग मॉडल्स को हटाने से जटिल गणितीय कार्यों के लिए फ्रंटियर लागत आसमान छू जाती है, जो कठिन समस्याओं को हल करने में उनकी महत्वपूर्ण भूमिका की पुष्टि करती है।

D. इन्फरेंस-टाइम तकनीकों का प्रभाव (Impact of Inference-Time Techniques)

परफॉरमेंस-ओरिएंटेड विधियाँ (Self-Refinement, Majority Voting) आम तौर पर कोई शुद्ध आर्थिक लाभ प्रदान करने में विफल रहती हैं। मामूली सटीकता लाभ बढ़े हुए टोकन खर्च और लेटेंसी (latency) को न्यायसंगत नहीं ठहराते हैं।
बजट-जागरूक तकनीकें (TALE-EP) आशाजनक दिखती हैं, जो टोकन उपयोग को गतिशील रूप से प्रबंधित करके विशिष्ट कार्यों में सार्थक लागत कटौती प्रदान करती हैं।

5. महत्व और निहितार्थ (Significance and Implications)

तर्कसंगत मॉडल चयन (Rational Model Selection): यह ढांचा अभ्यासकर्ताओं को केवल कच्ची सटीकता के बजाय आर्थिक व्यवहार्यता के आधार पर मॉडल चुनने के लिए एक सिद्धांत-आधारित उपकरण प्रदान करता है। यह रेखांकित करता है कि कार्य की जटिलता के आधार पर "बड़ा" या "स्मार्ट" होना हमेशा "सस्ता" या "बेहतर" नहीं होता है।
AI विकास का मार्गदर्शन: परिणाम बताते हैं कि लागत-दक्षता का प्राथमिक चालक पूरक मॉडल-स्तरीय नवाचार (जैसे, बेहतर रीज़निंग आर्किटेक्चर, अधिक कुशल लाइटवेट मॉडल) है, न कि पोस्ट-हॉक इन्फरेंस ट्रिक्स।
आर्थिक बेंचमार्किंग: एक मानव-विशेषज्ञ बेसलाइन को शामिल करके, यह ढांचा यह मात्रात्मक रूप से बताता है कि AI कब मानव श्रम से आर्थिक रूप से बेहतर हो जाता है, जो स्वचालन (automation) अपनाने के लिए एक महत्वपूर्ण मीट्रिक है।
सीमाएँ और भविष्य का कार्य: लेखक बाइनरी सफलता मीट्रिक (आंशिक शुद्धता को अनदेखा करना), बेंचमार्क में संभावित डेटा संदूषण (data contamination), और हाइब्रिड मानव-AI वर्कफ़्लो को बाहर रखने जैसी सीमाओं को स्वीकार करते हैं। वे जोखिम-समायोजित मेट्रिक्स और अधिक जटिल लागत संरचनाओं (जैसे, टूल उपयोग, सत्यापन लागत) को शामिल करने के लिए भविष्य के विस्तार का प्रस्ताव करते हैं।

संक्षेप में, Cost-of-Pass एलएम (LM) मूल्यांकन के प्रतिमान को "मॉडल कितना स्मार्ट है?" से बदलकर "एक सही उत्तर प्राप्त करने की लागत कितनी है?" में बदल देता है, जो AI उत्पादकता को समझने के लिए एक कठोर आर्थिक दृष्टिकोण प्रदान करता है।