तकनीकी सारांश: BRIDGE – मॉडल प्रदर्शन से मानव कार्य पूर्णता समय का पूर्वानुमान लगाना

समस्या विवरण

AI सिस्टम की वास्तविक दुनिया की क्षमताओं का मूल्यांकन आमतौर पर बेंचमार्क स्कोर और समग्र मेट्रिक्स पर निर्भर करता है। हालाँकि, ये स्कोर वास्तविक कार्य की कठिनाई या वास्तविक प्रयास के माप के रूप में व्याख्या करने में कठिन होते हैं। स्कोर में सुधार छोटे, नियमित उदाहरणों पर लाभ को दर्शा सकता है, जबकि लंबे, बहु-चरणीय कार्यों को अपरिवर्तित छोड़ सकता है, और तुलनीय स्कोर परिवर्तन व्यावहारिक क्षमता में बहुत अलग बदलावों के अनुरूप हो सकते हैं।

एक प्रमुख विकल्प, जिसे METR (Kwa et al., 2026) द्वारा प्रस्तावित किया गया है, क्षमता को उस "मानव कार्य पूर्णता समय" के रूप में मापता है जो एक AI एजेंट को सफल होने के लिए आवश्यक होता है। हालाँकि यह एक मानव-व्याख्या योग्य पैमाना प्रदान करता है, लेकिन यह महंगी, शोरयुक्त (noisy) और स्केल करने में कठिन मानव एनोटेशन पर निर्भर करता है। जैसे-जैसे नए बेंचमार्क उभरते हैं, प्रत्येक बेंचमार्क को आधार देने के लिए विशेष मानव अध्ययनों पर निर्भरता, बेंचमार्क-केंद्रित मूल्यांकन और मानव-केंद्रित कठिनाई की धारणाओं के बीच एक बढ़ती खाई पैदा करती है। मुख्य चुनौती यह है: क्या हम नए मानव अध्ययनों के बिना नए बेंचमार्क के लिए मानव कार्य पूर्णता समय का पूर्वानुमान लगा सकते हैं?

कार्यप्रणाली: BRIDGE फ्रेमवर्क

लेखक BRIDGE (बेंचमार्क रिस्पॉन्स इन्फर्ड डिफिकल्टी ग्राउंडेड इन एलैप्स्ड ह्यूमन टाइम) का प्रस्ताव करते हैं, जो एक एकीकृत साइकोमेट्रिक फ्रेमवर्क है जो मॉडल प्रदर्शन से अनुमानित गुप्त (latent) कार्य कठिनाई को मानव कार्य पूर्णता समय के साथ संरेखित करता है।

1. आइटम रिस्पॉन्स थ्योरी (IRT) मॉडलिंग

यह फ्रेमवर्क संयुक्त रूप से अनुमान लगाने के लिए एक टू-पैरामीटर लॉजिस्टिक (2PL) IRT मॉडल का उपयोग करता है:

• गुप्त कार्य कठिनाई ($b_i$): एक पैरामीटर जो व्यक्तिगत कार्यों की कठिनाई को दर्शाता है।
• मॉडल क्षमता ($\theta_j$): एक पैरामीटर जो व्यक्तिगत मॉडलों की क्षमता को दर्शाता है।
• विभेदन (Discrimination) ($a_i$): एक पैरामीटर जो यह मापता है कि एक कार्य विभिन्न क्षमताओं वाले मॉडलों के बीच कितनी अच्छी तरह अंतर करता है।

एक मॉडल $j$ द्वारा कार्य $i$ को सफलतापूर्वक पूरा करने की प्रायिकता को इस प्रकार मॉडल किया जाता है:
$$P(y_{i,j} = 1 | \theta_j, a_i, b_i) = \sigma(a_i(\theta_j - b_i))$$
जहाँ $\sigma$ लॉजिस्टिक फंक्शन है। मॉडल को कई बेंचमार्क में बाइनरी सफलता/विफलता परिणामों पर पदानुक्रमित प्रायिकता (hierarchical priors) के साथ मार्कोव चेन मोंटे कार्लो (MCMC) का उपयोग करके फिट किया जाता है।

2. मानव समय से एंकरिंग (Anchoring to Human Time)

जबकि IRT एक एकीकृत गुप्त पैमाने (latent scale) प्रदान करता है, इसके पैरामीटर स्वाभाविक रूप से स्केल-इनवेरिएंट (scale-invariant) होते हैं और उनमें अंतर्निहित अर्थ की कमी होती है। BRIDGE इस समस्या को मानव पूर्णता समय के साथ IRT-अनुमानित गुप्त कठिनाई ($b_i$) और मानव समय ($h_i$) के बीच एक रैखिक संबंध स्थापित करके हल करता है:

• कैलिब्रेशन: ज्ञात मानव पूर्णता समय वाले कार्यों के एक डेटासेट (विशेष रूप से METR से) का उपयोग करते हुए, लेखक IRT-अनुमानित गुप्त कठिनाई ($b_i$) और मानव पूर्णता समय के लघुगणक ($\log(h_i)$) के बीच एक रैखिक संबंध फिट करते हैं:
  $$\log(h_i) = \text{slope} \times b_i + \text{intercept}$$
• पूर्वानुमान: एक बार कैलिब्रेट होने के बाद, यह लॉग-लीनियर मैपिंग केवल उनके IRT-अनुमानित गुप्त कठिनाई के आधार पर नए बेंचमार्क (बिना मानव एनोटेशन के) के लिए मानव पूर्णता समय का पूर्वानुमान लगाने की अनुमति देती है।

3. पूर्वानुमान क्षितिज (Forecasting Horizon)

यह फ्रेमवर्क विशिष्ट रिलीज़ विंडो में सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल की पहचान करके फ्रंटियर मॉडल क्षमताओं के विकास को ट्रैक करता है। मॉडल की अनुमानित क्षमता ($\theta_{max}$) को कठिनाई पैमाने ($b = \theta_{max}$ 50% सफलता पर) से मैप करके, सिस्टम "टास्क-लेंथ होराइजन" (कार्य-लंबाई क्षितिज) का पूर्वानुमान लगाता है—अर्थात उन कार्यों की अवधि जिन्हें एक मॉडल एक निश्चित प्रायिकता के साथ पूरा कर सकता है।

मुख्य योगदान

1. एकीकृत साइकोमेट्रिक फ्रेमवर्क: BRIDGE मॉडल प्रदर्शन मेट्रिक्स और मानव-व्याख्या योग्य समय इकाइयों के बीच के अंतर को मानव पूर्णता समय के विरुद्ध IRT गुप्त कठिनाई को कैलिब्रेट करके पाटता है।
2. लॉग-लीनियर संरेखण: पेपर यह प्रदर्शित करता है कि गुप्त कार्य कठिनाई मानव पूर्णता समय के लघुगणक के साथ रैखिक रूप से भिन्न होती है ($R^2 = 0.81$ METR डेटा पर)। यह केवल मॉडल प्रदर्शन से मानव कार्य अवधि के अनुमान की अनुमति देता है।
3. स्केलेबल पूर्वानुमान: फ्रेमवर्क प्रत्येक नए मानव अध्ययन की आवश्यकता के बिना मानव कार्य लंबाई के संदर्भ में फ्रंटियर मॉडल क्षमताओं का पूर्वानुमान लगाने में सक्षम बनाता है।
4. मजबूती (Robustness): विधि को मॉडल-कार्य कवरेज में विरलता (sparsity) के प्रति भी मजबूत दिखाया गया है, जो 70% तक देखे गए प्रविष्टियों को हटाने के बाद भी कठिनाई अनुमानों में उच्च सहसंबंध बनाए रखती है।

प्रयोगात्मक परिणाम

लेखकों ने कई आउट-ऑफ-डिस्ट्रीब्यूशन बेंचमार्क पर BRIDGE का मूल्यांकन किया: SWE-bench Verified, MLE-bench, GDPval, और Cybench।

• समय भविष्यवाणी की सटीकता:
  • SWE-bench Verified पर, BRIDGE के अनुमानित समय बकेट (time buckets) लॉगिट सफलता-दर ह्यूरिस्टिक और LLM-आधारित अनुमानकों (Gemini 3 Pro, GPT-5.2) दोनों की तुलना में मानव एनोटेशन के साथ काफी बेहतर ढंग से संरेखित थे। BRIDGE ने 0.284 का भारित मैक्रो F1 स्कोर प्राप्त किया, जबकि लॉगिट बेसलाइन के लिए यह 0.198 और GPT-5.2 के लिए 0.048 था।
  • Cybench पर, BRIDGE ने मानव प्रथम-सॉल्व समय के विरुद्ध 0.45 का $R^2$ प्राप्त किया, जिसमें 92.3% कार्य 0.5×–2× सहनशीलता बैंड के भीतर थे। इसके विपरीत, लॉगिट बेसलाइन ने अवधि का कम अनुमान लगाया, जबकि LLM अनुमानकों ने इसे लगातार अधिक आंका।
• पूर्वानुमान रुझान (Forecasting Trends):
  • केवल मॉडल प्रदर्शन लॉग का उपयोग करते हुए, BRIDGE पूर्वानुमान लगाता है कि "50%-टास्क-कम्प्लीशन टाइम होराइजन" (उन कार्यों की लंबाई जिन्हें 50% प्रायिकता के साथ हल किया जा सकता है) तेजी से बढ़ रहा है।
  • अनुमानित दोहरीकरण समय (doubling time) लगभग 6 महीने है।
  • नवीनतम फ्रंटियर मॉडलों (जैसे Claude 4.5 Opus, GPT-5) के अनुसार, 50% सफलता क्षितिज बेंचमार्क के आधार पर लगभग 1.4 से 2.5 घंटे के मानव प्रयास के बराबर है।
  • एक सख्त 80% सफलता थ्रेशोल्ड पर, क्षितिज सिकुड़कर लगभग 40 मिनट हो जाता है, लेकिन दोहरीकरण समय ~6 महीने पर स्थिर रहता है।

महत्व और दावे

पेपर का दावा है कि BRIDGE AI प्रगति के मूल्यांकन और पूर्वानुमान के लिए एक स्केलेबल, विश्वसनीय और मानव-आधारित विधि प्रदान करता है।

• मानव अध्ययनों से स्वतंत्रता: यह प्रदर्शित करता है कि मानव-केंद्रित कार्य कठिनाई को मॉडल-केंद्रित डेटा से निकाला जा सकता है, जिससे वास्तविक दुनिया की AI प्रगति को ट्रैक करने की लागत और घर्षण कम हो जाता है।
• स्केलिंग लॉज़ का सत्यापन: परिणाम स्वतंत्र रूप से METR के निष्कर्षों को पुनरुत्पादित और पुष्ट करते हैं कि कार्य-लंबाई क्षितिज में घातीय वृद्धि (exponential growth) हो रही है, जो मानव समय के प्रॉक्सी के रूप में मॉडल प्रदर्शन के उपयोग को मान्य करता है।
• व्याख्यात्मकता: जटिल बेंचमार्क स्कोर को "मानव प्रयास के घंटों" में अनुवादित करके, BRIDGE यह समझने के लिए एक अधिक कार्रवाई योग्य मीट्रिक प्रदान करता है कि AI सिस्टम वास्तव में क्या कर सकते हैं और उनकी व्यावहारिक क्षमताएं कितनी तेजी से सुधर रही हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि IRT स्वाभाविक रूप से स्केल-इनवेरिएंट है, लेकिन मानव समय के साथ इसे एंकर करने से AI बेंचमार्क के लिए एक "रोसेटा स्टोन" बन जाता है, जो विविध और विकसित होते कार्य वितरणों में मनुष्यों और मॉडलों के बीच कठिनाई अनुमानों को स्थानांतरित करने में सक्षम बनाता है।