🤖 machine learning

Predicting Task Difficulty Without Rollouts

यह शोध पत्र 17 विविध एजेंटिक बेंचमार्क में महंगे रोलआउट्स को निष्पादित किए बिना, सीधे कार्य विवरणों (task descriptions) से कार्य की कठिनाई का पूर्वानुमान लगाने के लिए एक विधि प्रस्तावित करता है, जो यह प्रदर्शित करता है कि टोकन-स्तरीय एंट्रॉपी (token-level entropy) एक विश्वसनीय भविष्य कहनेवाला संकेत के रूप में कार्य करती है और साथ ही AUC जैसे पारंपरिक मेट्रिक्स की सीमाओं को उजागर करते हुए छिपे हुए वातावरण दोषों को प्रकट करती है।

मूल लेखक: Stefan Krsteski, Charlotte Meyer

प्रकाशित 2026-08-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stefan Krsteski, Charlotte Meyer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

रोबोट दिमागों के लिए क्रिस्टल बॉल की समस्या

कल्पना कीजिए कि आप एक वीडियो गेम बना रहे हैं। एक नया, कठिन स्तर खिलाड़ियों को खेलने देने से पहले, आप जानना चाहते हैं: क्या यह स्तर बहुत आसान है, बहुत कठिन है, या बिल्कुल सही है? आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, विशेष रूप से "AI एजेंटों" (स्मार्ट कंप्यूटर प्रोग्राम जो कोड लिखने या वेबसाइटों पर नेविगेट करने जैसे कार्य कर सकते हैं) के साथ, यह सवाल एक बड़ा सिरदर्द है। आमतौर पर, यह जानने के लिए कि कोई कार्य कितना कठिन है, आपको AI को इसे सैकड़ों बार आज़माने देना पड़ता है। यह एक नए रोलरकोस्टर का परीक्षण करने जैसा है, जिसमें यह देखने के लिए कि वह कितना डरावना है, आपको उसे हज़ार बार सवारी करनी पड़ती है। इसमें बहुत समय लगता है, कंप्यूटर पावर की भारी लागत आती है, और प्रगति धीमी हो जाती है।

यह शोध पत्र कंप्यूटर विज्ञान के उस कोने में है जहाँ शोधकर्ता यह अनुमान लगाने की कोशिश करते हैं कि AI द्वारा प्रयास करने से पहले ही किसी कार्य की कठिनाई कितनी होगी। वे एक तरीका खोज रहे हैं जिससे वे कार्य के "नुस्खे" (recipe) को पढ़कर कठिनाई का अनुमान लगा सकें, बजाय इसके कि वे AI के हाथ जलने का इंतज़ार करें। मुख्य विचार जो वे इस्तेमाल कर रहे हैं वह है एन्ट्रॉपी (entropy), जो सुनने में फैंसी लगता है लेकिन मूल रूप से "आश्चर्य" या "भ्रम" का एक माप है। यदि कोई कंप्यूटर कार्य के विवरण को पढ़ते समय बहुत भ्रमित हो जाता है और उसे नहीं पता होता कि अगला शब्द क्या होना चाहिए, तो वह कार्य कठिन हो सकता है। यदि यह सुचारू रूप से चलता है, तो कार्य आसान हो सकता है। शोधकर्ता जानना चाहते थे: क्या हम बिना महंगे परीक्षणों के किए, इस "भ्रम मीटर" का उपयोग करके कठिनाई का अनुमान लगा सकते हैं?

"नो-रन" क्रिस्टल बॉल

लेखक, एंड्रोमेडे AI के स्टेफ़न क्रस्टेस्की और चार्लोट मेयर ने तय किया कि वे यह परीक्षण करेंगे कि क्या वे कार्य की कठिनाई के लिए एक क्रिस्टल बॉल बना सकते हैं। 17 अलग-अलग प्रकार की चुनौतियों (गणित की समस्याओं को हल करने से लेकर वेब नेविगेशन तक) के माध्यम से AI को संघर्ष करने का इंतज़ार करने के बजाय, उन्होंने केवल कार्य के टेक्स्ट विवरण को देखकर कठिनाई का अनुमान लगाने की कोशिश की।

उन्होंने 5,000 से अधिक कार्यों का एक विशाल डेटासेट एकत्र किया और देखा कि 497 अलग-अलग AI एजेंट उन पर कैसा प्रदर्शन करते हैं। सबसे पहले, उन्होंने यह गणना की कि "वास्तविक" कठिनाई क्या है, यह देखकर कि एजेंट कितनी बार सफल या असफल हुए। फिर, उन्होंने केवल कार्य के टेक्स्ट का उपयोग करके उस कठिनाई की भविष्यवाणी करने की कोशिश की।

बड़ा आश्चर्य: "कन्फ्यूजन" मीटर काम करता है (कुछ हद तक)
टीम ने पाया कि कठिनाई का अनुमान लगाने का सबसे अच्छा तरीका केवल कार्य का विवरण कितना लंबा है यह गिनना या मानक AI सारांश का उपयोग करना नहीं था, बल्कि विजेता था टोकन-लेवल एन्ट्रॉपी (token-level entropy)। कल्पना कीजिए कि एक AI वाक्य दर वाक्य कार्य को पढ़ रहा है। हर एक शब्द पर, AI को अनुमान लगाना होता है कि आगे क्या आएगा। यदि AI बहुत आश्वस्त है, तो यह आसान है। यदि AI कई संभावनाओं के बीच फंसा हुआ है और "अनिश्चित" महसूस कर रहा है, तो यह उच्च एन्ट्रॉपी है।

शोधकर्ताओं ने पाया कि यदि वे इस अनिश्चितता को ट्रैक करते हैं कि AI कार्य को कैसे पढ़ रहा है, तो वे आश्चर्यजनक सटीकता के साथ कठिनाई की भविष्यवाणी कर सकते हैं। जब उन्होंने इसका परीक्षण उन कार्यों पर किया जो उनके द्वारा देखे गए कार्यों के समान थे, तो उनकी भविष्यवाणियां वास्तविक कठिनाई से लगभग 40% बार मेल खाती थीं (एक सहसंबंध 0.399)। यह पूर्ण नहीं है, लेकिन यह रैंडम गेसिंग (random guessing) से एक बड़ी छलांग है। हालाँकि, जब उन्होंने उन बिल्कुल नए प्रकार के कार्यों की कठिनाई की भविष्यवाणी करने की कोशिश की जिन्हें उन्होंने पहले कभी नहीं देखा था, तो सटीकता गिरकर लगभग 22% हो गई। यह उस छात्र की तरह है जिसने अभ्यास परीक्षा में तो टॉप किया लेकिन वास्तविक परीक्षा में लड़खड़ा गया; विधि काम करती है, लेकिन इसने अभी तक अज्ञात के लिए सामान्यीकरण (generalizing) करने की कला में महारत हासिल नहीं की है।

"AUC" का जाल
पेपर की सबसे महत्वपूर्ण चेतावनियों में से एक सफलता को मापने का एक लोकप्रिय तरीका है जिसे "AUC" कहा जाता है। लेखक बताते हैं कि AUC एक झूठा हो सकता है। वे समझाते हैं कि AUC बहुत अधिक दिख सकता है, भले ही आपकी कठिनाई की भविष्यवाणियां बहुत खराब हों, जब तक कि आप एक स्मार्ट AI और एक मूर्ख AI के बीच अंतर कर सकते हैं। यह एक ऐसी परीक्षा को ग्रेड करने जैसा है जहाँ आप उच्च स्कोर केवल इसलिए प्राप्त करते हैं क्योंकि आप जानते हैं कि कौन स्मार्ट है, बिना यह जाने कि कौन से प्रश्न कठिन हैं। पेपर का तर्क है कि हमें इस विशिष्ट कार्य के लिए AUC का उपयोग करना बंद कर देना चाहिए और रैंकिंग विधियों का उपयोग करना चाहिए, जो वास्तव में हमें यह बताते हैं कि क्या हम कार्यों को आसान से कठिन के क्रम में सही ढंग से व्यवस्थित कर सकते हैं।

छिपे हुए दोषों को खोजना
उनकी खोज का सबसे मनोरंजक और उपयोगी हिस्सा वह है जो तब होता है जब भविष्यवाणी वास्तविकता से मेल नहीं खाती। लेखक इसे "रेसिड्यूअल" (residual) कहते हैं।

यदि AI भविष्यवाणी करता है कि कार्य आसान है, लेकिन एजेंट बुरी तरह विफल हो जाते हैं, तो कार्य टूटा हुआ (broken) या असंभव हो सकता है (जैसे गणित की समस्या जिसमें टाइपो है जो इसे असाध्य बनाता है)।
यदि AI भविष्यवाणी करता है कि कार्य कठिन है, लेकिन एजेंट इसे आसानी से पार कर लेते हैं, तो कार्य दूषित (contaminated) हो सकता है (मतलब, AI ने उत्तर पहले ही देख लिया है, जैसे समाधान के पूर्व एक्सपोज़र के कारण)।

यह देखकर कि क्या उम्मीद की गई थी और वास्तव में क्या हुआ, उनके बीच के अंतर को देखकर, वे इन छिपे हुए मुद्दों को पहचान सकते थे। उदाहरण के लिए, उन्होंने एक विशिष्ट कोडिंग कार्य को देखा जो कठिन होना चाहिए था लेकिन वास्तव में आसान था क्योंकि उत्तर लीक हो गया था; उनके तरीके ने इसे तुरंत पकड़ लिया।

निष्कर्ष
यह पेपर सुझाव देता है कि हम वास्तव में महंगे सिमुलेशन चलाए बिना, AI की "भ्रम" के स्तर को मार्गदर्शक के रूप में उपयोग करके, AI कठिनाई के भविष्य में झांक सकते हैं। यह कोई जादुई छड़ी नहीं है जो सब कुछ पूरी तरह से हल कर देती है, विशेष रूप से पूरी तरह से नए प्रकार की समस्याओं के लिए, लेकिन यह एक शक्तिशाली उपकरण है। यह डिजाइनरों को टूटे हुए कार्यों या पूर्व एक्सपोज़र के अवसरों को पहचानने की अनुमति देता है इससे पहले कि वे परीक्षण करने में लाखों डॉलर बर्बाद करें। जैसे-जैसे AI स्मार्ट होता जा रहा है और कार्य लंबे और अधिक जटिल होते जा रहे हैं, कठिनाई का पहले से अनुमान लगाने का एक तरीका होना ही पूरे सिस्टम को अंतहीन, महंगे ट्रायल-एंड-एरर के लूप में फंसने से बचाने का एकमात्र तरीका हो सकता है।

तकनीकी सारांश: रोलआउट के बिना कार्य की कठिनाई का पूर्वानुमान लगाना

समस्या विवरण

जैसे-जैसे लार्ज लैंग्वेज मॉडल (LLM) एजेंट उन्नत हो रहे हैं, मूल्यांकन का मोर्चा जटिल, दीर्घ-क्षितिज (long-horizon) डोमेन की ओर बढ़ रहा है जहाँ "रोलआउट्स" (एजेंट इंटरैक्शन का अनुकरण) के माध्यम से अनुभवजन्य सत्यापन एक गंभीर कम्प्यूटेशनल और लॉजिस्टिक बाधा बन जाता है। इन वातावरणों के लिए बेंचमार्क को डिजाइन और कैलिब्रेट करने के लिए व्यापक परीक्षण-और-त्रुटि (trial-and-error) की आवश्यकता होती है, जो तेजी से निषेधात्मक होता जा रहा है। जबकि पिछले कार्यों ने स्थिर बेंचमार्क में डेटा संदूषण (data contamination) का पता लगाने के लिए मॉडल अनिश्चितता का उपयोग करने की खोज की है, वहाँ ex ante कठिनाई भविष्यवाणी (पूर्व-अनुमानित कठिनाई) पर शोध की कमी है—अर्थात, महंगे सिमुलेशन चलाने से पहले केवल उसके विवरण के आधार पर यह अनुमान लगाना कि क्या कोई कार्य कठिन होने की संभावना है। मौजूदा दृष्टिकोण अक्सर स्थिर कोडिंग कार्यों तक सीमित हैं, संकीर्ण विशेषताओं (features) पर निर्भर करते हैं, और मूल्यांकन मेट्रिक्स (जैसे AUC) का उपयोग करते हैं जो कार्य-स्तर की कठिनाई के सटीक अनुमान को प्रतिबिंबित नहीं कर पाते हैं।

कार्यप्रणाली

डेटासेट निर्माण

लेखकों ने कोडिंग, गणित, मशीन लर्निंग, वेब नेविगेशन, फंक्शन कॉलिंग और साइबर सुरक्षा में फैले 17 एजेंटिक बेंचमार्क के माध्यम से 415,470 एजेंट-कार्य परिणामों वाला एक मल्टी-बेंचमार्क कॉर्पस बनाया। इस डेटासेट में 216 मॉडलों और 90 स्कैफोल्ड्स (scaffolds) के संयोजनों वाले 497 एजेंट कॉन्फ़िगरेशन द्वारा मूल्यांकित 5,230 अद्वितीय कार्य शामिल हैं।

कठिनाई लक्ष्य अनुमान (IRT)

ग्राउंड-ट्रुथ कठिनाई मीट्रिक स्थापित करने के लिए, लेखक आइटम रिस्पांस थ्योरी (IRT), विशेष रूप से वन-पैरामीटर लॉजिस्टिक (1PL) राश मॉडल (Rasch model) का उपयोग करते हैं।

मॉडल: एक एजेंट $a$ की कार्य $t$ पर सफलता की संभावना को $P(Y_{a,t}=1) = \sigma(\theta_a - \beta_t)$ के रूप में मॉडल किया जाता है, जहाँ $\theta_a$ एजेंट की क्षमता और $\beta_t$ कार्य की कठिनाई को दर्शाता है।
प्रशिक्षण: मॉडल को देखे गए बाइनरी परिणामों (सफलता/विफलता) पर स्टोकेस्टिक वेरिएशनल इन्फरेंस (SVI) के माध्यम से प्रशिक्षित किया जाता है।
लक्ष्य: परिणामी स्केलर $\beta_t$ कठिनाई लक्ष्य के रूप में कार्य करता है। विभिन्न बेंचमार्क में भिन्नता को संभालने के लिए, इन मानों को प्रत्येक बेंचमार्क के भीतर मानकीकृत (standardized) किया जाता है ताकि $z(\beta_t)$ प्राप्त हो सके।

फीचर इंजीनियरिंग

प्रेडिक्शन पाइपलाइन केवल प्री-रोलआउट जानकारी का उपयोग करके $\beta_t$ का अनुमान लगाने का प्रयास करती है। लेखक कार्य संदर्भ ( $C_t$ ) और एक LLM द्वारा उत्पन्न रीजनिंग ट्रेस ( $R_t$ ) से प्राप्त पाँच फीचर परिवारों को परिभाषित करते हैं:

रैंडम कंट्रोल: गॉसियन नॉइज़।
बेसलाइन: लॉग-ट्रांसफॉर्म किया गया कॉन्टेक्स्ट लेंथ।
एम्बेडिंग्स: रीजनिंग ट्रेस के PCA-रिड्यूस्ड एम्बेडिंग्स (bge-base-en-v1.5 का उपयोग करके)।
एन्ट्रॉपी: ओपन-वेट स्कोरर मॉडल्स (जैसे Qwen3-8B-Base) का उपयोग करके रीजनिंग ट्रेस पर कंप्यूट की गई टोकन-लेवल शैनन एन्ट्रॉपी। यह प्रत्येक टोकन स्थिति पर मॉडल की अनिश्चितता को कैप्चर करता है।
फुल सेट: एन्ट्रॉपी सारांश (मीन, स्प्रेड, शेप, गैप्स), क्रॉस-स्कोरर डिसएग्रीमेंट, बेंचमार्क मेटाडेटा, स्ट्रक्चरल प्रॉपर्टीज और एम्बेडिंग्स का एक संयोजन।

मूल्यांकन मेट्रिक्स

लेखक इस कार्य के लिए एरिया अंडर द कर्व (AUC) के उपयोग की आलोचना करते हैं, यह प्रदर्शित करते हुए कि AUC उच्च रह सकता है भले ही प्रेडिक्टर सभी कार्यों को समान कठिनाई प्रदान करे (क्योंकि यह एजेंट की क्षमता और कार्य की कठिनाई को मिला देता है)। इसके बजाय, वे प्राथमिकता देते हैं:

स्पियरमैन का $\rho$ (Spearman's $\rho$ ): अनुमानित और IRT-अनुमानित कठिनाइयों के बीच रैंक सहसंबंध।
पेयरवाइज एक्यूरेसी (pAcc): एक बेंचमार्क के भीतर उन कार्य युग्मों (task pairs) का अंश जहाँ अनुमानित क्रम वास्तविक क्रम से मेल खाता है।
मूल्यांकन स्प्लिट्स: K-फोल्ड (इन-डिस्ट्रीब्यूशन) और लीव-वन-बेंचमार्क-आउट (LOBO, आउट-ऑफ-डिस्ट्रीब्यूशन)।

मुख्य परिणाम

1. कठिनाई की पूर्वानुमेयता (Predictability)

कार्य के फीचर्स कठिनाई भविष्यवाणी के लिए एक सार्थक सिग्नल रखते हैं, लेकिन प्रदर्शन वितरण के आधार पर भिन्न होता है:

इन-डिस्ट्रीब्यूशन (K-fold): Full फीचर सेट 0.399 का स्पियरमैन $\rho$ प्राप्त करता है ( $p < 0.001$ बनाम बेसलाइन)। Entropy फीचर्स अकेले सबसे मजबूत सिंगल फैमिली ( $\rho = 0.193$ ) हैं, जो एम्बेडिंग्स और लेंथ बेसलाइन्स से बेहतर प्रदर्शन करते हैं।
आउट-ऑफ-डिस्ट्रीब्यूशन (LOBO): प्रदर्शन गिरता है लेकिन महत्वपूर्ण बना रहता है, जिसमें Full सेट $\rho = 0.225$ तक पहुँचता है। यह इंगित करता है कि हालांकि फीचर्स कठिनाई को एनकोड करते हैं, अनदेखे बेंचमार्क परिवारों में सामान्यीकरण (generalization) सीमित है।

2. AUC की सीमाएँ

पेपर प्रदर्शित करता है कि कठिनाई भविष्यवाणी के लिए AUC भ्रामक है। एक "कांस्टेंट डिफिकल्टी" प्रेडिक्टर (सभी कार्यों को समान मान देना) 0.715 का AUC देता है, और एक "बेंचमार्क एवरेज" प्रेडिक्टर 0.806 का AUC देता है, बावजूद इसके कि उनमें एक बेंचमार्क के भीतर कार्यों को रैंक करने की शून्य क्षमता (pAcc = 0.000) है। यह पुष्टि करता है कि AUC मुख्य रूप से एजेंट क्षमताओं के अलगाव को मापता है न कि कार्य की कठिनाई के सटीक अनुमान को।

3. एन्ट्रॉपी ट्रेजेक्टरीज (Entropy Trajectories)

एब्लेशन अध्ययन प्रकट करते हैं कि एन्ट्रॉपी ट्रेजेक्ट्री का आकार (लोकल विसंगतियां, स्लोप और वेरिएंस) ग्लोबल मीन स्टैटिस्टिक्स की तुलना में अधिक सूचनात्मक है। कई स्कोरर मॉडल्स के माध्यम से एन्ट्रॉपी को एग्रीगेट करने से इन-डिस्ट्रीब्यूशन प्रदर्शन में सुधार होता है लेकिन यह आउट-ऑफ-डिस्ट्रीब्यूशन ट्रांसफर में लगातार सुधार नहीं करता है, जो बेंचमार्क-विशिष्ट वाक्यांशों के प्रति संभावित ओवरफिटिंग का सुझाव देता है।

4. रेसिडुअल डायग्नोस्टिक्स (Residual Diagnostics)

लेखक छिपे हुए कार्य कारकों का निदान करने के लिए रेसिड्यूल $r_t = z(\beta_t) - \hat{z}_t$ (देखा गया माइनस अनुमानित कठिनाई) का उपयोग करने का प्रस्ताव करते हैं:

पॉजिटिव रेसिडुअल ( $r_t > 0$ ): कार्य अनुमानित से अधिक कठिन हैं। यह संभावित व्यवहार्यता संबंधी मुद्दों (feasibility issues) या इवैल्यूएटर की विफलताओं का संकेत देता है (जैसे, django-14725 कार्य का रेसिड्यूल +1.41 और सफलता दर 9% थी)।
नेगेटिव रेसिड्यूल ( $r_t < 0$ ): कार्य अनुमानित से आसान हैं। यह परिचितता (familiarity) या डेटा संदूषण (data contamination) का संकेत देता है (जैसे, django-11451 कार्य का रेसिड्यूल -0.56 और सफलता दर 71.8% थी)।

महत्व और दावे

यह पेपर तर्क देता है कि 'एक्स एंटे' (ex ante) कठिनाई भविष्यवाणी सक्रिय वातावरण डिजाइन के लिए एक व्यवहार्य, हालांकि अपूर्ण, उपकरण है। इसके प्राथमिक योगदान हैं:

मेथोडोलॉजिकल शिफ्ट: पोस्ट-हॉक अनुभवजन्य सत्यापन से प्री-रोलआउट अनुमान की ओर बढ़ना, जो लंबे-क्षितिज वाले डोमेन में महत्वपूर्ण कंप्यूट संसाधनों को बचा सकता है।
डायग्नोस्टिक उपयोगिता: यह प्रदर्शित करना कि अनुमानित और देखे गए कठिनाई के बीच का अंतर पूर्ण मूल्यांकन में प्रतिबद्ध होने से पहले बेंचमार्क दोषों, जैसे संदूषण या अव्यवहारिक कार्यों, को पहचानने के लिए एक फिल्टर के रूप में कार्य कर सकता है।
फीचर इनसाइट: स्टैटिक एम्बेडिंग्स या सरल लेंथ मेट्रिक्स की तुलना में टोकन-लेवल एन्ट्रॉपी को एक बेहतर प्रेडिक्टिव सिग्नल के रूप में स्थापित करना।
मूल्यांकन कठोरता: कठिनाई अनुमान के लिए AUC की अपर्याप्तता को उजागर करना और एजेंट क्षमता को कार्य की कठिनाई के साथ मिलाने से बचने के लिए रैंक-आधारित मेट्रिक्स (Spearman $\rho$ , pAcc) की वकालत करना।

लेखक वर्तमान क्षेत्र के बारे में विनम्र रहते हैं, यह नोट करते हुए कि जबकि इन-डिस्ट्रीशन रैंकिंग विश्वसनीय है, क्रॉस-बेंचमार्क सामान्यीकरण एक खुला प्रश्न बना हुआ है। वे सुझाव देते हैं कि भविष्य के कार्य को एन्ट्रॉपी को टाइम सीरीज़ के रूप में मॉडल करने और परिचितता तथा व्यवहार्यता के लिए यांत्रिक (mechanistic) प्रेडिक्टर्स विकसित करने पर ध्यान केंद्रित करना चाहिए।