💬 NLP

Searching the Internet for Challenging Benchmarks at Scale

यह शोध पत्र एक पूर्णतः स्वचालित, लागत-कुशल ढांचे को प्रस्तुत करता है जो इंटरनेट को एक विशाल विषय क्षेत्र (topic space) के रूप में मॉडल करता है और स्थिर परीक्षण सेटों (static test sets) को प्रभावित करने वाली संतृप्ति की समस्याओं से बचने के लिए चुनौतीपूर्ण बेंचमार्क को गतिशील रूप से खोजने और निर्मित करने के लिए एक मल्टी-आर्म्ड बैंडिट रणनीति का उपयोग करता है।

मूल लेखक: Wenda Xu, Vilém Zouhar, Parker Riley, Mara Finkelstein, Markus Freitag, Daniel Deutsch

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenda Xu, Vilém Zouhar, Parker Riley, Mara Finkelstein, Markus Freitag, Daniel Deutsch

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक ऐसे छात्र का ग्रेड देने की कोशिश कर रहे हैं जो अविश्वसनीय रूप से तेज़ी से बहुत बुद्धिमान होता जा रहा है। आपके पास पुराने गणित के परीक्षणों (बेंचमार्क) का एक ढेर है। शुरुआत में, वह छात्र उनमें संघर्ष करता था, जिससे आप आसानी से देख सकते थे कि उसे कहाँ मदद की ज़रूरत थी। लेकिन अब, वह उन पुराने परीक्षणों के हर सवाल को हल कर रहा है। वह सब कुछ में 100% अंक प्राप्त कर रहा है।

समस्या क्या है? आप यह नहीं बता सकते कि वह वास्तव में एक जीनियस है या उसने केवल उन विशिष्ट परीक्षणों के उत्तर याद कर लिए हैं। आपको एक नया, कठिन परीक्षण चाहिए ताकि आप देख सकें कि वह वास्तव में कहाँ संघर्ष करता है। लेकिन हाथ से नया परीक्षण बनाना धीमा, महंगा है, और विशेषज्ञ अनजाने में इसे अपने पूर्वाग्रहों के आधार पर बहुत आसान या बहुत कठिन बना सकते हैं।

यह शोध पत्र एक चतुर, पूरी तरह से स्वचालित तरीका प्रस्तावित करता है जिससे बिना किसी इंसान द्वारा लिखे गए, पूरे इंटरनेट (दुनिया) में "सबसे कठिन प्रश्न" खोजे जा सकें।

मुख्य विचार: इंटरनेट एक विशाल बुफे की तरह है

इंटरनेट को एक विशाल, अंतहीन बुफे की तरह सोचें जिसमें हजारों अलग-अलग खाद्य स्टेशन (विषय) हैं। कुछ स्टेशन साधारण स्नैक्स परोसते हैं (जैसे "टोस्ट कैसे बनाएं"), जबकि अन्य अविश्वसनीय रूप से जटिल, मसालेदार व्यंजन परोसते हैं (जैसे "अंतर्राष्ट्रीय कर कानून में कानूनी खामियां")।

लेखक उन "सबसे मसालेदार" व्यंजनों को खोजना चाहते हैं—वे विषय जहाँ यहाँ तक कि स्मार्टतम AI मॉडल भी लड़खड़ा जाते हैं। लेकिन वे बुफे के हर व्यंजन को चख नहीं सकते; इसमें बहुत समय और पैसा लगेगा।

रणनीति: "स्मार्ट टेस्टर" (Multi-Armed Bandit)

सब कुछ चखने के बजाय, लेखक इसे एक गेम या "स्मार्ट टेस्टर" के रूप में देखते हैं जो "Multi-Armed Bandit" नामक रणनीति का उपयोग करता है।

द स्लॉट्स (The Slots): इंटरनेट पर प्रत्येक विषय (जैसे, "बारोक संगीत," "कंक्रीट चिनाई," "गैस वेल्डिंग") एक स्लॉट मशीन की तरह है।
लागत (The Cost): लीवर खींचना (उस विषय से एक टेक्स्ट लेना और AI का परीक्षण करना) पैसे और समय की लागत रखता है।
लक्ष्य: कम से कम बार लीवर खींचकर उस स्लॉट मशीन को खोजना जो सबसे अधिक "कठिनाई" (जहाँ AI सबसे अधिक विफल होता है) देती है।

लेखक एक विशिष्ट रणनीति का उपयोग करते हैं जिसे $\epsilon$ -greedy कहा जाता है। कल्पना कीजिए कि आप एक कैसीनो में हैं:

एक्सप्लोरेशन (Exploration - द वाइल्ड कार्ड): कभी-कभी, आप एक ऐसी मशीन आज़माते हैं जिसे आपने पहले कभी नहीं छुआ है, बस यह देखने के लिए कि वह क्या करती है।
एक्सप्लॉइटेशन (Exploitation - द विनर): अधिकांश समय, आप उसी मशीन का लीवर खींचते रहते हैं जिसने अब तक सबसे अधिक "कठिनाई" दी है।

इन दोनों को संतुलित करके, सिस्टम अविश्वसनीय रूप से तेज़ी से कठिन विषयों को खोज लेता है। शोध पत्र का दावा है कि यह विधि सभी विषयों की जाँच करने की तुलना में केवल 6% विषयों की जाँच करके सबसे कठिन विषयों को खोज लेती है, जिससे लागत में 100 गुना बचत होती है।

उन्होंने क्या पाया

उन्होंने दो चीजों पर इसका परीक्षण किया:

मशीन अनुवाद (Machine Translation): AI से अंग्रेजी से अन्य भाषाओं में टेक्स्ट अनुवाद करने के लिए कहना।
ज्ञान संबंधी प्रश्न (Knowledge Questions): AI से तथ्यात्मक प्रश्न पूछना।

परिणाम:

पुराने परीक्षण बनाम नई खोजें: उनके सिस्टम द्वारा खोजे गए विषय आज के विशेषज्ञों द्वारा उपयोग किए जाने वाले मानक परीक्षणों (जैसे WMT या FLORES) की तुलना में बहुत कठिन थे।
छोटा लेकिन प्रभावी: दिलचस्प बात यह है कि उनके द्वारा खोजे गए सबसे कठिन टेक्स्ट मौजूदा बेंचमार्क के कठिन टेक्स्ट की तुलना में अक्सर छोटे थे। यह साबित करता है कि लंबाई वह चीज़ नहीं है जो चीज़ों को कठिन बनाती है; बल्कि वे विशिष्ट, पेचीदा अवधारणाएं (जैसे कानूनी शब्द या अस्पष्ट तथ्य) हैं जो AI को उलझा देती हैं।
वास्तविक कमजोरियां: इन नए परीक्षणों पर AI ने जो गलतियाँ कीं, वे केवल "नादान गलतियाँ" नहीं थीं। वे शब्दावली (किसी विशिष्ट क्षेत्र के लिए गलत शब्द का उपयोग करना) और सटीकता (तथ्यों को गलत बताना) की गहरी समस्याएँ थीं। यह दर्शाता है कि परीक्षण वास्तव में वास्तविक कमजोरियों को ढूंढ रहे हैं, न कि केवल लंबे वाक्यों के साथ AI को भ्रमित कर रहे हैं।

"हैकिंग" की जाँच

एक समझदार पाठक पूछ सकता है: "क्या AI ने केवल ऐसे प्रश्न खोज लिए हैं जो अन्य AI के लिए ग्रेड करने में कठिन हैं, लेकिन वास्तविक दुनिया के लिए आसान हैं?"

लेखकों ने इसकी जाँच करने के लिए दो अलग-अलग "जजों" (स्कोरिंग सिस्टम) का उपयोग किया जो एक-दूसरे को नहीं जानते हैं। उन्होंने पाया कि जब सिस्टम ने एक कठिन विषय खोजा, तो दोनों जज इस बात पर सहमत थे कि वह कठिन है। यह साबित करता है कि सिस्टम स्कोरिंग सिस्टम को "हैक" नहीं कर रहा है; यह वास्तव में कठिन सामग्री को खोज रहा है।

निष्कर्ष

यह शोध पत्र एक ऐसे टूल को पेश करता है जो AI की दुनिया में कठिनाई के "फाइनल बॉस" स्तर की खोज करने के लिए स्वचालित रूप से शिकार करता है। इंसानों द्वारा मैन्युअल रूप से कठिन परीक्षण तैयार करने के बजाय, यह सिस्टम इंटरनेट को खोजता है, सीखता है कि AI कहाँ विफल होता है, और एक नया, अधिक कठिन बेंचमार्क बनाता है। यह शोधकर्ताओं को AI मॉडल की वास्तविक सीमाओं को देखने की अनुमति देता है क्योंकि वे स्मार्ट होते जा रहे हैं, यह सुनिश्चित करता है कि हम केवल इसलिए यह न सोचें कि वे पूर्ण हैं क्योंकि उन्होंने पुराने, आसान परीक्षणों को पास कर लिया है।

मुख्य बात: इंटरनेट कठिन समस्याओं का एक खजाना है। यह शोध पत्र हमें उन्हें जल्दी और सस्ते में खोजने के लिए एक नक्शा देता है, ताकि हम AI मॉडल को केवल पुराने पाठ्यपुस्तकों के खिलाफ नहीं, बल्कि वास्तविक दुनिया के खिलाफ भी टेस्ट कर सकें।

तकनीकी सारांश: चुनौतीपूर्ण बेंचमार्क के लिए इंटरनेट की खोज (बड़े पैमाने पर)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए स्थिर (static) बेंचमार्क तेजी से संतृप्त (saturate) हो रहे हैं। जैसे-जैसे मॉडल बेहतर होते हैं, वे निश्चित टेस्ट सेट्स (जैसे WMT, FLORES) पर लगभग पूर्ण स्कोर प्राप्त कर लेते हैं, जिससे वास्तविक कमजोरियों को उजागर करने के लिए बहुत कम "हेडरूम" बचता है। यहाँ तक कि विशेषज्ञ-क्यूरेट किए गए चैलेंज सेट्स भी मॉडल द्वारा उन्हें "हिलक्लाइंब" (hillclimb) करने के कारण जल्दी संतृप्त हो जाते हैं, जिससे उन्हें ताज़ा करने के लिए महंगी और बार-बार मैन्युअल क्यूरेशन की आवश्यकता होती है। मुख्य चुनौती यह है कि मानव अंतर्ज्ञान (human intuition) पर निर्भर रहे बिना—जो अक्सर वास्तविक मॉडल विफलता मोड के साथ मेल नहीं खाता (उदाहरण के लिए, मनुष्य "बरोक संगीत" को कठिन मान सकते हैं, जबकि मॉडल "कंक्रीट चिनाई" (concrete masonry) पर विफल हो सकते हैं क्योंकि यह विशिष्ट शब्दावली पर आधारित है)—बड़े पैमाने पर स्वचालित रूप से चुनौतीपूर्ण बेंचमार्क का निरंतर निर्माण कैसे किया जाए।

कार्यप्रणाली (Methodology)

लेखक एक पूर्णतः स्वचालित ढांचे का प्रस्ताव करते हैं जो इंटरनेट को सामग्री के एक प्रभावी रूप से असीमित भंडार के रूप में मानता है और कठिन विषयों की खोज को एक मल्टी-आर्म्ड बैंडिट (Multi-Armed Bandit - MAB) समस्या के रूप में औपचारिक रूप देता है।

1. विषय स्थान का निर्माण (Topic Space Construction)

यह ढांचा व्यापक बीज श्रेणियों (जैसे, "विज्ञान", "व्यवसाय") से शुरू होकर उन्हें प्रॉम्प्टेड LLM का उपयोग करके पुनरावर्ती रूप से सूक्ष्म उप-विषयों में विभाजित करता है। यह प्रक्रिया लगभग 3,200 लीफ टॉपिक्स (जैसे, "कॉर्पोरेट फाइनेंस" $\to$ "कैश फ्लो फोरकास्टिंग") का एक वृक्ष (tree) उत्पन्न करती है।

2. नमूनाकरण और कठिनाई अनुमान (Sampling and Difficulty Estimation)

सिस्टम एक सैंपल-एंड-इवैल्यूएट लूप के माध्यम से संचालित होता है:

ग्राउंडेड जनरेशन (Grounded Generation): एक चयनित विषय के लिए, एक LLM गूगल सर्च का उपयोग करके वास्तविक दुनिया के स्निपेट्स (snippets) प्राप्त करता है, जिससे डेटा को ग्राउंडेड बनाने के लिए टेक्स्ट और स्रोत URL निकाले जाते हैं।
कठिनाई स्कोरिंग: ढांचा नमूनाकृत टेक्स्ट के लिए मॉडल आउटपुट उत्पन्न करता है और गुणवत्ता का अनुमान लगाता है।
- मशीन ट्रांसलेशन (MT): गुणवत्ता स्कोर असाइन करने के लिए GEMBA (Gemini-2.5-Pro पर आधारित एक LLM-एज़-ए-जज मेट्रिक) का उपयोग करता है। कठिनाई को $100 - \text{quality score}$ के रूप में परिभाषित किया गया है।
- नॉलेज क्वेश्चन आंसरिंग (KQA): प्राप्त स्निपेट्स से तथ्यात्मक Q&A जोड़े बनाता है। कठिनाई का अनुमान विभिन्न मॉडल कॉन्फ़िगरेशन (जैसे, "सोच" या सर्च के साथ/बिना) में त्रुटि दर के माध्यम से लगाया जाता है।
लागत मॉडल (Cost Model): प्रत्येक क्वेरी (सैंपलिंग + जनरेशन + इवैल्यूएशन) की एक इकाई लागत होती है। लक्ष्य एक निश्चित बजट $B$ के भीतर शीर्ष- $k$ सबसे कठिन विषयों की पहचान करना है।

3. खोज एल्गोरिदम: $\epsilon$ -Greedy

खोज को एक बेस्ट आर्म आइडेंटिफिकेशन (Best Arm Identification) समस्या के रूप में मॉडल किया गया है। लेखक कई रणनीतियों की तुलना करते हैं:

ब्रूट-फोर्स (Brute-force): रैंडम सैंपलिंग (अक्षम)।
ग्रीडी (Greedy): वर्तमान में सबसे अच्छे विषय का शुद्ध शोषण (exploitation) (इसके लिए पहले सभी विषयों को एक बार सैंपल करना आवश्यक है, जो महंगा है)।
$\epsilon$ -Greedy: यह स्टोकेस्टिक रूप से एक्सप्लोरेशन (अनसैंपल किए गए विषयों को $\epsilon$ प्रायिकता के साथ सैंपल करना) और एक्सप्लोइटेशन (वर्तमान में सबसे अच्छे विषय को $1-\epsilon$ प्रायिकता के साथ सैंपल करना) के बीच स्विच करता है।

$\epsilon$ -greedy रणनीति सिस्टम को हर विषय को स्कोर करने की प्रतीक्षा किए बिना शुरुआती दौर में ही आशाजनक विषयों का शोषण करना शुरू करने की अनुमति देती है, जिससे सबसे कठिन सामग्री खोजने के लिए आवश्यक बजट में काफी कमी आती है।

मुख्य परिणाम

दक्षता और लागत में कमी

खोज दक्षता: $\epsilon$ -greedy MT कार्य में खोज स्थान के केवल 6% और KQA कार्य में ~10% को एक्सप्लोर करके लगभग-ओरेकल (near-oracle) कठिनाई स्तरों की पहचान करती है।
लागत में कमी: यह पूर्ण मूल्यांकन (exhaustive evaluation) की तुलना में 100 $\times$ लागत में कमी है। उदाहरण के लिए, $\epsilon$ -greedy के साथ 19.7 की टॉप-10 कठिनाई प्राप्त करने में \ $104 लगे, जबकि ब्रूट-फोर्स को समान स्तर तक पहुँचने के लिए \$ 10,403 की आवश्यकता होती।
अभिसरण (Convergence): $\epsilon$ -greedy स्टेप 5,000 तक सटीक कठिनाई अनुमान ( $\Delta < 0.12$ ) तक अभिसरित होती है, जबकि ब्रूट-फोर्स स्टेप 6,000 तक भी अभिसरण करने में विफल रहता है।

बेंचमार्क की गुणवत्ता

मौजूदा बेंचमार्क की तुलना में श्रेष्ठता: स्वचालित रूप से खोजे गए विषय (जैसे, "Prison vs. Jail," "Leasehold Estates") WMT 2024/2025 और FLORES के उपसमुच्चयों की तुलना में काफी अधिक कठिन हैं, बावजूद इसके कि उनके औसत शब्द काउंट कम हैं। यह पुष्टि करता है कि कठिनाई टेक्स्ट की लंबाई से नहीं, बल्कि सामग्री की जटिलता (शब्दावली, कानूनी बारीकियां) से आती है।
मजबूती (Robustness): खोजी गई कठिनाई निम्नलिखित में सुसंगत है:
- भाषाएँ: उच्च-संसाधन (English $\to$ Chinese) और निम्न-संसाधन (English $\to$ Ukrainian) दोनों पेयर्स में उच्च प्रदर्शन।
- मॉडल: खोजे गए चुनौतीपूर्ण विषय फ्रंटियर मॉडल्स (Gemini-2.5-Pro) और ओपन-सोर्स मॉडल्स (Gemma-3-27B) दोनों के लिए कठिन बने रहते हैं।
- मेट्रिक्स: स्वतंत्र मेट्रिक्स (MetricX) द्वारा सत्यापन पुष्टि करता है कि खोज केवल प्राथमिक एस्टीमेटर (GEMBA) के पूर्वाग्रहों का फायदा नहीं उठा रही है।

त्रुटि विश्लेषण (Error Analysis)

AutoMQM का उपयोग करके डिस्कवर किए गए टेस्ट सेट के विश्लेषण से पता चलता है कि 90% त्रुटियाँ शब्दावली (47.7%) और सटीकता (42.3%) श्रेणियों में आती हैं। फ्लुएंसी (Fluency) और स्टाइल संबंधी त्रुटियाँ न्यूनतम (~10%) हैं, जो यह संकेत देती हैं कि आधुनिक LLMs ने फ्लुएंसी को काफी हद तक हल कर लिया है, और शेष सीमा डोमेन-विशिष्ट शब्दावली और तथ्यात्मक सटीकता में है। विभिन्न मॉडल एक ही डेटा पर अलग-अलग त्रुटि प्रोफाइल प्रदर्शित करते हैं, जो पुष्टि करता है कि बेंचमार्क वास्तविक, मॉडल-विशिष्ट कमजोरियों को उजागर करता है।

पुनरुत्पादकता (Reproducibility)

संपूर्ण पाइपलाइन को सभी जनरेशन स्टेप्स (विषय प्रस्ताव, टेक्स्ट निष्कर्षण, कठिनाई अनुमान) के लिए ओपन-सोर्स Gemma-27B-it मॉडल का उपयोग करके सफलतापूर्वक रीप्लिकेट किया गया है, जो यह सिद्ध करता है कि यह ढांचा प्रोप्रायटरी फ्रंटियर मॉडल्स पर निर्भर नहीं है।

महत्व और दावे

यह पेपर स्थिर, मैन्युअल रूप से क्यूरेट किए गए बेंचमार्क से गतिशील, स्वचालित रूप से निर्मित बेंचमार्क की ओर जाने के मार्ग को स्थापित करने का दावा करता है जो मॉडल क्षमताओं के साथ विकसित होते हैं।

कार्य-अज्ञेय ढांचा (Task-Agnostic Framework): MAB फॉर्मूलेशन बिना किसी कार्य-विशिष्ट संशोधन के विविध कार्यों (MT और KQA) में प्रभावी रूप से स्थानांतरित होता है।
प्रॉक्सी ओवर-ऑप्टिमाइज़ेशन का शमन: लेखक प्रदर्शित करते हैं कि एक एकल मेट्रिक पर निर्भर रहने से "मेट्रिक हैकिंग" हो सकती है। वे दो लागत-मुक्त शमन रणनीतियाँ प्रस्तावित करते हैं: (1) आर्किटेक्चरल रूप से विविध मेट्रिक्स का एन्सेम्बलिंग (जैसे, GEMBA + MetricX) और (2) एक होल्ड-आउट स्वतंत्र मेट्रिक द्वारा निर्देशित अर्ली स्टॉपिंग।
स्केलेबिलिटी: यह ढांचा अनुमानित लॉगरिदमिक लाभों के साथ कितनी भी बड़ी विषय स्पेस (1M सिंथेटिक टॉपिक्स तक परीक्षित) तक स्केल कर सकता है।
सामुदायिक सुलभता: यह सिद्ध करके कि पाइपलाइन ओपन-सोर्स मॉडल्स के साथ काम करती है और विस्तृत प्रॉम्प्ट्स और स्यूडोकोड प्रदान करके, लेखक चुनौतीपूर्ण बेंचमार्क के निर्माण को व्यापक अनुसंधान समुदाय के लिए सुलभ बनाते हैं, जिससे महंगे, क्लोज्ड-सोर्स API पर निर्भरता कम होती है।

संक्षेप में, यह कार्य तर्क देता है कि इंटरनेट, जब बैंडिट एल्गोरिदम के माध्यम से कुशलतापूर्वक खोजा जाता है, तो चुनौतीपूर्ण सामग्री का एक टिकाऊ, कम लागत वाला स्रोत प्रदान करता है जो मॉडल प्रदर्शन वितरण के वास्तविक "टेल" (tail) को उजागर करता है, जिससे बेंचमार्क संतृप्ति की गंभीर समस्या का समाधान होता है।