तकनीकी सारांश: बोध की सीमा पर बेंचमार्किंग (Benchmarking at the Edge of Comprehension)

1. समस्या: पोस्ट-कंप्रीहेन्शन (बोध-पश्चात) शासन

यह शोध पत्र आर्टिफिशियल इंटेलिजेंस मूल्यांकन में एक महत्वपूर्ण मोड़ की पहचान करता है: फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा पारंपरिक बेंचमार्क का संतृप्ति (saturation) स्तर तक पहुँचना। जैसे-जैसे मॉडल बेहतर होते हैं, वे मौजूदा कार्यों (जैसे GSM8K, MATH, AIME) को तेजी से हल कर लेते हैं, जिससे स्थिर बेंचमार्क क्षणभंगुर हो जाते हैं। लेखक पोस्ट-कंप्रीहेन्शन शासन (post-comprehension regime) को ऐसी स्थिति के रूप में परिभाषित करते हैं जहाँ:

1. मनुष्य विश्वसनीय रूप से फ्रंटियर-स्तर के प्रश्न उत्पन्न नहीं कर सकते।
2. ग्राउंड-ट्रुथ उत्तर उपलब्ध नहीं हैं या मनुष्यों के लिए व्यावहारिक रूप से सत्यापित करना असंभव है।
3. जटिल समाधानों का समग्र मूल्यांकन करना अव्यवहारिक है।
4. कठिनाई लेबल (difficulty labels) अपना अर्थ खो देते हैं क्योंकि मनुष्य वास्तविक चुनौती और अस्पष्टता या दोषपूर्णता (ill-posedness) के बीच अंतर नहीं कर पाते हैं।

इस शासन में, पारंपरिक प्रतिमान "डेटासेट $\to$ उत्तर कुंजी $\to$ ग्रेडिंग" टूट जाता है। मानव-इन-द-लूप सत्यापन तंत्र के बिना मूल्यांकन को पूरी तरह से LLMs को सौंपना अपर्याप्त है, फिर भी मनुष्यों के पास फ्रंटियर-स्तर के समाधानों की वैश्विक शुद्धता को सत्यापित करने की क्षमता नहीं है।

2. कार्यप्रणाली: क्रिटीक-रेज़िलिएंट बेंचमार्किंग (CRB)

इन चुनौतियों का समाधान करने के लिए, लेखक क्रिटीक-रेज़िलिएंट बेंचमार्किंग (Critique-Resilient Benchmarking) का प्रस्ताव करते हैं, जो एक एडवरसैरियल (प्रतिपक्षी) ढांचा है जो ग्राउंड-ट्रुथ शुद्धता को क्रिटीक-रेज़िलिएंट शुद्धता से बदल देता है।

मुख्य अवधारणाएं

• क्रिटीक-रेज़िलिएंट शुद्धता (Critique-Resilient Correctness): किसी उत्तर को इसलिए सही नहीं माना जाता क्योंकि वह किसी संदर्भ से मेल खाता है, बल्कि इसलिए क्योंकि कोई भी प्रतिपक्षी (adversary) एक निश्चित बजट के भीतर विफलता का सत्यापित साक्ष्य (verified witness of failure) उत्पन्न नहीं कर सकता है। शुद्धता को खंडन के प्रति प्रतिरोध (resistance to falsification) के रूप में औपचारिक रूप दिया गया है।
• साक्ष्य-स्वीकार करने वाले डोमेन (Witness-Admitting Domains): यह ढांचा उन डोमेन (जैसे गणित और कोड) पर निर्भर करता है जहाँ गलत उत्तर स्थानीयकृत, जांच योग्य त्रुटि प्रमाण (जैसे एक काउंटरएग्जांपल, एक विफल टेस्ट केस, एक बीजगणितीय गलती) स्वीकार करते हैं, भले ही पूरे समाधान का सत्यापन करना कठिन हो।
• सीमित सत्यापन (Bounded Verification): मनुष्य (या कमजोर मॉडल) सीमित सत्यापनकर्ता (bounded verifiers) के रूप में कार्य करते हैं। वैश्विक शुद्धता को प्रमाणित करने के बजाय, वे संकीर्ण, स्थानीय दावों का न्याय करते हैं (जैसे, "क्या यह विशिष्ट काउंटरएग्जांपल लेम्मा का खंडन करता है?")।

मूल्यांकन खेल (The Evaluation Game)

प्रोटोकॉल मूल्यांकन को दो भूमिकाओं के बीच एक एडवरसैरियल गेम के रूप में संरचित करता है:

1. बेंचमार्कर (प्रश्नकर्ता + आलोचक): प्रश्न उत्पन्न करता है और वैध आलोचनाएँ (त्रुटि, अस्पष्टता, या दोषपूर्णता के दावे) उत्पन्न करके उत्तरों को गलत सिद्ध करने का प्रयास करता है।
2. आन्सरर (समाधानकर्ता + रक्षक): ऐसे समाधान उत्पन्न करने का प्रयास करता है जो एडवरसैरियल जांच से बच सकें।

प्रोटोकॉल चरण

1. व्यवहार्यता गेटिंग (Feasibility Gating): एक प्रश्न तभी स्वीकार किया जाता है जब बेंचमार्कर का स्वयं-जनित उत्तर सभी अन्य मॉडलों की आलोचना से बच जाए और कोई 'इल्ल-पोस्डनेस' (दोषपूर्णता) की आलोचना मान्य न हो। यह प्रतिकूल या असाध्य कार्यों को फ़िल्टर करता है।
2. एडवरसैरियल मूल्यांकन: आन्सरर एक समाधान प्रदान करता है। बेंचमार्कर या तो उसे स्वीकार करता है या एक आलोचना जारी करता है।
3. न्यायनिर्णयन (Adjudication): आलोचनाओं का मूल्यांकन जज मॉडलों (प्रतिभागियों को छोड़कर) के एक पैनल द्वारा किया जाता है। सर्वसम्मत स्वचालित निर्णय मान्य होते हैं; अन्यथा, दावा मानव न्यायनिर्णय तक जाता है जो विशिष्ट दावे और उसके साक्ष्य (witness) की समीक्षा करते हैं।
   • परिणाम:
     • आन्सरर जीत: उत्तर बच जाता है (कोई वैध गलतता/अस्पष्टता आलोचना मान्य नहीं होती)।
     • बेंचमार्कर जीत: उत्तर विफल हो जाता है या एक वैध आलोचना मान्य होती है।
     • ड्रॉप (Drop): प्रश्न को दोषपूर्ण माना जाता है या न्यायनिर्णयन अनसुलझा रहता है।

सांख्यिकीय मॉडलिंग

पेपर पूर्व-निर्धारित कठिनाई लेबल के बिना सिस्टम को रैंक करने के लिए एक आइटमाइज्ड बाइपार्टाइट ब्रैडली-टेरी मॉडल (itemized bipartite Bradley-Terry model) पेश करता है।

• अव्यक्त पैरामीटर (Latent Parameters):
  • $\beta_b$: आन्सरर स्ट्रेंथ (क्रिटीक-रेज़िलिएंट समाधान उत्पन्न करने की क्षमता)।
  • $\alpha_a$: बेंचमार्कर स्ट्रेंथ (कठिन-लेकिन-सुलझाने योग्य प्रश्न पूछने और त्रुटियों को पहचानने की क्षमता)।
  • $\delta_{a,i}$: आइटम-विशिष्ट अवशेष कठिनाई (residual difficulty)।
• मॉडल संरचना: आन्सरर के जीतने की संभावना को $\sigma(\beta_b - \alpha_a - \delta_{a,i})$ के रूप में मॉडल किया जाता है। यह सिस्टम को परिणामों से आंतरिक रूप से कठिनाई को अनुमानित करने की अनुमति देता है, बजाय इसके कि मानव एनोटेशन पर निर्भर रहा जाए।

3. प्रमुख योगदान

1. पोस्ट-कंप्रीहेन्शन शासन का औपचारिकीकरण: पेपर स्पष्ट रूप से उन स्थितियों को परिभाषित करता है जिनमें पारंपरिक बेंचमार्किंग विफल हो जाती है और मूल्यांकन के लिए एक नया सैद्धांतिक ढांचा प्रस्तावित करता है।
2. क्रिटीक-रेज़िलिएंट शुद्धता: ग्राउंड-ट्रुथ उत्तरों के बजाय 'त्रुटि के सत्यापित साक्ष्य को प्रस्तुत करने में असमर्थता' पर आधारित शुद्धता की एक नई परिभाषा।
3. व्यवहार्यता गेटिंग के साथ एडवरसैरियल प्रोटोकॉल: एक व्यावहारिक प्रोटोकॉल जो दोषपूर्ण कार्यों के इंजेक्शन को रोकता है और यह सुनिश्चित करता है कि केवल वे प्रश्न उपयोग किए जाएं जिनके स्वयं-उत्तर सत्यापित और सुलभ हैं।
4. बाइपार्टाइट रैंकिंग मॉडल: यह समस्याओं को हल करने की क्षमताओं को उत्पन्न करने और उनकी आलोचना करने की क्षमताओं से अलग करता है, जिससे अलग-अलग स्ट्रेंथ मेट्रिक्स ($\alpha$ और $\beta$) प्राप्त होते हैं।
5. गणित में अनुभवजन्य सत्यापन: इस ढांचे को 8 फ्रंटियर LLMs में 44 गणितीय श्रेणियों पर लागू और परीक्षण किया गया है, जो स्थिरता और बाहरी बेंचमार्क के साथ सहसंबंध प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने गणितीय डोमेन में आठ LLMs (GPT-5.2, Claude 4.5 Opus, DeepSeek v3.2 Speciale, और पुराने मॉडल्स सहित) का मूल्यांकन किया।

• स्थिरता और सहसंबंध: परिणामी आन्सरर एलो (Elo) स्कोर रीसैंपलिंग के तहत स्थिर हैं और पारंपरिक मानव-निर्मित बेंचमार्क (AIME 2025, BRUMO 2025, HMMT Feb 2025) के साथ मजबूत मोनोटोनिक सहसंबंध दिखाते हैं, जिसमें स्पीयरमैन $\rho$ का मान 0.819 से 0.851 के बीच है।
• पूर्वानुमानित वैधता: प्रश्नों के एक उपसमुच्चय (subset) पर गणना किए गए स्कोर अनदेखे प्रश्नों पर अच्छी तरह से सामान्यीकृत होते हैं, जो लॉग-लॉस और ब्रायर स्कोर के मामले में बेसरेट प्रेडिक्टर से काफी बेहतर प्रदर्शन करते हैं।
• कमजोर न्यायनिर्णायक (Weak Adjudicators): एक महत्वपूर्ण निष्कर्ष यह है कि कमजोर मॉडल (जैसे GPT-3.5, GPT-4o) फ्रंटियर मॉडल्स के लिए विश्वसनीय न्यायनिर्णायक के रूप में कार्य कर सकते हैं। जब इन कमजोर मॉडलों ने मानव न्यायनिर्णय लूप में अपनी जगह ली, तो परिणामी रैंकिंग मानव न्यायनिर्णय के साथ अत्यधिक सुसंगत रही (स्पीयरमैन $\rho \in [0.98, 1.0]$)। यह सुझाव देता है कि जेनरेशन (उत्पत्ति) की तुलना में वेरिफिकेशन (सत्यापन) सरल है, जिससे प्रोटोकॉल को स्केल करना संभव होता है, भले ही सत्यापनकर्ता उन प्रणालियों से कम सक्षम हो जिनका मूल्यांकन किया जा रहा है।
• विशिष्ट क्षमताएं: बेंचमार्कर स्ट्रेंथ ($\alpha$) और आन्सरर स्ट्रेंथ ($\beta$) मध्यम रूप से सहसंबंधित ($\rho = 0.69$) हैं लेकिन अलग-अलग हैं। उदाहरण के लिए, Llama 4 Maverick एक आन्सरर के रूप में एक बेंचमार्कर की तुलना में उच्च रैंक करता है, जबकि GPT-4o इसके विपरीत पैटर्न दिखाता है।

5. महत्व और दावे

पेपर का दावा है कि क्रिटीक-रेज़िलिएंट बेंचमार्किंग विशेष डोमेन में मानवीय क्षमताओं के करीब या उनसे आगे पहुँचने वाले AI के मूल्यांकन के लिए एक व्यवहार्य मार्ग प्रदान करती है।

• ज्ञानमीमांसा (Epistemology) में बदलाव: ढांचा तर्क देता है कि मूल्यांकन के लिए समाधान की पूर्ण मानवीय समझ की आवश्यकता नहीं है। किसी समाधान के विशिष्ट, सत्यापन योग्य विफलताओं को पहचानना पर्याप्त है।
• स्थिरता (Sustainability): बेंचमार्क डिजाइन को एक मापने योग्य क्षमता के रूप में मानकर और एडवरसैरियल जनरेशन का उपयोग करके, यह प्रणाली "संतृप्ति" की समस्या से बचती है जहाँ स्थिर डेटासेट सरल हो जाते हैं।
• ह्यूमन-इन-द-लूप: मनुष्य वैश्विक समाधानकर्ताओं के बजाय स्थानीय दावों के वैलिडेटर्स के रूप में एक छोटे लेकिन टिकाऊ रोल में आवश्यक बने रहते हैं।
• सीमाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि यह ढांचा "साक्ष्य-स्वीकार करने वाले" डोमेन (जैसे गणित) को मानता है और व्यक्तिपरक या गैर-रचनात्मक डोमेन पर लागू नहीं हो सकता है। वे यह भी स्वीकार करते हैं कि क्रिटीक-रेज़िलिएंट शुद्धता वर्तमान आलोचकों के सेट के सापेक्ष है; एक उत्तर जो आज बच जाता है, वह कल के अधिक शक्तिशाली आलोचकों के सामने विफल हो सकता है।

निष्कर्षतः, पेपर का तर्क है कि मूल्यांकन को ग्राउंड-ट्रुथ उत्तरों के बजाय सत्यापन योग्य विफलता साक्ष्य के इर्द-गिर्द व्यवस्थित करना न केवल उपयोगी है, बल्कि AI मूल्यांकन के भविष्य के लिए आवश्यक भी है।