तकनीकी सारांश: HypoArena – LLMs में संभावित परिकल्पना खोज (Prospective Hypothesis Discovery) का बेंचमार्किंग

1. समस्या की परिभाषा: अन्वेषणात्मक तर्क में अंतराल

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) बेंचमार्क मुख्य रूप से प्रतिक्रियात्मक प्रश्नोत्तर (Reactive Question Answering - QA) का मूल्यांकन करते हैं, जहाँ मॉडल अच्छी तरह से परिभाषित प्रश्नों के उत्तर खोजते हैं या पूर्व-निर्धारित कार्यों को पूरा करते हैं। हालाँकि, वैज्ञानिक अनुसंधान, दुर्घटना जांच और वित्तीय विश्लेषण में वास्तविक दुनिया की खोज अक्सर एक स्पष्ट प्रश्न के साथ नहीं, बल्कि "वास्तविक दुनिया की अराजकता" (real-world chaos) के साथ शुरू होती है: विसंगत अवलोकनों, खंडित तथ्यों और अपूर्ण अभिलेखों का एक उलझा हुआ जाल।

महत्वपूर्ण क्षमता जो वर्तमान मूल्यांकनों में गायब है, वह है संभावित परिकल्पना खोज (Prospective Hypothesis Discovery - PHD)। PHD के लिए आवश्यक है कि एक मॉडल किसी निष्कर्ष पर पहुँचने से पहले अनिर्णायक साक्ष्यों से एक आधारित (grounded), विभेदक (discriminative) और परीक्षण योग्य परिकल्पना स्थान (hypothesis space) को स्वायत्त रूप से निर्मित करे। मौजूदा बेंचमार्क इस कारण विफल होते हैं क्योंकि:

• डेटा सीमाएँ: विशेषज्ञ दस्तावेज़ (शोध पत्र, रिपोर्ट) निष्कर्ष के बाद लिखे जाते हैं, जिनमें स्पष्ट कारण संबंध और अंतिम दावे होते हैं, जो PHD को सरल पुनर्कथन (restatement) में बदल देते हैं।
• मेट्रिक सीमाएँ: उच्च गुणवत्ता वाले PHD आउटपुट खुले-अंत वाले परिकल्पना स्थान होते हैं, न कि कोई एकल संदर्भ उत्तर। पारंपरिक मेट्रिक्स (सटीक मिलान या पूर्ण रूब्रिक स्कोरिंग) उन वैध परिकल्पनाओं को कम आंकते हैं जो "गोल्ड सेट" से बाहर हैं या समान सतही गुणवत्ता वाले खुले-अंत वाले आउटपुट के बीच अंतर करने में संघर्ष करते हैं।

2. कार्यप्रणाली: HypoArena फ्रेमवर्क

लेखक HypoArena पेश करते हैं, जो एक बेंचमार्क और मूल्यांकन फ्रेमवर्क है जिसे PHD को अलग करने और मापने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क दो मुख्य घटकों से बना है: HypoData (डेटासेट) और HypoEval (मूल्यांकन प्रोटोकॉल)।

2.1 HypoData: रेट्रोस्पेक्टिव कॉन्टेक्स्ट रिग्रेशन (Retrospective Context Regression)

डेटा लीकेज के बिना वैध टेस्ट केस बनाने के लिए, लेखक रेट्रोस्पेक्टिव कॉन्टेक्स्ट रिग्रेशन का उपयोग करते हुए एक स्केलेबल Forge–Audit पाइपलाइन का प्रस्ताव करते हैं।

• स्रोत सामग्री: छह डोमेन (बायोमेडिकल साइंस, मशीन लर्निंग, सोशल साइंस, फाइनेंशियल एनालिसिस, आईटी ऑपरेशंस और सेफ्टी इन्वेस्टिगेशन) से 988 मामलों को विशेषज्ञ दस्तावेजों से क्यूरेट किया गया है।
• कॉन्टेक्स्ट निर्माण (The "Forge"): पाइपलाइन स्रोत दस्तावेजों से एक "निष्कर्ष-पूर्व" संदर्भ ($C$) का पुनर्निर्माण करती है। यह तथ्यात्मक आधार (टाइमस्टैम्प, अवलोकन, खंडित रिकॉर्ड) को सुरक्षित रखती है जबकि स्पष्ट निष्कर्षों, लक्षित परिकल्पनाओं और रेट्रोस्पेक्टिव कॉज़ल एट्रिब्यूशन को सख्ती से फ़िल्टर करती है।
  • वैज्ञानिक डोमेन: खोज-पूर्व साहित्य के दस्तावेज़ विलय (document merging) का उपयोग करके एक तथ्यात्मक आधार का संश्लेषण करता है।
  • विश्लेषणात्मक डोमेन: विशेषज्ञ निर्णयों को हटाने के लिए "स्ट्रक्चरल डी-कन्क्लूजन" का उपयोग करता है जबकि सूक्ष्म तथ्यों को बनाए रखता है।
• संदर्भ निर्माण (Reference Construction): मॉडल से छिपा हुआ, संदर्भ पक्ष मूल परिकल्पना-साक्ष्य युग्मों ($H, E$) को रखता है, जो सत्यापन और अंशांकन (calibration) के लिए ग्राउंड ट्रुथ के रूप में कार्य करता है।
• ऑडिट लूप: एक स्वचालित ऑडिट एजेंट तीन बाधाओं के विरुद्ध उम्मीदवारों को मान्य करता है: लीकेज (संदर्भ में उत्तर-पक्ष की जानकारी नहीं), फिथफुलनेस (परिकल्पना स्रोत द्वारा समर्थित है), और सपोर्टेबिलिटी (साक्ष्य परिकल्पना को आधार प्रदान करते हैं)। एक मानव गुणवत्ता ऑडिट ने नमूना किए गए मामलों पर 92% पास दर की पुष्टि की।

2.2 HypoEval: एरिना-आधारित मूल्यांकन

यह पहचानते हुए कि एक ही संदर्भ के लिए कई वैध परिकल्पनाएँ हो सकती हैं, HypoEval एकल-संदर्भ मिलान से दूर हटता है।

• प्राथमिक मेट्रिक (एरिना प्रोटोकॉल): मॉडल युग्म मुकाबले (pairwise matchups) में प्रतिस्पर्धा करते हैं। एक LLM-एज़-ए-जज एक ही संदर्भ से उत्पन्न दो परिकल्पना सेटों की तुलना करता है।
  • निर्णय के आयाम: छह आयामों का मूल्यांकन किया जाता है: कॉन्टेक्स्टुअल ग्राउंडिंग, इन्फेरेंशियल इनसाइट, इविडेंशियल जस्टिफिकेशन, हाइपोथेसिस-स्पेस ब्रैडथ, डायरेक्शनल डिस्टिंक्टनेस, और एनालिटिकल यूटिलिटी।
  • एकत्रीकरण (Aggregation): निर्णयों (जो $A \gg B$ से $B \gg A$ तक होते हैं) को ब्रैडली-टेरी-डेविडसन (BTD) मॉडल का उपयोग करके एक मजबूत ग्लोबल लीडरबोर्ड बनाने के लिए एकत्रित किया जाता है, जो बराबरी (ties) को भी स्पष्ट रूप से मॉडल करता है।
• द्वितीयक मेट्रिक (रूब्रिक स्कोरिंग): डायग्नोस्टिक प्रोफाइलिंग के लिए एक 1–5 स्केल स्कोरिंग ट्रैक को बनाए रखा गया है, जिससे विशिष्ट शक्तियों और कमजोरियों (जैसे, मजबूत ग्राउंडिंग लेकिन कमजोर इनसाइट) के विश्लेषण की अनुमति मिलती है।

3. प्रयोगात्मक सेटअप और परिणाम

लेखकों ने 15 फ्रंटियर LLMs (जिनमें claude-sonne-4.6, gpt-5.4, kimi-k2.6 और अन्य शामिल हैं) का मूल्यांकन दोनों बेसलाइन मोड (प्रत्यक्ष पीढ़ी) और एजेंट मोड (12 संरचित विश्लेषणात्मक कौशलों जैसे कि एनालिसिस ऑफ कॉम्पिटिंग हाइपोथीसीज और क्रोनोलॉजी एनालिसिस की लाइब्रेरी का उपयोग करना) के माध्यम से किया।

3.1 मुख्य निष्कर्ष

• क्षमता स्तरीकरण (Capability Stratification): एरिना मूल्यांकन ने स्पष्ट प्रदर्शन स्तरीकरण का खुलासा किया, जिसमें मॉडलों के बीच 360 BTD पॉइंट्स का प्रसार देखा गया। शीर्ष-स्तरीय मॉडल (claude-sonnet-4.6, claude-opus-4.6, gpt-5.4) अन्य मॉडलों की तुलना में काफी बेहतर रहे।
• एरिना बनाम रूब्रिक का समाधान:
  • स्कोर कम्प्रेशन: रूब्रिक स्कोर ने अत्यधिक 'सीलिंग इफेक्ट' दिखाया, जहाँ 95–98% मूल्यांकन 4.0/5.0 या उससे ऊपर लैंड हुए, जिससे मॉडलों के अंतर एक संकीर्ण बैंड में सिमट गया।
  • विभेदक शक्ति (Discriminative Power): एरिना प्रोटोकॉल ने उच्च-रिज़ॉल्यूशन अलगाव प्रदान किया (प्रति डोमेन 345–490 पॉइंट का प्रसार), जिससे वे सूक्ष्म अंतर भी स्पष्ट हुए जिन्हें रूब्रिक स्कोरिंग नहीं पकड़ पाई।
  • रैंकिंग अस्थिरता: प्रोटोकॉल-निर्भर पुनर्व्यवस्था देखी गई; जो मॉडल रूब्रिक स्कोर द्वारा उच्च रैंक किए गए थे, वे अक्सर एरिना रैंकिंग में नीचे गिर गए, और इसके विपरीत भी।
• विश्लेषणात्मक कौशलों के मॉडल-निर्भर प्रभाव: संरचित विश्लेषणात्मक कौशलों (एजेंट मोड) का उपयोग एक समान लाभ नहीं देता है। सुधार विषम और मॉडल-निर्भर थे; उदाहरण के लिए, kimi-k2.5 को ~88 अंक मिले, जबकि claude-opus-4.6 में ~60 अंकों की गिरावट आई।
• विफलता मोड (Failure Modes): गुणात्मक विश्लेषण ने कैंडिडेट कम्प्रेशन की पहचान की, जहाँ मॉडल आंतरिक रूप से विविध तर्क पथ उत्पन्न करते हैं लेकिन उन्हें अत्यधिक संकीर्ण अंतिम सबमिशन में संकुचित कर देते हैं।
• अलाइनमेंट: एरिना रैंकिंग ने मानव विशेषज्ञ निर्णयों के साथ मजबूत संरेखण दिखाया (Kendall's $\tau = 0.90$), और बाहरी संकेतों (ML सबसेट के लिए ICLR 2026 स्वीकृति परिणाम) के साथ सह-संबंध दिखाया, जो प्रोटोकॉल की निष्ठा (fidelity) को प्रमाणित करता है।

4. योगदान और महत्व

पेपर निम्नलिखित योगदानों का दावा करता है:

1. कार्य परिभाषा और बेंचमार्क: संभावित परिकल्पना खोज (PHD) का औपचारिककरण और छह विविध डोमेन में 988 मामलों वाला HypoArena बेंचमार्क का परिचय।
2. HypoData निर्माण: पूर्ण विशेषज्ञ दस्तावेजों से "प्री-कन्क्लूजन कॉन्टेक्स्ट" को पुनर्गठित करने के लिए रेट्रोस्पेक्टिव कॉन्टेक्ट रिग्रेशन का उपयोग करते हुए एक स्केलेबल Forge–Audit विधि। यह पूर्ण वैज्ञानिक साहित्य में निहित डेटा लीकेज की समस्या को हल करता है।
3. HypoEval फ्रेमवर्क: एक दोहरी-ट्रैक मूल्यांकन प्रणाली जो पेयरवाइज एरिना रैंकिंग (Bradley–Terry–Davidson एकत्रीकरण के माध्यम से) को डायग्नोस्टिक्स के लिए रूब्रिक स्कोरिंग के साथ जोड़ती है। यह खुले-अंत वाली खोज कार्यों में संदर्भ-मिलान और पूर्ण स्कोरिंग की सीमाओं को संबोधित करता है।
4. अनुभवजन्य अंतर्दृष्टि (Empirical Insights): 15 LLMs का एक व्यवस्थित विश्लेषण जो दर्शाता है कि एरिना मूल्यांकन पारंपरिक रूब्रिक्स की तुलना में अधिक सूक्ष्म मॉडल पृथक्करण प्रदान करता है, और संरचित विश्लेषणात्मक कौशल मॉडल-निर्भर हस्तक्षेप के रूप में कार्य करते हैं न कि सार्वभौमिक प्रदर्शन बूस्टर के रूप में।

महत्व: लेखक तर्क देते हैं कि PHD, LLMs की एक विशिष्ट, काफी हद तक अनमापी क्षमता का प्रतिनिधित्व करता है जो वास्तविक दुनिया के अन्वेषणात्मक तर्क के लिए आवश्यक है। PHD को एक विशिष्ट लक्ष्य के रूप में मानकर, HypoArena "वास्तविक दुनिया की अराजकता" के माध्यम से नेविगेट करने और भविष्य के अन्वेषण के लिए कार्रवाई योग्य, आधारित दिशाएं प्रस्तावित करने की एक मॉडल की क्षमता का अधिक यथार्थवादी और कठोर मूल्यांकन प्रदान करता है, जो वर्तमान प्रतिक्रियात्मक प्रश्नोत्तर के प्रतिमान से आगे बढ़ता है।