तकनीकी सारांश: MIRA-Math

समस्या विवरण

वर्तमान गणितीय तर्क बेंचमार्क (जैसे, GSM8K, MATH) आमतौर पर किसी समस्या को हल करने के लिए सभी आवश्यक तथ्य प्रदान करते हैं, जो केवल पूर्ण अवस्था से अंतिम उत्तर की गणना करने की मॉडल की क्षमता का आकलन करते हैं। इसके विपरीत, व्यापक संवादात्मक बेंचमार्क अक्सर गणितीय तर्क को टूल उपयोग, पुनर्प्राप्ति (retrieval), वेब नेविगेशन और दीर्घ-क्षितिज संवाद प्रबंधन (long-horizon dialogue management) के साथ मिला देते हैं। यह एक नैदानिक अंतराल (diagnostic gap) पैदा करता है: यह पहचानना कठिन है कि क्या कोई मॉडल इसलिए विफल हो रहा है क्योंकि वह लुप्त जानकारी की पहचान नहीं कर सकता, या इसलिए कि वह उस जानकारी को सटीक रूप से अनुरोधित नहीं कर सकता, या इसलिए कि वह प्राप्त जानकारी को एक सही समाधान में एकीकृत नहीं कर सकता।

MIRA-Math इसे न्यूनतम सूचना अनुरोध (minimal information requesting) के लिए एक बेंचमार्क पेश करके संबोधित करता है। मुख्य समस्या को ऐसी गणितीय समस्याओं को हल करने के रूप में परिभाषित किया गया है जहाँ पूर्ण गुप्त अवस्था (latent state) का एक अद्वितीय उत्तर होता है, लेकिन सॉल्वर का दृश्य जानबूझकर अधूरा होता है, जिसमें ठीक एक आवश्यक परमाणु तथ्य (atomic fact) गायब होता है। सॉल्वर को उस लुप्त तथ्य को पहचानना चाहिए, एक सख्त बजट के तहत प्राकृतिक भाषा में उसका अनुरोध करना चाहिए, और प्राप्त तथ्य को एक सटीक अंतिम उत्तर देने के लिए एकीकृत करना चाहिए।

कार्यप्रणाली

कार्य औपचारिकता (Task Formalization)

प्रत्येक उदाहरण एक गुप्त पूर्ण अवस्था $z$ से उत्पन्न होता है जो एक अद्वितीय लक्ष्य उत्तर $y = f(z)$ निर्धारित करता है। सॉल्वर एक निजी दृश्य $v_A = \phi_A(z)$ प्राप्त करता है जो एक आवश्यक परमाणु तथ्य को छोड़ देता है। बेंचमार्क दो शर्तों को लागू करता है:

1. वैश्विक सुव्यवस्थितता (Global Well-Posedness): पूर्ण अवस्था (दृश्य + लुप्त तथ्य) ठीक एक सुसंगत उत्तर देती है।
2. स्थानीय अपूर्णता (Local Underdetermination): सॉल्वर का निजी दृश्य अकेले कई सुसंगत उत्तर देता है।

इंटरेक्शन प्रोटोकॉल

मूल्यांकन में दो एजेंट शामिल हैं:

• सॉल्वर (एजेंट A): निजी दृश्य और एक अनुरोध बजट $B$ प्राप्त करता है। यह मुक्त-रूप प्राकृतिक भाषा अनुरोध जारी करता है या अंतिम उत्तर प्रदान करता है।
• सूचना धारक (एजेंट B): एक निश्चित, सीमित LLM (प्रयोगों में gpt-4o-mini के रूप में कार्यान्वित) जो केवल लुप्त परमाणु तथ्य को धारण करता है। यह एक संरचित-आउटपुट प्रोटोकॉल के तहत कार्य करता है:
  • प्रस्ताव (Offer): यदि अनुरोध अर्थपूर्ण रूप से रखे गए तथ्य से मेल खाता है, तो यह तथ्य को has_exact_match=true के साथ लौटाता है।
  • अस्वीकार (Decline): यदि अनुरोध मेल नहीं खाता है, तो यह एक निश्चित अस्वीकृति संदेश लौटाता है।
  • धारक समाधान नहीं करता, व्याख्या नहीं करता, बातचीत नहीं करता या अतिरिक्त संकेत स्वतः नहीं देता।

डेटासेट निर्माण

MIRA-Math में 2,310 उदाहरण शामिल हैं जो 22 प्रकार के गणितीय परिवारों (बीजगणित, प्रायिकता, रैखिक प्रणाली, सिग्नल प्रोसेसिंग, मार्कोव चेन आदि को कवर करते हुए) से प्राप्त हुए हैं। डेटासेट को दो प्रकारों में विभाजित किया गया है:

• प्रकार A (निश्चित संकेत स्लॉट): लुप्त जानकारी संरचनात्मक रूप से निर्धारित होती है (जैसे, एक बेयस नियम का उदाहरण जिसमें हमेशा प्रायर (prior) को रोका जाता है)।
• प्रकार B (परिवर्तनीय संकेत स्लॉट): लुप्त स्थिति प्रत्येक उदाहरण के अनुसार भिन्न होती है (जैसे, एक रैखिक प्रणाली में लुप्त गुणांक या एक सर्किट में लुप्त प्रतिरोधक), जिसके लिए सॉल्वर को अनुरोध करने से पहले लुप्त स्लॉट का पता लगाना आवश्यक है।

रिलीज़ में जेनरेटर कोड, सटीक सत्यापनकर्ता (verifiers), मानक संकेत विनिर्देश और पुनरुत्पादकता सुनिश्चित करने के लिए कच्चे इंटरेक्शन लॉग शामिल हैं।

मेट्रिक्स

बेंचमार्क सूचना प्राप्ति को गणितीय एकीकरण से अलग करने के लिए निम्नलिखित मेट्रिक्स का उपयोग करता है:

• अनुरोध हिट दर (Request Hit Rate): कुल संदेशों के अनुपात में स्वीकृत अनुरोधों का अनुपात।
• प्रथम-अनुरोध सफलता (First-Request Success): उन उदाहरणों का अंश जहाँ पहला अनुरोध स्वीकार किया गया।
• ट्रेस-स्तरीय अपघटन (Trace-Level Decomposition): उदाहरणों को तीन विच्छेदित श्रेणियों में वर्गीकृत किया गया है:
  1. कोई मानक संकेत प्राप्त नहीं हुआ: सॉल्वर सही तथ्य का अनुरोध करने में विफल रहा।
  2. संकेत प्राप्त हुआ, एकीकरण विफल रहा: सॉल्वर को तथ्य मिला लेकिन इसने गलत उत्तर की गणना की।
  3. सफलता: सॉल्वर ने तथ्य प्राप्त किया और सही उत्तर की गणना की।

मुख्य परिणाम

फ्रंटियर और छोटे मॉडलों (जिनमें gpt-5.1, Gemma-4, gemini-2.5-flash, Grok-4.20, और Llama-3.1-8B शामिल हैं) पर प्रयोगों से पता चलता है कि अनुरोध करना और हल करना अलग-अलग कौशल हैं:

1. कौशलों का विचलन (Divergence of Skills): उच्च अनुरोध प्रदर्शन उच्च अंतिम-उत्तर सटीकता की गारंटी नहीं देता है। उदाहरण के लिए, gemini-2.5-flash ने ज़ीरो-शॉट सेटिंग्स में उच्चतम अनुरोध हिट दर प्राप्त की लेकिन gpt-5.1 और Gemma-4 की तुलना में कम अंतिम सटीकता प्राप्त की। इसके विपरीत, Gemma-4 ने उच्चतम ज़ीरो-शॉट अंतिम सटीकता प्राप्त की, बिना उच्चतम अनुरोध मेट्रिक्स प्राप्त किए।
2. विफलता मोड (Failure Modes):
   • प्राप्ति विफलताएं (Acquisition Failures): मॉडल अक्सर विशिष्ट लुप्त स्लॉट को पहचानने में विफल रहते हैं या बहुत अस्पष्ट रूप से पूछते हैं, जिससे बार-बार अस्वीकृति होती है।
   • एकीकरण विफलताएं (Integration Failures): मजबूत मॉडल अक्सर सफलतापूर्वक मानक संकेत प्राप्त कर लेते हैं लेकिन डाउनस्ट्रीम सटीक अंकगणित, प्रतीकात्मक पुनर्निर्माण, या उत्तर सामान्यीकरण (normalization) में विफल हो जाते हैं।
3. प्रॉम्प्टिंग प्रभाव: फोर-शॉट प्रॉम्प्टिंग (न्यूनतम अनुरोधों के उदाहरण प्रदान करना) ने प्रदर्शन में समान रूप से सुधार नहीं किया। टाइप B परिवारों में, जहाँ लुप्त स्लॉट भिन्न होता है, फ्यू-शॉट उदाहरणों ने कभी-कभी "एemplar एंकरिंग" (exemplar anchoring) को प्रेरित किया, जिससे मॉडल प्रदर्शित अनुरोध रूपों का अनुकरण करने लगे बजाय विशिष्ट लुप्त स्लॉट के अनुकूल होने के, जिससे संभावित रूप से प्रदर्शन में गिरावट आई।
4. टाइप A बनाम टाइप B: टाइप B परिवार (परिवर्तनीय स्लॉट) अंतिम सटीकता के मामले में समान रूप से कठिन नहीं थे; मजबूत मॉडल अक्सर टाइप A की तुलना में टाइप B पर बेहतर प्रदर्शन करते हैं। हालांकि, टाइप A परिवारों में ऐसे कार्य शामिल थे जहाँ अनुरोध आसान था लेकिन डाउनस्ट्रीम गणना नाजुक थी (जैसे, सटीक चीनी शेषफल पुनर्निर्माण)।

महत्व और दावे

यह पेपर MIRA-Math को पूर्ण-सूचना वाले गणितीय बेंचमार्क के विकल्प के रूप में नहीं, बल्कि छिपी हुई संरचना और मूल्यांकन अंतराल को उजागर करने के लिए एक नैदानिक उपकरण (diagnostic tool) के रूप में प्रस्तुत करता है। इसका प्राथमिक महत्व है:

• एक विशिष्ट बाधा को अलग करना: यह स्पष्ट रूप से अंडरडिटरमाइंड (अपूर्ण) समस्याओं को पहचानने, लुप्त परमाणु तथ्य की पहचान करने और उसे सटीक रूप से अनुरोध करने की क्षमता को मापता है, जो इसे अंतिम उत्तर की गणना करने की क्षमता से अलग करता है।
• डेटा-केंद्रित डिज़ाइन: जिम्मेदार डेटासेट डिज़ाइन के हालिया रुझानों का पालन करते हुए, रिलीज़ पुनरुत्पादकता को प्राथमिकता देती है, जिसमें जेनरेटर्स, सत्यापनकर्ता और कच्चे लॉग प्रदान किए गए हैं, जिससे समुदाय को केवल समग्र सटीकता पर भरोसा करने के बजाय "अनुरोध-से-समाधान" पाइपलाइन का ऑडिट करने की अनुमति मिलती है।
• मूल्यांकन को परिष्कृत करना: परिणाम दर्शाते हैं कि मानक गणितीय बेंचमार्क पर एक मॉडल का प्रदर्शन आवश्यक रूप से सूचना प्राप्ति में दक्षता का संकेत नहीं देता है। एक मॉडल गणित में मजबूत हो सकता है लेकिन MIRA-Math में विफल हो सकता है यदि वह यह पहचान नहीं पाता कि क्या गायब है, या वह पूछने में अच्छा हो सकता है लेकिन गणित में विफल हो सकता है।

लेखक निष्कर्ष निकालते हैं कि MIRA-Math भविष्य के मॉडलों के लिए एक बेसलाइन सूट और इस अध्ययन के लिए एक विश्लेषण उपकरण के रूप में कार्य करता है कि कब भाषा मॉडल खुले संवाद, मानवीय संचार, या वास्तविक दुनिया के निर्णय लेने का दावा किए बिना, लुप्त गणितीय जानकारी के लिए पूछते हैं।