MathDuels: Evaluating LLMs as Problem Posers and Solvers
यह शोध पत्र MathDuels का परिचय देता है, जो एक गतिशील स्व-खेल (self-play) बेंचमार्क है जहाँ अत्याधुनिक भाषा मॉडल (frontier language models) एक साथ प्रतिपक्षी समस्या लेखक और समाधानकर्ता के रूप में कार्य करते हैं, जो पृथक क्षमताओं को प्रकट करने और एक सह-विकसित कठिनाई वक्र (co-evolving difficulty curve) के माध्यम से मूल्यांकन संतृप्ति (evaluation saturation) को रोकने के लिए राश (Rasch) मॉडल का उपयोग करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि दुनिया का सबसे अच्छा शतरंज खिलाड़ी कौन है।
लंबे समय से, हम यह काम उन्हें 100 पहेलियों की एक निश्चित सूची देकर करते आए हैं। यदि वे 99 को हल कर देते हैं, तो उन्हें उच्च स्कोर मिलता है। लेकिन समस्या यह है कि पहेलियाँ बहुत आसान होती जा रही हैं। शीर्ष खिलाड़ी उन्हें पूरी तरह से हल कर लेते हैं, इसलिए हम यह नहीं बता पाते कि वास्तव में कौन बेहतर है। यह वैसा ही है जैसे दिग्गजों की ऊंचाई को 6 फीट तक के पैमाने वाले रूलर से मापने की कोशिश करना; वे सभी ऊपर पहुँच जाते हैं और एक जैसे दिखने लगते हैं।
यह पेपर AI के गणितीय मस्तिष्क को परखने का एक नया तरीका पेश करता है जिसे MathDuels कहा जाता है। एक स्थिर परीक्षण देने के बजाय, यह गणित को एक जीवंत, सांस लेते हुए अखाड़े में बदल देता है जहाँ AI मॉडल एक साथ दो भूमिकाएँ निभाते हैं: द आर्किटेक्ट (The Architect) और द सॉल्वर (The Solver)।
यह कैसे काम करता है, इसके लिए एक सरल उपमा दी गई है:
1. अखाड़ा: एक "मैथ ड्यूल" (Math Duel)
कल्पना कीजिए कि एक टूर्नामेंट है जहाँ प्रत्येक प्रतिभागी को दो काम करने होते हैं:
- भूमिका A: द आर्किटेक्ट (समस्या निर्माता): उन्हें दूसरों के लिए एक पेचीदा गणितीय पहेली डिजाइन करनी होगी।
- भूमिका B: द सॉल्वर (समस्या समाधानकर्ता): उन्हें दूसरों द्वारा बनाई गई पहेलियों को हल करने की कोशिश करनी होगी।
यह 1535 की एक वास्तविक ऐतिहासिक घटना से प्रेरित है। दो गणितज्ञों, टार्टाग्लिया और फियोर ने केवल एक परीक्षा नहीं दी; उन्होंने एक-दूसरे को चुनौती दी। उन्होंने एक-दूसरे के हल करने के लिए 30 समस्याएं लिखीं। विजेता केवल वह नहीं था जो सबसे अच्छी समस्याओं को हल कर सकता था, बल्कि वह था जो ऐसी समस्याएं बना सके जिन्हें दूसरा व्यक्ति सुलझा न सके।
2. ट्विस्ट: "सेल्फ-प्ले" (Self-Play)
इस AI टूर्नामेंट में, मॉडल एक विशाल राउंड-रॉबिन में एक-दूसरे के खिलाफ खेलते हैं।
- मॉडल A 30 कठिन समस्याएं लिखता है।
- मॉडल B, C, D... मॉडल A की समस्याओं को हल करने की कोशिश करते हैं।
- फिर, मॉडल B अपनी 30 समस्याएं लिखता है, और बाकी सभी उनकी कोशिश करते हैं।
सिस्टम एक विशेष "रेफरी" (एक स्वतंत्र AI) का उपयोग करता है जो यह जांचता है कि क्या समस्याएं निष्पक्ष हैं और क्या उनके उत्तर वास्तव में सही हैं। यदि कोई समस्या त्रुटिपूर्ण या भ्रमित करने वाली है, तो उसे बाहर कर दिया जाता है।
3. स्कोरबोर्ड: दो अलग-अलग कौशल
इस पेपर की सबसे आश्चर्यजनक खोज यह है कि गणित को हल करने में अच्छा होने का मतलब यह नहीं है कि आप गणित बनाने में भी अच्छे हैं।
इसे एक वीडियो गेम की तरह सोचें:
- कुछ खिलाड़ी स्पीडरनर्स (Speedrunners) होते हैं: वे किसी भी लेवल को अविश्वसनीय रूप से तेजी से पूरा कर सकते हैं (महान सॉल्वर)।
- कुछ खिलाड़ी लेवल डिजाइनर्स (Level Designers) होते हैं: वे ऐसे पेचीदा लेवल बना सकते हैं कि यहाँ तक कि स्पीडरनर्स भी फंस जाते हैं (महान आर्किटेक्ट्स)।
अतीत में, हम केवल स्पीडरनर्स को मापते थे। MathDuels दोनों को मापता है।
- परिणाम: एक AI मॉडल (Gemini-3.1-Pro-high) सबसे तेज़ सॉल्वर नहीं था, लेकिन वह सबसे अच्छा आर्किटेक्ट था। उसने इतनी चतुर पहेलियाँ बनाईं कि सबसे तेज़ सॉल्वर भी फंस गए। इस कारण से, वह समग्र रूप से नंबर 1 रहा।
- दूसरा मॉडल (GPT-5.4-high) सबसे तेज़ सॉल्वर था लेकिन एक औसत दर्जे का आर्किटेक्ट था। वह नंबर 2 पर रहा।
4. क्यों यह महत्वपूर्ण है: "चल लक्ष्य" (The Moving Target)
पुराने परीक्षणों में, एक बार जब AI बहुत स्मार्ट हो जाता है, तो परीक्षण बेकार हो जाता है (यह एक "सीलिंग" या सीमा से टकरा जाता है)।
MathDuels में, कठिनाई खिलाड़ियों के साथ बढ़ती है।
- जब एक सुपर-स्मार्ट नया AI अखाड़े में प्रवेश करता है, तो वह केवल पुराने पहेलियों को हल नहीं करता; वह नई, कठिन पहेलियाँ बनाता है जो पिछले चैंपियनों को हरा देती हैं।
- यह एक वीडियो गेम की तरह है जहाँ हर बार जब आप अंतिम बॉस को हराते हैं, तो बॉस खुद को और भी कठिन बनने के लिए अपग्रेड कर लेता है। परीक्षण कभी भी चुनौतीपूर्ण होना बंद नहीं होता है।
5. आसान समस्याओं का "जाल"
शोधकर्ताओं ने पाया कि कुछ मॉडल "ट्रिक" प्रश्न लिखकर धोखाधड़ी करने की कोशिश करते हैं जो कठिन दिखते हैं लेकिन वास्तव में त्रुटिपूर्ण या असंभव होते हैं। सिस्टम के पास एक सुरक्षा जाल (वेरिफायर) है जो इन्हें पकड़ लेता है। यदि कोई मॉडल ऐसी समस्या लिखता है जो गणितीय रूप से निरर्थक है, तो उसे दंडित किया जाता है। यह मॉडलों को केवल चालाक होने के बजाय ईमानदार और कठोर होने के लिए मजबूर करता है।
सारांश
MathDuels AI की गणितीय क्षमताओं को रैंक करने का एक नया तरीका है, जिससे वे एक-दूसरे को सिखाते और परखते हैं।
- यह महसूस करता है कि एक कठिन समस्या बनाना एक अलग कौशल है बजाय उसे हल करने के।
- यह परीक्षण को "बहुत आसान" होने से रोकता है क्योंकि AI मॉडल एक-दूसरे के लिए अधिक कठिन चुनौतियाँ आविष्कार करते रहते हैं।
- यह हमें एक ऐसा लीडरबोर्ड देता है जो वास्तव में बदलता और विकसित होता है, जो हमें दिखाता है कि समूह का वास्तविक "गणित जीनियस" कौन है, न कि केवल वह जिसने उत्तर रट लिए हैं।
यह एक छात्र जो बहुविकल्पीय परीक्षा में उत्कृष्ट प्रदर्शन कर सकता है और एक प्रोफेसर के बीच का अंतर है जो पूरी कक्षा को उलझाने के लिए एक परीक्षा डिजाइन कर सकता है। MathDuels प्रोफेसरों को खोजता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।