MathDebugger: Detecting and Diagnosing Errors in Synthetic Mathematical Data
यह शोधपत्र MathDebugger प्रस्तुत करता है, जो 6,000 मैन्युअल रूप से सत्यापित गणितीय उदाहरणों वाला एक व्यापक बेंचमार्क है जिसमें सूक्ष्म त्रुटि एनोटेशन शामिल हैं, ताकि सिंथेटिक गणितीय डेटा में त्रुटियों का पता लगाने और निदान करने में वर्तमान बड़े भाषा मॉडलों की सीमाओं का मूल्यांकन और अनावरण किया जा सके, साथ ही डेटा गुणवत्ता में सुधार के लिए स्पष्ट त्रुटि-प्रकार की जानकारी के मूल्य को प्रदर्शित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को गणित के सवाल हल करना सिखा रहे हैं। आपके पास उसे अभ्यास करने के लिए पर्याप्त वास्तविक होमवर्क नहीं है, इसलिए आप एक कंप्यूटर प्रोग्राम से हजारों नए गणित के प्रश्न और उत्तर बनाने के लिए कहते हैं ताकि वह उनका अध्ययन कर सके। इसे "सिंथेटिक डेटा" कहा जाता है। यह एक शेफ की तरह है जो एक नए रसोइये को प्रशिक्षित करने के लिए व्यंजनों (रेसिपी) का एक विशाल पुस्तकालय बना रहा है। लेकिन यहाँ एक पेंच है: रेसिपी बनाने वाला कंप्यूटर गलती से ऐसा व्यंजन लिख सकता है जिसमें "आधे अंडे" की आवश्यकता हो या गणित का ऐसा सवाल जहाँ संख्याएँ आपस में मेल नहीं खाती हों। यदि रोबोट इन टूटी हुई रेसिपी से सीखता है, तो वह गलत होना सीख जाएगा।
लंबे समय से, वैज्ञानिक यह देखने के लिए परीक्षण बनाते आए हैं कि क्या रोबोट गणित के सवालों को हल कर सकते हैं। लेकिन यह पेपर एक अलग, अधिक कठिन प्रश्न पूछता है: क्या रोबोट खाना बनाने की कोशिश करने से पहले ही रेसिपी में गलतियों को पहचान सकता है? क्या वह एक सवाल को देखकर कह सकता है, "रुको, यह समस्या असंभव है," या एक उत्तर को देखकर कह सकता है, "आपने इसकी गणना गलत की है"? यह एक छात्र होने और एक शिक्षक होने के बीच का अंतर है जो टेस्ट में 'A' ग्रेड प्राप्त करता है बनाम वह जो टेस्ट को ग्रेड कर सकता है और खुद सवालों में त्रुटियों को ढूंढ सकता है।
द मैथ डिटेक्टिव्स न्यू प्लेग्राउंड (गणित के जासूस का नया खेल का मैदान)
MathDebugger से मिलिए, शोधकर्ताओं द्वारा बनाया गया एक नया खेल का मैदान, जो यह परीक्षण करने के लिए है कि क्या हमारे सबसे स्मार्ट AI रोबोट गणित के जासूस की तरह काम कर सकते हैं। इसे एक विशाल "अंतर खोजें" (spot the difference) वाले खेल की तरह समझें, लेकिन यहाँ चित्र में अतिरिक्त बिंदु खोजने के बजाय, AI को गणित के सवालों और उनके समाधानों में टूटे हुए तर्क, गायब जानकारी या मूर्खतापूर्ण गलतियों को खोजना है।
शोधकर्ताओं ने कुल 6,000 आइटम वाला एक विशाल डेटासेट बनाया। उन्होंने 2,000 सटीक गणित के प्रश्न, 2,000 टूटे हुए प्रश्न, और 2,000 एनोटेटेड (टिप्पणी युक्त) उत्तर (जिनमें से लगभग 610 में गलतियाँ थीं) बनाए। उन्होंने उन्हें केवल टूटा हुआ ही नहीं बनाया; उन्होंने उन्हें विशिष्ट, पेचीदा तरीकों से बनाया।
प्रश्नों के लिए, उन्होंने चार प्रकार के जाल बनाए:
- एक्सप्रेशन एरर्स (अभिव्यक्ति त्रुटियाँ): वाक्य अव्यवस्थित है, जैसे कि किसी उलझन भरी व्याकरण या अस्पष्ट भाषा में लिखी गई रेसिपी।
- लैक ऑफ कंडीशंस (शर्तों का अभाव): प्रश्न एक समाधान मांगता है लेकिन एक महत्वपूर्ण संख्या देना भूल जाता है, जैसे "यात्रा कितनी लंबी है?" पूछना बिना यह बताए कि आप कितनी गति से गाड़ी चला रहे हैं।
- कॉन्ट्राडिक्शन्स (विरोधाभास): प्रश्न दो ऐसे नियम देता है जो एक-दूसरे से लड़ते हैं, जैसे एक ही सांस में कहना "डिब्बा खाली है" और "डिब्बा भरा हुआ है"।
- अनरियलिस्टिक (अवास्तविक): उत्तर सामान्य ज्ञान की अवहेलना करता है, जैसे कि एक गणित का सवाल जहाँ एक व्यक्ति 1.5 बार कूदता है (वास्तविक जीवन में आप आधा बार नहीं कूद सकते!)।
उत्तरों के लिए, उन्होंने तीन प्रकार की त्रुटियाँ बनाईं: लॉजिक (तर्क के चरण गलत हैं), कंप्यूटिंग (गणित की गणना गलत है), और एक्सप्रेशन (व्याख्या अव्यवस्थित है)।
द ग्रेट AI शोडाउन (महान AI मुकाबला)
शोधकर्ताओं ने फिर दुनिया के 14 सबसे स्मार्ट AI मॉडल्स को यह खेल खेलने के लिए आमंत्रित किया। इसमें प्रसिद्ध क्लोज्ड-सोर्स दिग्गज (जैसे GPT-o3 और Claude-3.5) और शक्तिशाली ओपन-सोर्स मॉडल (जैसे LLaMA और Qwen) शामिल थे। उन्होंने तीन विशेष "प्रोसेस रिवॉर्ड मॉडल्स" का भी परीक्षण किया, जो विशेष रूप से समाधान के चरणों की जाँच करने के लिए प्रशिक्षित AI हैं।
यहाँ एक बड़ा आश्चर्य है: यहाँ तक कि सबसे स्मार्ट रोबोट भी अभी भी बहुत खराब हैं।
इन अविश्वसनीय रूप से कठिन गणित के सवालों को हल करने में सक्षम होने के बावजूद, ये AI यह पहचानने में संघर्ष करते हैं कि कोई समस्या कब टूटी हुई है।
- "क्वेश्चन डिटेक्शन" कार्य (टूटे हुए प्रश्नों को ढूंढना) पर, सर्वश्रेष्ठ मॉडल आसान सवालों पर लगभग 76% और कठिन सवालों पर 78% सही थे।
- "आंसर डिटेक्शन" कार्य पर, वे थोड़ा बेहतर थे, लेकिन जब बात यह पहचानने की आई कि किस प्रकार की गलती हुई थी ("एरर-टाइप क्लासिफिकेशन"), तो स्कोर काफी गिर गया। सर्वश्रेष्ठ मॉडल कठिन श्रेणी में केवल लगभग 55% सही था।
पेपर एक "सॉल्विंग-वर्सेस-वेरिफाइंग गैप" (हल करने बनाम सत्यापित करने का अंतर) का सुझाव देता है। ऐसा लगता है कि AI गणित करने (हल करने) में बहुत अच्छा है लेकिन गणित को जाँचने (सत्यापित करने) में आश्चर्यजनक रूप से बुरा है। यह एक ऐसे छात्र की तरह है जो कैलकुलस की परीक्षा में तो टॉप कर सकता है लेकिन यह नोटिस करने में विफल रहता है कि शिक्षक ने बोर्ड पर गलत फॉर्मूला लिख दिया है। दिलचस्प बात यह है कि "रीजनिंग" (तर्क) के लिए ट्यून किए गए मॉडल (जैसे DeepSeek-R1) ने अपने सामान्य-उद्देश्य वाले साथियों की तुलना में आवश्यक रूप से बेहतर प्रदर्शन नहीं किया; वास्तव में, कभी-कभी वे और भी खराब प्रदर्शन करते हैं।
यह क्यों मायने रखता है (और इसे कैसे ठीक करें)
शोधकर्ताओं ने केवल यह कहकर नहीं छोड़ा कि "AI इसमें बुरा है।" उन्होंने पूछा: "क्या होगा यदि हम AI को यह बता दें कि किस प्रकार की गलती को खोजना है?"
उन्होंने एक नई रणनीति का परीक्षण किया: समस्या को ठीक करने के लिए पूछने से पहले AI को त्रुटि के प्रकार के बारे में एक संकेत देना। उदाहरण के लिए, AI को बताना, "इस प्रश्न में एक 'कॉन्ट्राडिक्शन' (विरोधाभास) त्रुटि है," और फिर उसे प्रश्न को फिर से लिखने के लिए कहना।
- परिणाम एक स्पष्ट जीत थे। जब AI को त्रुटि का प्रकार पता था, तो समस्या को ठीक करने की उसकी क्षमता में काफी सुधार हुआ।
- "लैक ऑफ कंडीशंस" (शर्तों का अभाव) त्रुटियों के लिए, सुधार लगभग 5 प्रतिशत अंक था, जो एक सांख्यिकीय रूप से महत्वपूर्ण उछाल है।
- यह साबित करता है कि ये एरर लेबल केवल ग्रेडिंग के लिए नहीं हैं; वे एक टॉर्च की तरह हैं जो AI को यह देखने में मदद करते हैं कि उसे अपनी सुधार प्रयासों की रोशनी कहाँ केंद्रित करनी चाहिए।
बॉटम लाइन (निष्कर्ष)
MathDebugger पहला उपकरण है जो गणित के डेटा को एक अपराध स्थल (क्राइम सीन) की तरह मानता है, जो केवल यह पूछने के बजाय कि "क्या यह सही है या गलत?" विशिष्ट प्रकार के "अपराधों" (त्रुटियों) को ढूंढता है। पेपर दिखाता है कि जबकि हमारे वर्तमान AI मॉडल अविश्वसनीय रूप से शक्तिशाली हैं, वे अभी भी पूर्ण संपादक नहीं हैं। वे पहेली को हल कर सकते हैं, लेकिन वे अक्सर इस तथ्य को नजरअंदाज कर देते हैं कि पहेली के टुकड़े आपस में फिट ही नहीं बैठते।
शोधकर्ता निष्कर्ष निकालते हैं कि हमें अपने प्रशिक्षण डेटा का ऑडिट करने के लिए बेहतर उपकरण बनाना जारी रखना चाहिए। यदि हम चाहते हैं कि AI वास्तव में विश्वसनीय हो, तो उसे न केवल गणित हल करना सीखना होगा, बल्कि एक आलोचनात्मक, प्रकार-जागरूक जासूस बनना भी सीखना होगा जो छात्र के डेस्क तक पहुँचने से पहले ही टूटे हुए सवालों को पकड़ सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।