How Far Are We? Systematic Evaluation of LLMs vs. Human Experts in Mathematical Contest in Modeling
यह शोध पत्र चाइना पोस्टग्रेजुएट मैथमैटिकल कॉन्टेस्ट इन मॉडलिंग के लिए एक कठोर, विशेषज्ञ-सत्यापित मूल्यांकन ढांचे को प्रस्तुत करता है, जो यह प्रकट करता है कि हालांकि अत्याधुनिक एलएलएम (LLMs) समस्या निर्माण में उत्कृष्ट हैं, वे समाधान करने, कोडिंग करने और परिणामों का विश्लेषण करने में एक निरंतर "समझ-कार्यान्वयन अंतराल" (comprehension-execution gap) से ग्रस्त हैं जिसे केवल मॉडल स्केलिंग द्वारा हल नहीं किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी तस्वीर: "शेफ बनाम रेसिपी" का परीक्षण
कल्पना कीजिए कि आपने एक उच्च-स्तरीय प्रतियोगिता के लिए एक जटिल, बहु-कोर्स भोजन पकाने के लिए एक शानदार, सुपर-फास्ट AI शेफ (लार्ज लैंग्वेज मॉडल, या LLM) को काम पर रखा है। लक्ष्य केवल सब्जियां काटना नहीं है; बल्कि मेनू डिजाइन करना, सामग्री खरीदना, व्यंजन बनाना, उन्हें खूबसूरती से सजाना और यह समझाना है कि वे स्वादिष्ट क्यों हैं।
लंबे समय से, हमने AI शेफों का परीक्षण सरल प्रश्न पूछकर किया है जैसे, "फ्रांस की राजधानी क्या है?" या "बिल्ली के बारे में एक कविता लिखें।" AI ने इन परीक्षणों में महारत हासिल कर ली है। लेकिन यह शोध पत्र एक कठिन प्रश्न पूछता है: क्या AI वास्तव में एक मानव विशेषज्ञ शेफ की तरह शुरू से अंत तक एक पूरा किचन चला सकता है?
यह पता लगाने के लिए, शोधकर्ताओं ने केवल AI को रेसिपी लिखने के लिए नहीं कहा। उन्होंने इसे चाइना पोस्टग्रेजुएट मैथमेटिकल कॉन्टेस्ट इन मॉडलिंग में झोंक दिया। यह गणित के "आयरन शेफ" जैसा है: एक वास्तविक दुनिया की, उलझी हुई, खुली और अनिश्चित समस्या जहाँ कोई एक सही उत्तर नहीं होता, और समाधान के लिए एक लंबी, जटिल कार्यप्रवाह (workflow) की आवश्यकता होती है।
समस्या: पुराना स्कोरकार्ड टूटा हुआ था
इस अध्ययन से पहले, लोग इन AI समाधानों को एक सामान्य चेकलिस्ट का उपयोग करके ग्रेड करने की कोशिश करते थे। यह एक जटिल 10-कोर्स डिनर को केवल इस आधार पर आंकने जैसा था कि क्या मेज अच्छी तरह से सजी है और नैपकिन करीने से रखे गए हैं।
- दोष: एक AI एक सुंदर, फैंसी दिखने वाली रिपोर्ट लिख सकता था जिसमें व्याकरण एकदम सही हो और एक शानदार दिखने वाली विषय सूची हो, लेकिन अगर वास्तविक गणित गलत था या कोड काम नहीं कर रहा था, तो भी पुराना सिस्टम उसे उच्च स्कोर दे देता था। वह प्रस्तुति को ग्रेड कर रहा था, खाना बनाने को नहीं।
समाधान: एक नया "चरण-दर-चरण" स्कोरकार्ड
शोधकर्ताओं ने AI को ग्रेड करने का एक नया तरीका बनाया। समाधान को एक बड़े ढेर के रूप में देखने के बजाय, उन्होंने खाना पकाने की प्रक्रिया को 7 विशिष्ट चरणों में विभाजित किया (जैसे एक रेसिपी के कदम):
- समस्या की पहचान करना: "हम क्या पका रहे हैं?"
- योजना बनाना: "हमें किन सामग्रियों और उपकरणों की आवश्यकता है?"
- मान्यताएं (Assumptions) बनाना: "हम मान लेंगे कि ओवन एकदम सही है; हम हवा के प्रभाव को नजरअंदाज करेंगे।"
- मॉडल बनाना: "वास्तविक रेसिपी लिखना।"
- मॉडल को हल करना: "खाना पकाने के समय का पता लगाने के लिए गणित करना।"
- कोडिंग: "वास्तव में चूल्हा जलाना और बैटर मिलाना।"
- परिणामों का विश्लेषण करना: "भोजन को चखना और यह जांचना कि क्या यह खाने योग्य है।"
उन्होंने हर समस्या के प्रत्येक चरण के लिए एक कस्टम ग्रेडिंग रूब्रिक बनाया, जिसे मानव विशेषज्ञों (वास्तविक गणित प्रतियोगिता विजेताओं) द्वारा सत्यापित किया गया था। यह सुनिश्चित करता है कि AI को इस बात पर परखा जाए कि उसने वास्तव में समस्या को हल किया है या नहीं, न कि इस पर कि वह इसके बारे में कितनी अच्छी तरह से बात करता है।
निष्कर्ष: "समझ-निष्पादन अंतराल" (Comprehension-Execution Gap)
जब उन्होंने परीक्षण चलाया, तो उन्हें AI की क्षमताओं में एक चौंकाने वाला विभाजन देखने को मिला।
1. AI एक बेहतरीन "प्लानर" है (समझ/Comprehension)
शुरुआती चरणों में (समस्या की पहचान करना और योजना बनाना), AI का स्कोर मानव विशेषज्ञों के लगभग बराबर था। वह जटिल समस्या को पढ़ सकता था, समझ सकता था कि क्या पूछा जा रहा है, और एक सुंदर, तार्किक परिचय लिख सकता था। यह एक ऐसे 'सू-शेफ' की तरह था जो मेनू और सामग्रियों का पूरी तरह से वर्णन कर सकता है।
2. AI एक बुरा "रसोइया" है (निष्पादन/Execution)
जैसे ही कार्य कठिन चीजों की ओर बढ़ा—वास्तव में गणित करना, कोड लिखना और यह जांचना कि संख्याएं काम कर रही हैं या नहीं—AI का प्रदर्शन गिर गया।
- गिरावट: जबकि मानव विशेषज्ञों ने एक स्थिर स्कोर बनाए रखा, AI का स्कोर "मॉडल सॉल्विंग" और "कोड इम्प्लीमेंटेशन" चरणों में तेजी से नीचे गिर गया।
- परिणाम: AI एक शानदार विचार प्रस्तावित करता था, लेकिन फिर उसे काम करने के लिए इंजन बनाने में विफल रहता था। यह एक ऐसे शेफ की तरह था जिसने एक परफेक्ट सूफ़ले (soufflé) डिजाइन किया लेकिन ओवन चालू करना भूल गया, या ऐसी रेसिपी लिखी जिसमें चीनी के बजाय "एक चुटकी जादू" की आवश्यकता थी।
त्रुटियों का "स्नोबॉल प्रभाव" (Snowball Effect)
शोध पत्र ने AI में एक खतरनाक आदत की भी खोज की: यह अपनी गलतियों को सुधारता नहीं है।
- यदि AI ने "मान्यताओं" के चरण में एक छोटी सी गलती की (जैसे, यह मानना कि हवा का अस्तित्व नहीं है), तो वह उस त्रुटि को अंत तक ले जाता था।
- वह रुककर यह नहीं कहता था, "रुको, मेरा कोड काम नहीं कर रहा है क्योंकि मेरी धारणा गलत थी।" इसके बजाय, वह बस आगे बढ़ता रहता था, त्रुटि को बढ़ाता जाता था जब तक कि अंतिम परिणाम बेकार न हो जाए।
- उपमा: यह एक टेढ़ी नींव पर घर बनाने जैसा है। AI मंजिलों को जोड़ना और दीवारों को पेंट करना जारी रखता है, लेकिन क्योंकि नींव गलत थी, पूरा घर बर्बाद होने के लिए अभिशप्त है। एक मानव विशेषज्ञ टेढ़ी नींव को देख लेता और दूसरी मंजिल बनाने से पहले उसे ठीक कर देता।
क्या बड़ा मतलब बेहतर है? ("बड़ा होना बेहतर नहीं है" का मिथक)
शोधकर्ताओं ने विभिन्न आकारों के AI मॉडल (छोटे से लेकर विशाल तक) का परीक्षण किया।
- अच्छी खबर: बड़े मॉडल समस्या को समझने और योजना लिखने में थोड़े बेहतर थे।
- बुरी खबर: मॉडल को 100 गुना बड़ा करने से भी निष्पादन (execution) की समस्या ठीक नहीं हुई। विशाल मॉडल अभी भी काम करने वाला कोड लिखने या अपने गणित को सत्यापित करने में विफल रहे।
- सबक: केवल अधिक पैसा लगाकर एक बड़ा दिमाग देने से यह ठीक नहीं होता कि AI काम करने में बुरा है। यह एक प्रतिभाशाली छात्र को एक बड़ी लाइब्रेरी देने जैसा है; वे अधिक तथ्य जान सकते हैं, लेकिन वे अभी भी छत की लीकेज ठीक नहीं कर सकते।
निष्कर्ष: आगे क्या है?
शोध पत्र निष्कर्ष निकालता है कि हम अभी वहां नहीं पहुंचे हैं। हालांकि AI बातें करने और योजना बनाने में अद्भुत है, लेकिन यह वास्तविक दुनिया की समस्याओं को सुलझाने के "कठिन परिश्रम" (grind) में वर्तमान में अविश्वसनीय है।
AI को मानव विशेषज्ञ के स्तर पर लाने के लिए, हम केवल मॉडलों को बड़ा नहीं बना सकते। हमें उन्हें प्रक्रिया (Process) सिखानी होगी। हमें ऐसे सिस्टम बनाने की आवश्यकता है जो AI को मजबूर करें:
- हर चरण पर अपने काम की जांच करने के लिए।
- केवल अनदेखा करने के बजाय गलतियों को तुरंत ठीक करने के लिए।
- केवल यह अनुमान लगाने के बजाय कि संख्याएं क्या होनी चाहिए, वास्तव में कोड चलाने और संख्याओं को सत्यापित करने के लिए।
संक्षेप में: AI एक शानदार कहानीकार है, लेकिन वह अभी भी एक अनाड़ी निर्माता है। जब तक वह उतना ही निर्माण करना नहीं सीख जाता जितना वह कहानियाँ सुनाता है, तब तक वह जटिल, वास्तविक दुनिया के कार्यों में मानव विशेषज्ञों की जगह नहीं ले सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।