Evaluating Code Reasoning Abilities of Large Language Models Under Real-World Settings
यह शोध पत्र 1,200 पायथन रीजनिंग समस्याओं के एक नए डेटासेट का परिचय देता है जो वास्तविक दुनिया की जटिलताओं—जैसे कि कस्टम प्रकार और जटिल निर्भरताएँ—को शामिल करने के लिए स्टैटिक और डायनेमिक विश्लेषण का उपयोग करता है, जिससे यह पता चलता है कि मौजूदा बेंचमार्क मुख्य रूप से कम-जटिलता वाले कार्यों पर ध्यान केंद्रित करते हैं और बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) की व्यावहारिक तर्क क्षमताओं का सटीक मूल्यांकन करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी छात्र की गणित की समस्याएँ हल करने की क्षमता का परीक्षण कर रहे हैं। इसे आसान बनाने के लिए, आप उन्हें केवल सरल जोड़ और घटाव देते हैं: या $10 - 5$। छात्र हर बार 100% अंक प्राप्त करता है! आप निष्कर्ष निकाल सकते हैं, "यह छात्र एक गणितीय जीनियस है!"
लेकिन फिर, आप उसी छात्र को एक वास्तविक इंजीनियरिंग कार्यालय में ले जाते हैं। अचानक, वे जटिल कैलकुलस, भौतिकी समीकरणों और बहु-चरणीय वास्तुशिल्प ब्लूप्रिंट्स का सामना करते हैं। वे सुन्न हो जाते हैं। वे विफल हो जाते हैं।
यह शोध पत्र तर्क देता है कि हम वास्तव में आर्टिफिशियल इंटेलिजेंस (AI) के साथ बिल्कुल यही कर रहे हैं।
समस्या: "आसान गणित" का जाल
वर्तमान में, जब वैज्ञानिक यह परीक्षण करते हैं कि AI (जैसे ChatGPT) कंप्यूटर कोड के माध्यम से कितनी अच्छी तरह "तर्क" (reason) कर सकता है, तो वे "टॉय प्रॉब्लम्स" (खिलौना समस्याओं) का उपयोग करते हैं। ये कोड के बहुत छोटे, अलग-थलग अंश हैं जो बहुत सरल हैं—जैसे ऊपर बताए गए के गणित के सवाल। क्योंकि AI इन्हें आसानी से हल कर लेता है, हम गलत तरीके से विश्वास करने लगते हैं कि वे वास्तविक दुनिया की सॉफ्टवेयर इंजीनियरिंग को संभालने के लिए तैयार हैं।
शोधकर्ताओं ने पाया कि वर्तमान बेंचमार्क वास्तविक दुनिया की "अस्त-व्यस्तता" (messiness) को मिस कर रहे हैं:
- "फैमिली ट्री" की समस्या: वास्तविक कोड में, एक फंक्शन दूसरे को कॉल करता है, जो तीसरे को कॉल करता है, जिससे निर्भरताओं की एक लंबी श्रृंखला बन जाती है।
- "मिस्ट्री बॉक्स" की समस्या: वास्तविक कोड केवल सरल संख्याओं का उपयोग नहीं करता है; यह जटिल "ऑब्जेक्ट्स" का उपयोग करता है (सोचिए एक "यूजर" ऑब्जेक्ट के बारे में जिसमें एक नाम, एक आयु, दोस्तों की एक सूची और खरीदारी का इतिहास शामिल है)।
- "इंस्ट्रक्शन मैनुअल" की समस्या: वास्तविक कोड बाहरी टूल्स और लाइब्रेरीज़ (APIs) का उपयोग करता है जिन्हें AI को चलते-फिरते समझना पड़ता है।
समाधान: RE2-Bench (एक "वास्तविक दुनिया का सिम्युलेटर")
शोधकर्ताओं ने RE2-Bench नामक एक नया परीक्षण क्षेत्र बनाया। "टॉय" कोड का उपयोग करने के बजाय, वे GitHub पर गए—वह विशाल लाइब्रेरी जहाँ वास्तविक प्रोग्रामर अपना काम स्टोर करते हैं—और वास्तविक प्रोजेक्ट्स से वास्तविक, काम करने वाला कोड निकाला।
यह सुनिश्चित करने के लिए कि परीक्षण निष्पक्ष और वैज्ञानिक हो, उन्होंने एक चतुर काम किया: उन्होंने समस्याओं को दो स्तरों में वर्गीकृत किया:
- लोअर कॉम्प्लेक्सिटी (LC): "वार्म-अप" वाली समस्याएँ।
- हायर कॉम्प्लेक्सिटी (HC): "बॉस लेवल" वाली समस्याएँ जिनमें वे सभी वास्तविक दुनिया के जटिल विवरण शामिल हैं।
चौंकाने वाला परिणाम: प्रदर्शन में भारी गिरावट
जब उन्होंने दुनिया के सर्वश्रेष्ठ AI मॉडल्स को इस "वास्तविक दुनिया के सिम्युलेटर" के माध्यम से गुजारा, तो परिणाम एक चेतावनी की तरह थे।
जैसे-जैसे कोड अधिक वास्तविक होता गया, AI का प्रदर्शन केवल गिरा ही नहीं—बल्कि वह धड़ाम से नीचे गिर गया। कुछ कार्यों के लिए, सरल कोड से वास्तविक दुनिया के कोड में जाने पर AI की सटीकता 48% तक कम हो गई।
ऐसा प्रतीत होता है कि जबकि AI कोड की एक एकल पंक्ति को "पढ़ने" में बहुत अच्छा है, उसे आपस में जुड़े हुए हिस्सों के एक जटिल जाल के माध्यम से एक लॉजिक पाथ को "ट्रेस" करने में बहुत संघर्ष करना पड़ता है। यह एक अकेले वाक्य को पढ़ने और 500 पन्नों के रहस्यमय उपन्यास के एक जटिल, शाखाओं वाले कथानक का अनुसरण करने के बीच के अंतर जैसा है।
यह क्यों मायने रखता है?
यदि हम चाहते हैं कि AI सॉफ्टवेयर लिखने, बग्स ठीक करने या ऐप्स बनाने में मदद करे, तो हम उन्हें "टॉय" समस्याओं के साथ टेस्ट करना जारी नहीं रख सकते। यदि हम ऐसा करते हैं, तो हम सुरक्षा की एक झूठी भावना पर निर्माण कर रहे हैं।
यह शोध पत्र AI के लिए एक नया, बहुत कठिन "फाइनल एग्जाम" प्रदान करता है। यह डेवलपर्स को "आसान जीत" का जश्न मनाना बंद करने और AI को वास्तविक प्रोग्रामिंग की सुंदर, उलझी हुई और जटिल वास्तविकता में नेविगेट करना सिखाने पर ध्यान केंद्रित करने के लिए मजबूर करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।