Investigating LLM's Problem Solving Capability -- a Study on Statics Questions
यह अध्ययन मॉडल डिस्टिलेशन दृष्टिकोण के माध्यम से स्टेटिक्स (स्थिरता) की समस्याओं को हल करने में लार्ज लैंग्वेज मॉडल्स की क्षमताओं का मूल्यांकन करता है, जो यह प्रकट करता है कि जबकि वे केवल टेक्स्ट वाले प्रश्नों पर अच्छा प्रदर्शन करते हैं, जब आरेखों और बहु-चरणीय तर्क की आवश्यकता होती है तो उनकी सटीकता काफी घट जाती है क्योंकि वे इमेज रिकग्निशन (छवि पहचान) की सीमाओं के बजाय विजुअल जानकारी को लगातार लागू करने में चुनौतियों का सामना करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास "ChatGPT" नाम का एक बहुत ही बुद्धिमान, विद्वान छात्र है, जिसने पुस्तकालय की लगभग हर किताब पढ़ ली है। आप यह परीक्षण करना चाहते हैं कि क्या वह वास्तव में कठिन इंजीनियरिंग होमवर्क समस्याओं को हल कर सकता है, विशेष रूप से स्टैटिक्स (Statics) नामक विषय में (जो इस बारे में है कि स्थिर वस्तुओं, जैसे पुलों या क्रेन, पर बल कैसे संतुलित होते हैं)।
शोधकर्ताओं ने क्या किया, इसे सरल भाषा में यहाँ समझाया गया है:
1. "कॉपी-पेस्ट" वाली समस्या
सबसे पहले, शोधकर्ताओं ने स्पष्ट तरीका अपनाया: उन्होंने वास्तविक पाठ्यपुस्तक के प्रश्नों को लिया और ChatGPT से उन्हें हल करने के लिए कहा।
- परिणाम: यह एक आपदा थी। छात्र भ्रमित हो गया, विशेष रूप से जब उन समस्याओं में 3D चित्र शामिल थे। वह दिशाओं को मिला देता था (जैसे "दाएं" के बजाय "ऊपर" कह देना) और गणित में गलती करता था।
- उपमा: यह वैसा ही था जैसे किसी छात्र को एक ऐसे मानचित्र को पढ़ने के लिए कहना जिसे वह भाषा मुश्किल से जानता है। वह शब्दों को तो जानता था, लेकिन वह दिशाओं को समझ नहीं पा रहा था।
2. "रिवर्स इंजीनियरिंग" का तरीका (मॉडल डिस्टिलेशन)
चूंकि पाठ्यपुस्तक के प्रश्न बहुत कठिन थे, इसलिए शोधकर्ताओं ने मॉडल डिस्टिलेशन (Model Distillation) नामक एक चतुर तकनीक का उपयोग किया। अन्य लोगों के प्रश्न हल करने के बजाय, उन्होंने ChatGPT से अपने स्वयं के प्रश्न लिखने के लिए कहा।
- तर्क: उन्होंने सोचा, "यदि ChatGPT एक अच्छा प्रश्न लिख सकता है, तो संभवतः उसे उस विशिष्ट प्रकार के प्रश्न का उत्तर पता होगा क्योंकि उसने इसे अपने स्वयं के प्रशिक्षण डेटा से 'सीखा' है।"
- प्रक्रिया: उन्होंने ChatGPT को 50 स्टैटिक्स समस्याएँ उत्पन्न करने के लिए कहा। उन्होंने देखा कि छात्र बार-बार वही सरल, 2D (समतल) समस्याएँ लिख रहा था। इसलिए, उन्होंने उन सर्वश्रेष्ठ 25 अद्वितीय प्रश्नों को चुना जिन्हें ChatGPT अच्छी तरह से समझता हुआ प्रतीत होता था।
3. परीक्षण के तीन स्तर
शोधकर्ताओं ने यह देखने के लिए कि छात्र का मस्तिष्क कैसे काम करता है, उन 25 प्रश्नों का उपयोग करके तीन अलग-अलग "परीक्षाएं" बनाईं:
- परीक्षा A (केवल टेक्स्ट): उन्होंने ChatGPT को केवल शब्दों का उपयोग करके अपने द्वारा लिखे गए प्रश्नों को हल करने के लिए कहा।
- परिणाम: पूर्ण स्कोर (100%)। छात्र को उत्तर पता था क्योंकि प्रश्न उसने ही लिखे थे!
- परीक्षा B (चित्रों के साथ): उन्होंने उन्हीं शब्द-आधारित प्रश्नों के लिए सरल आरेख (diagrams) बनाए।
- परिणाम: स्कोर गिरकर 68% हो गया। छात्र अभी भी शब्दों को पढ़ सकता था, लेकिन चित्र ने उसे भ्रमित कर दिया। वह चित्र को गणित से जोड़ने में संघर्ष कर रहा था।
- परीक्षा C ("नए नंबरों" वाला टेस्ट): उन्होंने परीक्षा B के आरेखों को लिया और सभी संख्याओं को बदल दिया (उदाहरण के लिए, 10 पाउंड के बल को 15 पाउंड में बदलना)।
- परिणाम: स्कोर गिरकर 60% हो गया। इससे सिद्ध हुआ कि छात्र केवल उत्तर रट नहीं रहा था। वह समस्या को नए सिरे से हल करने की कोशिश कर रहा था, लेकिन वह बीच की प्रक्रिया में गलतियाँ कर रहा था।
4. उन्होंने क्या सीखा?
शोधकर्ताओं ने ChatGPT की तुलना "Gemini" नामक एक अन्य AI छात्र से की।
- बड़ी खोज: समस्या यह नहीं थी कि AI चित्रों को "देख" नहीं पा रहा था। समस्या यह थी कि वह चरणों में सोचने (think in steps) में सक्षम नहीं था।
- उपमा: कल्पना कीजिए कि एक शेफ है जो रेसिपी को पूरी तरह से पढ़ सकता है (केवल टेक्स्ट)। यदि आप उसे सामग्री और व्यंजन का एक चित्र थमा दें (आरेख), तो वह अभी भी खाना बना सकता है। लेकिन यदि आप उसे एक जटिल, बहु-कोर्स भोजन बनाने के लिए कहें जहाँ उसे बीच में रेसिपी को बदलना पड़े (बहु-चरणीय तर्क), तो वह सामग्री गिराने लगेगा या अगला कदम भूल जाएगा।
- निष्कर्ष: AI सरल, एक-चरणीय गणित में बहुत अच्छा है। लेकिन जब उसे एक चित्र को देखना, जानकारी निकालना और फिर अंतिम उत्तर प्राप्त करने के लिए उस जानकारी का तीन या चार अलग-अलग चरणों में उपयोग करना होता है, तो वह भटक जाता है। वह सही तरीके का पालन तो करता है, लेकिन अक्सर अंत में गलत संख्या प्राप्त करता है।
सारांश
शोधपत्र यह निष्कर्ष निकालता है कि हालांकि AI पढ़ने और लिखने में बहुत अच्छा होता जा रहा है, लेकिन यह दृश्य तर्क (visual reasoning) और लंबे, जटिल तार्किक श्रृंखलाओं के मामले में अभी भी थोड़ा अनाड़ी है। यह एक ऐसे छात्र की तरह है जो सिद्धांत तो पूरी तरह जानता है लेकिन वास्तविक दुनिया के ड्राइंग के साथ बदलते हुए नंबरों को लागू करने के लिए कहे जाने पर घबरा जाता है।
नोट: शोधकर्ताओं ने केवल इन विशिष्ट इंजीनियरिंग समस्याओं का परीक्षण किया है। उन्होंने यह दावा नहीं किया है कि यह चिकित्सा निदान, कानूनी सलाह या अन्य क्षेत्रों पर लागू होता है, न ही उन्होंने भविष्य के लिए AI को ठीक करने का सुझाव दिया है। उन्होंने केवल इस विशिष्ट सेट के इंजीनियरिंग पहेलियों पर AI के प्रदर्शन की रिपोर्ट दी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।