Predicting Program Comprehension with Foundation Models of Human Cognition
यह शोध पत्र प्रदर्शित करता है कि सेंटॉर (Centaur), जो सामान्य मनोवैज्ञानिक डेटा पर प्रशिक्षित मानव संज्ञान का एक फाउंडेशन मॉडल है, प्रोग्राम कॉम्प्रिहेन्शन (program comprehension) के दौरान डेवलपर व्यवहार की भविष्यवाणी करने में अपने बेस लामा 3.1 (Llama 3.1) मॉडल से बेहतर प्रदर्शन करता है, जो यह सुझाव देता है कि व्यापक मनोवैज्ञानिक प्रयोगों से सीखे गए संज्ञानात्मक नियम जटिल सॉफ्टवेयर इंजीनियरिंग कार्यों में प्रभावी रूप से स्थानांतरित हो सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बातचीत में अपने दोस्त के अगले शब्द का अनुमान लगाने की कोशिश कर रहे हैं। आप उनके द्वारा की गई हर एक बातचीत को याद करने की कोशिश कर सकते हैं, या आप उन सामान्य नियमों को समझने की कोशिश कर सकते हैं कि इंसान कैसे सोचते, बात करते और प्रतिक्रिया देते हैं। दशकों से, सॉफ्टवेयर डेवलपर्स कोड को कैसे समझते हैं, इसका अनुमान लगाने की कोशिश करने वाले शोधकर्ता पहले समूह में फंसे हुए थे: उन्होंने विशिष्ट कार्यों के लिए छोटे, विशिष्ट मॉडल बनाए, या उन्होंने वाक्य में कॉमा की संख्या गिनने जैसे "कोड जटिलता" को मापने की कोशिश की। लेकिन ये तरीके ऐसे हैं जैसे किसी पूरी फिल्म की भविष्यवाणी केवल अभिनेताओं के जूतों के रंग को देखकर करने की कोशिश करना—या तो वे बड़े स्तर पर काम नहीं करते या वे वास्तविकता से मेल नहीं खाते।
यहाँ मनोविज्ञान की दुनिया से एक नया विचार आता है। केवल कोडिंग के लिए एक मॉडल बनाने के बजाय, क्या होगा यदि हम एक मॉडल को इस बात पर प्रशिक्षित करें कि इंसान सभी प्रकार की स्थितियों में कैसे व्यवहार करते हैं? शोधकर्ताओं ने इस पेपर में बिल्कुल यही किया। उन्होंने एक सुपर-स्मार्ट एआई, Centaur को लिया, जिसे 160 अलग-अलग मनोवैज्ञानिक प्रयोगों (जैसे मेमोरी गेम्स और निर्णय लेने वाली पहेलियाँ) के डेटा पर प्रशिक्षित किया गया था, और एक बड़ा सवाल पूछा: क्या यह "सामान्य मानव मस्तिष्क सिम्युलेटर" यह समझ सकता है कि डेवलपर्स कोड को कैसे पढ़ते हैं, भले ही इसने अपने प्रशिक्षण के दौरान कोड की एक भी लाइन न देखी हो?
बड़ी खोज
इसका उत्तर, पेपर सुझाव देता है, एक जोरदार "हाँ" है। जब उन्होंने वास्तविक डेवलपर्स द्वारा कोड पढ़ने से जुड़े 9 अलग-अलग अध्ययनों के खिलाफ Centaur का परीक्षण किया, तो Centaur ने इसके "पैरेंट" मॉडल, Llama 3.1, की तुलना में बहुत बेहतर तरीके से भविष्यवाणी की, जिसे उन मनोवैज्ञानिक प्रयोगों पर प्रशिक्षित नहीं किया गया था। वास्तव में, सभी परीक्षणों में, Center की भविष्यवाणियाँ मानव व्यवहार के बहुत करीब थीं। इसे इस तरह सोचें: Llama 3.1 एक बुद्धिमान छात्र है जो बहुत सारे तथ्य जानता है लेकिन उसने यह नहीं सीखा कि लोग वास्तव में कैसे सोचते हैं। Centaur वही छात्र है, लेकिन "ह्यूमन बिहेवियर 101" का एक सेमेस्टर लेने के बाद, वह अचानक समझ जाता है कि लोग कैसे प्रतिक्रिया देते हैं, यहाँ तक कि प्रोग्रामिंग जैसे बिल्कुल नए विषय में भी।
यह क्या नहीं है
यहाँ सबसे महत्वपूर्ण हिस्सा है: पेपर स्पष्ट रूप से कुछ चीजों को खारिज करता है।
- यह केवल उत्तर का अनुमान लगाने के बारे में नहीं है। शोधकर्ता चिंतित थे कि कहीं Centaur केवल सामान्य उत्तरों (जैसे "हाँ" या "नहीं") का अनुमान लगाने में अच्छा तो नहीं है क्योंकि उसने अपने प्रशिक्षण में उन्हें बहुत बार देखा है। लेकिन उन्होंने इसे गलत साबित कर दिया। जब उन्होंने टेस्ट से कोड और टास्क इंस्ट्रक्शंस को हटा दिया, तो Centaur ने केवल "रिस्पॉन्स बायस" पर निर्भर नहीं रहा। इसने वास्तव में उत्तर का पता लगाने के लिए कोड का उपयोग और टास्क विवरणों का उपयोग करने में बेहतर प्रदर्शन किया।
- यह कोई जादुई क्रिस्टल बॉल नहीं है। पेपर सावधानी से कहता है कि यह पैटर्न का एक "सुझाव" और "ट्रांसफर" है, न कि मानव मन का एक अंतिम, हल किया हुआ सिद्धांत। उन्होंने पाया कि कुछ पेचीदा, भ्रमित करने वाले कोड पैटर्न (जिन्हें "Atoms of Confusion" कहा जाता है) के लिए, Centaur, Llama जितना अच्छा नहीं था। यह सुझाव देता है कि जबकि सामान्य मानवीय सोच मदद करती है, अभी भी कुछ बहुत ही विशिष्ट कोडिंग विचित्रताएं हैं जिन्हें मॉडल ने अभी तक नहीं सीखा है।
उन्होंने इसका परीक्षण कैसे किया
निश्चित होने के लिए, शोधकर्ताओं ने "छीन लेने" का एक खेल खेला। उन्होंने मॉडल्स को समान कोड और प्रश्न दिए लेकिन अलग-अलग जानकारी के टुकड़े हटा दिए:
- कोड: वास्तविक प्रोग्रामिंग स्निपेट्स।
- निर्देश (Instructions): क्या करना है, यह समझाने वाला टेक्स्ट।
- इतिहास (History): पिछले प्रश्नों में डेवलपर ने क्या किया था।
उन्होंने पाया कि Centaur ने पिछले उत्तरों के इतिहास (जिसका Llama बहुत उपयोग करता था) पर कम और वास्तविक कोड एवं निर्देशों पर अधिक भरोसा किया। यह एक बहुत बड़ा सुराग है: इसका मतलब है कि Centaur ने कार्य को समझने का एक गहरा तरीका सीखा है, न कि केवल "मैंने पिछली बार क्या कहा था?" जैसे पैटर्न का पालन किया है।
संख्याएँ
परिणामों को "नेगेटिव लॉग लाइकलीहुड" नामक स्कोर का उपयोग करके मापा गया था, जहाँ कम स्कोर बेहतर होता है। सभी अध्ययनों में, Centaur ने औसतन 1.63 का स्कोर प्राप्त किया, जबकि Llama 3.1 ने 1.85 का स्कोर किया। 9 में से 7 अध्ययनों में, Centaur काफी बेहतर था। यह अंतर केवल एक मामूली संयोग नहीं था; सांख्यिकीय "इफेक्ट साइज" 0.17 था, जिसे पेपर नोट करता है कि यह एक वास्तविक, मापने योग्य सुधार है।
निष्कर्ष
यह पेपर यह दावा नहीं करता कि इसने डेवलपर्स के सोचने के रहस्य को सुलझा लिया है। इसके बजाय, यह एक शक्तिशाली नए रास्ते का सुझाव देता है। यह दिखाता है कि डेवलपर्स की समझ एक अजीब, अलग सुपरपावर नहीं है; यह उन्हीं सामान्य संज्ञानात्मक नियमों पर आधारित है जो हमें जीवन के अन्य हिस्सों में मेमोरी गेम खेलने या निर्णय लेने में मदद करते हैं। सामान्य मानव व्यवहार पर AI को प्रशिक्षित करके, हम अंततः एक ऐसा टूल प्राप्त कर सकते हैं जो यह अनुमान लगा सके कि डेवलपर्स कोड के साथ कहाँ संघर्ष करेंगे, केवल लाइनों को गिनकर नहीं, बल्कि कीबोर्ड के पीछे मौजूद मानव मस्तिष्क को समझकर। यह एक ऐसे भविष्य की ओर एक कदम है जहाँ हम ऐसे सॉफ्टवेयर टूल्स बना सकते हैं जो वास्तव में "ह्यूमन-अवेयर" हों, जो इस विज्ञान पर आधारित हों कि हम वास्तव में कैसे सोचते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।