Evaluating Developmental Cognition Capabilities of LLMs
यह शोध पत्र रॉबर्ट केगन के सिद्धांत के आधार पर विकासात्मक संज्ञानात्मक चरणों का पता लगाने की एलएलएम (LLM) की क्षमता का मूल्यांकन करने के लिए विकासात्मक वाक्य पूर्णता परीक्षण (DSCT) प्रस्तुत करता है, जिसमें यह पाया गया है कि हालांकि मॉडल सिम्युलेटेड व्यक्तित्वों में इच्छित चरणों की सटीक पहचान कर सकते हैं और अपने स्वयं के आउटपुट में सुसंगत विकासात्मक पैटर्न दिखाते हैं, वास्तविक मानव प्रतिक्रियाओं के साथ उनकी सहमति मध्यम बनी रहती है, जो यह रेखांकित करती है कि चरण-जागरूक एआई (AI) के लिए प्राथमिक चुनौती केवल क्लासिफायर की सटीकता के बजाय प्रेरित पाठ के भीतर विकासात्मक संकेत की उपलब्धता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: हम सोचने के बारे में कैसे "सोचते" हैं?
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट से बात कर रहे हैं। आमतौर पर, हम रोबोट को यह समझाने की कोशिश करते हैं कि आप क्या चाहते हैं (आपके लक्ष्य) या आप क्या जानते हैं (आपके तथ्य)। लेकिन यह शोध पत्र एक अलग सवाल पूछता है: आप वास्तवं में दुनिया का अर्थ कैसे निकालते हैं?
लेखक इस काम के लिए रॉबर्ट केगन के एक मनोवैज्ञानिक सिद्धांत का उपयोग करते हैं। केगन के सिद्धांत को "अर्थ-निर्माण" (meaning-making) की एक सीढ़ी की तरह समझें।
- निचली सीढ़ियाँ: आप दुनिया को नियमों की एक श्रृंखला या दूसरों की अपेक्षाओं के रूप में देखते हैं। (जैसे, "मैं यह इसलिए करता हूँ क्योंकि मेरे बॉस ने ऐसा कहा है।")
- ऊपरी सीढ़ियाँ: आप अपना स्वयं का आंतरिक दिशा-सूचक (internal compass) बनाते हैं और अपने स्वयं के विश्वासों को देखने के लिए पीछे हटकर देख सकते हैं। (जैसे, "मैं यह इसलिए करता हूँ क्योंकि मैंने स्थिति का विश्लेषण किया है और निर्णय लिया है कि यह मेरे अपने मूल्यों के अनुरूप है, भले ही मेरे बॉस असहमत हों।")
यह शोध पत्र यह पता लगाने की कोशिश करता है कि क्या AI केवल उनके टेक्स्ट को पढ़कर यह पहचान सकता है कि कोई व्यक्ति सीढ़ी के किस "रंग" (सीढ़ी के पायदान) पर खड़ा है।
समस्या: पुराने परीक्षण बहुत भारी थे
परंपरागत रूप से, यह पता लगाने के लिए कि कोई व्यक्ति इस सीढ़ी पर कहाँ है, मनोवैज्ञानिकों को एक लंबे, गहरे साक्षात्कार (जैसे 90 मिनट का थेरेपी सत्र) के लिए बैठना पड़ता है। यह एक व्हेल को उठाने की कोशिश करने जैसा है; यह हजारों लोगों के लिए या AI के परीक्षण के लिए बहुत भारी और धीमा है।
कुछ छोटे परीक्षण भी हैं (वाक्य पूर्णता), लेकिन वे अक्सर पुराने, निजी (आपको उन्हें खरीदना पड़ता है) या बहुत व्यक्तिगत सवाल (जैसे सेक्स और परिवार के बारे में) पूछते हैं जो दखल देने वाले लगते हैं।
समाधान: "DSCT" (एक नया, हल्का परीक्षण)
लेखकों ने डेवलपमेंटल सेंटेंस कंप्लीशन टेस्ट (DSCT) नामक एक नया, 20-प्रश्नों वाला परीक्षण बनाया है।
- उपमा (Analogy): इसे एक "रिक्त स्थान भरें" वाले खेल की तरह समझें। यह पूछने के बजाय कि "आपका पसंदीदा रंग क्या है?", यह पूछता है जैसे, "जब एक वादा टूट जाता है, तो मैं महसूस करता हूँ..." या "जब किसी व्यक्ति को दो अच्छे विकल्पों के बीच चुनना होता है, तो वह..."
- लक्ष्य: उत्तरों को "सही" या "गलत" होने के आधार पर नहीं मापा जाता है। उन्हें सोचने की संरचना (structure) के आधार पर मापा जाता है। क्या उत्तर भीड़ का अनुसरण करने वाले व्यक्ति जैसा लगता है, या अपने स्वयं के आंतरिक तंत्र वाले व्यक्ति जैसा?
तीन प्रयोग: "टेस्ट टेस्ट" (स्वाद परीक्षण)
शोधकर्ताओं ने तीन अलग-अलग "टेस्ट टेस्ट" चलाए यह देखने के लिए कि क्या AI इन उत्तरों को सही ढंग से पढ़ सकता है।
1. "इंसान के रूप में अभिनय करता रोबोट" टेस्ट (सिम्युलेटेड पर्सोना)
- सेटअप: उन्होंने एक सुपर-स्मार्ट AI से अलग-अलग प्रकार के लोगों (जैसे "नियम मानने वाले" से लेकर "स्वतंत्र विचारक" तक) का नाटक करने और इस परीक्षण को भरने के लिए कहा।
- परिणाम: AI क्लासिफायर (ग्रेड देने वाले) अविश्वसनीय रूप रूप से अच्छे थे। जब AI को पता था कि उसे कौन सा व्यक्तित्व निभाना है, तो अन्य AI ने लगभग पूर्ण सटीकता के साथ "सोचने की शैली" का अनुमान लगा लिया।
- रूपक: यह एक अभिनेता द्वारा स्क्रिप्ट को पूरी तरह से पढ़ने जैसा है। अन्य अभिनेता (ग्रेड देने वाले) आसानी से बता सकते थे कि कौन सा पात्र निभाया जा रहा था।
2. "वास्तविक मानव" टेस्ट
- सेटअप: उन्होंने 83 वास्तविक मनुष्यों को यह परीक्षण दिया। फिर, उन्होंने मानव विशेषज्ञों और AI दोनों से उत्तरों को ग्रेड देने के लिए कहा।
- परिणाम: यह थोड़ा अव्यवस्थित था। AI और मानव विशेषज्ञ सटीक "रंग" (पायदान) पर आधे समय सहमत हुए, लेकिन वे सामान्य क्षेत्र (जैसे, दोनों ने कहा "रंग 3 और 4 के बीच कहीं") पर बहुत अधिक सहमत थे।
- रूपक: वास्तविक मनुष्य अव्यवस्थित होते हैं। कभी वे छोटे उत्तर लिखते हैं, कभी लंबे, और कभी वे खुद का खंडन करते हैं। यह देर होने के कारण भेजे गए टेक्स्ट मैसेज से किसी के मूड का अनुमान लगाने जैसा है; यह स्क्रिप्ट पढ़ने की तुलना में कठिन है। AI थोड़ा अधिक रूढ़िवादी (मितव्ययी) था, वह तब तक उच्च पायदान नहीं देता था जब तक कि वह पूरी तरह सुनिश्चित न हो जाए।
3. "AI खुद से बात कर रहा है" टेस्ट (डिफ़ॉल्ट प्रतिक्रियाएं)
- सेटअप: उन्होंने AI मॉडल को बिना किसी का नाटक किए इस परीक्षण को भरने के लिए कहा। वे बस अपने आप में उत्तर दे रहे थे।
- परिणाम: नए, बड़े AI मॉडलों ने ऐसे उत्तर दिए जो सीढ़ी के उच्च पायदान पर होने जैसा लगा, जबकि छोटे और पुराने मॉडलों की तुलना में।
- रूपक: कल्पना कीजिए कि आप एक छोटे बच्चे और एक कॉलेज छात्र को एक ही "रिक्त स्थान भरें" वाला टेस्ट भरने के लिए कहते हैं। कॉलेज छात्र के उत्तर स्वाभाविक रूप से अधिक जटिल और आत्म-चिंतनशील लगते हैं। शोध पत्र ने पाया कि जैसे-जैसे AI मॉडल बड़े और नए होते जाते हैं, उनकी "डिफ़ॉल्ट आवाज़" अधिक आत्म-चिंतनशील वयस्क जैसी सुनाई देती है।
मुख्य निष्कर्ष
- AI पैटर्न पहचानने में अच्छा है, लेकिन सिग्नल मायने रखता है: यदि टेक्स्ट साफ और संरचित है (जैसे सिम्युलेटेड टेस्ट), तो AI "सोचने की शैली" को पहचानने में बहुत अच्छा है। यदि टेक्स्ट अव्यवस्थित है (जैसे वास्तविक मानव उत्तर), तो यह कठिन है, लेकिन एक सामान्य विचार प्राप्त करना अभी भी संभव है।
- AI इंसान की तरह "सोच" नहीं रहा है: शोध पत्र सावधानी से कहता है कि AI का वास्तव में कोई विकासात्मक चरण (developmental stage) नहीं होता है। यह केवल इतना है कि AI द्वारा उत्पन्न शब्द ऐसे लगते हैं जैसे वे एक विशिष्ट चरण से आए हों।
- AI की "आवाज़" मायने रखती है: बड़े, नए AI मॉडल ऐसी भाषा में बात करते हैं जो "स्व-निर्मित" (self-authored/उच्च पायदान) लगती है। इसका मतलब यह हो सकता है कि वे छोटे मॉडलों की तुलना में मानव उपयोगकर्ताओं की व्याख्या अलग तरह से करते हैं।
यह भविष्य के लिए क्या मायने रखता है (शोध पत्र के अनुसार)
शोध पत्र सुझाव देता है कि AI को वास्तव में व्यक्तिगत बनाने के लिए, इसे केवल यह नहीं सीखना चाहिए कि आपको क्या पसंद है (जैसे, "मुझे साइंस-फिक्शन फिल्में पसंद हैं")। इसे यह समझने की कोशिश करनी चाहिए कि आप कैसे सोचते हैं (जैसे, "क्या आपको नियमों की आवश्यकता है, या आप चाहते हैं कि मैं आपके विचारों को चुनौती दूँ?")।
हालाँकि, लेखक चेतावनी देते हैं कि हम केवल एक रैंडम चैट से इसका अनुमान नहीं लगा सकते। हमें विश्वसनीय रीडिंग प्राप्त करने के लिए संरचित तरीकों (जैसे यह परीक्षण) की आवश्यकता है। आप केवल एक त्वरित टेक्स्ट मैसेज देखकर किसी की "सोचने की सीढ़ी" नहीं बता सकते; आपको संरचना देखने के लिए एक उचित बातचीत की आवश्यकता होती है।
संक्षेप में: शोध पत्र ने यह मापने के लिए एक नया, छोटा परीक्षण बनाया कि लोग दुनिया का अर्थ कैसे निकालते हैं। उन्होंने पाया कि AI इस परीक्षण को अच्छी तरह से पढ़ सकता है, विशेष रूप से जब उत्तर स्पष्ट हों, लेकिन वास्तविक मानव उत्तर अव्यवस्थित होते हैं। साथ ही, AI मॉडल अपनी लेखन शैली में "बड़े" हो रहे हैं, और जैसे-जैसे वे बड़े होते हैं, वे अधिक जटिल सुनाई देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।