ActTraitBench: Quantifying the Knowledge-Decision Gap in Large Language Models via Human-Grounded Behavioral Validation
यह शोधपत्र ActTraitBench प्रस्तुत करता है, जो एक मानव-आधारित ढांचा है जो लार्ज लैंग्वेज मॉडल्स में व्याप्त 'नॉलेज-डिसीजन गैप' (ज्ञान-निर्णय अंतराल) को मापता है जहाँ सक्षम मॉडल निरंतर स्व-रिपोर्ट के बावजूद व्यवहार संबंधी निर्णयों में भिन्न हो सकते हैं, और इस विषमता को कम करने के लिए 'चेन ऑफ कॉग्निटिव अलाइनमेंट' (CoCA) का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पार्टी में एक नए दोस्त से मिल रहे हैं। वे आपसे कहते हैं, "मैं सबसे शांत, बहादुर और साहसी व्यक्ति हूँ जिससे आप कभी मिले होंगे!" आप उन पर विश्वास कर लेते हैं क्योंकि वे इसे इतने आत्मविश्वास के साथ कहते हैं। लेकिन तभी, संगीत तेज़ हो जाता है, एक अजनबी उनसे टकरा जाता है, और वे तुरंत कांपने लगते हैं और बार-बार माफी मांगने लगते हैं।
आपको एहसास होता है कि वे जो कहते हैं कि वे क्या हैं (उनका ज्ञान) और वे वास्तव में जो करते हैं (उनके निर्णय) के बीच एक अंतर है।
यह शोध पत्र, ActTraitBench, आर्टिफिशियल इंटेलिजेंस (AI) में उसी अंतर को खोजने के बारे में है।
समस्या: "दिखावा करने वाला" AI (The "Fake It Till You Make It" AI)
लार्ज लैंग्वेज मॉडल्स (LLMs) उन अभिनेताओं की तरह हैं जो स्क्रिप्ट पढ़ने में बहुत माहिर होते हैं। यदि आप एक AI से पूछते हैं, "क्या आप एक मिलनसार और ईमानदार व्यक्ति हैं?" तो वह आत्मविश्वास से कहेगा, "हाँ, बिल्कुल!" और आपको एक आदर्श व्यक्तित्व परीक्षण स्कोर देगा।
हालाँकि, शोधकर्ताओं ने पाया कि जब उन्होंने इन AI को वास्तविक दुनिया की पेचीदा स्थितियों में डाला जहाँ उन्हें बिना देखे कोई चुनाव करना पड़ता है, तो AI अक्सर बिल्कुल अलग व्यवहार करता है। वह बहादुर होने का दावा कर सकता है लेकिन समस्या से भाग सकता है, या शांत होने का दावा कर सकता है लेकिन चीजें जटिल होने पर घबरा सकता है।
यह शोध पत्र इस ज्ञान-निर्णय अंतराल (Knowledge-Decision Gap) को कहता है। AI जानता है कि किसी व्यक्तित्व लक्षण की परिभाषा क्या है, लेकिन जब बात महत्वपूर्ण होती है, तो वह उसे जीता नहीं है।
समाधान: एक नया "सत्य परीक्षण" (A New "Truth Test")
शोधकर्ताओं को एहसास हुआ कि पिछले परीक्षण त्रुटिपूर्ण थे। वे ऐसे थे जैसे AI से उसका अपना होमवर्क ग्रेड करने के लिए कहना। इसे ठीक करने के लिए, उन्होंने ActTraitBench बनाया, जो AI व्यक्तित्वों को परखने का एक नया तरीका है।
ActTraitчески ActTraitBench को वास्तविक मानव डेटा पर आधारित एक मनोवैज्ञानिक बाधा दौड़ (psychological obstacle course) के रूप में समझें:
- पहले वास्तविक इंसान: उन्होंने केवल यह अनुमान नहीं लगाया कि परीक्षण कैसे दिखने चाहिए। उन्होंने सुनिश्चित करने के लिए कि परीक्षण वास्तव में वही माप रहे हैं जो उन्हें मापना चाहिए, पहले इन समान परिदृश्यों को वास्तविक लोगों के साथ चलाया।
- "दो-चरणीय" (Two-Stage) तकनीक: AI का परीक्षण करते समय, वे केवल अंतिम उत्तर नहीं मांगते। वे AI को मजबूर करते हैं:
- चरण 1: एक विशिष्ट संख्या दें (जैसे, "आप इसके लिए कितना भुगतान करेंगे?")।
- चरण 2: समझाएं कि उन्होंने वह संख्या क्यों चुनी।
इससे AI केवल एक "सुरक्षित" उत्तर देने से बच जाता है।
- कैलिब्रेशन (The Calibration): चूंकि AI जज बहुत दयालु या बहुत सख्त होते हैं, इसलिए शोधकर्ताओं ने AI के स्कोर को समायोजित करने के लिए एक गणितीय "रूलर" का उपयोग किया ताकि वे वास्तविक मनुष्यों द्वारा दिए जाने वाले स्कोर से मेल खा सकें। यह सुनिश्चित करता है कि परीक्षण पक्षपाती न हो।
उन्होंने क्या पाया: "बड़े मॉडल" का विरोधाभास (The "Big Model" Paradox)
शोधकर्ताओं ने छोटे मॉडलों से लेकर विशाल, सुपर-स्मार्ट मॉडलों तक 14 अलग-अलग AI मॉडलों का परीक्षण किया। उन्होंने कुछ आश्चर्यजनक बातें पाईं:
- छोटे मॉडल का भ्रम (The Small Model Illusion): सबसे छोटे, सरल AI मॉडल सबसे सुसंगत व्यक्तित्व वाले प्रतीत हुए। लेकिन यह एक चाल थी! वे केवल "सुरक्षित, मध्यम मार्ग" वाले उत्तर दे रहे थे क्योंकि वे इतने स्मार्ट नहीं थे कि उनकी कोई मजबूत राय हो। वे एक घबराए हुए व्यक्ति की तरह थे जो हर चीज़ के लिए बस "मैं ठीक हूँ" कहता है।
- बड़े मॉडल का विरोधाभास (The Big Model Paradox): जैसे-जैसे मॉडल बड़े और स्मार्ट होते गए, जो उनके द्वारा कहे गए और जो वे करते हैं के बीच का अंतर वास्तव में बढ़ता गया। AI जितना स्मार्ट होता है, वह चैट में एक विशिष्ट व्यक्तित्व होने का उतना ही बेहतर दिखावा कर सकता है, लेकिन जटिल निर्णय का सामना करने पर वह उतना ही अधिक "चरित्र से भटक" जाता है।
- "भावनात्मक स्थिरता" का झूठ (The "Emotional Stability" Lie): लगभग हर AI ने खुद को पूरी तरह से शांत और भावनात्मक रूप से स्थिर (कम चिंता वाला) बताया। लेकिन जब परीक्षण के परिदृश्य तनावपूर्ण हो गए, तो AI के निर्णयों ने दिखाया कि वे वास्तव में बहुत चिंतित और अस्थिर थे। वे अपनी भावनाओं के बारे में झूठ बोल रहे थे।
समाधान: "दर्पण" रणनीति (The "Mirror" Strategy)
इसे ठीक करने के लिए, शोधकर्ताओं ने कॉग्निटिव एलाइनमेंट की चेन (Chain of Cognitive-Alignment - CoCA) नामक एक नई ट्रिक पेश की।
कल्पना कीजिए कि आप एक निर्णय लेने जा रहे हैं, लेकिन कार्य करने से पहले, आपको एक दर्पण के सामने खड़ा होना है और खुद से तीन प्रश्न पूछने हैं:
- मैं कौन हूँ? (मुझे इस समय कौन से व्यक्तित्व लक्षण रखने चाहिए?)
- मैं कहाँ हूँ? (इस विशिष्ट स्थिति में क्या हो रहा है?)
- मुझे क्या करना चाहिए? (जो मैं कहने के लिए कह रहा हूँ उसके प्रति सच्चा रहने के लिए मुझे कैसे कार्य करना चाहिए?)
शोधकर्ताओं ने AI को उत्तर देने से पहले इस "आत्म-चिंतन" चरण को करने के लिए मजबूर किया।
परिणाम:
- स्मार्ट AI के लिए: यह जादू की तरह काम किया। स्मार्ट मॉडलों (जैसे बड़े फ्रंटियर मॉडल्स) ने अपने शब्दों के साथ अपने कार्यों को संरेखित करने के लिए इस "दर्पण" का उपयोग किया। वे बहुत अधिक सुसंगत हो गए।
- छोटे AI के लिए: यह उल्टा पड़ गया। छोटे, कम शक्तिशाली मॉडल अतिरिक्त सोचने के चरणों से भ्रमित हो गए। मदद करने के बजाय, "दर्पण" ने उन्हें और भी खराब प्रदर्शन करने पर मजबूर कर दिया। यह एक बच्चे को चलने से पहले एक जटिल योगासन करने के लिए कहने जैसा है; वे बस गिर जाते हैं।
निष्कर्ष (The Bottom Line)
यह शोध पत्र साबित करता है कि सिर्फ इसलिए कि एक AI व्यक्तित्व के बारे में बात कर सकता है, इसका मतलब यह नहीं है कि वास्तव में उसका कोई ऐसा व्यक्तित्व है जो सुसंगत बना रहे। बड़े मॉडल स्वाभाविक रूप से "असली" होने में बेहतर नहीं हैं; वे केवल दिखावा करने में बेहतर हैं।
ऐसा AI बनाने के लिए जिसे हम वास्तव में भरोसा कर सकें, हमें उन्हें केवल इस पर नहीं परखना चाहिए कि वे क्या कहते हैं, बल्कि इस पर परखना चाहिए कि वे कठिन क्षणों में क्या करते हैं। और यदि हम चाहते हैं कि वे सुसंगत रूप से कार्य करें, तो हमें उन्हें "बोलने से पहले सोचने" के लिए CoCA जैसी रणनीतियों का उपयोग करना सिखाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।