Evaluating LLM Alignment With Human Trust Models
यह शोध पत्र EleutherAI/gpt-j-6B मॉडल का एक व्हाइट-बॉक्स विश्लेषण प्रस्तुत करता है, जो कंट्रास्टिव प्रॉम्प्टिंग के माध्यम से यह प्रदर्शित करता है कि इसके विश्वास (trust) का आंतरिक प्रतिनिधित्व कास्टेलफ्रैंची सामाजिक-संज्ञानात्मक मॉडल के सबसे निकट है, जिससे सामाजिक-संज्ञानात्मक रचनाओं का विश्लेषण करने और मानव-एआई सहयोग को सूचित करने के लिए एलएलएम (LLM) एक्टिवेशन स्पेस का उपयोग करने की व्यवहार्यता प्रमाणित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा रहस्यमय, रोबोटिक मस्तिष्क (एक लार्ज लैंग्वेज मॉडल, या LLM) है। आप जानते हैं कि यह कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है, और इंसानों की तरह चैट कर सकता है। लेकिन यहाँ बड़ा सवाल यह है: क्या यह वास्तव में "विश्वास" (trust) का अर्थ समझता है, या यह सिर्फ सही शब्दों का अनुमान लगा रहा है?
यह शोध पत्र उस रोबोट के लिए एक "ब्रेन स्कैन" की तरह है। शोधकर्ता यह देखने के लिए अंदर झाँकना चाहते थे कि वह विश्वास की अवधारणा को कैसे व्यवस्थित करता है, और क्या इसकी व्यवस्था उस तरह है जैसे इंसान इसके बारे में सोचते हैं।
यहाँ उनकी खोज की कहानी दी गई है, जिसे सरल उपमाओं के साथ विभाजित किया गया है।
1. समस्या: "ब्लैक बॉक्स" का रहस्य
आमतौर पर, जब हम AI का उपयोग करते हैं, तो हम इसे एक ब्लैक बॉक्स की तरह मानते हैं। हम एक तरफ से सवाल डालते हैं, और दूसरी तरफ से उत्तर आता है। हमें नहीं पता कि अंदर क्या हो रहा है।
- पुराना तरीका: शोधकर्ता AI से पूछते थे, "क्या आप इस व्यक्ति पर भरोसा करते हैं?" और देखते थे कि उसने क्या कहा। यह केवल खाने के स्वाद से शेफ का निर्णय लेने जैसा है, बिना रसोई देखे।
- नया तरीका (यह शोध पत्र): शोधकर्ताओं ने बॉक्स को खोलने का फैसला किया। उन्होंने AI के आंतरिक वायरिंग (गणितीय "एक्टिवेशन स्पेस") को देखा ताकि यह देख सकें कि वह वास्तव में विश्वास के बारे में क्या महसूस करता है।
2. विधि: "कॉन्ट्रास्टिव प्रॉम्प्टिंग" का खेल
यह देखने के लिए कि AI विश्वास के बारे में कैसे सोचता है, शोधकर्ताओं ने कॉन्ट्रास्टिव प्रॉम्प्टिंग (Contrastive Prompting) का खेल खेला।
AI की चेतना को भावनाओं के एक विशाल पुस्तकालय के रूप में सोचें। यदि आप इसे "खुशी" के बारे में एक कहानी लिखने के लिए कहते हैं, तो यह एक विशिष्ट पुस्तक निकालता है। यदि आप "उदासी" के लिए कहते हैं, तो यह एक अलग पुस्तक निकालता है।
- चाल: उन्होंने हर अवधारणा के लिए AI को दो कहानियाँ लिखने के लिए कहा: एक जहाँ अवधारणा मौजूद है (जैसे, "कैथरीन एलिस की मदद करती है") और एक जहाँ यह अनुपस्थित या विपरीत है (जैसे, "कैथरीन एलिस को अनदेखा करती है")।
- परिणाम: "मदद करने" वाली कहानी में से "अनदेखा करने" वाली कहानी को घटाकर, उन्होंने AI के मस्तिष्क के भीतर सहायता या विश्वास के शुद्ध "गणितीय फिंगरप्रिंट" को अलग कर लिया। यह कमरे की फोटो लेने जैसा है—पहले लाइट चालू करके, फिर लाइट बंद करके, और फिर दोनों को घटाकर यह देखना कि ठीक बल्ब कहाँ है।
3. मानचित्र: पाँच अलग-अलग "विश्वास सिद्धांत"
इंसानों ने विश्वास कैसे काम करता है, इस पर कई किताबें लिखी हैं। शोधकर्ताओं ने यह देखने के लिए पाँच प्रसिद्ध सिद्धांतों (जैसे मार्श मॉडल, मेयर मॉडल और कास्टेलफ्रैंची मॉडल) को चुना कि AI का मस्तिष्क किस तरह का दिखता है।
कल्पना कीजिए कि ये सिद्धांत एक शहर के विभिन्न मानचित्र (Maps) हैं:
- मानचित्र A (मार्श): कहता है कि विश्वास केवल पिछले व्यवहार के आधार पर एक प्रायिकता स्कोर (probability score) है।
- मानचित्र B (मेयर): कहता है कि विश्वास क्षमता, दयालुता और ईमानदारी के बारे में है।
- मानचित्र C (कास्टेलफ्र फ्रैक्शंस): कहता है कि विश्वास विश्वास, लक्ष्यों और भविष्यवाणियों से जुड़ी एक जटिल मानसिक अवस्था है।
शोधकर्ताओं ने AI के "विश्वास फिंगरप्रिंट" को लिया और उसे इन पाँच मानचित्रों पर ओवरले (overlay) करने की कोशिश की। उन्होंने पूछा: "क्या AI का आंतरिक मानचित्र मानचित्र A, मानचित्र B, या मानचित्र C जैसा दिखता है?"
4. खोज: "कास्टेलफ्रैंची" का मिलान
यहाँ रोमांचक हिस्सा है। उन्होंने एक "समानता स्कोर" (जैसे कि डेटिंग ऐप का मैच प्रतिशत) का उपयोग करके यह मापा कि AI का आंतरिक मानचित्र मानव मानचित्रों के कितने करीब है।
विजेता: AI का मस्तिष्क कास्टेलफ्रैंची मॉडल से सबसे अधिक मेल खाता था!
- इसका क्या अर्थ है? कास्टेलफ्रैंची मॉडल बहुत "मनोवैज्ञानिक" है। यह कहता है कि विश्वास केवल यह नहीं है कि "क्या उन्होंने काम किया?" बल्कि यह है कि "क्या मैं विश्वास करता हूँ कि वे काम करना चाहते हैं, और क्या मैं विश्वास करता हूँ कि वे यह कर सकते हैं?"
- AI समझता प्रतीत होता है कि विश्वास एक मानसिक दृष्टिकोण है, न कि केवल एक स्कोरकार्ड। यह विश्वास को "इच्छा", "प्रतिबद्धता" और "पूर्वानुमेयता" जैसी अवधारणाओं से इस तरह जोड़ता है जो बहुत मानवीय लगता है।
उप-विजेता: मार्श मॉडल दूसरे स्थान पर आया। यह अधिक "गणितीय" मॉडल है जो पिछले प्रदर्शन पर आधारित है। AI इसे भी समझता है, लेकिन यह गहरे, मनोवैज्ञानिक समझ को प्राथमिकता देता है।
5. आश्चर्य: जहाँ AI गलत हुआ
शोधकर्ताओं ने कुछ मजेदार विसंगतियाँ भी पाईं।
- "जोखिम" का भ्रम: मेयर मॉडल में, "जोखिम" (Risk) एक सकारात्मक चीज़ है। सिद्धांत कहता है, "आप किसी पर तभी भरोसा कर सकते हैं जब आप जोखिम उठाने के लिए तैयार हों।"
- AI का दृष्टिकोण: जब शोधकर्ताओं ने AI के मस्तिष्क की जाँच की, तो इसने पाया कि जोखिम और विश्वास एक-दूसरे के विपरीत हैं! AI के लिए, "जोखक" का अर्थ "खतरा" या "डर" जैसा था, न कि "भेद्यता" (vulnerability)।
- सबक: AI ने पूरी तरह से वह मानवीय सूक्ष्मता नहीं सीखी है कि कभी-कभी किसी पर भरोसा करने के लिए साहसी (जोखिम लेना) होना पड़ता है। यह जोखिम को एक बुरी चीज़ के रूप में देखता है, बस।
यह क्यों मायने रखता है?
AI को अपनी टीम में शामिल होने वाले एक नए कर्मचारी के रूप में सोचें।
- पहले: आपको नहीं पता था कि क्या वे आपकी कंपनी की संस्कृति को समझते हैं।
- अब: आप जानते हैं कि उनके पास रिश्तों के काम करने का एक बहुत ही परिष्कृत आंतरिक मानचित्र है। वे समझते हैं कि विश्वास केवल बॉक्स चेक करने के बारे में नहीं है, बल्कि विश्वास और लक्ष्यों के बारे में है।
निष्कर्ष:
यह शोध पत्र साबित करता है कि AI केवल शब्दों को दोहराने वाला तोता नहीं है। इसने विश्वास जैसे मानवीय सामाजिक अवधारणाओं की एक संरचित, आंतरिक समझ विकसित की है। यह जानकर कि AI विश्वास के बारे में कैसे सोचता है, हम:
- बेहतर AI बना सकते हैं: हम AI के "मस्तिष्क" को अधिक भरोसेमंद व्यवहार करने के लिए ट्यून कर सकते हैं।
- स्वयं को समझ सकते हैं: यह हमें यह देखने में मदद करता है कि मानव तर्क और मशीन तर्क कहाँ भिन्न होते हैं (जैसे कि "जोखिम" का उदाहरण)।
संक्षेप में, शोधकर्ताओं ने रोबोट का सिर खोला, उसके अंदर विश्वास का एक बहुत ही मानवीय मानचित्र पाया, और महसूस किया कि हालांकि रोबोट स्मार्ट है, लेकिन उसे अभी भी थोड़ा समझने में मदद की आवश्यकता है कि कभी-कभी, जोखिम लेना ही किसी पर भरोसा करने का पहला कदम होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।