HumanLM: Simulating Users with State Alignment Beats Response Imitation
यह शोध पत्र HumanLM का प्रस्ताव करता है, जो एक नवीन प्रशिक्षण ढांचा है जो सुदृढीकरण लर्निंग (reinforcement learning) के माध्यम से मनोवैज्ञानिक रूप से आधारित गुप्त अवस्थाओं (latent states) को वास्तविक प्रतिक्रियाओं के साथ संरेखित करके उपयोगकर्ता सिमुलेशन में सुधार करता है, और व्यापक Humanual बेंचमार्क तथा वास्तविक समय के मानव मूल्यांकन में मौजूदा प्रतिक्रिया-अनुकरण विधियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को किसी विशिष्ट व्यक्ति की तरह व्यवहार करना सिखाने की कोशिश कर रहे हैं, मान लीजिए कि उसका नाम "बॉब" है। बॉब एक चिड़चिड़ा, व्यंग्यात्मक, लेकिन गहराई से देखभाल करने वाला व्यक्ति है जिसे राजनीति पसंद है और जब लोगों के साथ अन्याय होता है तो उसे बहुत गुस्सा आता है।
पुराना तरीका (प्रतिक्रिया नकल - Response Imitation):
आज के अधिकांश AI मॉडल बॉब की तरह बनने के लिए उसके हजारों पुराने टेक्स्ट संदेशों को पढ़ने और उनके सटीक शब्दों की नकल करने की कोशिश करते हैं। यह एक छात्र की तरह है जो उत्तर कुंजी (answer key) को रटकर परीक्षा पास करने की कोशिश कर रहा है।
- समस्या: यदि शिक्षक एक नया प्रश्न पूछता है, तो छात्र घबरा जाता है। वे बॉब के पसंदीदा स्लैंग शब्दों (जैसे "ugh" या "lol") का उपयोग तो कर सकते हैं, लेकिन वे मुख्य बात पूरी तरह से गलत कर सकते हैं। वे कुछ ऐसा कह सकते हैं जो बहुत उत्साहजनक हो, जबकि बॉब वास्तव में क्रोधित होता। वे सतह (पेंट) की नकल कर रहे हैं लेकिन आत्मा (उसके नीचे का कैनवास) को मिस कर रहे हैं।
नया तरीका (HUMANLM):
इस शोध के पीछे के शोधकर्ताओं ने महसूस किया कि किसी व्यक्ति का वास्तविक अनुकरण करने के लिए, आपको उनके शब्दों को याद करने की आवश्यकता नहीं है। आपको बोलने से पहले उनके मस्तिष्क की स्थिति (brain state) को समझने की आवश्यकता है।
इसे एक अभिनेता की तरह समझें जो एक भूमिका के लिए तैयारी कर रहा है।
- पुराना तरीका: अभिनेता एक-एक लाइन के साथ स्क्रिप्ट रटता है।
- HUMANLM तरीका: अभिनेता पूछता है, "मेरा चरित्र अभी क्या महसूस कर रहा है? वह क्या मानता है? उसका लक्ष्य क्या है?"
HUMANLM कैसे काम करता है ("स्टेट अलाइनमेंट" का गुप्त मंत्र)
यह शोध पत्र एक ऐसा ढांचा पेश करता है जहाँ AI केवल उत्तर का अनुमान नहीं लगाता; यह पहले छह मनोवैज्ञानिक आयामों के आधार पर अपनी "विचार प्रक्रिया" लिखता है:
- विश्वास (Belief): यह व्यक्ति क्या सच मानता है? (जैसे, "सरकार झूठ बोल रही है।")
- लक्ष्य (Goal): वे क्या हासिल करने की कोशिश कर रहे हैं? (जैसे, "मैं राजनेता को शर्मिंदा करना चाहता हूँ।")
- मूल्य (Value): उनके लिए क्या मायने रखता है? (जैसे, "विनम्रता से अधिक ईमानदारी महत्वपूर्ण है।")
- रुख (Stance): क्या वे सहमत हैं या असहमत? (जैसे, "कड़ाई से असहमत।")
- भावना (Emotion): वे कैसा महसूस कर रहे हैं? (जैसे, "दिल टूटा हुआ लेकिन क्रोधित।")
- संचार (Communication): वे इसे कैसे कहते हैं? (जैसे, "व्यंग्यात्मक और सीधा।")
प्रशिक्षण प्रक्रिया:
कल्पना कीजिए कि एक कोच (AI जज) रोबोट को बॉब की तरह अभिनय करने की कोशिश करते हुए देख रहा है।
- रोबोट एक "थॉट ट्रेस" (ऊपर दिए गए 6 स्टेट्स) बनाता है।
- कोच जाँचता है: "क्या इस रोबोट का क्रोध बॉब के वास्तविक क्रोध से मेल खाता है? क्या इसका विश्वास बॉब के विश्वास से मेल खाता है?"
- यदि रोबोट भावनाओं को सही पकड़ लेता है लेकिन शब्द थोड़े अलग होते हैं, तो कोच उच्च स्कोर देता है।
- यदि रोबोट सटीक शब्दों का उपयोग करता है लेकिन भावनाओं को गलत कर देता है (जैसे, बॉब के दुखी होने पर खुश सुनाई देना), तो कोच कम स्कोर देता है।
रोबोट इन "स्टेट अलाइनमेंट स्कोर" को अधिकतम करना सीखता है। वह सीखता है कि सटीक शब्दों के बजाय आंतरिक स्थिति को सही करना अधिक महत्वपूर्ण है।
"HUMANUAL" बेंचमार्क
इसे सिद्ध करने के लिए, टीम ने HUMANUAL नामक एक विशाल परीक्षण क्षेत्र बनाया।
- इसे एक विशाल "ट्यूरिंग टेस्ट" एरिना के रूप में समझें।
- उन्होंने 26,000 वास्तविक लोग और Reddit, Amazon समीक्षाओं और राजनीतिक ब्लॉगों जैसे स्थानों से 216,000 वास्तविक प्रतिक्रियाएं एकत्र कीं।
- उन्होंने AI का हर चीज़ पर परीक्षण किया: समाचार टिप्पणियाँ, पुस्तक समीक्षाएँ, और यहाँ तक कि क्रोधित ईमेल भी।
परिणाम: यह क्यों मायने रखता है
जब उन्होंने अन्य AI मॉडलों के मुकाबले HUMANLM को परखने के लिए इसे टेस्ट किया:
- नकल करने वाले (The Imitators): पुराने मॉडल ऐसे लगते थे जैसे इंसान बनने की कोशिश कर रहे रोबोट हों। वे इमोजी और स्लैंग का उपयोग करते थे लेकिन अक्सर मुख्य बात चूक जाते थे या नकली लगते थे।
- HUMANLM: यह एक वास्तविक इंसान की तरह लगा। 111 वास्तविक लोगों के एक अध्ययन में, 41.4% प्रतिभागियों ने कहा कि HUMANLM की प्रतिक्रिया "काफी समान" या "लगभग एक जैसी" थी जैसा कि वे लिखते।
- "मानवीयता" स्कोर: 76.6% लोगों को लगा कि HUMANLM "काफी स्वाभाविक" लगता है या "इंसान से अलग नहीं पहचाना जा सकता।"
बड़ी तस्वीर
यह शोध पत्र तर्क देता है कि यदि हम चाहते हैं कि AI हमारी मदद करे (जैसे, राजनेताओं को मतदाताओं को समझने में मदद करना, या कंपनियों को बेहतर उत्पाद डिजाइन करने में मदद करना), तो हम केवल AI को हमारा अनुकरण करने के लिए प्रशिक्षित नहीं कर सकते। हमें AI को हमें समझने के लिए प्रशिक्षित करना होगा।
संक्षेप में:
- पुराना AI: "मैं कहूँगा 'वाह, यह बहुत बुरा है!' क्योंकि बॉब ने यह 50 बार कहा है।"
- HUMANLM: "बॉब आग लगने की घटना से दिल टूटने जैसा महसूस कर रहा है, वह मानता है कि सरकार लापरवाह है, और वह अपने गुस्से को व्यंग्य के साथ व्यक्त करना चाहता है। इसलिए, मैं कहूँगा: 'ओह, बेहतरीन योजना, चलिए लोगों के घर जलने के दौरान फायर बजट में कटौती करते हैं। शानदार।'"
केवल आउटपुट (व्यक्ति के मन का "क्या") के बजाय आंतरिक स्थिति (मन का "क्यों" और "कैसे") पर ध्यान केंद्रित करके, HUMANLM एक ऐसा सिमुलेशन बनाता है जो वास्तविक मानव जैसा महसूस होता है, न कि केवल एक सस्ता प्रतिरूप।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।