Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces
यह शोध पत्र OmniBehavior को प्रस्तुत करता है, जो लंबी अवधि के, क्रॉस-सिनैरियो मानव व्यवहार पर लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन करने के लिए पूरी तरह से वास्तविक दुनिया के डेटा से निर्मित पहला बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल 'टनल विजन' (सीमित दृष्टि) और समरूप, अत्यधिक सकारात्मक व्यक्तित्वों के प्रति एक मौलिक संरचनात्मक पूर्वाग्रह से ग्रस्त हैं जो वास्तविक व्यक्तिगत अंतरों को पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक इंसान का एक सटीक डिजिटल ट्विन (Digital Twin) बनाने की कोशिश कर रहे हैं। आप एक ऐसा AI चाहते हैं जो एक कमरे में बैठ सके, एक वीडियो देख सके, एक स्टोर ब्राउज़ कर सके, या कस्टमर सर्विस के साथ चैट कर सके, और बिल्कुल वैसे ही व्यवहार करे जैसे एक असली इंसान करता है। शोधकर्ता इसे "यूजर सिम्युलेटर" (User Simulator) कहते हैं।
लंबे समय तक, वैज्ञानिकों को लगा कि लार्ज लैंग्वेज मॉडल्स (LLMs) इस काम के लिए तैयार हैं। लेकिन OmniBehavior नामक एक नया पेपर कहता है, "इतनी जल्दी नहीं।"
यहाँ इस पेपर की कहानी सरल भाषा में, कुछ उपमाओं (analogies) के साथ दी गई है।
1. समस्या: "चिड़ियाघर का प्रदर्शनी" बनाम "असली जंगल"
कल्पना कीजिए कि आप यह सीखने की कोशिश कर रहे हैं कि एक शेर कैसे व्यवहार करता है।
- पुराने बेंचमार्क (चिड़ियाघर): पिछले परीक्षणों ने केवल पिंजरे में बंद शेरों को देखा। उन्होंने देखा कि शेर ने मांस का एक टुकड़ा खाया (एक क्रिया) और फिर सो गया (एक और क्रिया)। उन्होंने सोचा, "ठीक है, हम जानते हैं कि शेर कैसे काम करते हैं!"
- वास्तविकता (असली जंगल): वास्तविक दुनिया में, एक शेर का जीवन एक बिखरा हुआ, लंबा किस्सा है। वह सुबह शिकार कर सकता है, दोपहर में किसी प्रतिद्वंद्वी से पीछा छुड़ा सकता है, रात में किसी अलग जगह पर सो सकता है, और पूरे झुंड के साथ बातचीत कर सकता है। उसकी क्रियाएं दिनों और अलग-अलग स्थानों में एक-दूसरे से जुड़ी होती हैं।
यह पेपर तर्क देता है कि पिछले AI परीक्षण चिड़ियाघर की तरह थे। उन्होंने केवल अलग-थलग, छोटी क्रियाओं (जैसे "इस बटन पर क्लिक करें" या "यह वीडियो देखें") पर AI का परीक्षण किया। वे बड़े चित्र को भूल गए: वास्तविक मानवीय व्यवहार एक लंबा, बिखरा हुआ और विभिन्न परिदृश्यों (scenarios) में फैला हुआ किस्सा है।
2. समाधान: OmniBehavior (एक "असली जंगल" का मानचित्र)
शोधकर्ताओं ने OmniBehavior नामक एक नया, विशाल डेटासेट बनाया।
- यह कहाँ से आया? उन्होंने फर्जी डेटा नहीं बनाया। उन्होंने Kuaishou (एक विशाल चीनी वीडियो ऐप, जो TikTok के समान है) से 200 वास्तविक उपयोगकर्ताओं के 3 महीने के वास्तविक, गुमनाम लॉग्स लिए।
- इसमें क्या है? यह एक उपयोगकर्ता के संपूर्ण डिजिटल जीवन को ट्रैक करता है: वीडियो देखना, खरीदारी करना, कस्टमर सर्विस के साथ चैट करना, चीजों को खोजना और लाइव स्ट्रीम देखना।
- पैमाना (Scale): यह 3 महीने लंबी एक फिल्म देखने जैसा है, जहाँ पात्र 5 अलग-अलग "कमरों" (परिदृश्यों) के बीच कूदता है और 22 अलग-अलग प्रकार के काम करता है।
3. बड़ा खुलासा: AI एक "बहुत अधिक विनम्र, औसत व्यक्ति" है
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI (जैसे GPT-5, Claude और अन्य) का इस नए "असली जंगल" के मानचित्र का उपयोग करके परीक्षण किया। परिणाम चौंकाने वाले थे।
AI तीन अजीब तरीकों से एक वास्तविक इंसान की तरह व्यवहार करने में विफल रहा:
क. "हाइपर-एक्टिव" पूर्वाग्रह (एक अति-उत्साही प्रशंसक)
- वास्तविक इंसान: हम कभी-कभी आलसी होते हैं। हम 99 वीडियो को अनदेखा कर देते हैं और केवल एक को पसंद करते हैं। हम अधिकांश विज्ञापनों को नजरअंदाज करते हैं। हम अक्सर ऊब जाते हैं या उदासीन होते हैं।
- AI: AI एक सुपर-फैन की तरह व्यवहार करता है। वह सोचता है कि हर वीडियो अद्भुत है और वह सब कुछ को "लाइक", "शेयर" और "खरीदना" चाहता है। वह बहुत अधिक सक्रिय है। वह "ठीक है, मुझे फर्क नहीं पड़ता" या "उदासीनता" की भावना को सिम्युलेट नहीं कर सकता।
ख. "यूटोपियन" (आदर्शवादी) पूर्वाग्रह (एक विनम्र रोबोट)
- वास्तविक इंसान: जब चीजें गलत होती हैं (जैसे पैकेज देर से आता है), तो असली लोग गुस्सा होते हैं। वे कठोर शब्दों का उपयोग करते हैं, शिकायत करते हैं और निराश होते हैं।
- AI: AI "कस्टमर सर्विस मोड" में फंसा हुआ है। भले ही उपयोगकर्ता गुस्से में हो, AI विनम्रता से जवाब देता है। वह कहता है, "ओह, यह दुर्भाग्यपूर्ण है," बजाय इसके कि "मेरा पैकेज कहाँ है? मैं बहुत गुस्से में हूँ!" यह एक ऐसे रोबोट की तरह है जो बार में लड़ाई के दौरान भी राजनयिक बनने की कोशिश कर रहा हो। यह बहुत ज्यादा सभ्य है।
ग. "औसत व्यक्ति" पूर्वाग्रह (एक क्लोन)
- वास्तविक इंसान: हम सभी अलग हैं। एक व्यक्ति तीखा खाना पसंद करता है; दूसरा नफरत करता है। कोई रात में जागने वाला है; तो कोई सुबह जल्दी उठने वाला।
- AI: AI एक ही समय में सभी होने की कोशिश करता है। वह एक "परफेक्ट औसत" इंसान बनाता है। वह उन विशिष्ट, "लॉन्ग-टेल" (long-tail) विचित्रताओं को भूल जाता है जो आपको, आप बनाते हैं। यदि आप AI को 100 अलग-अलग लोगों का अनुकरण करने के लिए कहते हैं, तो वे सभी एक ही विनम्र, उत्साही मध्यम आयु वर्ग के व्यक्ति की तरह सुनाई देंगे।
4. यह क्यों मायने रखता है?
आप पूछ सकते हैं, "तो क्या हुआ अगर AI बहुत विनम्र है? क्या यह अच्छा नहीं है?"
नहीं। यदि आप एक ऐसा सिस्टम बना रहे हैं जो यह अनुमान लगाए कि कौन ऐप का उपयोग करना छोड़ देगा (churn), या कौन नाराज है और बुरा रिव्यू दे सकता है, तो आपको एक ऐसे AI की आवश्यकता है जो गुस्से, ऊब और उदासीनता को सिम्युलेट कर सके।
- यदि आपका AI हमेशा खुश और सक्रिय रहता है, तो वह सोचेगा कि हर कोई आपके उत्पाद को पसंद करता है।
- वास्तविक दुनिया में, यह एक खतरनाक झूठ है।
निष्कर्ष (Takeaway)
यह पेपर एक चेतावनी है। यह कहता है: "AI का शून्य में परीक्षण करना बंद करें।"
AI को वास्तव में मनुष्यों को समझने के लिए, हमें अलग-थलग क्रियाओं को देखना बंद करना होगा और एक व्यक्ति के जीवन की पूरी, बिखरी हुई और दीर्घकालिक कहानी को देखना शुरू करना होगा। और अभी, हमारा AI एक वास्तविक मानव जुड़वां होने के लिए बहुत विनम्र, बहुत सक्रिय और बहुत "औसत" है। यह एक ऐसा दर्पण है जो केवल हमारे सर्वोत्तम आदर्शों को दर्शाता है, हमारी बिखरी हुई वास्तविकता को नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।