HorizonBench: Long-Horizon Personalization with Evolving Preferences
यह शोधपत्र HorizonBench प्रस्तुत करता है, जो विकसित होती प्राथमिकताओं के लिए ग्राउंड-ट्रुथ प्रोवेनेंस (ground-truth provenance) के साथ 6-महीने की सिम्युलेटेड उपयोगकर्ता बातचीत वाला एक नवीन बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान फ्रंटियर मॉडल मुख्य रूप से समय के साथ उपयोगकर्ता अवस्थाओं (user states) को ट्रैक करने और अपडेट करने में विफलता के कारण लॉन्ग-होरिज़न पर्सनलाइजेशन (long-horizon personalization) के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ HORIZONBENCH पेपर का सरल भाषा में अनुवाद दिया गया है, जिसमें कुछ रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।
मुख्य विचार: "भुलक्कड़ दोस्त" की समस्या
कल्पना कीजिए कि आपका एक सबसे अच्छा दोस्त है जो आपको सालों से जानता है। शुरुआत में, आप दोनों को हेवी मेटल संगीत सुनना बहुत पसंद था। आप इसके बारें में लगातार बातें करते थे।
फिर, जीवन बदलता है। आपको एक नई नौकरी मिलती है, आप एक परिवार शुरू करते हैं, और आपका ब्रेकअप होता है। धीरे-धीरे, आपकी संगीत की पसंद बदल जाती है। आप जैज़ (jazz) और शांत लोक संगीत (folk songs) पसंद करने लगते हैं। आपने कभी स्पष्ट रूप से यह नहीं कहा, "मुझे अब मेटल पसंद नहीं है; मुझे जैज़ पसंद है।" बस आप जैज़ के बारे में अधिक बात करने लगे, और जब मेटल की बात आती है, तो आप अलग तरह से प्रतिक्रिया देते हैं।
अब, कल्पना कीजिए कि आप एक नया AI असिस्टेंट से गाना चुनने में मदद मांगते हैं। यदि वह AI केवल वही याद रखता है जो आपने तीन साल पहले कहा था ("मुझे मेटल पसंद है!"), तो वह बार-बार हेवी मेटल ही रिकमेंड करेगा। उसने पुराने तथ्य को सही ढंग से प्राप्त (retrieve) तो किया, लेकिन वह इस बात को समझने में विफल रहा कि आज आप कौन हैं।
यह पेपर इस समस्या को "लॉन्ग-होराइजन पर्सनलाइजेशन" (Long-Horizon Personalization) कहता है। यह एक AI की वह क्षमता है जिसमें वह आपके इतिहास को याद रखता है और यह भी समझ पाता है कि समय के साथ आप बदल गए हैं।
समस्या: हमारे पास इसके लिए कोई टेस्ट नहीं था
लंबे समय तक, हम वास्तव में यह टेस्ट नहीं कर सके कि क्या AI इसमें कुशल है क्योंकि:
- वास्तविक डेटा अव्यवस्थित है: वास्तविक जीवन में, हमें ठीक से पता नहीं होता कि किसी व्यक्ति ने अपनी राय कब या क्यों बदली। क्या उन्होंने नौकरी के कारण बदलाव किया? ब्रेकअप के कारण? या वे बस अस्थिर थे? हम निश्चित नहीं हो सकते।
- पुराने टेस्ट स्थिर (static) थे: पिछले टेस्ट AI से पूछते थे, "आपका पसंदीदा रंग क्या है?" और देखते थे कि क्या उसे याद है। लेकिन वे यह टेस्ट नहीं कर पाते थे कि क्या AI रंग के "नीले" से "हरे" में बदलने को संभाल सकता है क्योंकि यूजर को नई नौकरी मिली है।
शोधकर्ताओं ने महसूस किया कि इसे ठीक करने के लिए, उन्हें यह जानने का एक तरीका चाहिए था कि यूजर ने अपनी राय कब बदली, उसका "सच" क्या है।
समाधान: एक "टाइम-ट्रैवल सिम्युलेटर"
टीम ने एक विशेष डेटा जनरेटर (एक रोबोट जो नकली बातचीत बनाता है) बनाया। इस जनरेटर को एक वीडियो गेम डायरेक्टर की तरह समझें जो पूरी कहानी को नियंत्रित करता है।
- मेंटल स्टेट ग्राफ (The Mental State Graph): केवल रैंडम चैट लॉग लिखने के बजाय, जनरेटर यूजर का एक "मानसिक मानचित्र" (Mental Map) रखता है। यह उनकी पर्सनैलिटी, उनके दोस्तों और उनकी पसंद को ट्रैक करता है।
- जीवन की घटनाएँ (The Life Events): डायरेक्टर "लाइफ इवेंट्स" (जैसे प्रमोशन मिलना, नए शहर में जाना, या बच्चा होना) पेश करता है।
- रिपल इफेक्ट (The Ripple Effect): जब कोई लाइफ इवेंट होता है, तो जनरेटर स्वचालित रूप से यूजर के "मानसिक मानचित्र" को अपडेट करता है। उदाहरण के लिए, यदि यूजर एक CEO बन जाता है, तो मैप अपडेट होता है: बातचीत की शैली "कैजुअल चैट" से बदलकर "डायरेक्ट और अर्जेंट" हो जाती है।
- बातचीत: इसके बाद जनरेटर 6 महीने लंबी बातचीत (लगभग 4,300 टर्न!) लिखता है जहाँ यूजर अपने कार्यों और शब्दों के माध्यम से ये बदलाव दिखाता है, लेकिन कभी भी स्पष्ट रूप से यह नहीं कहता कि "मैं बदल गया हूँ।"
यह एक आदर्श टेस्ट वातावरण बनाता है जहाँ शोधकर्ता जानते हैं कि यूजर क्यों बदला, ताकि वे देख सकें कि क्या AI ने इसे समझ लिया है।
बेंचमार्क: HORIZONBENCH
उन्होंने इस सिम्युलेटर को HORIZONBENCH नामक एक टेस्ट में बदल दिया।
- खिलाड़ी: उन्होंने 360 अलग-अलग लोगों का सिम्युलेशन किया।
- इतिहास: प्रत्येक व्यक्ति का एक AI के साथ 6 महीने का बातचीत का इतिहास है, जो लगभग 163,000 शब्दों के बराबर है (यह एक मोटी उपन्यास पढ़ने जैसा है सिर्फ एक सवाल का जवाब देने के लिए!)।
- टेस्ट: AI को पूरा इतिहास दिया जाता है और एक सवाल पूछा जाता है। उसे 5 विकल्पों में से सबसे अच्छा विकल्प चुनना होता है।
- विकल्प A: सही उत्तर जो इस पर आधारित है कि यूजर अब कैसा है।
- विकल्प B (द ट्रैप): वह उत्तर जो इस पर आधारित है कि यूजर 6 महीने पहले कैसा था (इसे "प्री-इवोल्यूशन डिस्ट्रैक्टर" कहा जाता है)।
चौंकाने वाले परिणाम: AI अतीत में अटका हुआ है
शोधकर्ताओं ने दुनिया के 25 सबसे स्मार्ट AI मॉडल्स का परीक्षण किया (OpenAI, Google और Anthropic के मॉडल्स सहित)।
परिणाम विनम्र करने वाले थे:
- सबसे अच्छा मॉडल केवल 52.8% सही था।
- अधिकांश मॉडल्स का स्कोर 20% से नीचे था (जो रैंडम गेसिंग से भी खराब है!)।
- "एंकरिंग" (Anchoring) प्रभाव: जब AI गलत होता था, तो वह केवल रैंडम अनुमान नहीं लगाता था। वह लगभग हमेशा पुराना उत्तर (जो 6 महीने पहले का था) चुनता था।
उपमा (Metaphor):
कल्पना कीजिए कि आप एक कार चला रहे हैं जिसमें GPS है। आप GPS को बताते हैं, "मैं समुद्र तट (beach) जा रहा हूँ।" फिर, आप कार को घुमाते हैं और कहते हैं, "दरअसल, मैं पहाड़ों पर जा रहा हूँ।"
यदि GPS स्मार्ट है, तो वह रूट को फिर से कैलकुलेट करेगा।
यदि GPS उस AI की तरह है जिसका इस पेपर में जिक्र है, तो वह आपके नए निर्देश को अनदेखा कर देगा, समुद्र तट की ओर गाड़ी चलाता रहेगा, और कहेगा, "मैं अभी भी आपके मूल निर्देश का पालन कर रहा हूँ!"
AI पुराने मेमोरी को पूरी तरह से रिट्रीव (retrieve) कर रहा है, लेकिन वह अपने विश्वास को अपडेट (update) करने में विफल हो रहा है। वह अतीत में अटका हुआ है।
यह क्यों मायने रखता है?
यह पेपर साबित करता है कि समस्या केवल "मेमोरी" (बहुत सारा टेक्स्ट याद रखना) की नहीं है। यह स्टेट ट्रैकिंग (State Tracking) के बारे में है (यह समझना कि लोग बदलते हैं)।
भले ही आप AI को एक बहुत छोटा संवाद (सिर्फ कुछ दिनों का) दें, फिर भी वह अपने विश्वास को अपडेट करने में संघर्ष करता है। इसका मतलब है कि AI केवल इसलिए नहीं "भूल" रहा है क्योंकि टेक्स्ट बहुत लंबा है; वह मौलिक रूप से यह नहीं समझता कि व्यक्ति की प्राथमिकताएं तरल (fluid) होती हैं और जीवन की घटनाओं के आधार पर बदलती हैं।
निष्कर्ष (The Takeaway)
ऐसे AI साथियों को बनाने के लिए जो वास्तव में मानवीय और सहायक महसूस हों, हमें केवल उन्हें अधिक तथ्य याद रखने के लिए नहीं बनाना होगा। हमें उन्हें एक व्यक्ति के जीवन की कहानी को ट्रैक करना सिखाना होगा। उन्हें यह समझने की आवश्यकता है कि जनवरी में शर्मीला रहने वाला यूजर जून में आत्मविश्वास से भरा हो सकता है क्योंकि उसे प्रमोशन मिला है, और AI को उसके अनुसार अपना व्यवहार बदलना होगा।
HORIZONBENCH पहला पैमाना (ruler) है जिसके पास हम यह मापने के लिए है कि क्या AI आखिरकार हमारे बदलते जीवन के साथ तालमेल बिठाना सीख रहा है। फिलहाल, AI पीछे चल रहा है, हमारे बीते हुए कल के संस्करण में अटका हुआ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।