← नवीनतम पेपर
💬 NLP

PEARL: Self-Evolving Assistant for Time Management with Reinforcement Learning

यह शोधपत्र PEARL प्रस्तुत करता है, जो एक बाहरी प्राथमिकता स्मृति (external preference memory) से सुसज्जित एक सुदृढीकरण लर्निंग (reinforcement learning) ढांचा है, जो नए प्रस्तावित CalConflictBench पर प्रदर्शित होने के अनुसार, उपयोगकर्ता की प्राथमिकताओं को गतिशील रूप से सीखकर और उनके अनुकूल होकर लंबी अवधि के कैलेंडर संघर्षों को हल करने में लार्ज लैंग्वेज मॉडल्स के प्रदर्शन में महत्वपूर्ण सुधार करता है।

मूल लेखक: Bingxuan Li, Jeonghwan Kim, Cheng Qian, Xiusi Chen, Eitan Anzenberg, Niran Kundapur, Heng Ji

प्रकाशित 2026-04-09
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Bingxuan Li, Jeonghwan Kim, Cheng Qian, Xiusi Chen, Eitan Anzenberg, Niran Kundapur, Heng Ji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त CEO या एक रिसर्च लैब के निदेशक हैं। आपका कैलेंडर एक अराजक युद्धक्षेत्र है। हर दिन, आपको आपस में टकराते हुए निमंत्रणों का सामना करना पड़ता है: एक महत्वपूर्ण बोर्ड मीटिंग एक टीम ब्रेनस्टॉर्मिंग सत्र से टकराती है, जो एक डॉक्टर के अपॉइंटमेंट के साथ भी ओवरलैप होती है।

आपको पलक झपकते ही निर्णय लेना होता है: मीटिंग में जाऊं? डॉक्टर का अपॉइंटमेंट रीशेड्यूल करूं? या टीम को मना कर दूं?

इसे मैन्युअल रूप से करना थका देने वाला है। यह आपके सप्ताह के घंटों को बर्बाद कर देता है। आप इसे करने के लिए एक मानव सहायक (human assistant) को भी रख सकते हैं, लेकिन वे भी अभिभूत हो जाते हैं। उन्हें आपकी गहरी, व्यक्तिगत पसंद का पता नहीं होता (जैसे "मुझे बैक-टू-बैक मीटिंग्स पसंद नहीं हैं" या "मैं अपने साथियों की तुलना में अपने बॉस को हमेशा प्राथमिकता देता हूँ") जब तक कि आप उन्हें हर बार न बताएं। महीनों के बाद, वे गलत अनुमान लगाने लगते हैं, और आप महत्वपूर्ण चीजें मिस कर देते हैं।

यह शोध एक बड़ा सवाल पूछता है: क्या हम एक AI (एक लार्ज लैंग्वेज मॉडल) को एक परफेक्ट, सुपर-स्मार्ट असिस्टेंट बनने के लिए सिखा सकते हैं जो ठीक वैसे ही सीख सके जैसे आप ये निर्णय लेते हैं और समय के साथ इसमें बेहतर होता जाए?

यहाँ उनके समाधान का विवरण दिया गया है, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।

1. समस्या: "भुलक्कड़" असिस्टेंट (The "Amnetic" Assistant)

शोधकर्ताओं ने मौजूदा AI मॉडल्स का परीक्षण करने के लिए पहले देखा कि क्या वे इस काम को संभाल सकते हैं। उन्होंने एक टेस्ट बनाया जिसे CALCONFLICTBENCH कहा गया।

इस टेस्ट को एक वीडियो गेम की तरह समझें जहाँ AI को पूरे एक साल का कैलेंडर मैनेज करना होता है। हर हफ्ते, AI को एक नया शेड्यूलिंग संघर्ष (conflict) झेलना पड़ता है।

  • परिणाम: AI बुरी तरह विफल रहा। यह एक ऐसे छात्र की तरह था जो फाइनल परीक्षा दे रहा है लेकिन वह पहले हफ्ते में सीखी गई सब कुछ भूल गया है।
  • क्यों? AI "भुलक्कड़" (amnesiac) था। वह वर्तमान मीटिंग के विवरण पढ़ सकता था, लेकिन वह यह याद नहीं रख सका कि उसने पिछले महीने एक विशिष्ट मीटिंग को क्यों चुना था। वह पैटर्न नहीं सीख सका जैसे कि, "ओह, जब जेम्स मीटिंग में होता है, तो मुझे उपस्थित रहना चाहिए," या "मैं दोपहर 3 बजे की मीटिंग्स को तब तक नहीं छोड़ता जब तक कि वह आपात स्थिति न हो।"
  • आंकड़ा: सबसे अच्छे AI मॉडल्स लगभग 35% समय गलतियाँ करते थे। यह एक सिक्के को उछालने और सही उत्तर की उम्मीद करने जैसा है।

2. समाधान: PEARL (द "स्मार्ट नोटबुक" असिस्टेंट)

इसे ठीक करने के लिए, टीम ने PEARL बनाया। PEARL का अर्थ है Preference Evolving Agent with Reinforcement Learning।

PEARL को केवल एक रोबोट नहीं, बल्कि दो सुपरपावर्स वाले असिस्टेंट के रूप में सोचें:

A. "स्ट्रेटजी हब" (बाहरी नोटबुक)

स्टैंडर्ड AI सब कुछ याद रखने की कोशिश करता है अपने "दिमाग" (context window) में सब कुछ ठूसकर। लेकिन जब सूची लंबी हो जाती है, तो दिमाग धुंधला हो जाता है और विवरण भूल जाता है।

PEARL एक बाहरी नोटबुक का उपयोग करता है जिसे Strategy Hub कहा जाता है।

  • यह कैसे काम करता है: हर बार जब AI कोई निर्णय लेता है, तो वह केवल "हाँ" या "नहीं" नहीं कहता। वह अपनी नोटबुक में एक नोट लिखता है: "आह, मैं समझ गया। यूजर 'अर्जेंट डेडलाइन्स' को 'इंटरनल सिंक' से ऊपर प्राथमिकता देता है।"
  • जादू: नया निर्णय लेने से पहले, AI इस नोटबुक को खोलता है, पिछले हफ्ते लिखे गए नोट्स पढ़ता है, और उन्हें अपडेट करता है यदि यूजर की आदतें बदल गई हैं। यह एक मानव सहायक की तरह है जो एक "यूजर प्रेफरेंस" बाइंडर रखता है और सटीक रहने के लिए उसे लगातार फिर से लिखता रहता है।

B. रिइन्फोर्समेंट लर्निंग (द "कोच")

आमतौर पर, AI एक किताब को एक बार पढ़कर सीखता है (Supervised Learning)। लेकिन PEARL गेम खेलकर और कोचिंग पाकर सीखता है।

  • कोच: सिस्टम एक सख्त कोच की तरह काम करता है। हर निर्णय राउंड के बाद, कोच कहता है:
    • "सही मीटिंग चुनने के लिए शाबाश!" (रिवॉर्ड/पुरस्कार)
    • "गलत काम किया! आपने गलत मीटिंग चुनी क्योंकि आप भूल गए कि यूजर मॉर्निंग मीटिंग्स से नफरत करता है।" (पेनल्टी/दंड)
  • करिकुलम लर्निंग (Curriculum Learning): कोच स्मार्ट है। शुरुआत में, कोच AI को यह सीखने में मदद करने पर ध्यान केंद्रित करता है कि यूजर को क्या पसंद है। बाद में, कोच उन पसंद-नापसंद को परफेक्टली लागू करने पर ध्यान केंद्रित करता है। यह एक बच्चे को ड्राइविंग सिखाने जैसा है: पहले आप उन्हें नियम सिखाते हैं; बाद में आप उन्हें ट्रैफिक को हैंडल करना सिखाते हैं।

3. परिणाम: "अनजान" से "विशेषज्ञ" तक

जब उन्होंने उसी कठिन कैलेंडर गेम पर PEARL का परीक्षण किया:

  • सुधार: PEARL केवल थोड़ा बेहतर नहीं हुआ; यह अगले सबसे अच्छे AI से 55% बेहतर था।
  • लर्निंग कर्व: जबकि अन्य AI बार-बार एक ही गलती करते रहे, PEARL ने कुछ गलतियों के साथ शुरुआत की लेकिन जल्दी ही यूजर की शैली को सीख लिया। "वर्ष" के अंत तक, यह लगभग सटीक निर्णय ले रहा था।
  • त्रुटि में कमी: इसने गलती की दर को 76% कम कर दिया।

बड़ी तस्वीर की उपमा (The Big Picture Analogy)

कल्पना कीजिए कि आप एक नए इंटर्न को अपना शेड्यूल मैनेज करना सिखा रहे हैं।

  • पुराना AI: आप इंटर्न को नियमों की एक सूची देते हैं। वे उनका पालन करने की कोशिश करते हैं, लेकिन जब कोई नई, अजीब स्थिति आती है, तो वे घबरा जाते हैं और अनुमान लगाने लगते हैं। उन्हें याद नहीं रहता कि पिछली बार आपने क्या किया था।
  • PEARL: आप इंटर्न को एक नोटबुक और एक मेंटर देते हैं।
    1. हर बार जब वे कोई चुनाव करते हैं, तो वे नोटबुक में लिखते हैं कि उन्होंने वह चुनाव क्यों किया।
    2. मेंटर (रिवॉर्ड सिस्टम) उनके काम की जाँच करता है। यदि उन्होंने गलत अनुमान लगाया, तो मेंटर कहता है, "नहीं, याद रखो, तुम हमेशा मंगलवार की मीटिंग छोड़ देते हो।"
    3. इंटर्न नोटबुक को अपडेट करता है।
    4. अगले हफ्ते, वे नोटबुक खोलते हैं, पैटर्न देखते हैं, और सही चुनाव स्वचालित रूप से करते हैं।

यह क्यों मायने रखता है

यह केवल कैलेंडरों के बारे में नहीं है। यह साबित करता है कि AI लंबे समय की आदतों और व्यक्तिगत प्राथमिकताओं को सीख सकता है यदि हम उसे सही उपकरण (मेमोरी नोटबुक) और सही प्रशिक्षण विधि (समय के साथ गलतियों से सीखना) दें।

सिर्फ एक "चैटबॉट" होने के बजाय जो सवालों के जवाब देता है, PEARL दिखाता है कि हम ऐसे एजेंट्स बना सकते हैं जो विकसित होते हैं, अनुकूल होते हैं, और महीनों और वर्षों में वास्तव में आपको समझते हैं, जिससे हमें अपना समय मैनेज करने के सिरदर्द से मुक्ति मिलती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →