Evaluating Generative Agents with Actions Grounded in Socially Distributed Task Environments using Incognita
यह शोध पत्र इन्कोग्निटा (Incognita) को प्रस्तुत करता है, जो सामाजिक रूप से वितरित कार्य परिवेशों में जनरेटिव एजेंटों के मूल्यांकन के लिए एक ढांचा है जहाँ ज्ञान को भूमिका-पृथक संस्थाओं (role-isolated entities) के बीच विभाजित किया गया है, यह प्रदर्शित करते हुए कि हालांकि वर्तमान मॉडल ज्ञान प्राप्ति (knowledge elicitation) और समयपूर्व समापन में कमी जैसे बेहतर व्यवहार दिखाते हैं, फिर भी उनकी समग्र सफलता दर कम बनी हुई है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र का स्पष्टीकरण दिया गया है।
मुख्य विचार: "गुप्त रेसिपी" की समस्या
कल्पना कीजिए कि आप एक जटिल केक बनाने की कोशिश कर रहे हैं, लेकिन आपके पास पूरी रेसिपी नहीं है। इसके बजाय, सामग्री और निर्देश एक कमरे में पाँच अलग-अलग लोगों के बीच बिखरे हुए हैं:
- व्यक्ति A को ग्राहक का नाम और पता पता है।
- व्यक्ति B को पता है कि स्टॉक में कौन से केक उपलब्ध हैं।
- व्यक्ति C को पता है कि रिफंड (धन वापसी) की प्रक्रिया कैसे पूरी की जाती है।
- व्यक्ति D को ऑर्डर बदलने के नियम पता हैं।
- व्यक्ति E ग्राहक है, जिसे केवल यह पता है कि वे क्या खरीदना चाहते हैं, तकनीकी विवरणों का उन्हें ज्ञान नहीं है।
यदि आप (AI एजेंट) केवल व्यक्ति A से पता पूछते हैं, तो आप केक नहीं बना पाएंगे। आपको केक बनाने के लिए पहले व्यक्ति B से स्टॉक चेक करना होगा, फिर व्यक्ति C से भुगतान के बारे में बात करनी होगी, और इसी तरह आगे बढ़ना होगा। यदि आप रेसिपी का अनुमान लगाते हैं या बातचीत बहुत जल्दी रोक देते हैं, तो केक बनाने का प्रयास विफल हो जाएगा।
यह शोध पत्र AI एजेंटों को टेस्ट करने का एक नया तरीका पेश करता है जिसे Incognita कहा जाता है। यह AI को इस "बिखरे हुए ज्ञान" के खेल को खेलने के लिए मजबूर करता है ताकि यह देखा जा सके कि क्या वे वास्तव में एक सामाजिक दुनिया में समस्याओं को हल कर सकते हैं, न कि केवल निर्देशों की एक एकल सूची का पालन कर सकते हैं।
सेटअप: एक नया गेम बोर्ड
शोधकर्ताओं ने एक मौजूदा टेस्ट (जिसे tau-bench कहा जाता है, जो AI के लिए एक मानक ड्राइविंग टेस्ट की तरह है) को लिया और उसे टुकड़ों में बाँट दिया। उन्होंने एक एकल "सर्वज्ञ" (सब कुछ जानने वाले) सिस्टम को एक सामाजिक रूप से वितरित कार्य वातावरण (Socially Distributed Task Environment) में बदल दिया।
इसे इस प्रकार समझें:
- पुराना तरीका: AI एक कंट्रोल रूम में बैठा है जहाँ एक विशाल मानचित्र और वेयरहाउस (गोदाम) तक सीधी फोन लाइन है। वह सब कुछ देख सकता है और सब कुछ तुरंत कर सकता है।
- Incognita का तरीका: AI एक व्यस्त कार्यालय में है। वह एक समय में केवल विशिष्ट सहकर्मियों (विशेषज्ञ संस्थाओं) या ग्राहक को एक टेक्स्ट मैसेज भेज सकता है। वह वेयरहाउस या ग्राहक के निजी नोट्स को तब तक नहीं देख सकता जब तक कि वह सही व्यक्ति से न पूछे।
यह खेल कैसे काम करता है
AI इस वातावरण में तीन अलग-अलग भूमिकाएँ निभाता है:
एक्सप्लोरर (सवाल पूछना):
AI को यह पता लगाना होता है कि कौन क्या जानता है। वह "ग्राहक" (जिसके पास लक्ष्य है) और "विशेषज्ञों" (जिनके पास डेटा है) से सवाल पूछता है। यह एक जासूस की तरह है जो केस बनाने के लिए गवाहों से पूछताछ करता है। AI सीखता है कि वह केवल अनुमान नहीं लगा सकता; उसे सुराग इकट्ठा करने होंगे।डूअर (कार्य करना):
एक बार जब AI के पास पर्याप्त सुराग आ जाते हैं, तो उसे कार्रवाई करनी होती है। लेकिन वह खुद कुछ भी "कर" नहीं सकता। उसे किसी विशेषज्ञ से एक विशिष्ट कार्य करने के लिए कहना होता है (जैसे "शिपिंग एड्रेस बदलें")। सिस्टम यह जाँचता है कि क्या अनुरोध तर्कसंगत है। यदि AI उस ऑर्डर का पता बदलने की कोशिश करता है जो अभी तक शिप नहीं हुआ है, तो सिस्टम कहता है "नहीं।" यह सुनिश्चित करता है कि AI के कार्य वास्तविकता पर आधारित (grounded) हों, न कि केवल कल्पना मात्र।जज (यह तय करना कि कब रुकना है):
सबसे कठिन हिस्सा यह जानना है कि काम कब पूरा हुआ। AI को यह तय करना होता है, "ठीक है, मेरे पास सारी जानकारी है, और मैंने काम कर दिया है। मैं समाप्त करता हूँ।" यदि AI बहुत जल्दी रुक जाता है (असमय समापन), तो वह विफल हो जाता है। यदि वह अनंत काल तक सवाल पूछता रहता है, तो भी वह विफल हो जाता है।
उन्होंने क्या पाया
शोधकर्ताओं ने 18 विभिन्न कार्यों पर एक AI के तीन संस्करणों (मान लीजिए कि हम उन्हें "जूनियर," "मिड-लेवल," और "सीनियर" एजेंट कहते हैं) का परीक्षण किया।
- जूनियर एजेंट: यह बहुत अधीर था। इसने बिना किसी से कुछ पूछे तुरंत कार्य पूरा करने की कोशिश की। यह 100% बार विफल हुआ क्योंकि इसे न तो नियम पता थे और न ही ग्राहक की ज़रूरतें।
- मिड-लेवल एजेंट: इसने सवाल पूछना और अधिक लोगों से बात करना शुरू किया। इसने कुछ कार्य सही किए (लग लगभग 9% सफलता), लेकिन यह अभी भी कभी-कभी बहुत जल्दी हार मान लेता था।
- सीनियर एजेंट: यह अन्वेषण (exploring) करने में बहुत बेहतर था। इसने अधिक विशेषज्ञों से बात की, गहरे सवाल पूछे और अधिक कार्य करने की कोशिश की। यह लगभग 17% बार सफल रहा।
मुख्य निष्कर्ष:
यहाँ तक कि "सीनियर" एजेंट भी पूर्ण नहीं था। वह सफल होने की तुलना में अधिक बार विफल हुआ। हालाँकि, शोध पत्र दिखाता है कि प्रगति केवल अंतिम स्कोर में नहीं, बल्कि व्यवहार में दिखाई देती है। स्मार्ट एजेंटों ने न केवल सही उत्तर अधिक बार दिए, बल्कि उन्होंने अपने काम करने के तरीके को भी बदला:
- उन्होंने छिपी हुई जानकारी के लिए अधिक अनुरोध किए।
- उन्होंने अधिक अलग-अलग लोगों से संपर्क किया।
- उन्होंने अधिक वास्तविक कार्य (जैसे डेटाबेस अपडेट करना) करने की कोशिश की।
- उन्होंने अनुमान लगाना बंद कर दिया और यह कहने से पहले कि "मैं समाप्त करता हूँ," पर्याप्त सबूतों का इंतजार किया।
यह क्यों महत्वपूर्ण है
यह शोध पत्र तर्क देता है कि हम केवल यह देखकर कि क्या AI ने कार्य पूरा किया, यह नहीं जान सकते कि वह "स्मार्ट" है या नहीं। हमें यह देखना चाहिए कि वह दुनिया के साथ कैसे संवाद करता है।
वास्तविक दुनिया में, ज्ञान बिखरा हुआ होता है। कोई भी अकेला व्यक्ति (या AI) सब कुछ नहीं जानता। वास्तव में प्रभावी होने के लिए, एक AI को यह जानना आवश्यक है:
- कब पूछना है (अन्वेषण/Exploration)।
- किससे पूछना है (स्रोत चयन/Source selection)।
- कब कार्य करना है (आधारित निष्पादन/Grounded execution)।
- कब रुकना है (पूर्णता का विश्वास/Belief in completion)।
Incognita एक ऐसा उपकरण है जो हमें इन चार चीजों को वास्तविक समय में होते हुए देखने की अनुमति देता है, जिससे यह स्पष्ट होता है कि AI एजेंट कहाँ फंस रहे हैं और वे बेहतर सहयोगी बनने के लिए कैसे सीख रहे हैं।
एक वाक्य में सारांश
यह शोध पत्र एक नया परीक्षण मैदान बनाता है जहाँ AI एजेंटों को बिखरी हुई जानकारी एकत्र करने के लिए विभिन्न "विशेषज्ञों" से बात करके समस्याओं को हल करना होता है, जो यह सिद्ध करता है कि स्मार्ट एजेंट बेहतर प्रश्न पूछना और कार्य करने के सही क्षण का इंतजार करना सीखते हैं, भले ही वे अभी भी अंतिम परिणाम को पूरी तरह से सटीक न कर पाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।