← नवीनतम पेपर
💻 computer science

Efficient Agent Evaluation via Diversity-Guided User Simulation

यह शोध पत्र DIVERT को प्रस्तुत करता है, जो एक स्नैपशॉट-आधारित, कवरेज-गाइडेड यूजर सिमुलेशन फ्रेमवर्क है जो साझा कन्वर्सेशन प्रीफिक्स को पुन: उपयोग करने और महत्वपूर्ण निर्णय बिंदुओं पर विविध उपयोगकर्ता प्रतिक्रियाओं में शाखा बनाने के माध्यम से लार्ज लैंग्वेज मॉडल एजेंटों की दक्षता और विफलता का पता लगाने की क्षमता में सुधार करता है, जिससे पारंपरिक रैखिक रोलआउट मूल्यांकन की कम्प्यूटेशनल रेडंडेंसी और सीमित कवरेज पर विजय प्राप्त होती है।

मूल लेखक: Itay Nakash, George Kour, Ateret Anaby-Tavor

प्रकाशित 2026-04-24
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Itay Nakash, George Kour, Ateret Anaby-Tavor

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "Efficient Agent Evaluation via Diversity-Guided User Simulation" (DIVERT) का सरल भाषा में अनुवाद दिया गया है:

बड़ी समस्या: टेस्टिंग का "ग्राउंडहंड डे" (एक ही चीज़ बार-बार दोहराना)

कल्पना कीजिए कि आप एक नई सेल्फ-ड्राइविंग कार का परीक्षण कर रहे हैं। आप देखना चाहते हैं कि क्या यह सड़क की हर संभव स्थिति को संभाल सकती है।

वर्तमान में, AI कस्टमर सर्विस एजेंटों (जैसे एयरलाइंस या बैंकों के चैटबॉट्स) को टेस्ट करने का तरीका ऐसा है:
आप कार से कहते हैं, "दुकान तक जाओ।" कार जाती है। आप कहते हैं, "बाएँ मुड़ो।" वह मुड़ती है। आप कहते, "रुको।" वह रुक जाती है।
फिर, आप कार को वापस शुरुआती लाइन पर ले आते हैं और फिर से कहते, "दुकान तक जाओ।" वह बिल्कुल उसी तरह जाती है। आप फिर से कहते, "बाएँ मुड़ो।"

समस्या:

  1. यह समय की बर्बादी है: कार अपना 90% समय उसी खाली सड़क (जिसे "प्रिफिक्स" कहा जाता है) पर बिता देती है, इससे पहले कि वह कभी दिलचस्प मोड़ (जंक्शन) तक पहुँच सके।
  2. यह दुर्घटनाओं को मिस कर देता है: क्योंकि आप हमेशा शुरुआत से ही शुरू करते हैं, इसलिए आप शायद ही कभी देख पाते हैं कि क्या होता है यदि कार को कुछ देर चलने के बाद अचानक किसी अजीब गड्ढे का सामना करना पड़े। आप केवल आसान शुरुआत का परीक्षण करते रहते हैं, लेकिन आप कठिन मध्य भाग को मिस कर देते हैं।

लेखक इसे "Linear Monte Carlo Rollout" कहते हैं। सरल शब्दों में: शुरुआत को बार-बार एक ही तरह से दोहराना, इस उम्मीद में कि शायद अंत में कुछ अलग हो जाए।

समाधान: DIVERT ("सेव पॉइंट" रणनीति)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे DIVERT कहा जाता है। इसे एक वीडियो गेम की तरह समझें जिसमें "सेव पॉइंट्स" (Save Points) होते हैं।

हर बार अलग रास्ता आज़माने के लिए पूरे गेम को फिर से शुरू करने के बजाय, आप:

  1. गेम को एक महत्वपूर्ण क्षण (एक "जंक्शन") तक खेलते हैं।
  2. गेम की स्थिति को सेव करते हैं (स्क्रीन का स्नैपशॉट, इन्वेंट्री और लोकेशन)।
  3. उस सेव पॉइंट को लोड करते हैं।
  4. उस क्षण पर कुछ अलग करते हैं। शायद बाएँ मुड़ने के बजाय, आप दाएँ मुड़ते हैं। या शायद आप NPC (नॉन-प्लेयर कैरेक्टर) से अलग तरह से बात करते हैं।

वास्तविक दुनिया में DIVERT कैसे काम करता है:

  • स्नैपशॉट (Snapshot): सिस्टम बातचीत को ठीक उसी समय सेव करता है जब AI और यूजर बातचीत के बीच में होते हैं।
  • ब्रांच (Branch): पूरी चैट को फिर से शुरू करने के बजाय, सिस्टम उस बीच वाले पॉइंट पर वापस कूद जाता है।
  • ट्विस्ट (Twist): यह एक नया यूजर रिस्पॉन्स जेनरेट करता है जो थोड़ा अलग है (लेकिन फिर भी तर्कसंगत है) ताकि यह देखा जा सके कि AI कैसे प्रतिक्रिया देता है।
  • परिणाम: आप हर बार बातचीत के पहले 10 मिनट को फिर से टाइप किए बिना कई अलग-अलग "क्या होगा अगर" (what if) वाले परिदृश्यों को एक्सप्लोर कर सकते हैं।

रचनात्मक उपमा: जासूस और संदिग्ध

कल्पना कीजिए कि आप एक झूठ पकड़ने वाले जासूस हैं जो एक संदिग्ध (AI एजेंट) को पकड़ने की कोशिश कर रहे हैं।

पुराना तरीका (Linear Rollout):
आप संदिग्ध का इंटरव्यू लेते हैं। आप पूछते हैं, "आप रात 8 बजे कहाँ थे?" वह कहता है, "पार्क में।" आप पूछते हैं, "आपने क्या किया?" वह कहता है, "बत्तखों को दाना खिलाया।"

  • परिणाम: आप कहानी लिख लेते हैं।
  • अगली कोशिश: आप सब कुछ रीसेट कर देते हैं। आप पूछते हैं, "आप रात 8 बजे कहाँ थे?" वह कहता है, "पार्क में।" आप पूछते हैं, "आपने क्या किया?" वह कहता है, "बत्तखों को दाना खिलाया।"
  • समस्या: आप अपना समय एक ही आसान सवाल पूछने में बर्बाद कर रहे हैं। आप कभी उस हिस्से तक नहीं पहुँच पाते जहाँ आप पूछते हैं, "क्या आपने पीड़ित को देखा था?" क्योंकि आप "पार्क" वाले सवाल पर ही अटके रह जाते हैं।

DIVERT वाला तरीका:
आप संदिग्ध का इंटरव्यू लेते हैं। आप उस मोड़ तक पहुँचते हैं जहाँ वह कहता है, "मैंने बत्तखों को दाना खिलाया।"

  • सेव पॉइंट: आप यहाँ टेप को पॉज़ (रोक) देते हैं।
  • ब्रांच: आप उस क्षण पर वापस जाते हैं और एक अलग सवाल पूछते हैं: "रुको, क्या तुमने पीड़ित को देखने से पहले बत्तखों को दाना खिलाया था या बाद में?"
  • परिणाम: संदिग्ध घबरा सकता है और गलती कर सकता है! आपने एक ऐसा झूठ पकड़ लिया जो आपको कभी नहीं मिलता अगर आप केवल "पार्क" वाले सवाल पर ही टिके रहते।

यह क्यों महत्वपूर्ण है (The "Aha!" Moments)

1. पैसे बचाना (The Token Tax)
AI मॉडल द्वारा प्रोसेस किए गए "शब्द" (या टोकन) के आधार पर शुल्क लिया जाता है।

  • पुराना तरीका: आप बातचीत के पहले 50 शब्दों को 100 बार जेनरेट करने के लिए भुगतान करते हैं। यह 5,000 शब्दों की बर्बादी है।
  • DIVERT: आप बातचीत के पहले 50 शब्दों के लिए केवल एक बार भुगतान करते हैं। फिर, आप केवल नए और दिलचस्प हिस्सों के लिए भुगतान करते हैं।
  • उपमा: यह मूवी टिकट खरीदने जैसा है। पुराने तरीके में आप 100 बार ओपनिंग क्रेडिट्स देखते हैं। DIVERT आपको एक्शन सीन पर जाने और 10 अलग एंडिंग देखने की अनुमति देता है।

2. "छिपे हुए बग्स" को खोजना
AI एजेंट अक्सर शुरुआत में ठीक से काम करते हैं लेकिन बातचीत के दौरान चीजें अजीब होने पर विफल हो जाते हैं।

  • पुराना तरीका: आप अजीब चीजों को शायद ही कभी देख पाते हैं क्योंकि आप बार-बार शुरुआत से शुरू करते हैं।
  • DIVERT: महत्वपूर्ण क्षणों पर ब्रांचिंग करके, यह AI को दुर्लभ और कठिन स्थितियों का सामना करने के लिए मजबूर करता है। आप "क्रैश" को तेज़ी से और सस्ते में ढूंढ लेते हैं।

3. "विविधता" (Diversity) का कारक
सिस्टम केवल रैंडम सवाल नहीं पूछता। यह एक स्मार्ट एल्गोरिदम का उपयोग करता है ताकि सवाल इतने अलग हों कि वे मायने रखें, लेकिन इतने समान भी हों कि विषय से न भटकें। यह एक वकील द्वारा गवाह से जिरह करने जैसा है: "आपने कहा कि आप पार्क में थे, लेकिन क्या होगा अगर आप वास्तव में उत्तर वाले प्रवेश द्वार पर थे?"

निष्कर्ष

यह पेपर DIVERT पेश करता है, जो एक स्मार्ट टेस्टिंग फ्रेमवर्क है जो बातचीत के उबाऊ हिस्सों को बार-बार दोहराने में समय बर्बाद करना बंद कर देता है। इसके बजाय, यह महत्वपूर्ण क्षणों पर "गेम स्टेट" को सेव करता है और विभिन्न संभावनाओं को एक्सप्लोर करने के लिए ब्रांचिंग करता है।

परिणाम:

  • सस्ता: आप कम AI "शब्दों" (टोकन) का उपयोग करते हैं।
  • तेज़: आप बग्स को जल्दी ढूंढ लेते हैं।
  • स्मार्ट: आप उन गहरे, छिपे हुए फेलियर्स को ढूंढते हैं जिन्हें मानक टेस्टिंग मिस कर देती है।

यह शून्य से 100 बार पासा (dice) फेंकने और एक महत्वपूर्ण मोड़ पर गेम को रोकने और फिर से पासा फेंककर सभी संभावित परिणामों को देखने के बीच का अंतर है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →