🤖 AI

Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations

यह शोध पत्र यह प्रदर्शित करता है कि एजेंटिक मूल्यांकन (agentic evaluations) में LLM-सिम्युलेटेड उपयोगकर्ता वास्तविक मनुष्यों के लिए अविश्वसनीय प्रॉक्सी हैं, क्योंकि वे महत्वपूर्ण मजबूती संबंधी मुद्दे, व्यवस्थित अंशांकन त्रुटियां (calibration errors), और AAVE एवं भारतीय अंग्रेजी बोलने वालों जैसी विविध आबादी के प्रति प्रवर्धित पूर्वाग्रह प्रदर्शित करते हैं, जो अंततः एजेंट क्षमताओं के गलत निरूपण और वास्तविक दुनिया की तैनाती की चुनौतियों को छिपाने का जोखिम उठाते हैं।

मूल लेखक: Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh, Seraphina Goldfarb-Tarrant

प्रकाशित 2026-01-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh, Seraphina Goldfarb-Tarrant

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Lost in Simulation" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

मुख्य विचार: "टेस्ट डमी" की समस्या

कल्पना कीजिए कि आप एक कार निर्माता हैं। जनता को नई कार बेचने से पहले, आपको यह परीक्षण करना होता है कि वह अलग-अलग ड्राइवरों को कितनी अच्छी तरह संभालती है। असली लोगों को काम पर रखने के बजाय, आप एक रोबोट ड्राइवर का उपयोग करने का निर्णय लेते हैं जिसे आपने इंसान की तरह व्यवहार करने के लिए प्रोग्राम किया है। आप सोचते हैं, "यह रोबोट एकदम सही है; यह कभी थकता नहीं है, नियमों का पालन करता है, और इसे चलाना सस्ता है।"

यह पेपर तर्क देता है कि AI असिस्टेंट्स के परीक्षण के लिए मानव उपयोगकर्ताओं को सिम्युलेट करने के लिए AI रोबोट्स (LLMs) का उपयोग करना एक बुरा विचार है। रोबोट ड्राइवर वास्तव में असली इंसानों की तरह गाड़ी नहीं चलाते। वे बहुत विनम्र होते हैं, बहुत अधिक सवाल पूछते हैं, और आप किस रोबोट मॉडल का उपयोग कर रहे हैं, इसके आधार पर उनका व्यवहार बदल जाता है। इस कारण से, आपके परीक्षण के परिणाम भ्रामक हो सकते हैं, और आपको लग सकता है कि आपकी कार सुरक्षित है जबकि वास्तव में वह असली लोगों के लिए सुरक्षित नहीं है।

प्रयोग: "रोल-प्ले" टेस्ट

शोधकर्ता यह देखना चाहते थे कि क्या एक AI "यूज़र" (एक रोबोट जो इंसान होने का नाटक कर रहा है) सटीक रूप से अनुमान लगा सकता है कि एक वास्तविक मानव एक AI "एजेंट" (एक रोबोट जो उड़ान बुक करने या सामान वापस करने जैसे कार्यों में मदद करने की कोशिश कर रहा है) के साथ कैसे बातचीत करेगा।

उन्होंने एक बड़ा प्रयोग सेट किया:

कार्य (Task): उन्होंने $\tau$ -Bench नामक एक मानक परीक्षण का उपयोग किया, जिसमें खरीदारी के कार्य शामिल हैं (जैसे ऑर्डर बदलना या पैकेज वापस करना)।
खिलाड़ी (Players): अमेरिका, भारत, केन्या और नाइजीरिया के वास्तविक मनुष्यों ने एक AI एजेंट के साथ बातचीत की।
तुलना (Comparison): उन्होंने इन वास्तविक इंटरैक्शन की तुलना उन इंटरैक्शन से की जहाँ "यूज़र" केवल एक अन्य AI (एक सिमुलेशन) था।

उन्होंने क्या पाया (3 बड़ी समस्याएँ)

1. "रोबोट का चुनाव" समस्या (Robustness)

उपमा (Analogy): कल्पना कीजिए कि आप अपने कार का परीक्षण "रोबो-1" नामक एक रोबोट ड्राइवर के साथ करते हैं। वह कहता है कि कार 70% सुरक्षित है। फिर आप "रोबो-2" के साथ परीक्षण करते हैं, और अचानक वह कहता है कि कार 80% सुरक्षित है। अब आप नहीं जानते कि कौन सा सही है।

निष्कर्ष: शोधकर्ताओं ने पाया कि सिम्युलेट करने के लिए उपयोग किए जाने वाले AI मॉडल को बदलने मात्र से परिणाम काफी बदल जाते हैं। यह निर्भर करता था कि उन्होंने किस "रोबोट यूज़र" का उपयोग किया, AI एजेंट की सफलता दर में 9 प्रतिशत अंक तक का अंतर आया। इसका मतलब है कि परीक्षण के परिणाम अस्थिर हैं; आप सच्चाई बताने के लिए किसी एक रोबोट पर भरोसा नहीं कर सकते।

2. "झूठी आत्म-पुष्टि" की समस्या (Validity)

उपमा: कल्पना कीजिए कि एक शिक्षक छात्र को ग्रेड दे रहा है। शिक्षक (AI एजेंट) सोचता है कि वह बहुत अच्छा काम कर रहा है क्योंकि छात्र (रोबोट-छात्र) बहुत विनम्र है और स्पष्ट प्रश्न पूछता है। लेकिन जब एक वास्तविक, चिड़चिड़ा या भ्रमित छात्र आता है, तो शिक्षक बुरी तरह विफल हो जाता है।

निष्कर्ष:

कठिन कार्य: जब कार्य बहुत कठिन था, तो रोबोट-यूजर्स ने AI एजेंट को वास्तविक स्थिति से भी अधिक खराब दिखाया (प्रदर्शन का कम आकलन किया)।
मध्यम कार्य: जब कार्य मध्यम कठिन था, तो रोबोट-यूजर्स ने AI एजेंट को वास्तविक स्थिति से बेहतर दिखाया (प्रदर्शन का अधिक आकलन किया)।
"विनम्रता" की गड़बड़ी: वास्तविक मनुष्य कभी-कभी रूखे, अधीर या अस्पष्ट होते हैं। हालाँकि, रोबोट-यूजर्स लगातार बहुत विनम्र थे और बहुत अधिक सवाल पूछते थे। इसने एक "नकली" बातचीत बनाई जो वास्तविकता से मेल नहीं खाती थी।

3. "अनुचित दर्पण" की समस्या (Fairness)

उपमा: कल्पना कीजिए कि आपके पास एक दर्पण है जो आपको तब बहुत अच्छा दिखाता है जब आपने सूट (Standard English) पहना हो, लेकिन जब आप कैजुअल कपड़े (जैसे AAVE या इंडियन इंग्लिश) पहनते हैं, तो वह आपको अव्यवस्थित दिखाता है। दर्पण टूटा हुआ नहीं है; वह बस सूट के प्रति पक्षपाती है।

निष्कर्ष: रोबोट-यूजर्स कुछ विशिष्ट समूहों के लोगों को सिम्युलेट करने में बहुत खराब थे।

AAVE बोलने वाले: अफ्रीकी अमेरिकी वर्नाकुलर इंग्लिश (AAVE) बोलने वालों के लिए रोबोट सिमुलेशन सबसे कम सटीक थे। वास्तविक AAVE बोलने वालों के साथ AI एजेंट का प्रदर्शन रोबोट सिमुलेशन के अनुमान की तुलना में काफी खराब था।
आयु अंतराल: उम्र बढ़ने के साथ यह अंतर और भी बढ़ गया। रोबोट सिमुलेशन उन चुनौतियों को पकड़ने में विफल रहे जिनका सामना वृद्ध लोग (55+) करते हैं, विशेष रूप से यदि वे AAVE बोलते हैं।
वैश्विक पूर्वाग्रह: सिमुलेशन युवा, स्टैंडर्ड अमेरिकन इंग्लिश बोलने वालों के लिए सबसे अच्छा काम करते थे और भारत, केन्या और नाइजीरिया के लोगों के लिए सबसे खराब।

"कौन किसे दोष देता है" का आश्चर्य

जब परीक्षण में चीजें गलत हुईं, तो शोधकर्ताओं ने देखा कि दोष किसका था:

वास्तविक मनुष्यों के साथ: यदि कार्य विफल हुआ, तो अक्सर इसका कारण मानव का गलत समझा जाना, अस्पष्ट होना या निर्देशों का पूरी तरह पालन न करना था (62% विफलताएं)। यह सामान्य मानवीय व्यवहार है।
रोबोट यूजर्स के साथ: यदि कार्य विफल हुआ, तो यह लगभग हमेशा AI एजेंट की गलती थी (49% विफलताएं)।

यह क्यों मायने रखता है: रोबोट यूजर्स "बहुत परफेक्ट" थे। वे निर्देशों का इतनी सख्ती से पालन करते थे कि उन्होंने AI एजेंट को वास्तविक दुनिया के भ्रम को संभालने का अभ्यास करने का मौका ही नहीं दिया। इससे AI एजेंट वास्तविक व्यक्ति की तुलना में अधिक बार विफल होता हुआ दिखाई दिया।

निचोड़ (The Bottom Line)

पेपर यह निष्कर्ष निकालता है कि हम दूसरे AI रोबोट्स का परीक्षण करने के लिए AI रोबोट्स पर भरोसा नहीं कर सकते।

यदि कंपनियाँ अपने AI असिस्टेंट्स के मूल्यांकन के लिए इन "रोबोट यूजर्स" का उपयोग करना जारी रखती हैं, तो वे निम्नलिखित जोखिम उठा सकती हैं:

यह सोचना कि उनका AI वास्तव में जितना है उससे बेहतर या बदतर है।
ऐसे AI सिस्टम तैनात करना जो कुछ लोगों के लिए बहुत अच्छे काम करते हैं लेकिन दूसरों के लिए (विशेष रूप से वृद्ध वयस्कों और गैर-मानक अंग्रेजी बोलने वालों के लिए) बुरी तरह विफल हो जाते हैं।
वास्तविक समस्याओं को मिस कर देना क्योंकि "रोबोट यूजर्स" बहुत विनम्र और अनुमानित होते हैं।

सीख: वास्तव में मददगार AI बनाने के लिए, हमें इसका परीक्षण वास्तविक, विविध मनुष्यों के साथ करने की आवश्यकता है, न कि केवल उन रोबोटों के साथ जो इंसान होने का नाटक कर रहे हैं।

तकनीकी सारांश: सिमुलेशन में खोया हुआ (Lost in Simulation)

समस्या विवरण
एजेंटिक बेंचमार्क (Agentic benchmarks) बड़े भाषा मॉडल (LLM)-सिमुलेटेड उपयोगकर्ताओं पर तेजी से निर्भर हो रहे हैं ताकि बड़े पैमाने पर AI एजेंट के प्रदर्शन का मूल्यांकन किया जा सके, जो महंगी मानवीय मूल्यांकनों की जगह ले रहे हैं। हालांकि, इस दृष्टिकोण की मजबूती, वैधता और निष्पक्षता अभी भी अनपेक्षित है। वर्तमान प्रथाएं अक्सर एक एकल उपयोगकर्ता सिमुलेशन मॉडल पर निर्भर करती हैं, जो उपयोगकर्ताओं को एक सजातीय समूह मानती हैं और भाषाई एवं सांस्कृतिक विविधता की अनदेखी करती हैं। यह महत्वपूर्ण प्रश्न उठाता है: क्या सिमुलेटेड उपयोगकर्ता वास्तविक दुनिया के एजेंट प्रदर्शन का विश्वसनीय रूप से पूर्वानुमान लगाते हैं? क्या वे विविध आबादी के बीच एजेंट की क्षमताओं का गलत प्रतिनिधित्व करने वाले व्यवस्थित पूर्वाग्रह पेश करते हैं?

कार्यप्रणाली (Methodology)
लेखकों ने वास्तविक मनुष्यों के प्रॉक्सी के रूप में LLM-सिमुलेटेड उपयोगकर्ताओं का मूल्यांकन करने के लिए $\tau$ -Bench रिटेल टास्क सूट का उपयोग करते हुए एक व्यापक उपयोगकर्ता अध्ययन आयोजित किया।

प्रतिभागी: अध्ययन में अमेरिका, भारत, केन्या और नाइजीरिया से प्रति समूह $\sim$ 40 प्रतिभागियों को भर्ती किया गया। अमेरिकी प्रतिभागियों को बोली (स्टैंडर्ड अमेरिकन इंग्लिश [SAE] बनाम अफ्रीकन अमेरिकन वर्नाकुलर इंग्लिश [AAVE]) और आयु (18–34, 35–54, 55+) के आधार पर वर्गीकृत किया गया। गैर-अमेरिकी प्रतिभागियों को 18–34 आयु वर्ग से भर्ती किया गया था।
कार्य डिजाइन: $\tau$ -Bench के 115 रिटेल कार्यों में से, लेखकों ने एक कठिनाई-संतुलित उपसमूह (18 कार्य) चुना (एक मॉडल-आधारित सफलता दर मीट्रिक द्वारा परिभाषित प्रत्येक कठिनाई स्तर के लिए 3 कार्य)।
प्रायोगिक सेटअप: प्रतिभागियों ने कार्यों को पूरा करने के लिए एक निश्चित एजेंट मॉडल (GPT-4o) के साथ एक चैट इंटरफेस के माध्यम से बातचीत की। इन अंतःक्रियाओं की तुलना विभिन्न LLMs (GPT-4o, Sonnet 3.7, Sonnet 4.5, Kimi-K2-Thinking) द्वारा सिमुलेटेड "उपयोगकर्ता" के साथ होने वाली अंतःक्रियाओं से की गई।
मूल्यांकन मेट्रिक्स:
- सफलता दर (Success Rate): उन कार्यों का प्रतिशत जहाँ एजेंट ने आवश्यक कार्यों को सही ढंग से निष्पादित किया और आवश्यक जानकारी प्रदान की।
- एक्सपेक्टेड कैलिब्रेशन एरर (ECE): एजेंट की सफलता दर और वास्तविक मानव उपयोगकर्ताओं के बीच कठिनाई स्तरों केAcross भारित पूर्ण विचलन (weighted absolute deviation) को मापने के लिए प्रोबेबिलिस्टिक क्लासिफायर से अनुकूलित किया गया।
- अंतःक्रिया विश्लेषण (Interaction Analysis): संवादात्मक संरचना (टर्न, प्रश्न, शिष्टाचार मार्कर) का मात्रात्मक विश्लेषण और त्रुटि एट्रिब्यूशन (तर्क त्रुटियां, छूटे हुए कार्य, आउटपुट त्रुटियां) का गुणात्मक विश्लेषण।

प्रमुख योगदान और परिणाम

मजबूती का अभाव (Lack of Robustness):
उपयोगकर्ता सिमुलेशन मॉडल के चयन के आधार पर एजेंट की सफलता दर काफी भिन्न होती है। जबकि कुछ मॉडल 67–71% सफलता दर के आसपास क्लस्टर करते हैं, उपयोगकर्ता मॉडल के रूप में Sonnet 3.7 से Sonnet 4.5 पर स्विच करने से सफलता दर में 9 प्रतिशत अंकों का अंतर आया। यह इंगित करता है कि एकल-मॉडल सिमुलेशन मजबूत प्रदर्शन आधार स्थापित करने के लिए अविश्वसनीय हैं।
व्यवस्थित मिसकैलिब्रेशन (वैधता):
सिमुलेटेड उपयोगकर्ता वास्तविक मनुष्यों के विश्वसनीय प्रॉक्सी के रूप में कार्य नहीं करते हैं। यहाँ तक कि अमेरिकी संदर्भ में भी (जहाँ LLMs को अक्सर सबसे बेहतर कैलिब्रेटेड माना जाता है), अपेक्षित कैलिब्रेशन एरर (ECE) 15.1 था।
- कार्य कठिनाई पूर्वाग्रह (Task Difficulty Bias): सिमुलेटेड उपयोगकर्ता सबसे चुनौतीपूर्ण कार्यों (0% कठिनाई बिन) पर एजेंट के प्रदर्शन को व्यवस्थित रूप से कम आंकते (underestimate) हैं और मध्यम रूप से कठिन कार्यों (60% कठिनाई बिन) पर प्रदर्शन को अधिक आंकते (overestimate) हैं।
- संवादात्मक आर्टिफैक्ट्स (Conversational Artifacts): सिमुलेटेड उपयोगकर्ता मनुष्यों की तुलना में विशिष्ट व्यवहार पैटर्न प्रदर्शित करते हैं, जिसमें प्रश्न पूछने की उच्च दर (18.8% बनाम मनुष्यों के लिए 9.8%) और शिष्टाचार मार्कर (39.2% बनाम 19.9%) शामिल हैं।
जनसांख्यिकीय असमानताएं (Demographic Disparities - Fairness):
उपयोगकर्ता सिमुलेशन की विश्वसनीयता विभिन्न जनसांख्यिकीय समूहों में नाटकीय रूप से भिन्न होती है, जो महत्वपूर्ण निष्पक्षता के मुद्दों को प्रकट करती है:
- बोली पूर्वाग्रह (Dialect Bias): एजेंटों ने SAE वक्ताओं के साथ 50.6% की सफलता दर प्राप्त की लेकिन AAVE वक्ताओं के साथ केवल 39.4%। AAVE वक्ताओं के लिए कैलिब्रेशन एरर (ECE) SAE वक्ताओं (11.7) की तुलना में लगभग दोगुना (20.3) था।
- आयु अंतःक्रिया (Age Interaction): असमानताएं आयु के साथ बढ़ती हैं। SAE और AAVE वक्ताओं के बीच प्रदर्शन का अंतर 35–54 आयु वर्ग में ~12 प्रतिशत अंक से बढ़कर 55+ समूह में 19 प्रतिशत अंक हो गया।
- भौगोलिक पूर्वाग्रह (Geographic Bias): सिमुलेटेड उपयोगकर्ता AAVE और भारतीय अंग्रेजी बोलने वालों के लिए सबसे कम प्रभावी प्रॉक्सी थे (ECE $\approx$ 18.9), जबकि SAE वक्ताओं के लिए सबसे अच्छा प्रदर्शन किया (ECE = 13.0)।
विभेदक विफलता मोड (Divergent Failure Modes):
मानव अंतःक्रियाओं और सिमुलेटेड अंतःक्रियाओं के बीच त्रुटियों की प्रकृति भिन्न होती है।
- त्रुटि एट्रिब्यूशन (Error Attribution): मानव बातचीत में, उपयोगकर्ता विफलता का प्राथमिक स्रोत होते हैं (62.2%), जो अक्सर अस्पष्टता या आंशिक अनुपालन के कारण होता है। सिमुलेटेड बातचीत में, एजेंट विफलताओं के लिए जिम्मेदार अधिकांश भाग (48.9%) है।
- त्रुटि प्रकार (Error Types): सिमुलेटेड उपयोगकर्ताओं के साथ बातचीत करने वाले एजेंट अधिक बार आउटपुट त्रुटियां (गलत आउटपुट छोड़ना या शामिल करना) करते हैं, लेकिन कम 'मिसिंग' या 'एक्स्ट्रा एक्शन' त्रुटियां करते हैं। यह सुझाव देता है कि सिमुलेटेड उपयोगकर्ता निर्देशों का बहुत सटीक रूप से पालन कर सकते हैं, जिससे वे उस अस्पष्टता और गलतफहमी को सामने लाने में विफल रहते हैं जो वास्तविक उपयोगकर्ता पेश करते हैं।

महत्व और दावे
यह शोध पत्र तर्क देता है कि LLM-सिमुलेटेड उपयोगकर्ताओं पर निर्भर वर्तमान मूल्यांकन प्रथाओं में विविध उपयोगकर्ता आबादी के लिए एजेंट की क्षमताओं का गलत प्रतिनिधित्व करने का जोखिम है। सिमुलेटेड उपयोगकर्ताओं के लिए अनुकूलित करके, डेवलपर्स अनजाने में ऐसे सिस्टम बना सकते हैं जो बेंचमार्क में मजबूत दिखाई देते हैं लेकिन वास्तविक दुनिया के उपयोगकर्ताओं, विशेष रूप से AAVE बोलने वाले या गैर-पश्चिमी पृष्ठभूमि के लोगों के लिए असमान रूप से विफल होते हैं। लेखक निष्कर्ष निकालते हैं कि उपयोगकर्ता सिमुलेशन अभी भी एक स्टैंडअलोन मूल्यांकन प्रतिमान के रूप में कार्य नहीं कर सकता है; इसके बजाय, एजेंटिक बेंचमार्क को विविध जनसांख्यिकीय मानव डेटा के विरुद्ध सिमुलेटेड परिणामों को मान्य करना चाहिए और मजबूती एवं निष्पक्षता सुनिश्चित करने के लिए कई सिमुलेशन मॉडलों में परिणामों की रिपोर्ट करनी चाहिए।