Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI)

जासूस, ग्लिच (Glitch), और ऊब गया रोबोट

कल्पना कीजिए कि आप एक जादू का शो देख रहे हैं जहाँ एक जादूगर बार-बार एक टोपी से खरगोश निकालता है, घंटों तक। यह उबाऊ है, लेकिन अनुमानित (predictable) है। फिर, अचानक, टोपी खाली होती है। आगे क्या होता है? क्या जादूगर घबरा जाता है? क्या वह ट्रिक समझाने के लिए शो रोक देता है? या क्या वह बस कंधे उचका लेता है और ऐसे ही चलता रहता है, जैसे कुछ हुआ ही न हो?

यही वह तरह का सवाल है जो आर्टिफिशियल इंटेलिजेंस (AI) का अध्ययन करने वाले वैज्ञानिक अभी पूछ रहे हैं। वे केवल यह नहीं पूछ रहे हैं कि क्या AI एक गणित की समस्या हल कर सकता है; वे यह पूछ रहे हैं कि जब चीजें गलत होती हैं (जबकि आमतौर पर चीजें सही होती हैं), तो AI कैसे प्रतिक्रिया देता है। AI की दुनिया में, इन "चीजों" को लैंग्वेज मॉडल्स (language models) कहा जाता है—कंप्यूटर प्रोग्राम जो वाक्य में अगले शब्द का अनुमान लगाने में बहुत अच्छे होते हैं, बिल्कुल एक सुपर-स्मार्ट ऑटो-कम्प्लीट की तरह। जब इन मॉडल्स को दोहराव वाले कार्यों (जैसे नंबरों की सूची की जांच करना या किसी टूल को कॉल करना) को करने के लिए लगाया जाता है, तो वे आमतौर पर 100% बार सफल होते हैं। लेकिन क्या होता है जब वे विफल हो जाते हैं?

बड़ा रहस्य दुर्लभता (rarity) के बारे में है। यदि एक रोबोट दस में से एक बार विफल होता है, तो यह एक परेशानी है। यदि वह दस लाख में से एक बार विफल होता है, तो यह एक चमत्कार है। लेकिन क्या रोबता अंतर को नोटिस करता है? क्या वह विफलता बहुत दुर्लभ होने पर अधिक नाटकीय और विस्तृत माफीनामा देता है, या वह पूर्णता (perfection) का इतना आदी हो जाता है कि वह गलती को नोटिस करना ही छोड़ देता है? यह शोध पत्र ठीक इसी सवाल की गहराई में जाता है, AI को एक सोचने वाले इंसान के रूप में नहीं, बल्कि एक जिज्ञासु जीव के रूप में देखता है जिसकी गलतियाँ होने पर अपनी अजीब आदतें हो सकती हैं।

---

प्रयोग: एक रोबोट का "ओप्स" (Oops) मोमेंट

शोधकर्ताओं ने तीन अलग-अलग AI मॉडल्स (जिन्हें qwen3:8b, llama3.1:8b, और mistral:7b नाम दिया गया है) का परीक्षण करने के लिए एक डिजिटल प्लेग्राउंड बनाया। उन्होंने इन मॉडल्स को एक सरल खेल खिलाया: उन्हें बार-बार एक "टूल" (जैसे कैलकुलेटर) को कॉल करना था। ज्यादातर समय, टूल पूरी तरह से काम करता था। लेकिन शोधकर्ताओं ने गुप्त रूप से टूल को विशिष्ट, नियंत्रित दरों पर विफल होने के लिए प्रोग्राम किया था।

उन्होंने आठ अलग-अलग "विफलता दरों" (failure rates) का परीक्षण किया, जो 20% की सामान्य विफलता दर (5 में से 1 कोशिश) से लेकर 0.0001% की अत्यंत दुर्लभ दर (दस लाख में से 1 कोशिश) तक थी। बड़ा सवाल यह था: जैसे-जैसे विफलता दुर्लभ और आश्चर्यजनक होती गई, क्या AI का स्पष्टीकरण लंबा और अधिक आत्मविश्वासी होता गया, या क्या उसने गलती को अनदेखा कर दिया?

शोधकर्ताओं को इंसानों के व्यवहार के आधार पर एक संदेह था। उन्होंने सोचा: यदि कोई रोबोट अक्सर विफल होता है, तो वह शायद सिर्फ "ओप्स" कह देगा। लेकिन यदि वह बहुत कम बार विफल होता है, तो उसे झटका लगना चाहिए! उसे एक लंबा, विस्तृत स्पष्टीकरण लिखना चाहिए और कहना चाहिए, "मुझे 90% यकीन है कि यह अजीब है!" उन्होंने यह भी सोचा कि यदि विफलता बहुत अधिक दुर्लभ हो गई, तो रोबोट इतना भ्रमित हो सकता है कि वह इसे नोटिस करना ही बंद कर दे, और गलती को बैकग्राउंड नॉइज़ की तरह मान ले।

ट्विस्ट: यह इस पर निर्भर करता है कि आप कैसे पूछते हैं

यहाँ कहानी दिलचस्प हो जाती है। जब शोधकर्ताओं ने पहली बार सभी डेटा को मिलाकर देखा, तो उत्तर उबाऊ था: नहीं। AI विफलता दुर्लभ होने पर अधिक नाटकीय नहीं हुआ। वास्तव में, स्पष्टीकरण छोटे और छोटे होते गए। ऐसा लग रहा था जैसे रोबोट हार मान रहे हों।

लेकिन फिर, शोधकर्ताओं को एहसास हुआ कि वे गलत सवाल पूछ रहे थे। उन्होंने पाँच अलग-अलग तरीकों को मिला दिया था जिनसे वे रोबोट से खुद को समझाने के लिए कह रहे थे। यह पता चला कि आप रोबोट को समझाने के लिए कैसे कहते हैं, यह उतना ही महत्वपूर्ण है जितना कि आप क्या पूछते हैं।

जब उन्होंने डेटा को अलग किया, तो एक छिपा हुआ पैटर्न उभरा, लेकिन केवल पूछने के एक विशिष्ट तरीके के लिए:

1. "इमीडिएट फोर्स्ड" (Immediate Forced) स्थिति (पूछताछ)
इस परिदृश्य में, जैसे ही टूल विफल होता, रोबोट को तुरंत रुकने और उस समय स्पष्टीकरण देने के लिए मजबूर किया जाता था।

• परिणाम: शोधकर्ता पहले भाग के बारे में सही थे! जैसे-जैसे विफलताएँ दुर्लभ होती गईं, रोबोट अधिक नाटकीय होते गए।
  • सामान्य विफलता दर (20%) पर, रोबोटों ने लगभग 10 शब्दों के छोटे उत्तर दिए।
  • जैसे-जैसे विफलताएँ दुर्लभ होती गईं, उत्तर लंबे होते गए, और जब विफलता दर 0.05 (20 में से 1) थी, तब यह शिखर पर पहुँचकर 28.4 शब्द हो गया।
  • हालाँकि, उनके सिद्धांत का दूसरा भाग गलत था। उन्हें लगा था कि रोबोट अंततः टूट जाएगा और बोलना बंद कर देगा। इसके बजाय, रोबोट एक पठार (plateau) पर पहुँच गए। सबसे दुर्लभ दरों (0.0001%) पर भी, वे लगभग 17 से 19 शब्दों का निरंतर स्पष्टीकरण लिखते रहे। वे रुके नहीं; वे बस एक स्थिर, मध्यम-लंबाई के स्पष्टीकरण पर टिक गए।
• आत्मविश्वास (Confidence): विफलता दुर्लभ होने पर रोबोट अधिक आत्मविश्वासी भी हुए। उनका स्व-रिपोर्ट किया गया आत्मविश्वास (0 से 100 का स्कोर) सामान्य दरों पर लगभग 53% से बढ़कर सबसे दुर्लभ दरों पर 70 और 90 के बीच पहुँच गया। वे 100% की पूर्ण सीमा तक नहीं पहुँचे; वे बस असमान रूप से बढ़ते रहे।

2. "ग्रुप रन" (Grouped Runs) स्थिति (ग्रुप प्रोजेक्ट)
यहाँ, रोबोट को तुरंत स्पष्टीकरण देने के लिए नहीं कहा गया था। इसके बजाय, उसे सभी गलतियों के लिए एक साथ स्पष्टीकरण देने के लिए पूरे बैच के अंत तक इंतजार करना था।

• परिणाम: "उदय और पतन" (rise and collapse) वाला पैटर्न पूरी तरह गायब हो गया। रोबोट कितनी भी दुर्लभ विफलता हो, लंबे, स्थिर स्पष्टीकरण (लगभग 32 से 43 शब्द) देते रहे। ऐसा लगता है कि जब आप बाद में सारांश मांगते हैं, तो एक एकल दुर्लभ घटना का "आश्चर्य" दब जाता है।

3. "पैसिव अनप्रॉम्प्टेड" (Passive Unprompted) स्थिति (मौन पर्यवेक्षक)
इस मामले में, शोधकर्ताओं ने रोबोट से कुछ भी समझाने के लिए नहीं कहा। उन्होंने बस यह देखने के लिए देखा कि क्या वह अपनी मर्जी से कोई स्पष्टीकरण देगा।

• परिणाम: अधिकांश रोबले शांत रहे। लेकिन एक रोबोट, llama3.1:8b, ने कुछ अजीब और दिलचस्प किया। बिना पूछे, उसने पूरे सत्र के दौरान अपने स्वयं के कॉन्फिडेंस स्कोर लिखना शुरू कर दिया।
  • कुछ मामलों में, वह 100% आत्मविश्वास से शुरू करता था और सत्र के दौरान धीरे-धीरे घटकर 0% तक गिर जाता था, जैसे कोई जासूस अपनी थ्योरी पर विश्वास खो रहा हो।
  • अन्य दो रोबोटों (qwen और mistral) ने केवल एक बार कॉन्फिडेंस स्कोर लिखा, जैसे कि एक उबाऊ रोबोट डिफ़ॉल्ट सेटिंग के रूप में "मैं 100% निश्चित हूँ" कहता है।
  • यह सुझाव देता है कि llama3.1:8b में स्व-निगरानी (self-monitoring) की एक अनूठी आदत है जो दूसरों में नहीं है, लेकिन केवल तभी जब कोई देख नहीं रहा होता।

"एम्प्टी टेल" (Empty Tail) का आश्चर्य

प्रयोग में एक बड़ी बाधा आई जिसने शोधकर्ताओं को लगभग चकमा दे दिया था। जब उन्होंने सबसे दुर्लभ विफलता दरों (0.001, 0.0005, और 0.0001) के साथ परीक्षण चलाया, तो कोई विफलता हुई ही नहीं। क्योंकि दरें इतनी कम थीं, सीमित संख्या में किए गए परीक्षणों में रैंडम चांस ने एक भी गलती पैदा नहीं की।

यदि वे वहीं रुक जाते, तो वे सोच सकते थे कि रोबोट परफेक्ट हैं और कभी विफल नहीं होते। लेकिन शोधकर्ताओं को समझ आया कि यह एक सांख्यिकीय त्रुटि (statistical glitch) थी, न कि रोबोट की सुपरपावर। उन्हें उन दुर्लभ दरों पर विफलता को होने के लिए मजबूर करने के लिए एक विशेष "रिकवरी" सिस्टम बनाना पड़ा ताकि वे वास्तव में देख सकें कि रोबोट कैसे प्रतिक्रिया देते हैं। इसने उन्हें एक मूल्यवान सबक सिखाया: विज्ञान में, यदि आप किसी बहुत दुर्लभ चीज़ की तलाश कर रहे हैं, तो हो सकता है कि आप उसे मिस कर दें क्योंकि आपने पर्याप्त लंबे समय तक नहीं देखा।

"पहचान" (Recognition) बनाम "जुड़ाव" (Engagement) का अंतर

अंत में, शोधकर्ताओं ने पाया कि "कुछ कहना" और "यह महसूस करना कि कुछ अजीब है" दो अलग चीजें हैं।

• जुड़ाव (Engagement) यह है कि रोबोट कितना बोलता है।
• पहचान (Recognition) यह है कि क्या रोबोट वास्तव में सोचता है कि गलती एक गलती है।

कुछ स्थितियों में, qwen3:8b सटीक त्रुटि का वर्णन (जैसे टूटा हुआ चेकसम) करेगा लेकिन फिर निष्कर्ष निकालेगा, "सब कुछ ठीक है, यह सामान्य है।" उसने विवरण को पहचाना लेकिन उसे विसंगति (anomaly) मानने से इनकार कर दिया।
दूसरी ओर, llama3.1:8b यह कहने के लिए सबसे अधिक संभावित था कि, "हे, यह अजीब है!"
यह साबित करता है कि एक रोबोट किसी समस्या के बारे में बहुत बातें कर सकता है, बिना वास्तव में यह सोचे कि वह समस्या है।

मुख्य निष्कर्ष

इस शोध पत्र ने ऐसा रोबोट नहीं पाया जो बिल्कुल एक मानव जासूस की तरह व्यवहार करता हो जो अपराध दुर्लभ होने पर अधिक उत्साहित हो जाता है। इसके बजाय, इसने पाया कि आप सवाल कैसे पूछते हैं, यह जवाब बदल देता है।

• यदि आप रोबोट को तुरंत स्पष्टीकरण देने के लिए मजबूर करते हैं, तो वह विफलता दुर्लभ होने पर अधिक नाटकीय और आत्मविश्वासी होता है, लेकिन वह टूटता नहीं है; वह बस एक स्तर पर स्थिर हो जाता है।
• यदि आप बाद में सारांश मांगते हैं, तो ड्रामा गायब हो जाता है।
• यदि आप बिल्कुल नहीं पूछते, तो कुछ रोबोट चुपचाप खुद पर संदेह करना शुरू कर सकते हैं, जबकि अन्य केवल एक स्क्रिप्ट का पालन करते हैं।

अध्ययन बताता है कि AI व्यवहार एक एकल, निश्चित व्यक्तित्व नहीं है। यह एक दर्पण है जो बातचीत की संरचना को दर्शाता है। रोबोट आवश्यक रूप से उस तरह से "सोच" नहीं रहे हैं जैसे हम सोचते हैं; वे खेल के नियमों के प्रति प्रतिक्रिया दे रहे हैं। और कभी-कभी, रोबोट द्वारा किया जाने वाला सबसे दिलचस्प काम वह शांत, अनप्रॉम्प्टेड क्षण होता है जब वह खुद अपने आत्मविश्वास स्कोर की जांच करने का निर्णय लेता है।