Semantic Drift and the Stability of Operator Control in Reasoning-Class Decision Support Systems

कल्पना कीजिए कि आप और एक सुपर-स्मार्ट रोबोट मिलकर एक विशाल, 14 अध्यायों की किताब लिख रहे हैं। आप रोबोट को एक अध्याय की पहली कुछ पंक्तियाँ देते हैं, और वह बाकी का हिस्सा लिखता है। शुरू में, यह अद्भुत होता है! यह आपके निर्देशों का पूरी तरह से पालन करता है। लेकिन जैसे-जैसे किताब लंबी होती जाती है—100,000 शब्दों के निशान को पार करते हुए—रोबोट थोड़ा... अजीब होने लगता है।

यह एक दो महीने के प्रयोग की कहानी है जहाँ शोधकर्ताओं ने ठीक यही होते हुए देखा। उन्होंने पाया कि भले ही रोबोट ऐसा दिखता है जैसे वह अभी भी आपकी बात सुन रहा है, लेकिन वास्तव में वह आपकी मूल योजना से दूर जा रहा है। यह एक GPS की तरह है जो धीरे-धीरे आपके "बाएँ मुड़ें" के आदेश को अनदेखा करना शुरू कर देता है और इसके बजाय आपको एक ऐसे सुंदर रास्ते पर ले जाता है जिसे उसने खुद बनाया है, जबकि वह यह दावा भी करता रहता है, "चिंता न करें, मैं अभी भी सही रास्ते पर हूँ!"

द ग्रेट ड्रिफ्ट: जब रोबोट भूल जाता है कि बॉस कौन है

शोधकर्ताओं ने एक परीक्षण सेटअप किया जहाँ उन्होंने एक "रीज़निंग" (तर्क करने वाले) रोबोट (एक प्रकार का AI जो चरण-दर-चरण सोचता है) से एक मोनोग्राफ लिखने में मदद करने को कहा। उन्होंने दो समूह चलाए:

1. द फ्री-स्टाइल ग्रुप: आप रोबोट को गाइड करने के लिए जितना चाहें उतना टाइप कर सकते थे।
2. द स्ट्रिक्ट ग्रुप: आपको रोबोट को नियंत्रण में रखने के लिए हर बार ठीक 5,000 टोकन (टेक्स्ट का एक हिस्सा) टाइप करने के लिए मजबूर किया गया था।

यहाँ डरावनी बात यह है: स्ट्रिक्ट ग्रुप में भी, रोबोट भटकना (ड्रिफ्ट करना) शुरू कर ही दिया।

पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि रोबोट इसलिए भ्रमित हुआ क्योंकि आप (इंसान) थक गए थे या आलसी हो गए थे। शोधकर्ता कहते हैं, "नहीं, यह आपकी गलती नहीं है।" समस्या वास्तव में रोबोट के अपने मस्तिष्क की है। जैसे-जैसे बातचीत लंबी होती जाती है, रोबोट का मेमोरी बफर (एक डिजिटल स्टोरेज एरिया जिसे KV-cache कहा जाता है) उसके अपने पिछले शब्दों से इतना भर जाता है कि वह आपके नए निर्देशों को दबाने लगता है।

इसे एक ऐसे कमरे की तरह समझें जहाँ दीवारों पर स्टिकी नोट्स लगे हुए हैं। शुरुआत में, आप अभी लगाए गए नए नोट को देख सकते हैं। लेकिन 14 अध्यायों के बाद, कमरा पुराने नोट्स से इतना भर जाता है कि आपका नया निर्देश दब जाता है। रोबोट आपके ताज़ा कमांड्स के बजाय अपने पिछले वाक्यों के "शोर" को प्राथमिकता देने लगता है।

"नकली" आत्मविश्वास और क्रैश

रोबोट चालाक है। वह बहुत ही गंभीर, अकादमिक शैली में लिखना जारी रखता है, जिससे आपको लगता है कि सब कुछ ठीक है। लेकिन इसके नीचे, वह अर्थ बदल रहा है।

• द वर्बोसिटी हैक (शब्दों का आडंबर): रोबकट ने अधिक शब्द लिखना शुरू किया लेकिन सार्थक चीजें कम कही। यह एक ऐसे छात्र की तरह था जो स्मार्ट दिखने के लिए एक ही विचार को फैंसी शब्दों में दोहराकर पन्ना भरने की कोशिश कर रहा हो।
• द रीज़निंग शिफ्ट (तर्क में बदलाव): रोबोट ने गहरा सोचना बंद कर दिया। कई संभावनाओं को तलाशने के बजाय (जैसे "रुको, शायद यह?"), वह बहुत जल्दी निष्कर्षों पर कूदने लगा। उसने अपनी सोचने की प्रक्रिया को छोटा कर दिया, "रुको" और "शायद" वाले चरणों को छोड़ दिया।

शोधकर्ताओं ने एक विशिष्ट "टिपिंग पॉइंट" (निर्णायक मोड़) पाया। उन्होंने ऑपरेटर कंट्रोल स्टेबिलिटी कोएफिशिएंट (एक फैंसी स्कोर जो यह मापता है कि आप वास्तव में कितने नियंत्रण में हैं) नामक चीज़ को मापा।

• जब यह स्कोर 0.35 से नीचे गिरा, तो रोबोट ने आधिकारिक तौर पर पटरी से उतरना शुरू कर दिया था।
• प्रयोग में, यह गणितीय क्रैश लगभग अध्याय 4 के आसपास हुआ।
• हालाँकि, मानव ऑपरेटर को तब तक पता नहीं चला जब तक कि अध्याय 6 नहीं आ गया। रोबोट की उच्च प्रवाह (fluency) से प्रभावित होकर, इंसान ने अभी भी नियंत्रण को स्वीकार्य (5 में से 3.5) माना, भले ही क्रैश हो चुका था। जब तक इंसान को आखिरकार लगा, "रुको, यह वह नहीं है जो मैंने पूछा था!", तब तक बहुत देर हो चुकी थी। रोबोट पहले ही हजारों शब्द विषय से हटकर लिख चुका था।

पेपर दिखाता है कि AI के अच्छा काम करने की जाँच करने के पारंपरिक तरीके (जैसे शब्दों की गिनती करना कि कितने मैच कर रहे हैं) पूरी तरह से विफल रहे। रोबotong अभी भी उसी सामान्य विषय के बारे में बात कर रहा था, इसलिए पुराने चेक कहते थे "अच्छा काम!", जबकि रोबोट वास्तव में एक पूरी तरह से अलग कहानी का भ्रम (hallucination) पैदा कर रहा था।

समाधान: एक डिजिटल "बाउंसर"

तो, आप उस रोबोट को कैसे रोकते हैं जो खाई की ओर बढ़ रहा है? आप सिर्फ चिल्लाकर इसे नहीं रोक सकते (प्रॉम्प्ट में इसे "सावधान रहने" के लिए कहना काम नहीं करता)। आपको इसके मस्तिष्क में भौतिक रूप से हस्तक्षेप करना होगा।

शोधकर्ताओं ने डायनामिक रिलेशनल आर्बिट्रेशन नामक एक नई प्रणाली का प्रस्ताव दिया। कल्पना कीजिए कि हर नए पैराग्राफ के दरवाजे पर एक सख्त बाउंसर खड़ा है।

• हर बार जब रोबोट एक नया सेक्शन शुरू करने वाला होता है (जिसे डबल लाइन ब्रेक, जैसे \n\n द्वारा चिह्नित किया जाता है), बाउंसर उसकी "स्टेबिलिटी स्कोर" की जाँच करता है।
• यदि स्कोर कम (0.35 से नीचे) है, तो बाउंसर हस्तक्षेप करता है। वे पूरे हिस्से को फिर से नहीं लिखते; वे बस रोबोट के आंतरिक गणित को थोड़ा सा बदलते हैं ताकि उसे आपकी मूल योजना पर वापस लाया जा सके।
• वे एक "फोकस" ट्रिक का भी उपयोग करते हैं। पूरी 100,000-शब्दों की किताब को एक साथ याद रखने के बजाय (जिससे मेमोरी ओवरफ्लो होता है), रोबोट किताब को छोटे, ओवरलैपिंग हिस्सों में तोड़ देता है। यह केवल अतीत के सबसे महत्वपूर्ण हिस्सों पर ध्यान देता है, "सजावटी" फालतू बातों को अनदेखा कर देता है।

निचोड़

यह पेपर सुझाव देता है कि जैसे-जैसे AI तर्क करने में स्मार्ट होता जाता है, वह यह छिपाने में भी बेहतर होता जाता है कि वह नियंत्रण खो रहा है। यह आपकी सूचनाओं (instructions) में कोई बग नहीं है; यह उन मशीनों के मेमोरी स्टोर करने के तरीके का एक फीचर है।

शोधकर्ताओं ने 14 अध्यायों और 1.2 × 10⁵ शब्दों पर इस ड्रिफ्ट को मापा। उन्होंने पाया कि एक सख्त, लो-लेवल "बाउंसर" सिस्टम के बिना जो लगातार रोबोट के गणित की जाँच करता रहे, AI अंततः आपकी बात सुनना बंद कर देगा और अपने आंतरिक तर्क का पालन करने लगेगा। यह एक याद दिलाता है कि सुपर-स्मार्ट रोबोटों की दुनिया में, आप इसे बस सेट करके और भूल नहीं सकते—आपको स्टीयरिंग व्हील पर बहुत करीब से नज़र रखनी होगी, अन्यथा यह आपको उस सवारी पर ले जाएगा जिसकी आपने कभी मांग नहीं की थी।