Do Language Models Track Entities Across State Changes?
यह शोध पत्र प्रकट करता है कि बड़े भाषा मॉडल क्रमिक परिचालनों के माध्यम से इकाई अवस्थाओं (entity states) को वृद्धिशील रूप से ट्रैक करने में विफल रहते हैं, बल्कि इसके बजाय एक गैर-क्रमिक रणनीति पर निर्भर करते हैं जो क्वेरी टोकन पर सूचना को एकत्रित करती है और निष्कासनों के लिए एक नाजुक वैश्विक दमन तंत्र (global suppression mechanism) का उपयोग करती है, जिससे पूर्वानुमानित विफलता मोड उत्पन्न होते जिन्हें यांत्रिक हस्तक्षेप (mechanistic intervention) के माध्यम से आंशिक रूप से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भुलक्कड़ रोबोट के साथ "साइमन सेज़" (Simon Says) का खेल खेल रहे हैं। आप रोबोट को बताते हैं कि सात अलग-अलग बक्सों में विभिन्न वस्तुएं कहाँ छिपी हैं। फिर, आप रोबोट को निर्देश देना शुरू करते हैं: "बॉक्स 1 में एक घड़ी रखो," "बॉक्स 2 से जार निकालो," "सेब को बॉक्स 0 से बॉक्स 1 में ले जाओ।" अंत में, आप पूछते हैं, "बॉक्स 1 में क्या है?"
यह शोध पत्र जांच करता है कि आधुनिक AI भाषा मॉडल (वे "रोबोट") इस खेल को कैसे संभालते हैं। विशेष रूप से, यह पूछता है: क्या रोबोट आपके बोलने के दौरान चीजों की एक चलती-फिरती मानसिक सूची रखता है, या वह सब कुछ समझने के लिए अंत तक प्रतीक्षा करता है?
यहाँ शोधकर्ताओं ने क्या पाया है, इसे सरल उपमाओं के माध्यम से समझाया गया है:
1. रोबोट के पास "लाइव फीड" नहीं होता
आप मान सकते हैं कि जैसे-जैसे रोबोट प्रत्येक निर्देश सुनता है, वह दुनिया का एक मानसिक मानचित्र अपडेट करता है, जैसे कि जीपीएस (GPS) आपके स्थान को टर्न-दर-टर्न अपडेट करता है।
- वास्तविकता: रोबोट उस छात्र की तरह है जो परीक्षा के आखिरी मिनट तक पढ़ाई नहीं करता। वह कहानी के आगे बढ़ने के साथ दुनिया की एक पूरी तस्वीर नहीं बनाता। इसके बजाय, वह तब तक प्रतीक्षा करता है जब तक आप अंतिम प्रश्न नहीं पूछते ("बॉक्स 1 में क्या है?")। केवल तब, वह पूरी कहानी को तेजी से स्कैन करता है जो उसने अभी सुनी है, बॉक्स 1 से संबंधित विशिष्ट वाक्यों को चुनता है, और मौके पर ही उत्तर की गणना करता है। वह दुनिया की "अवस्था" (state) को क्रमिक रूप से ट्रैक नहीं करता; वह बस अंत में आवश्यक तथ्यों को समानांतर रूप से प्राप्त करता है।
2. "जोड़ना" बनाम "मिटाना" की समस्या
शोधकर्ताओं ने यह देखा कि रोबोट निर्देशों के दो विशिष्ट प्रकारों को कैसे संभालता है: रखो (एक वस्तु जोड़ना) और निकालो (एक वस्तु हटाना)।
"रखो" (PUT) ऑपरेशन (जोड़ना): यह काफी अच्छी तरह से काम करता है। जब रोबोट सुनता है "बॉक्स 1 में घड़ी रखो," तो वह एक मानक "लुक-बैक" तंत्र का उपयोग करता है। वह "बॉक्स 1" के उल्लेख और "घड़ी" के उल्लेख को पाता है और उन्हें आपस में जोड़ देता है, ठीक वैसे ही जैसे इंसान किसी नाम को चेहरे से जोड़ते हैं। यह हिस्सा विश्वसनीय है।
"निकालो" (REMOVE) ऑपरेशन (मिटाना): यहीं पर रोबोट अजीब व्यवहार करता है और गलतियाँ करता है।
- उपमा: कल्पना कीजिए कि आपके पास एक पार्टी के मेहमानों की सूची है। यदि आप कहते हैं, "सूची से जॉन को हटाओ," तो एक स्मार्ट सिस्टम जॉन का नाम केवल उसी विशिष्ट सूची से काटेगा।
- रोबोट की खामी: यह रोबोट एक "ग्लोबल इरेज़र" (Global Eraser - वैश्विक मिटाने वाला) का उपयोग करता है। जब यह "निकालो" शब्द सुनता है, तो यह केवल बताए गए विशिष्ट बॉक्स से वस्तु को नहीं हटाता। यह उस वस्तु पर हर जगह एक विशाल, अदृश्य "अनुमान न लगाएं" (DO NOT PREDICT) टैग लगा देता है। यह प्रभावी रूप से खुद को बताता है, "जार शब्द का दोबारा कभी उल्लेख न करें," चाहे वह जार किसी भी बॉक्स में हो।
3. "व्हाइट बियर" (सफेद भालू) प्रभाव
शोधकर्ताओं ने इस "ग्लोबल इरेज़र" की तुलना एक प्रसिद्ध मनोवैज्ञानिक ट्रिक से की जिसे "व्हाइट बियर प्रॉब्लम" कहा जाता है। यदि आप किसी को कहते हैं, "सफेद भालू के बारे में मत सोचो," तो वे तुरंत उसके बारे में सोचने लगते हैं।
- रोबोट के मामले में, "जार निकालो" का निर्देश एक संकेत बनाता है जो कहता है "जार को दबा दो (Suppress the jar)"। क्योंकि यह संकेत वैश्विक (पूरी दुनिया पर लागू) है, न कि केवल एक बॉक्स पर, रोबोट कभी-कभी भ्रमित हो जाता है। यदि जार बॉक्स 2 में था, और आपने बॉक्स 1 के बारे में पूछा, तो रोबोट जार को दबा सकता है भले ही वह बॉक्स 1 में न हो।
4. भविष्यवाणी करना और खराबी को ठीक करना
क्योंकि शोधकर्ता समझते थे कि रोबोट कैसे सोच रहा था (वह "तंत्र" या "मैकेनिज्म"), वे सटीक रूप से भविष्यवाणी कर सके कि यह कब विफल होगा, यहाँ तक कि विफलता होने से पहले ही।
- परीक्षण: उन्होंने ऐसे पेचीदा परिदृश्य बनाए जो रोबोट ने पहले नहीं देखे थे, जैसे: "जार बॉक्स 1 में है। बॉक्स 1 से जार निकालो। अब, जार को वापस बॉक्स 1 में रखो।"
- परिणाम: क्योंकि रोबोट "ग्लोबल इरेज़र" का उपयोग करता है, वह अक्सर जार को वापस रखना भूल जाता है, क्योंकि "निकालो" का टैग अभी भी "जार" शब्द पर छाया हुआ है।
- समाधान: शोधकर्ताओं ने एक "सर्जिकल" हस्तक्षेप की कोशिश की। उन्होंने रोबोट के अनुमान लगाने से ठीक पहले उसके दिमाग के अंदर उस "ग्लोबल इरेज़र" टैग को मैन्युअल रूप से मिटा दिया। इसने कई मामलों में त्रुटि को सफलतापूर्वक ठीक कर दिया, जिससे साबित हुआ कि "ग्लोबल इरेज़र" ही समस्या का कारण था।
मुख्य निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि हालांकि ये AI मॉडल जटिल पहेलियों को हल करने में अविश्वसनीय रूप से अच्छे हैं, लेकिन वे उस तरह से काम नहीं करते जैसे इंसान करते हैं। इंसान अपने दिमाग में एक निरंतर कहानी बनाते हैं। हालाँकि, ये मॉडल कहानी को तथ्यों के एक स्थिर पुस्तकालय (static library) के रूप में देखते हैं जिसका वे केवल तभी परामर्श करते हैं जब बिल्कुल आवश्यक हो।
इसके अलावा, सूचना को "मिटाने" का उनका तरीका नाजुक है। एक विशिष्ट फ़ाइल को सावधानीपूर्वक संपादित करने के बजाय, वे पूरी अवधारणा पर "उपयोग न करें" का बोर्ड लगा देते हैं, जिससे त्रुटियां होती हैं जब संदर्भ जटिल हो जाता है। यह अध्ययन दिखाता है कि इन आंतरिक "मैकेनिज्म" को समझकर, हम भविष्यवाणी कर सकते हैं कि रोबोट कहाँ लड़खड़ाएगा और पूरे सिस्टम को फिर से प्रशिक्षित किए बिना भी उसकी गलतियों को ठीक कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।