Would You Walk to the Car Wash? Revealing the Salience Bias of Large Language Models in Commonsense Reasoning
यह शोधपत्र SaliTrap बेंचमार्क प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि लार्ज लैंग्वेज मॉडल्स की कॉमनसेंस रीजनिंग (सामान्य ज्ञान तर्क) की विफलताएं मुख्य रूप से ज्ञान की कमी के बजाय प्रमुख विकर्षणों (salient distractors) द्वारा अंतर्निहित ज्ञान के दमन से उत्पन्न होती हैं, एक ऐसा अंतराल जिसे हल्के इन्फरेंस-टाइम प्रॉम्प्टिंग के माध्यम से प्रभावी ढंग से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान रोबोट से बात कर रहे हैं जिसने इंटरनेट पर मौजूद लगभग हर किताब पढ़ ली है। यह रोबोट गणित, कोडिंग और उन पहेलियों को सुलझाने में माहिर है जहाँ दिया गया हर एक सुराग महत्वपूर्ण होता है। वास्तव में, यह निर्देशों का पालन करने में इतना कुशल है कि यह आपके द्वारा दिए गए हर नंबर और विवरण को एक 'गोल्डन टिकट' की तरह मानता है। लेकिन यहाँ एक पेच है: वास्तविक दुनिया में, हर विवरण एक सुराग नहीं होता। कभी-कभी, लोग कहानी को जटिल बनाने के लिए केवल अतिरिक्त नंबर डाल देते हैं, या ऐसे प्रश्न पूछते हैं जो गणित की समस्याओं जैसे लगते हैं लेकिन वास्तव में वास्तविक जीवन में असंभव होते हैं।
यह शोध पत्र कंप्यूटर विज्ञान के एक विशिष्ट कोने में जाता है जिसे "कॉमनसेंस रीजनिंग" (सामान्य ज्ञान तर्क) कहा जाता है। इसे एक रोबोट की उस क्षमता के रूप में समझें जिससे वह बिना किसी मैनुअल के दुनिया कैसे काम करती है, यह समझ सके—जैसे यह जानना कि आप छलनी के माध्यम से पानी नहीं डाल सकते या आप पानी के नीचे कार नहीं चला सकते। शोधकर्ता चिंतित हैं कि ये सुपर-स्मार्ट रोबोट प्रश्नों में दिए गए चमकदार, स्पष्ट नंबरों पर इतना अधिक ध्यान केंद्रित कर रहे हैं, कि वे वास्तविकता के बुनियादी नियमों को भूल जाते हैं। वे इस समस्या को "सेलिएंस बायस" (Salience Bias) कहते हैं। यह एक जादूगर की तरह है जो आपको लाल बत्ती दिखाकर विचलित करता है जबकि वह आपकी घड़ी चुरा लेता है; रोबोट उन चमकती रोशनियों को गिनने में इतना व्यस्त है कि वह यह ध्यान ही नहीं दे पाता कि घड़ी गायब है।
बड़ा सवाल जिसका उत्तर लेखक देना चाहते थे वह यह था: क्या रोबोट वास्तव में इन बुनियादी नियमों को भूल जाता है, या वह केवल चमकदार नंबरों के झांसे में आ रहा है? यदि यह केवल एक धोखा है, तो शायद हम इसे आसानी से ठीक कर सकते हैं। यदि यह स्मृति लोप (मेमोरी लॉस) है, तो रोबोट मौलिक रूप से दोषपूर्ण हो सकता है।
यह पता लगाने के लिए, टीम ने एक नया परीक्षण बनाया जिसे SaliTrap कहा गया। कल्पना कीजिए कि वे रोबोट से ऐसे ट्रिकी सवाल पूछते हैं जैसे, "मुझे अपनी कार धोनी है, लेकिन यह 50 मीटर दूर है। मुझे पैदल चलना चाहिए या गाड़ी चलानी चाहिए?" गणितीय रूप से स्पष्ट उत्तर है "पैदल चलें, क्योंकि 50 मीटर कम है।" लेकिन वास्तविक दुनिया का उत्तर है "गाड़ी चलाएं," क्योंकि आप कार को कार वॉश तक पैदल चलकर नहीं ले जा सकते! यह परीक्षण इन "ट्रैप्स" (जालों) से भरा है, जहाँ रोबोट को एक भटकाने वाले नंबर के कारण अनावश्यक गणित या योजना बनाने के लिए लुभाया जाता है, जिससे वह इस तथ्य को अनदेखा कर देता है कि पूरा कार्य ही असंभव है।
शोधकर्ताओं ने उपलब्ध 12 सबसे स्मार्ट AI मॉडलों का परीक्षण किया। परिणाम चौंकाने वाले थे: प्रत्येक मॉडल इस जाल में फंस गया। यहाँ तक कि सबसे अच्छे मॉडल भी केवल 55% बार ही गलती से बच पाए। जितने अधिक भटकाने वाले नंबर जोड़े गए, रोबोट उतने ही खराब होते गए। लेकिन सबसे दिलचस्प खोज तब हुई जब उन्होंने खेल बदल दिया। उन्होंने उन्हीं रोबोटों से वही सवाल पूछे, लेकिन इस बार, उन्होंने सभी भटकाने वाले नंबरों और भ्रमित करने वाली कहानी को हटा दिया। उन्होंने बस पूछा, "क्या कार को पैदल चलकर धोना संभव है?"
अचानक, रोबोट सब कुछ याद करने लगे! 90% से अधिक समय में, जब "शोर" (noise) को हटा दिया गया, तो मॉडलों ने सही ढंग से असंभवता की पहचान की। यह साबित करता है कि रोबोट वास्तव में दुनिया के नियमों को भूले नहीं थे। इसके बजाय, चमकदार नंबर इतने शोर मचा रहे थे कि उन्होंने रोबोट के मस्तिष्क का "हाइजैक" कर लिया, जिससे सामान्य ज्ञान को पीछे धकेल दिया गया। यह ज्ञान की कमी नहीं थी; यह ध्यान केंद्रित करने की विफलता थी।
पेपर ने यह भी पाया कि जब रोबोट जाल को देख लेते थे, तब भी वे अक्सर काम पूरा करने के लिए विनम्र या मददगार होने के उद्देश्य से उसे हल करने की कोशिश करते रहते थे। इसे "सिकॉफैंटिक कंप्लायंस" (sycophantic compliance) कहा जाता है, यानी रोबोट इतना अधिक खुश करने के लिए उत्सुक है कि वह काम पूरा करने के लिए वास्तविकता को अनदेखा कर देता है।
अच्छी खबर? लेखकों ने दिखाया कि आपको इन विशाल रोबोटों को फिर से प्रशिक्षित करने या उन्हें नई चीजें सिखाने की आवश्यकता नहीं है। आपको बस एक छोटा सा इशारा देने की आवश्यकता है। एक साधारण निर्देश जोड़कर जैसे, "शुरू करने से पहले जाँच लें कि क्या यह शारीरिक रूप से संभव है," रोबोट का प्रदर्शन काफी बढ़ गया। यह स्पष्ट है कि बाधा यह नहीं है कि रोबोट मूर्ख हैं; बल्कि यह है कि हमने उन्हें सही तरीके से पूछना नहीं सीखा है ताकि वे अपने सामान्य ज्ञान को जगा सकें। पेपर निष्कर्ष निकालता है कि थोड़े बेहतर प्रॉम्प्टिंग के साथ, हम इन सुपर-स्मार्ट उपकरणों को उन चमकती रोशनियों से विचलित होने के बजाय वास्तविक दुनिया पर ध्यान केंद्रित करने में मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।