Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects
यह शोध पत्र एक सरप्राइज़ल-आधारित लिंकिंग तंत्र का उपयोग करते हुए अंग्रेजी एग्रीमेंट अट्रैक्शन कॉन्फ़िगरेशन पर ग्यारह ऑटोरेग्रेसिव ट्रांसफॉर्मर्स का मूल्यांकन करता है और पाता है कि जबकि वे प्रीपोज़िशनल फ्रेज़ संरचनाओं में मानव पठन समय के साथ संरेखित होते हैं, वे ऑब्जेक्ट-एक्सट्रैक्टेड रिलेटिव क्लॉज़ में मानव इंटरफेरेंस पैटर्न को दोहराने में विफल रहते हैं, जिससे यह निष्कर्ष निकलता है कि वर्तमान मॉडल मानव मॉर्फोसेंटैक्टिक प्रोसेसिंग की पर्याप्त व्याख्या नहीं करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक नए प्रकार का रोबोट मस्तिष्क (एक ट्रांसफॉर्मर) वास्तव में इंसान की तरह सोच सकता है, या यह केवल एक बहुत ही परिष्कृत तोता है जो बिना समझे आवाजों की नकल करता है।
इस शोध पत्र के शोधकर्ताओं ने इन रोबोट दिमागों को व्याकरण से जुड़ी एक विशिष्ट "तनाव परीक्षा" (stress test) के माध्यम से परखा। उन्होंने एक पेचीदा भाषाई पहेली देखी जिसे "एग्रीमेंट अट्रैक्शन" (Agreement Attraction) कहा जाता है।
पहेली: "डिस्ट्रैक्टर" संज्ञा (The Distractor Noun)
कल्पना कीजिए कि आप एक वाक्य पढ़ रहे हैं। आपके मस्तिष्क को कर्ता (जो क्रिया कर रहा है) को क्रिया (क्रिया) के साथ मिलाना होता है।
- सरल वाक्य: "The key was rusty." (एकल कुंजी = एकल क्रिया)। आसान है।
- जाल: "The key to the cabinets were rusty."
यहाँ, विषय "key" (एकवचन) है, लेकिन बीच में एक "distractor" संज्ञा, "cabinets" (बहुवचन), बैठी है।
- व्याकरण का नियम: क्रिया "was" (एकवचन) होनी चाहिए क्योंकि "key" एकवचन है।
- मानवीय मस्तिष्क की गड़बड़ी: इंसान अक्सर "cabinets" से भ्रमित हो जाते हैं। हम "were" (बहुवचन) को उतनी तेज़ी से पढ़ लेते हैं जितनी तेज़ी से हमें नहीं पढ़ना चाहिए, जैसे कि हमारे मस्तिष्क ने क्षण भर के लिए सोचा कि कैबिनेट ही विषय थे। यह एक क्षणिक मानसिक चूक की तरह है जहाँ बहुवचन "cabinets" मस्तिष्क को धोखा दे देता है।
प्रयोग: दो अलग-अलग कमरे
शोधकर्ताओं ने 11 अलग-अलग AI मॉडल (छोटे से लेकर विशाल तक) का परीक्षण यह देखने के लिए किया कि क्या वे मनुष्यों की तरह ही वही "गड़बड़ी" करते हैं। उन्होंने उन्हें दो अलग-अलग "कमरों" (वाक्य संरचनाओं) में परखा:
कमरा 1: गलियारा (Prepositional Phrases)
- उदाहरण: "The key to the cabinets..."
- परिणाम: AI मॉडल बिल्कुल सटीक थे। इंसानों की तरह ही, वे बहुवचन "cabinets" से भ्रमित हो गए और गलत क्रिया को तेज़ी से प्रोसेस करने लगे।
- उपमा: यह एक गलियारे में चलने जैसा है जहाँ दीवार पर एक ध्यान भटकाने वाला पोस्टर लगा हो। इंसान और AI दोनों उसी जगह पर लड़खड़ाए।
कमरा 2: भूलभुलैया (Object-Extracted Relative Clauses)
- उदाहरण: "The marine(s) who the officer(s) wants/want to promote..."
- यह एक अधिक जटिल वाक्य संरचना है जहाँ "distractor" वाक्य के भीतर गहराई में छिपा हुआ है।
- परिणाम: अराजकता।
- कुछ AI मॉडलों ने इसे सही किया।
- कुछ ने इसे पूरी तरह से गलत किया।
- कुछ ने मनुष्यों के विपरीत भविष्यवाणी की।
- कुछ मॉडलों ने सोचा कि वाक्य आसान था जबकि मनुष्यों को यह कठिन लगा, और इसके विपरीत भी।
- उपमा: कल्पना कीजिए कि आप उसी समूह के लोगों और रोबोटों को एक जटिल भूलभुलैया में भेजते हैं। जबकि वे गलियारे में लड़खड़ाए थे, भूलभुलैया में, सभी इंसान एक ही तरह से रास्ता भटक गए, लेकिन रोबोट बेतरतीब दिशाओं में दौड़े, दीवारों से टकराए, या पीछे की ओर चले गए। वे मनुष्यों की तरह सोच नहीं रहे थे; वे बस अनुमान लगा रहे थे।
बड़ा निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI मॉडल मानव मस्तिष्क के अच्छे मॉडल नहीं हैं।
- वे सुसंगत नहीं हैं: यदि वे वास्तव में मनुष्यों की तरह "सोच" रहे होते, तो उन्हें सभी प्रकार के वाक्यों में उसी तरह विफल होना चाहिए था जैसे मनुष्य होते हैं। इसके बजाय, वे केवल सरल गलियारे में विफल होते हैं, लेकिन जटिल भूलभुलैया में अप्रत्याशित व्यवहार करते हैं।
- वे केवल नकल कर रहे हो सकते हैं: लेखक सुझाव देते हैं कि AI वास्तव में व्याकरण के नियमों या मानव स्मृति कैसे काम करती है, इसे नहीं समझता होगा। इसके बजाय, इसने शायद यह याद कर लिया होगा कि "लोग अक्सर इन विशिष्ट शब्दों के साथ गलतियाँ करते हैं" और यह केवल अपने प्रशिक्षण डेटा से सतही त्रुटियों की नकल कर रहा है।
- एक पन्ने से किताब का न्याय न करें: पिछले अध्ययनों ने केवल "गलियारे" वाले वाक्यों को देखा और घोषित किया, "आहा! AI इंसान की तरह सोचता है!" यह शोध पत्र कहता है, "रुको, आपने केवल एक कमरा टेस्ट किया है। यदि आप पूरे घर का परीक्षण करते हैं, तो AI बहुत अलग दिखता है।"
भविष्य के लिए सीख
यदि हम जानना चाहते हैं कि क्या AI वास्तव में भाषा को समझता है, तो हम केवल आसान वाक्यों या केवल एक विशिष्ट AI मॉडल पर इसका परीक्षण नहीं कर सकते। हमें इसे हर प्रकार के पेचीदा वाक्यों पर टेस्ट करना होगा और कई अलग-अलग मॉडलों की तुलना करनी होगी।
जब तक हम ऐसा नहीं करते, हम यह नहीं कह सकते कि इन रोबोटों के पास मानव जैसा मस्तिष्क है। अभी, वे केवल मानव सोच की आवाज़ की नकल करने में बहुत अच्छे हैं, लेकिन उनके पास इसकी लय नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।