Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly
यह अध्ययन प्रदर्शित करता है कि व्युत्क्रम स्केलिंग संबंध (inverse scaling relationship), जहाँ बड़े ट्रांसफॉर्मर-आधारित भाषा मॉडल मानव वाक्य प्रसंस्करण कठिनाई की कम सटीक भविष्यवाणी करते हैं, पठन समय से आगे बढ़कर fMRI डेटा पर भी लागू होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि मानव मस्तिष्क भाषा को कैसे संसाधित करता है। वर्षों से, वैज्ञानिक एक अवधारणा का उपयोग करते आए हैं जिसे "सरप्राइज़ल" (surprisal) कहा जाता है ताकि यह अनुमान लगाया जा सके कि किसी व्यक्ति के लिए किसी शब्द को समझना कितना कठिन है। "सरप्राइज़ल" को एक "शॉक मीटर" (आश्चर्य मापने वाले यंत्र) की तरह समझें। यदि आप एक कहानी पढ़ रहे हैं और अचानक एक शांत पुस्तकालय के बारे में लिखे वाक्य में "एलिगेटर" (घड़ियाल) शब्द देखते हैं, तो आपके मस्तिष्क को एक बड़ा झटका लगता है (उच्च सरप्राइज़ल) क्योंकि इसकी उम्मीद नहीं थी। यदि आप "किताब" शब्द देखते हैं, तो कोई झटका नहीं लगता (निम्न सरप्राइज़ल) क्योंकि इसकी उम्मीद थी।
लंबे समय तक, शोधकर्ताओं का मानना था कि जितना बड़ा और स्मार्ट कंप्यूटर लैंग्वेज मॉडल (जैसे कि एक सुपर-एडवांस्ड एआई) होगा, उसका "शॉक मीटर" उतना ही बेहतर होगा कि कोई व्यक्ति एक वाक्य को पढ़ने में कितना समय लेता है या उनका मस्तिष्क उस पर कैसी प्रतिक्रिया देता है।
बड़ी हैरानी
यह शोध इस विचार को पूरी तरह से उलट देता है। शोधकर्ताओं ने पाया कि बड़े, अधिक शक्तिशाली एआई मॉडल वास्तव में मानव मस्तिष्क की प्रतिक्रिया का अनुमान लगाने में बदतर हैं।
यहाँ इस बात को समझाने की कहानी दी गई है कि उन्होंने यह कैसे पता लगाया, जिसे सरल उपमाओं के साथ समझाया गया है:
"विशेषज्ञ" बनाम "मानव"
कल्पना कीजिए कि आपके पास दो मौसम भविष्यवक्ता हैं जो यह भविष्यवाणी करने की कोशिश कर रहे हैं कि क्या बारिश होगी।
- भविष्यवक्ता A एक छोटा, सरल मॉडल है। उसने पहले भी कुछ बारिश देखी है और वह काफी हद तक सही भविष्यवाणी करता है।
- भवष्यवक्ता B एक विशाल, सुपर-कंप्यूटर मॉडल है जिसे इतिहास की हर मौसम रिपोर्ट पर प्रशिक्षित किया गया है। यह अविश्वसनीय रूप से स्मार्ट है और वास्तविक मौसम पैटर्न के लिए लगभग सटीक भविष्यवाणी करता है।
शोधकर्ताओं ने पाया कि जब बात मानव व्यवहार (जैसे कि एक व्यक्ति कितना हैरान है) की भविष्यवाणी करने की आती है, तो भविवक्ता B, भविष्यवक्ता A की तुलना में वास्तव में कम सटीक है।
क्यों? क्योंकि सुपर-स्मार्ट एआई ने दुर्लभ शब्दों की भविष्यवाणी इतनी सटीकता से करना सीख लिया है कि वह अब उनसे हैरान होना बंद कर चुका है। लेकिन इंसान अभी भी दुर्लभ शब्दों से हैरान होते हैं। एआई अपने काम में बहुत अधिक "परफेक्ट" हो जाता है और एक सामान्य मानव मस्तिष्क के काम करने के तरीके से संपर्क खो देता है। यह शतरंज के ग्रैंडमास्टर जैसा है जो खेल की हर चाल की सटीक भविष्यवाणी कर सकता है, लेकिन वह यह बताने में विफल रहता है कि एक नौसिखिया क्या करेगा, क्योंकि नौसिखिया वे "गलतियाँ" कर सकता है जो ग्रैंडमास्टर कभी नहीं करेगा।
प्रयोग: दो अलग-अलग मस्तिष्क
यह साबित करने के लिए कि यह केवल एक इत्तेफाक नहीं था, शोधकर्ताओं ने इसे केवल पढ़ने के समय के बजाय मस्तिष्क के स्कैन (fMRI डेटा) पर परखा। वे यह देखना चाहते थे कि क्या "बड़ा मतलब बदतर" वाला नियम वास्तव में मस्तिष्क की वास्तविक शारीरिक गतिविधि पर लागू होता है।
उन्होंने 17 अलग-अलग एआई मॉडल का उपयोग किया जो आकार में भिन्न थे (छोटे से लेकर बहुत बड़े तक) और उन्हें दो अलग-अलग समूहों पर परखा जिनके मस्तिष्क का स्कैन किया जा रहा था जबकि वे कहानियाँ सुन रहे थे या वाक्य पढ़ रहे थे।
- "प्राकृतिक कहानियाँ" परीक्षण: लोगों ने प्राकृतिक कहानियाँ सुनीं जबकि उनके मस्तिष्क का स्कैन किया जा रहा था।
- "पेरेरा" परीक्षण: लोगों ने छोटे अनुच्छेद पढ़े जबकि उनके मस्तिष्क का स्कैन किया जा रहा था।
परिणाम:
दोनों परीक्षणों में, वही पैटर्न दिखाई दिया। जैसे-जैसे एआई मॉडल बड़े और स्मार्ट होते गए, मानव मस्तिष्क की प्रतिक्रिया से मेल खाने की उनकी क्षमता खराब होती गई। सबसे बड़े मॉडल मानव मस्तिष्क क्या करेगा, इसका अनुमान लगाने में सबसे खराब थे।
यह क्यों मायने रखता है (पेपर के अनुसार)
पेपर निष्कर्ष निकालता है कि यह "इनवर्स स्केलिंग" (जहाँ बड़ा मॉडल = मानव के लिए बदतर भविष्यवाणी) केवल इस बात का विचित्र मामला नहीं है कि लोग कितनी तेजी से पढ़ते हैं। यह मस्तिष्क की वास्तविक विद्युत गतिविधि में भी होता है।
लेखक सुझाव देते हैं कि क्योंकि ये विशाल मॉडल इतने अधिक डेटा पर प्रशिक्षित हैं, वे दुर्लभ शब्दों की भविष्यवाणी करने में बहुत अच्छे हो जाते हैं, जिससे उनके "सरप्राइज़" स्तर वास्तविक मनुष्यों की तुलना में बहुत कम हो जाते हैं।
मुख्य बात:
यदि आप समझना चाहते हैं कि मानव मस्तिष्क भाषा को कैसे संसाधित करता है, तो आपको शायद सबसे बड़े, सबसे महंगे एआई की आवश्यकता नहीं है। वास्तव में, एक थोड़ा छोटा, कम "परफेक्ट" मॉडल वास्तव में हमारे मस्तिष्क के काम करने के तरीके का एक बेहतर दर्पण हो सकता है।
नोट: यह पेपर सख्ती से इन विशिष्ट भाषा मॉडलों और मस्तिष्क डेटासेट्स तक ही अपनी खोजों को सीमित करता है। यह दावा नहीं करता है कि यह अन्य भाषाओं, नैदानिक निदान या भविष्य के एआई अनुप्रयोगों पर लागू होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।