Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods
यह शोध पत्र एक आई-ट्रैकिंग-आधारित संज्ञानात्मक मूल्यांकन ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि पारंपरिक पठनीयता सूत्र, एनएलपी विधियाँ, वाणिज्यिक प्रणालियाँ और अत्याधुनिक एलएलएम (LLMs), मनोवैज्ञानिक भाषाई शब्द गुणों की तुलना में वास्तविक समय की पढ़ने की सुगमता के खराब भविष्यवक्ता हैं, जो नए संज्ञानात्मक रूप से संचालित स्कोरिंग दृष्टिकोणों की आवश्यकता पर प्रकाश डालते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि किसी किताब को पढ़ना कितना आसान है। सौ साल से भी अधिक समय से, वैज्ञानिक और शिक्षक "रीडेबिलिटी फॉर्मूला" (पठनीयता सूत्र) बनाने की कोशिश कर रहे हैं—ऐसे गणितीय नुस्खे जो किसी टेक्स्ट को देखते हैं और एक ग्रेड स्तर बताते हैं, जैसे कि "यह पांचवीं कक्षा का टेक्स्ट है" या "यह बारहवीं कक्षा का टेक्स्ट है।" वे आमतौर पर ऐसा वाक्यों की लंबाई या उनमें कितने बड़े शब्दों के होने जैसी चीजों को गिनकर करते हैं। लेकिन यहाँ एक पेचीदा बात है: सिर्फ इसलिए कि किसी टेक्स्ट में छोटे वाक्य हैं, इसका मतलब यह नहीं है कि पढ़ते समय एक इंसान को वास्तव में वह पढ़ने में आसान महसूस होगा। यह वास्तव में जानने के लिए कि कोई टेक्स्ट कितना आसान है, आपको यह देखना होगा कि वास्तविक समय में एक व्यक्ति का मस्तिष्क कैसे काम कर रहा है। यहीं पर "आई ट्रैकिंग" (नेत्र ट्रैकिंग) काम आती है। यह एक छोटी कैमरा लगाने जैसा है जो आपकी आँख पर हो ताकि यह देखा जा सके कि आप वास्तव में कहाँ देखते हैं, आप एक शब्द पर कितनी देर तक देखते हैं, और क्या आपको वापस पीछे देखना पड़ता है (रिग्रेस) क्योंकि आप भ्रमित हो गए थे। यह इंजन के आकार को देखकर कार की गति का अनुमान लगाने और वास्तव में कार चलाकर गति को महसूस करने के बीच का अंतर है।
यह शोध पत्र, जिसका शीर्षक "आई ट्रैकिंग बेस्ड कॉग्निटिव इवैल्यूएशन ऑफ ऑटोमैटिक रीडेबिलिटी असेसमेंट मेथड्स" है, टेक्स्ट विश्लेषण की दुनिया के लिए एक बड़ी वास्तविकता की जाँच है। शोधकर्ताओं ने, इज़राइल के टेक्निओन में केरेन ग्रुटेके क्लाइन और उनकी टीम के नेतृत्व में, यह तय किया कि वे वर्तमान में टेक्स्ट की कठिनाई को मापने के सबसे लोकप्रिय तरीकों का परीक्षण करेंगे। उन्होंने 638 वयस्कों का एक विशाल समूह इकट्ठा किया—कुछ मूल अंग्रेजी बोलने वाले और कुछ जिन्होंने अंग्रेजी दूसरी भाषा के रूप में सीखी है—और उनसे कंप्यूटर पर समाचार लेख पढ़े और उनकी आँखों को प्रति सेकंड 1,000 की सुपर-फास्ट गति से ट्रैक किया गया। उन्होंने एक चतुर तरकीब का उपयोग किया: उन्होंने उन्हीं समाचार कहानियों को लिया और मानव शिक्षकों से उन्हें सरल रूप में फिर से लिखवाया। इसने शोधकर्ताओं को विषय को लेखन शैली से अलग करते हुए, "कठिन" संस्करण और "आसान" संस्करण की तुलना करने की अनुमति दी।
टीम ने फिर एक सरल प्रश्न पूछा: कौन सा कंप्यूटर प्रोग्राम यह भविष्यवाणी करने में सबसे अच्छा है कि "आसान" संस्करण वास्तव में पाठकों को कितना आसान लगा? उन्होंने पुराने गणितीय सूत्रों (जैसे फ्लेश रीडिंग ईज़ स्कोर) से लेकर आधुनिक एआई सिस्टम, स्कूलों में उपयोग किए जाने वाले व्यावसायिक उपकरणों और अत्याधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) तक सब कुछ टेस्ट किया। विशेष रूप से, अध्ययन ने विशिष्ट प्रॉम्प्ट का उपयोग करके GPT-4o और अन्य अत्याधुनिक प्रणालियों (जिसमें पेपर में 2025 जैसी भविष्य की तारीखों वाले संस्करण शामिल हैं) का मूल्यांकन किया, जिसमें ग्रेड स्तर या 1 से 100 तक कठिनाई स्कोर असाइन करने के लिए कहा गया था। उन्होंने इन हाई-टेक उपकरणों की तुलना मनोविज्ञान के कुछ बहुत ही सरल, पुराने मापों से की, जैसे कि भाषा में एक शब्द का कितनी बार उपयोग किया जाता है या कोई शब्द देखना कितना आश्चर्यजनक है।
परिणाम चौंकाने वाले थे। तमाम फैंसी तकनीक और आधुनिक एआई की अविश्वसनीय शक्ति के बावजूद, लोकप्रिय रीडेबिलिटी टूल्स यह भविष्यवाणी करने में बहुत खराब थे कि वास्तविक समय में टेक्स्ट पढ़ना वास्तव में कितना आसान महसूस होता है। पुराने फॉर्मूले, व्यावसायिक स्कूल उपकरण, और यहाँ तक कि अत्याधुनिक एआई मॉडल भी पाठकों की आँखों की गतिविधियों से मेल खाने में विफल रहे। वास्तव में, सबसे अच्छे भविष्यवक्ता सबसे सरल चीजें निकलीं: एक शब्द कितना लंबा है, वह कितना सामान्य है, और "सरप्राइज़ल" (surprisal) नामक एक माप (जो मूल रूप से गणितीय तरीका है कि "यह शब्द कितना अप्रत्याशित है?")। अध्ययन बताता है कि जबकि हमारे वर्तमान उपकरण यह अनुमान लगाने में महान हैं कि टेक्स्ट किस ग्रेड स्तर का है, वे पढ़ने के वास्तविक मानवीय अनुभव को पकड़ने में चूक रहे हैं। लेखक निष्कर्ष निकालते हैं कि हमें उच्च-दांव वाले निर्णयों के लिए इन पुराने तरीकों पर भरोसा करना बंद करना चाहिए और नए सिस्टम बनाना शुरू करना चाहिए जो वास्तव में इस बात से प्रेरित हों कि हमारा मस्तिष्क क्षण भर में शब्दों को कैसे प्रोसेस करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।