Focus particles and scalar inferences across humans and language models
यह शोध पत्र इस बात की जांच करता है कि क्या मनुष्य और बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) "even" और "only" जैसे फोकस पार्टिकल्स के लिए सुसंगत स्केलर निर्णय उत्पन्न करते हैं, जिसमें यह पाया गया है कि यद्यपि उनके आउटपुट अक्सर मेल खाते हैं, फिर भी वे संभवतः मौलिक रूप से भिन्न अंतर्निहित तंत्रों पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक मस्तिष्क—या एक सुपर-स्मार्ट कंप्यूटर—यह तय कैसे करता है कि किसी चीज़ का अर्थ क्या है। वैज्ञानिक लंबे समय से यह सोच रहे हैं कि क्या हमारे मस्तिष्क शब्दों को भौतिक वस्तुओं की तरह मानते हैं जिन्हें हम अंतरिक्ष में इधर-उधर घुमा सकते हैं, या वे उन्हें भावनात्मक संकेतों की तरह मानते हैं। इसे इस तरह सोचें: जब आप "अच्छा" (good) जैसा शब्द सुनते हैं, तो क्या आप स्वचालित रूप से "सही" (right) या "ऊपर" (up) के बारे में सोचते हैं, और जब आप "बुरा" (bad) सुनते हैं, तो क्या आप "बाएं" (left) या "नीचे" (down) के बारे में सोचते हैं? इस विचार को "स्थानिक कोडिंग" (spatial coding) कहा जाता है, और यह सुझाव देता है कि हमारे मन एक मानचित्र की तरह हो सकते हैं जहाँ अर्थ को तीरों के साथ खींचा गया है। लेकिन एक और विचार है: शायद हमारे मस्तिष्क केवल शब्द के भाव (feeling) को देखते हैं (क्या यह सकारात्मक है या नकारात्मक?) और मानचित्र को पूरी तरह से अनदेखा कर देते हैं। यह "मूल्यांकनात्मक" (evaluative) दृष्टिकोण है। यह समझना कि कौन सा सच है, इसलिए महत्वपूर्ण है क्योंकि यह हमें यह पता लगाने में मदद करता है कि क्या कृत्रिम बुद्धिमत्ता (AI) हमारी तरह सोचती है, या वह केवल एक बहुत अच्छी नकलची है जो वास्तव में हमारे जैसा "महसूस" नहीं करती है।
इस अध्ययन में, शोधकर्ताओं कैथरीन ब्रौस और नेलू रेडपोर ने एक बहुत ही अलग प्रकार के "मस्तिष्क" का उपयोग करके इसे परखने का निर्णय लिया: 108 मानव स्वयंसेवकों का एक समूह और लामा 3.3 70B (Llama 3.3 70B) नामक एक विशाल भाषा मॉडल। उन्होंने "फोकस पार्टिकल्स" (focus particles) नामक एक विशेष प्रकार की शब्द-चाल का उपयोग किया। आप उन छोटे शब्दों को जानते ही हैं जैसे "यहाँ तक कि" (even) और "केवल" (only) जो मुख्य तथ्यों को बदले बिना वाक्य के मिजाज को बदल देते हैं। उदाहरण के लिए, यह कहना कि "माइक केक बनाना भी जानता है" (Mike can even bake a cake) ऐसा लगता है जैसे केक बनाना एक आश्चर्य है या एक कम स्तर की उपलब्धि है, जबकि "माइक केवल केक बना सकता है" (Mike can only bake a cake) कहना ऐसा लगता है जैसे उसके पास अन्य कोई कौशल नहीं है, जो कि एक बहुत ही विशिष्ट, सीमित निर्णय है। शोधकर्ता यह देखना चाहते थे कि क्या उत्तर विकल्पों के लेआउट को बदलने से लोगों और AI द्वारा इन वाक्यों को रेट करने के तरीके में बदलाव आता है।
उन्होंने उत्तर माँगने के चार अलग-अलग तरीके तैयार किए। कल्पना कीजिए कि क्षमता को रेट करने के लिए एक स्लाइडर है: कभी-कभी यह एक क्षैतिज रेखा (बाएं ओर कम, दाएं ओर उच्च) थी, कभी-कभी एक ऊर्ध्वाधर रेखा (नीचे की ओर कम, ऊपर की ओर उच्च) थी। उन्होंने लेबल भी उलट दिए, ताकि "कम" (low) दाईं ओर या ऊपर हो जाए, सिर्फ यह देखने के लिए कि क्या मस्तिष्क दिशा से भ्रमित हो जाता है। मनुष्यों और AI दोनों ने लोगों द्वारा किए जाने वाले कार्यों के बारे में 60 वाक्यों को पढ़ा, जिनमें से कुछ में "even" था और कुछ में "only", और उन्होंने व्यक्ति की क्षमता को 1 से 5 के पैमाने पर रेट किया।
परिणाम बेहद दिलचस्प थे। मनुष्य और AI दोनों बुनियादी तर्क पर सहमत थे: "only" वाले वाक्यों को उच्च रेटिंग मिली (जिसका अर्थ है कि व्यक्ति एक विशिष्ट तरीके से बहुत सक्षम लग रहा था), और "even" वाले वाक्यों को कम रेटिंग मिली। महत्वपूर्ण बात यह थी कि इससे कोई फर्क नहीं पड़ा कि उत्तर के बटन उल्टे थे या तिरछे। निर्णय वैसे ही रहे। यह सुझाव देता है कि मनुष्यों और AI दोनों के लिए, ये शब्द संबंधी निर्णय शब्दों के अर्थ द्वारा संचालित होते हैं, न कि स्क्रीन पर बटनों की स्थिति द्वारा। "मानचित्र" वाला सिद्धांत नहीं जीता; "अर्थ" वाला सिद्धांत जीता।
हालाँकि, AI और मनुष्य जुड़वां भाई-बहन नहीं थे। AI अपने विचारों में बहुत अधिक चरम (extreme) था। जब AI ने "only" वाला वाक्य देखा, तो उसने हर बार बिना किसी भिन्नता के अधिकतम स्कोर 5 दिया। दूसरी ओर, मनुष्य अधिक सूक्ष्म (nuanced) थे, जो उच्च स्कोर तो देते थे लेकिन हमेशा पूर्ण 5 नहीं देते थे। शोधकर्ताओं ने पाया कि भले ही उन्होंने AI की आंतरिक सेटिंग्स (जिसे तापमान या 'temperature' कहा जाता है) को बदलकर AI को अधिक "रैंडम" बनाने की कोशिश की, फिर भी इसने बार-बार एक ही उत्तर दिया। यह सुझाव देता है कि भले ही AI मानव सोच के सामान्य पैटर्न की नकल कर सकता है, लेकिन इसमें वह स्वाभाविक, अव्यवस्थित परिवर्तनशीलता नहीं है जो वास्तविक लोगों में होती है। यह ऐसा है जैसे AI एक रोबोट है जिसने नियम पुस्तिका को पूरी तरह से रट लिया है, जबकि मनुष्य लोगों की एक भीड़ हैं जो नियम पर सहमत तो हैं लेकिन फिर भी उनके अपने छोटे-छोटे गुण और विचित्रताएं हैं। यह अध्ययन बताता है कि वर्तमान AI मॉडल "औसत" को सही ढंग से पकड़ने में तो बहुत अच्छे हो सकते हैं, लेकिन वे यह समझने के लिए सबसे अच्छे मॉडल नहीं हो सकते हैं कि वास्तविक मानव मन वास्तव में कैसे काम करता है, क्योंकि उनमें व्यक्तिगत अंतरों की वैसी सीमा नहीं दिखती।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।