Quantification and object perception in Multimodal Large Language Models and human linguistic cognition
यह शोध पत्र इस बात की जांच करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स मानव-समान परिमाणात्मक विशेषताओं—विशेष रूप से क्वांटिफायर स्केल्स (quantifier scales), प्रोटोटाइपिकिटी (prototypicality) और अनुमानित संख्या पूर्वाग्रहों (approximate number biases)—को कैसे एनकोड करते हैं, जो यह प्रकट करता है कि जहाँ "सोचने वाले" (thinking) मॉडल्स संख्यात्मकता अनुमान (numerosity estimation) और स्केलिंग में उत्कृष्ट हैं, वहीं वे विभिन्न भाषाओं और मॉडल प्रकारों में उपयोग श्रेणियों और प्रोटोटाइपिकिटी के मामले में मानव संज्ञान से काफी भिन्न रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को लाल और नीले रंग की कंचों (marbles) से भरे एक जार को देखने और उनमें से प्रत्येक के रंग का वर्णन करने के लिए सिखा रहे हैं। आप पूछते हैं, "क्या कुछ लाल वाले हैं? बहुत सारे? या अधिकांश?"
एक इंसान के लिए, यह आसान है। हमारे पास एक अंतर्निहित "संख्या बोध" (number sense) होता है जो हमें गिनती का अनुमान लगाने में मदद करता है, और हमारे पास बातचीत में "कुछ" या "अधिकांश" जैसे शब्दों के वास्तविक अर्थ को समझने की सामाजिक समझ होती है। लेकिन आर्टिफिशियल इंटेलिजेंस (AI) के लिए, विशेष रूप से मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs)—जो बहुत स्मार्ट कंप्यूटर हैं जो चित्र देख सकते हैं और टेक्स्ट पढ़ सकते हैं—यह कार्य आश्चर्यजनक रूप से कठिन है।
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ शोधकर्ता यह पता लगाने की कोशिश कर रहे हैं कि ये AI मॉडल सरल गिनती और वर्णन करने वाले कार्यों में क्यों फंस जाते हैं, और क्या वे हमारी तरह सोचते हैं या केवल हमारी नकल करते हैं।
यहाँ उनके अन्वेषण का विवरण रोजमर्रा के उपमाओं (analogies) का उपयोग करके दिया गया है:
1. तीन संदिग्ध (शोध प्रश्न)
शोधकर्ता तीन रहस्यों को सुलझाना चाहते थे:
- रहस्य A: AI मॉडल "कुछ" और "अधिकांश" जैसे शब्दों के साथ संघर्ष क्यों करते हैं? क्या इसलिए क्योंकि वे गिन नहीं सकते, या इसलिए क्योंकि वे शब्दों के अर्थ को नहीं समझते हैं?
- रहस्य B: क्या "सोचने वाले" (Thinking) मॉडल (वे AI जो चरण-दर-चरण तर्क देने के लिए रुकते हैं) "निर्देशित" (Instruct) मॉडल (वे AI जो जल्दी जवाब देते हैं) से बेहतर प्रदर्शन करते हैं?
- रहस्य C: क्या भाषा मायने रखती है? क्या वे अंग्रेजी, स्पेनिश या ग्रीक में अलग तरह से व्यवहार करते हैं?
2. प्रयोग: "मार्बल जार" टेस्ट
शोधकर्ताओं ने मनुष्यों और AI मॉडलों को काले वर्गों (squares) और सफेद वृत्तों (circles) की तस्वीरें दिखाईं।
- मानव कार्य: चित्र को देखें, अनुमान लगाएं कि लगभग कितने प्रतिशत काला है, और उस प्रतिशत का वर्णन करने के लिए सबसे अच्छे शब्द को चुनें (जैसे, "कुछ", "कई", "अधिकांश")।
- AI कार्य: बिल्कुल वही करें।
यह "भीड़ का अनुमान लगाने" के खेल जैसा है। यदि भीड़ का 60% हिस्सा टोपी पहने हुए है, तो एक इंसान कहेगा "कई"। यदि 90% हिस्सा टोपी पहने हुए है, तो एक इंसान कहता है "अधिकांश"। शोधकर्ता यह देखना चाहते थे कि क्या AI इन्हीं नियमों का पालन करता है।
3. निष्कर्ष: AI ने कहाँ गलती की
"गिनती" की समस्या (अनुमानित संख्या प्रणाली)
इंसानों के पास संख्याओं के लिए एक स्वाभाविक "अंतर्ज्ञान" होता है। यदि आप देखते हैं कि एक जार 80% भरा है, तो हम जानते हैं कि यह "अधिकांश" है।
- परिणाम: "सोचने वाले" मॉडल (जो तर्क देने के लिए रुकते हैं) संख्या का अनुमान लगाने में काफी अच्छे थे। वे एक ऐसे छात्र की तरह थे जिसने गणित की परीक्षा के लिए कड़ी मेहनत की है।
- समस्या: "निर्देशित" मॉडल (जो त्वरित प्रतिक्रिया देते हैं) अक्सर गलत अनुमान लगाते थे। वे अक्सर यह सोचने लगते थे कि काले वर्गों की संख्या वास्तव में जितनी थी, उससे कहीं अधिक है। वे उस व्यक्ति की तरह थे जो जार में जेलीबीन की संख्या का अनुमान लगा रहा हो और बहुत अधिक अनुमान लगा देता हो।
"शब्द का अर्थ" वाली समस्या (शब्दों का पैमाना)
इंसान शब्दों को एक सीढ़ी की तरह व्यवस्थित करते हैं:
कुछ ही (सबसे निचला पायदान) → कुछ → कई → अधिकांश (सबसे ऊपरी पायदान)।
यदि आप "अधिकांश" कहते हैं, तो आप संकेत देते हैं कि यह "कई" से अधिक है।परिणाम: "सोचने वाले" मॉडल इस सीढ़ी को ज्यादातर समझ गए। वे जानते थे कि "अधिकांश" "कई" से ऊपर है।
समस्या: "निर्देशित" मॉडल सीढ़ी को गड़बड़ा देते थे। कभी-कभी वे 60% के लिए "अधिकांश" और 70% के लिए "कई" का उपयोग करते थे। यह एक ऐसे बच्चे की तरह है जो केवल इसलिए "सुपर" को "मेगा" से बड़ा शब्द समझता है क्योंकि उसने इसे एक अलग संदर्भ में सुना है। वे सीढ़ी के सख्त नियमों को नहीं समझते थे।
"स्वीट स्पॉट" (प्रोटोटाइपलिटी) की समस्या
यह सबसे दिलचस्प हिस्सा है। मनुष्यों के पास शब्दों के लिए एक "स्वीट स्पॉट" होता है।
- यदि आप किसी इंसान से पूछते हैं, "आप 'अधिकांश' कब कहते हैं?" तो वे लगभग हमेशा कहेंगे, "जब यह 90% या 95% हो।"
- यदि आप AI से पूछते हैं, "आप 'अधिकांश' कब कहते हैं?" तो वे अक्सर कहेंगे, "जब यह 55% या 60% हो।"
उपमा: एक थर्मोस्टेट की कल्पना करें। मनुष्य "अधिकांश" को "बहुत गर्म" (90 डिग्री) पर सेट करता है। AI "अधिकांश" को "गुनगुना" (55 डिग्री) पर सेट करता है। भले ही AI वर्गों को सही ढंग से गिन ले, वह तापमान के लिए गलत शब्द का उपयोग करता है। यह गुनगुने सूप को "उबलता हुआ" कहने जैसा है।
4. मोड़: सोचना बनाम निर्देश (Thinking vs. Instruct)
शोधकर्ताओं ने पाया कि "सोचने वाले" मॉडल (जो अतिरिक्त गणित और तर्क करते हैं) "निर्देशित" मॉडलों की तुलना में मनुष्यों के बहुत करीब थे।
- सोचने वाले मॉडल: एक सावधान मुनीम (accountant) की तरह। वे अच्छी गिनती करते हैं और शब्दों की सीढ़ी को समझते हैं, लेकिन फिर भी वे "स्वीट स्पॉट" को थोड़ा कम चुनते हैं।
- निर्देशित मॉडल: एक तेज़ बोलने वाले सेल्समैन की तरह। वे संख्याओं का गलत अनुमान लगाते हैं और शब्द की सीढ़ी को पूरी तरह से मिला देते हैं।
5. भाषा का सबक
शोधकर्ताओं ने छह भाषाओं (अंग्रेजी, ग्रीक, रूसी, स्पेनिश, इतालवी, कैटलन) में इसका परीक्षण किया।
- आश्चर्य: उन्हें उम्मीद थी कि AI अंग्रेजी में सबसे अच्छा होगा (क्योंकि इसे मुख्य रूप से अंग्रेजी पर प्रशिक्षित किया गया है)। लेकिन AI अन्य भाषाओं में भी उतना ही संघर्ष करता है, या कभी-कभी उससे भी अधिक।
- निष्कर्ष: AI के पास संख्याओं और शब्दों के लिए एक "सार्वभौमिक मस्तिष्क" नहीं लगता है जो हर भाषा में समान रूप से काम करे। इसके बजाय, इसमें प्रत्येक भाषा के लिए अलग-अलग, थोड़े त्रुटिपूर्ण "शब्दकोश" प्रतीत होते हैं।
मुख्य निष्कर्ष
यह शोध पत्र बताता है कि हालांकि AI चीजों को देखने और गिनने में बेहतर हो रहा है, फिर भी यह मानव भाषा के "स्वाद" को वास्तव में नहीं समझता है।
- इंसान गणित, सामाजिक नियमों और अंतर्ज्ञान के मिश्रण के आधार पर "कुछ" और "अधिकांश" जैसे शब्दों का उपयोग करते हैं।
- AI इनका उपयोग उन सांख्यिकीय पैटर्न के आधार पर करता है जो उसने अपने प्रशिक्षण डेटा में देखे हैं। यह एक ऐसे तोते की तरह है जिसने बहुत सारी चीजें देखने पर "अधिकांश" कहना सीख लिया है, लेकिन वह "बहुत सारे" और "लगभग सभी" के बीच के अंतर को महसूस नहीं कर सकता।
"सोचने वाले" मॉडल सही दिशा में एक कदम हैं, लेकिन जब तक AI मानव शब्दों की सूक्ष्म और धुंधली सीमाओं को नहीं समझ लेता, तब तक वह "अधिकांश" कहता रहेगा जब वास्तव में हमारा मतलब "कई" होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।