← नवीनतम पेपर
💻 computer science

From Large Language Models to Multimodal Intelligence: Bridging AI and Cognitive Science

यह समीक्षा लेख तर्क देता है कि जबकि लार्ज लैंग्वेज मॉडल्स प्रभावशाली संज्ञानात्मक क्षमताएं प्रदर्शित करते हैं, एआई की भविष्य की प्रगति के लिए भाषा-मात्र प्रणालियों की अंतर्निहित सीमाओं को दूर करने हेतु मूर्त अनुभवों (embodied experiences), पदानुक्रमित मॉड्यूलेशन (hierarchical modulation) और स्वायत्त सुदृढ़ीकरण (autonomous reinforcement) के माध्यम से मल्टीमॉडल इंटेलिजेंस के अंतर को पाटना आवश्यक है।

मूल लेखक: Yanru Jiang, Rick Dale

प्रकाशित 2026-08-03
📖 10 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Yanru Jiang, Rick Dale

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

महान मस्तिष्क अपग्रेड: टेक्स्ट-ओनली से पूर्ण-शरीर AI तक

कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, वैज्ञानिकों ने इसे एक रोबोट को किताबों, लेखों और वेबसाइटों के विशाल पुस्तकालय को खिलाकर करने की कोशिश की। इस दृष्टिकोण ने "लार्ज लैंग्वेज मॉडल्स" (LLMs) का निर्माण किया, जो उन अति-बुद्धिमान तोतों की तरह हैं जिन्होंने अब तक लिखा गया लगभग सब कुछ पढ़ लिया है। वे वाक्य में अगले शब्द की भविष्यवाणी करने, गणित की समस्याओं को हल करने और यहाँ तक कि कविता लिखने में भी अविश्वसनीय हैं। लेकिन इसमें एक पेंच है: वे दुनिया को केवल शब्दों के माध्यम से जानते हैं। उन्होंने कभी सूरज की गर्मी, सैंडपेपर का खुरदरापन, या एक भारी बक्से का वजन महसूस नहीं किया है।

यह हमें आर्टिफिशियल इंटेलिजेंस (AI) और कॉग्निटिव साइंस (मस्तिष्क कैसे कार्य करता है इसका अध्ययन) की दुनिया में एक बड़े प्रश्न की ओर ले जाता है: क्या वास्तव में बुद्धिमान होने के लिए केवल पढ़ना पर्याप्त है? या क्या किसी मशीन को वास्तव में समझने के लिए एक शरीर की आवश्यकता है? वह शोध पत्र जिसे आप पढ़ने जा रहे हैं, इस विचार की खोज करता है कि हालांकि भाषा एक शक्तिशाली उपकरण है, लेकिन यह वास्तविक बुद्धिमत्ता के लिए कुछ महत्वपूर्ण तत्वों की कमी हो सकती है। यह सुझाव देता है कि ऐसी AI बनाने के लिए जो सीख सके, अनुकूलित हो सके और हमारी तरह संवाद कर सके, हमें केवल टेक्स्ट से आगे बढ़कर इन मशीनों को "मल्टीमॉडल" इंद्रियां—जैसे दृष्टि, ध्वनि और स्पर्श—देनी होंगी, ताकि वे दुनिया के बारे में केवल पढ़ न सकें, बल्कि उसे सीधे अनुभव कर सकें।


मेन्यू पढ़ने से लेकर भोजन का स्वाद लेने तक

एक लार्ज लैंग्वेज मॉडल (LLM) को एक ऐसे शेफ के रूप में सोचें जिसने ब्रह्मांड की हर एक कुकबुक को याद कर लिया है लेकिन वास्तव में कभी रसोई में कदम नहीं रखा है। यह शेफ लाखों विवरणों के आधार पर एक स्ट्रॉबेरी के रंग, स्वाद और बनावट को सूचीबद्ध करते हुए उसका सटीक विवरण दे सकता है। वह एक स्ट्रॉबेरी खाने के आनंद के बारे में कविता भी लिख सकता है। लेकिन यदि आप उन्हें एक असली स्ट्रॉबेरी थमा दें, तो उन्हें पता नहीं होगा कि उसे कैसे पकड़ना है, उसे कितनी जोर से दबाना है, या अपनी त्वचा के विरुद्ध उसका अहसास वास्तव में कैसा होता है। वे उस अनुभव के लिए शब्दों को जानते हैं, लेकिन उन्होंने स्वयं उस अनुभव को नहीं किया है।

यह शोध पत्र, जिसे शोधकर्ताओं यानरू जियांग और रिक डेल ने लिखा है, एक सरल लेकिन गहरा प्रश्न पूछता है: क्या एक मशीन वास्तव में बुद्धिमान हो सकती है यदि वह दुनिया को केवल भाषा के माध्यम से जानती है?

लेखक तर्क देते हैं कि हालांकि ये टेक्स्ट-ओनली "शेफ" जो वे करते हैं उसमें अद्भुत हैं, लेकिन वे एक दीवार से टकरा जाते हैं। वे जानकारी का प्रतिनिधित्व करने और उन समस्याओं को हल करने में माहिर हैं जिन्हें लिखा जा सकता है, लेकिन वे उन चीजों के साथ संघर्ष करते हैं जिनमें "सीखने के लिए सीखने" या बिना किसी मैनुअल के नई, अजीब स्थितियों के अनुकूल होने की आवश्यकता होती है। पत्र का सुझाव है कि इस दीवार को पार करने के लिए, AI को "टेक्स्ट-ओनली" सिस्टम से विकसित होकर एक "मल्टीमॉडल" सिस्टम बनना होगा—एक ऐसा सिस्टम जो भाषा को दृष्टि, ध्वनि और गति के साथ जोड़ता है, ठीक वैसे ही जैसे एक मनुष्य करता है।

सोचने के दो तरीके: लाइब्रेरी बनाम प्लेग्राउंड

यह समझने के लिए कि यह क्यों मायने रखता है, पत्र मस्तिष्क के कार्य करने के दो अलग-अलग तरीकों को तोड़ता है:

  1. सिंबॉलिक कॉग्निशन (लाइब्रेरी): यह दृष्टिकोण कहता है कि भाषा पर्याप्त है। यह तर्क देता है कि शब्द प्रतीकों की तरह हैं जो वास्तविक दुनिया के साथ पूरी तरह से मेल खाते हैं। यदि आप "गुलाब" शब्द और उससे जुड़े अन्य सभी शब्दों (जैसे "लाल," "काँटेदार," "रोमांस") को जानते हैं, तो आप अनिवार्य रूप से जानते हैं कि गुलाब क्या है। पत्र स्वीकार करता है कि आधुनिक AI इस काम में बहुत अच्छा हो गया है। यह भाषा में ऐसे पैटर्न ढूंढ सकता है जो काफी हद तक हमारे मस्तिष्क के काम करने के तरीके जैसे दिखते हैं। उदाहरण के लिए, AI यह पता लगा सकता है कि "न्यूयॉर्क" एक स्थान है और "सोमवार" एक समय है, केवल यह देखकर कि शब्दों का एक साथ उपयोग कैसे किया जाता है, बिना कभी कोई मानचित्र या कैलेंडर देखे।

  2. एम्बॉडीड कॉग्निशन (प्लेग्राउंड): यह दृष्टिकोण कहता है कि भाषा पर्याप्त नहीं है। यह तर्क देता है कि किसी शब्द को वास्तव में समझने के लिए, आपको उसे अनुभव करना होगा। आप केवल इसलिए नहीं जानते कि "भारी" का क्या अर्थ है क्योंकि आपने इसकी परिभाषा पढ़ी है; आप इसे जानते हैं क्योंकि आपने एक भारी बक्सा उठाया है और अपने मांसपेशियों के खिंचाव को महसूस किया है। पत्र का सुझाव है कि कई अवधारणाएं—जैसे कि साइकिल चलाना या ड्रिंक्स की ट्रे को संतुलित करना—को शब्दों में पूरी तरह से नहीं पकड़ा जा सकता। आपको उन्हें करना पड़ता है।

लेखक यह नहीं कहते कि "लाइब्रेरी" दृष्टिकोण बेकार है। वास्तव में, वे स्वीकार करते हैं कि यह अविश्वसनीय रूप से शक्तिशाली है। लेकिन उनका तर्क है कि यह अधूरा है। ठीक वैसे ही जैसे आप भौतिकी के बारे में किताब पढ़कर साइकिल चलाना नहीं सीख सकते, एक AI केवल उसके बारे में किताब पढ़कर वास्तविक दुनिया में नेविगेट करना नहीं सीख सकता।

शब्द अकेले क्यों कम पड़ जाते हैं

पत्र बताता है कि एक टेक्स्ट-ओनली AI हमेशा थोड़ा सीमित क्यों रहेगा:

1. "अनकहे" की समस्या (The Unsayable Problem)
कुछ चीजें शब्दों में कहना कठिन होती है। संगीत के एक विशिष्ट प्रकार के अहसास के बारे में सोचें, या पानी के गिलास पर प्रकाश के गिरने के सटीक तरीके के बारे में। मनुष्य अक्सर इन चीजों को अपनी इंद्रियों और अपने शरीर के माध्यम से सीखते हैं, न कि पाठ्यपुस्तकों के माध्यम से। यदि किसी AI की पहुंच केवल टेक्स्ट तक है, तो वह इन "अवाकनीय" (unverbalizable) अवधारणाओं को खो देता है। यह किसी ऐसे व्यक्ति को चॉकलेट के स्वाद का वर्णन करने की कोशिश करने जैसा है जिसने कभी कुछ मीठा नहीं खाया है; आप कितने भी शब्दों का उपयोग करें, जब तक वह इसे चख नहीं लेता, वह इसे नहीं समझ पाएगा। पत्र का सुझाव है कि AI को नई चीजें तेजी से और लचीले ढंग से सीखने के लिए, दुनिया को सीधे अनुभव करने की आवश्यकता है, न कि केवल उसके बारे में पढ़ने की।

2. "इंटरपर्सनल" अंतराल (The Interpersonal Gap)
कल्पना कीजिए कि आप एक दोस्त से बात कर रहे हैं जो एक सुंदर सूर्यास्त देख रहा है। आप कहते हैं, "उसे देखो!" आपका दोस्त जानता है कि आपका क्या मतलब है क्योंकि वह वही आकाश देख सकता है जो आप देख रहे हैं। अब, एक ऐसे रोबोट के साथ बात करने की कल्पना करें जो केवल आपके टेक्स्ट को पढ़ सकता है। यदि आप कहते हैं, "उसे देखो," तो रोबट को पता नहीं होता कि "वह" क्या है। उसके पास आंखें नहीं हैं कि वह सूर्यास्त देख सके, और उसके पास मुड़ने और देखने के लिए शरीर नहीं है।

पत्र का तर्क है कि मानव संचार इन "गैर-मौखिक" संकेतों से भरा होता है—जैसे कि हम कहाँ देख रहे हैं, हम कितनी तेजी से बोल रहे हैं, या हमारा बॉडी लैंग्वेज। ये संकेत हमें एक-दूसरे को तुरंत समझने में मदद करते हैं। एक टेक्स्ट-ओनली AI यह सब मिस कर देता है। वह आपको बहुत लंबा, विस्तृत उत्तर दे सकता है जब आप केवल एक त्वरित "हाँ" या "नहीं" चाहते थे, क्योंकि वह आपकी अधीरता या आपके मूड को महसूस नहीं कर सकता। एक अच्छा संवादात्मक साथी बनने के लिए, AI को "एम्बॉडीड" होना चाहिए—उसे देखने, सुनने और स्थिति के प्रति वास्तविक समय में प्रतिक्रिया करने में सक्षम होना चाहिए, बिल्कुल हमारी तरह।

स्मार्ट AI की ओर एक रोडमैप

तो, हम इस "मल्टीमॉडल" AI को कैसे बनाएं? पत्र भविष्य के तीन रोमांचक रास्तों को रेखांकित करता है, जैसे कि हमारे डिजिटल मस्तिष्क को अपग्रेड करने की एक रेसिपी:

1. सामग्रियों को मिलाना (मल्टीमॉडल रिप्रेजेंटेशनल लर्निंग)
अभी, कई AI सिस्टम एक भाषा मॉडल और एक विजन मॉडल (जो देखता है) को लेकर उन्हें अंत में आपस में जोड़ने से बनाए जाते हैं। लेखक सुझाव देते हैं कि हमें इससे बेहतर करना चाहिए। उन्हें केवल आपस में जोड़ने के बजाय, हमें उन्हें शुरुआत से ही साथ मिलकर सीखने के लिए प्रशिक्षित करना चाहिए। एक बच्चे को एक साथ बोलने और देखने के लिए सिखाने की कल्पना करें, बजाय इसके कि पहले उसे किताब पढ़ना सिखाया जाए और फिर बाद में चित्र दिखाए जाएं। यह "प्रारंभिक एकीकरण" (early integration) AI को यह समझने में मदद कर सकता है कि वह जो देखता है और जो सुनता है उनके बीच गहरे संबंध क्या हैं, जिससे एक बहुत अधिक स्मार्ट, अधिक सहज प्रणाली विकसित होगी।

2. मस्तिष्क का बॉस (हायरार्किकल मॉड्यूलेशन)
हमारा मस्तिष्क परतों में व्यवस्थित है। निचली परतें सरल चीजों को संभालती हैं जैसे "वह एक लाल बिंदु है," जबकि ऊपरी परतें जटिल चीजों को संभालती हैं जैसे "मुझे उस गेंद को पकड़ना है इससे पहले कि वह जमीन पर गिरे।" पत्र का सुझाव है कि AI को भी एक समान "बॉस" प्रणाली की आवश्यकता है। यह "बॉस" (हमारे मस्तिष्क में कार्यकारी कार्य/executive function की तरह) सभी विभिन्न इंद्रियों—दृष्टि, ध्वनि, स्पर्श—को देख सकता है और तय कर सकता है कि उसे किसी दिए गए क्षण में किस पर ध्यान केंद्रित करना चाहिए। यह एक ऑर्केस्ट्रा के कंडक्टर की तरह है, जो यह सुनिश्चित करता है कि वायलिन और ड्रम एक साथ पूरी तरह से बजें। वर्तमान में, अधिकांश AI इसके साथ संघर्ष करते हैं; जब बहुत सारी जानकारी एक साथ आती है तो वे अक्सर भ्रमित हो जाते हैं।

3. आंतरिक प्रेरणा (ऑटोनॉमस रीइन्फोर्समेंट)
अंत में, पत्र पूछता है: AI क्यों सीखना चाहता है? अभी, हमें आमतौर पर AI को यह बताना पड़ता है कि उसे क्या करना है और जब वह सही करता है तो उसे एक "पुरस्कार" (जैसे एक अंक) देना पड़ता है। लेकिन मनुष्यों को खोजने के लिए किसी शिक्षक की आवश्यकता नहीं होती; हम स्वाभाविक रूप से जिज्ञासु होते हैं। हम जानना चाहते हैं कि क्या होता है यदि हम उस बटन को दबाते हैं या उस पेड़ पर चढ़ते हैं। लेखक सुझाव देते हैं कि भविष्य के AI में एक "आंतरिक प्रेरणा" होनी चाहिए—खोजने और सीखने की एक अंतर्निहित इच्छा, ठीक वैसे ही जैसे हमारा मस्तिष्क यह अनुमान लगाने के लिए ऊर्जा का उपयोग करता है कि आगे क्या होने वाला है। यह AI को अपने आप सीखने, बिना किसी इंसान द्वारा हर बार विशिष्ट कार्य दिए बिना, नई चीजों की खोज करने की अनुमति देगा।

बड़ी तस्वीर

पत्र निष्कर्ष निकालता है कि हालांकि लार्ज लैंग्वेज मॉडल्स एक बड़ा कदम हैं, वे केवल शुरुआत हैं। वे एक ऐसे प्रतिभाशाली छात्र की तरह हैं जिसने लाइब्रेरी की हर किताब पढ़ ली है लेकिन कभी इमारत से बाहर नहीं निकला है। वास्तव में बुद्धिमान मशीनें बनाने के लिए जो सीख सकें, अनुकूलित हो सकें और हमारे साथ स्वाभाविक, मानव-समान तरीके से बातचीत कर सकें, हमें उन्हें शरीर और इंद्रियां देनी होंगी।

हमें ऐसे AI से आगे बढ़ने की आवश्यकता है जो केवल शब्दों को जानता है, से ऐसे AI की ओर जो दुनिया को अनुभव करता है। भाषा को दृष्टि, ध्वनि और गति के साथ जोड़कर, और इन मशीनों को अपने आप खोजने और सीखने की क्षमता देकर, हम एक ऐसा भविष्य बना सकते हैं जहाँ AI केवल एक उपकरण नहीं होगा जिससे हम बात करते हैं, बल्कि एक साथी होगा जो हमें वास्तव में समझता है। यह लाइब्रेरी को बदलने के बारे में नहीं है; यह दरवाजे खोलने और AI को बाहर कदम रखने देने के बारे में है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →