Growing a Neural Network in Breadth, Depth, and Time
यह शोध पत्र पुनरावर्ती कनवल्शनल न्यूरल नेटवर्क (recurrent convolutional neural networks) को प्रशिक्षित करने के लिए एक अवकलनीय ढांचे (differentiable framework) को प्रस्तुत करता है जो चौड़ाई, गहराई और समय के संयुक्त लागतों को अनुकूलित करता है, जिससे यह पता चलता है कि संसाधन संबंधी बाधाएं विविध कम्प्यूटेशनल आर्किटेक्चर को कैसे आकार देती हैं और मानव प्रतिक्रिया समय के साथ कैसे सह-संबद्ध होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पहेली सुलझाने के लिए श्रमिकों की एक टीम बनाने की कोशिश कर रहे हैं। आमतौर पर, आप तय करते हैं कि आपके पास कितने श्रमिक होंगे, उनमें से कितने विशेषज्ञ होंगे, और वे जवाब देने से पहले कितना समय काम करेंगे। आप कह सकते हैं, "हमारे पास 100 श्रमिक हैं, प्रबंधन के 10 स्तर हैं, और खत्म करने के लिए 5 मिनट हैं।"
यह शोध पत्र एक अलग दृष्टिकोण प्रस्तावित करता है। इसके बजाय कि आप नियम तय करें, आप टीम को एक बजट और एक लक्ष्य देते हैं, और उन्हें अपना ढांचा खुद तैयार करने देते हैं।
यहाँ एक सरल विवरण दिया गया है कि शोधकर्ताओं ने क्या किया:
तीन संसाधन: विस्तार (Breadth), गहराई (Depth), और समय (Time)
शोधकर्ताओं ने तीन चीजों को "लागत" (costs) के रूप में माना जिसे AI को चुकाना होगा:
- विस्तार (Breadth/Width): इसे टीम में श्रमिकों की संख्या के रूप में समझें। अधिक श्रमिकों का मतलब है कि एक साथ अधिक लोग समस्या को देख रहे हैं।
- गहराई (Depth): इसे मीटिंगों या प्रबंधन की परतों की संख्या के रूप में समझें। एक "गहरी" टीम में कई चरण होते जहाँ जानकारी ऊपर और नीचे भेजी जाती है। एक "उथली" टीम में कम चरण होते हैं।
- समय (Time): इसे सोचने के समय के रूप में समझें कि टीम जवाब देने से पहले किसी विशिष्ट समस्या के बारेंे में कितनी देर तक विचार करती है।
"अनंत लैटिस" (Infinite Lattice) का विचार
एक विशाल, अनंत ग्रिड की कल्पना करें जिसमें संभावित श्रमिक, मीटिंग और सोचने का समय मौजूद है।
- सामान्यतः, हम इस ग्रिड से एक छोटा, निश्चित बॉक्स चुनते हैं और कहते हैं, "यह हमारा AI है।"
- इस शोध पत्र में, शोधकर्ताओं ने एक बहुत बड़ा बॉक्स (एक बड़ा नेटवर्क) लिया और हर अतिरिक्त श्रमिक, हर अतिरिक्त मीटिंग, और सोचने के हर अतिरिक्त सेकंड पर एक "मूल्य टैग" (price tag) लगा दिया।
उन्होंने AI को बताया: "आपको सही उत्तर प्राप्त करना है, लेकिन हर बार जब आप एक श्रमिक, एक मीटिंग, या समय का एक सेकंड उपयोग करते हैं, तो आप अंक (points) खो देते हैं। कम से कम अंक खर्च करते हुए सबसे अच्छा स्कोर प्राप्त करने का प्रयास करें।"
क्या हुआ?
चूंकि AI अंक बचाने की कोशिश कर रहा था, इसलिए इसने खुद को "छंटनी" (pruning) करना शुरू कर दिया। इसने उन श्रमिकों को निकाल दिया जिनकी उसे आवश्यकता नहीं थी, उन मीटिंगों को छोड़ दिया जो मदद नहीं कर रही थीं, और यदि उत्तर स्पष्ट था तो सोचने के समय को जल्दी समाप्त कर दिया।
यहाँ कुछ आश्चर्यजनक बातें दी गई हैं जो उन्होंने पाईं:
1. आप संसाधनों को मुद्रा (currency) की तरह बदल सकते हैं
AI ने खोजा कि इससे कोई फर्क नहीं पड़ता कि उसने समस्या को कैसे हल किया, जब तक कि उसे सही उत्तर मिल गया।
- यदि आपने इसे कम श्रमिकों (कम विस्तार) के साथ काम करने के लिए मजबूर किया, तो यह क्षतिपूर्ति करने के लिए स्वाभाविक रूप से अधिक मीटिंग्स (अधिक गहराई) जोड़ देगा।
- यदि आपने इसे कम मीटिंग्स के लिए मजबूर किया, तो यह अधिक श्रमिकों (अधिक विस्तार) को काम पर रख लेगा।
- यह समय को स्थान (space) के साथ बदल भी सकता था। यदि यह बहुत अधिक श्रमिकों का उपयोग नहीं कर सकता था, तो यह बस अधिक समय तक सोचता रहेगा।
- उपमा: यह खाना पकाने जैसा है। यदि आपके पास छोटा रसोईघर है (कम जगह), तो आप खाना पकाने में अधिक समय ले सकते हैं (अधिक समय)। यदि आपके पास एक बड़ा रसोईघर है, तो आप तेजी से खाना बना सकते हैं। AI ने स्वचालित रूप से अपने "रसोई के आकार" और "खाना पकाने के समय" को संतुलित करना सीख लिया।
2. AI ने सीखा कि चीजें भ्रमित करने वाली होने पर "ज़्यादा गहराई से सोचना"
शोधकर्ताओं ने AI का परीक्षण ऐसी तस्वीरों के साथ किया जो आंशिक रूप से ढकी हुई (occluded) थीं।
- जब तस्वीर स्पष्ट थी, तो AI ने इसे जल्दी हल कर लिया।
- जब तस्वीर बिखरी हुई या ढकी हुई थी, तो AI ने स्वाभाविक रूप से अधिक समय तक सोचने का निर्णय लिया। उसे ऐसा करने के लिए कहा नहीं गया था; "समय की लागत" के दबाव ने उसे यह एहसास कराया कि कठिन तस्वीर के लिए अतिरिक्त समय खर्च करना सही उत्तर पाने के लिए सार्थक है।
3. AI का सोचने का समय मानव प्रतिक्रिया समय (human reaction times) से मेल खाता था
यह सबसे आश्चर्यजनक हिस्सा था। शोधकर्ताओं ने AI के "सोचने के समय" की तुलना उसी तरह की तस्वीरों में वस्तुओं को पहचानने में लगने वाले मानव समय से की।
- भले ही AI को कभी भी मानव डेटा नहीं दिखाया गया था या यह नहीं बताया गया था कि मनुष्य कितनी तेजी से सोचते हैं, इसने उन कठिन तस्वीरों को हल करने में अधिक समय लिया जिन्हें मनुष्यों ने भी कठिन पाया था।
- उपमा: यह एक ही परीक्षा देने वाले दो अलग-अलग लोगों जैसा है। भले ही उन्होंने अलग-अलग तरीके से पढ़ाई की हो, लेकिन दोनों ने ही कठिन प्रश्न पर लंबा विराम लिया और आसान प्रश्नों के उत्तर जल्दी दिए। AI का "मस्तिष्क" स्वाभाविक रूप से मानव गति की नकल करने के लिए विकसित हुआ।
4. कठिन कार्य AI को बड़ा बनाते हैं
जब उन्होंने AI को एक आसान कार्य दिया (जैसे सरल संख्याओं को पहचानना), तो यह छोटा और सरल रहा। जब उन्होंने इसे एक कठिन कार्य दिया (जैसे जटिल जानवरों को पहचानना), तो यह स्वाभाविक रूप से बड़ा हो गया, अधिक श्रमिकों और अधिक मीटिंगों का उपयोग करने लगा, भले ही उन संसाधनों के लिए "कीमत" समान रही।
मुख्य निष्कर्ष (The Big Picture)
मुख्य निष्कर्ष यह है कि सीमाएं (constraints) बुद्धिमत्ता को आकार देती हैं। स्थान (विस्तार/गहराई) और समय की सीमाएं लगाकर, AI केवल खराब नहीं हुआ; इसने समस्याओं को हल करने के अनूठे, कुशल तरीके खोजे जो एक-दूसरे से बहुत अलग दिखते थे लेकिन समान रूप से अच्छे थे।
शोधकर्ता सुझाव देते हैं कि यह समझाने में मदद करता है कि प्रकृति में मस्तिष्क इतने अलग क्यों दिखते हैं। ठीक उनके AI की तरह, विभिन्न जानवरों ने अलग-अलग मस्तिष्क संरचनाएं (कुछ चौड़े, कुछ गहरे, कुछ तेज़) विकसित की होंगी क्योंकि उन्हें अपने वातावरण में अलग-अलग "बजट" (स्थान और समय) का सामना करना पड़ा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।