Emergence of agriculture in an artificial society of reinforcement learning agents

तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) एजेंटों के एक कृत्रिम समाज में कृषि का उद्भव

समस्या विवरण
कृषि की उत्पत्ति एक प्रमुख विकासवादी संक्रमण का प्रतिनिधित्व करती है जहाँ प्रजातियाँ विश्वसनीय खाद्य स्रोतों को सुरक्षित करने के लिए अपने वातावरण को रूपांतरित करती हैं, एक ऐसी प्रक्रिया जो मनुष्यों और विभिन्न कीट टैक्सों (taxa) में देखी गई है। जबकि तुलनात्मक अध्ययन अभिसारी लक्षणों (बीज बोना, स्थानिक इंजीनियरिंग, फसल संरक्षण) की पहचान करते हैं, वे विशिष्ट तंत्र जो इस संक्रमण को संचालित करने वाले व्यक्तिगत निर्णय लेने, सामाजिक अंतःक्रियाओं और पारिस्थितिक फीडबैक को जोड़ते हैं, अभी भी स्पष्ट नहीं हैं। मुख्य प्रश्न ये हैं: किन परिस्थितियों में कृषि स्वतः उभरती है? सिस्टम "चीटर्स" (वे शोषणकारी एजेंट जो योगदान दिए बिना लाभ उठाते हैं) को कैसे संभालता है? क्या कृषि अवस्था प्रतिवर्ती (reversible) है, या यह एक "लॉक-इन" प्रभाव प्रदर्शित करती है? यह शोध पत्र इन प्रश्नों को संबोधित करने के लिए कृत्रिम एजेंटों की एक जनसंख्या को एक गतिशील पारिस्थितिक वातावरण के साथ परस्पर क्रिया करने के लिए मॉडल करता है ताकि कृषि की ओर संक्रमण के सामान्य सिद्धांतों की पहचान की जा सके।

कार्यप्रणाली
लेखक एक जटिल पारिस्थितिक गतिशीलता वाले सिम्युलेटेड 2D स्थानिक परिदृश्य ($30 \times 30$ ग्रिड) में सन्निहित मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-Agent Reinforcement Learning - MARL) ढांचे का उपयोग करते हैं।

• पर्यावरण: पारिस्थितिकी तंत्र में तीन प्रकार के पौधे शामिल हैं:
  1. $P_1$ (पालतू/घरेलू): उच्च पोषण संबंधी पुरस्कार लेकिन पारिस्थितिक रूप से $P_2$ द्वारा प्रतिस्पर्धा का शिकार, और इसके लिए सक्रिय प्रबंधन (पानी देना, खरपतवार हटाना) की आवश्यकता होती है।
  2. $P_2$ (खरपतवार): सामान्य, कोई पुरस्कार नहीं देता, लेकिन पारिस्थितिक रूप से $P_1$ पर हावी हो जाता है।
  3. $P_3$ (जंगली/भोजन खोजने हेतु): स्वतः उत्पन्न होता है, कम पुरस्कार प्रदान करता है, और इसके लिए किसी प्रबंधन की आवश्यकता नहीं होती।
  • गतिशीलता: पर्यावरण मौसमी चक्रों (गर्मी/सर्दी) को प्रदर्शित करता है। पानी एक उर्वरक के रूप में कार्य करता है, जो $3 \times 3$ पड़ोस में विकास में सुधार करता है। बीज प्रतिस्पर्धी संभावनाओं के आधार पर अंकुरित होते हैं जो $P_2$ के पक्ष में होती हैं। एजेंट घूम सकते हैं, वस्तुओं (बीज, पानी) को उठा सकते/छोड़ सकते हैं, कटाई कर सकते हैं और पौधों की रक्षा कर सकते हैं।
• एजेंट: एजेंट सुदृढीकरण शिक्षण (RL) संस्थाएं हैं जो (अवलोकन, क्रिया, पुरस्कार) के अनुक्रमों को क्रिया संभावनाओं में मैप करने के लिए एक ट्रांसफार्मर-आधारित न्यूरल नेटवर्क का उपयोग करते हैं।
  • उद्देश्य: संचयी छूट प्राप्त पुरस्कार (cumulative discounted reward) $G = \sum \gamma^t R_t$ को अधिकतम करना। छूट कारक ($\gamma$) एजेंट के 'टेम्पोरल होराइजन' (दूरदर्शिता) को नियंत्रित करता है।
  • सीखना: एजेंट विकेंद्रीकृत तरीके से प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) का उपयोग करते हैं। वे एक स्थानीय $11 \times 11$ पड़ोस का अवलोकन करते हैं और व्यक्तिगत रिटर्न को अधिकतम करने के लिए कार्य करते हैं।
• प्रायोगिक भिन्नताएं:
  • हाइपरपैरामीटर विश्लेषण: छूट कारक ($\gamma$) और जंगली भोजन वाले पौधे ($P_3$) की स्वतः विकास दर में भिन्नता।
  • जनसंख्या गतिशीलता: छोटी बनाम बड़ी जनसंख्या ($N$) में स्थिरता का परीक्षण।
  • सामाजिक शिक्षण (Social Learning - SL): एक "क्लोनिंग" तंत्र पेश करना जहाँ उच्च संचयी पुरस्कार वाले एजेंट प्रजनन करते हैं, अपनी पॉलिसी को अपनी अगली पीढ़ी (offspring) को सौंपते हैं, जो सांस्कृतिक संचरण का अनुकरण करता है।
  • हिस्टेरेसिस (Hysteresis) परीक्षण: $P_3$ की उपलब्धता को धीरे-धीरे बदलकर प्रतिवर्तीता का परीक्षण करना।
  • सैद्धांतिक सत्यापन: द्विभाजन (bifurcation) और हिस्टेरेसिस का विश्लेषण करने के लिए RL परिणामों से प्राप्त एक मीन-फील्ड गणितीय मॉडल।

प्रमुख परिणाम

1. उद्भव की स्थितियाँ: कृषि केवल विशिष्ट परिस्थितियों में स्वतः उभरती है:

   • उच्च संज्ञानात्मक क्षितिज (High Cognitive Horizon): एक उच्च छूट कारक ($\gamma$) आवश्यक है, जो एजेंटों को तत्काल भोजन प्राप्त करने के बजाय विलंबित पुरस्कारों (जैसे, बोए गए बीज की भविष्य की उपज) को महत्व देने में सक्षम बनाता है।
   • पर्यावरणीय तनाव: कृषि तब अनुकूल होती है जब जंगली भोजन वाले पौधे ($P_3$) का स्वतः विकास कम होता है। संसाधन-समृद्ध वातावरण (जहाँ $P_3$ प्रचुर मात्रा में है) में, भोजन खोजना एक मजबूत स्थानीय इष्टतम (local optimum) बन जाता है जिससे एजेंट बाहर निकलने में विफल रहते हैं।
   • व्यवहार परिवर्तन: सफल एजेंट "भोजन खोजने के चरण" (उच्च गतिशीलता, $P_3$ का दोहन) से "पालतू बनाने के चरण" में परिवर्तित हो जाते हैं, जिसकी विशेषता स्थिर व्यवहार, प्रतिस्पर्धी खरपतवार ($P_2$) को चुनिंदा रूप से हटाना और $P_1$ को सक्रिय रूप से पानी देना है।

2. लॉक-इन और हिस्टेरेसिस:

   • एक बार स्थापित होने के बाद, कृषि अवस्था प्रभावी रूप से अपरिवर्तनीय है। सिस्टम हिस्टेरेसिस प्रदर्शित करता है: यदि वातावरण को $P_3$ संसाधनों को फिर से प्रचुर बनाने के लिए बदला जाता है, तो जनसंख्या वापस भोजन खोजने की अवस्था में नहीं लौटती है।
   • एक गणितीय मीन-फील्ड मॉडल इसकी पुष्टि करता है, जो एक असंतत संक्रमण (बाइफरकेशन) दिखाता है जहाँ सिस्टम कृषि आकर्षण (agricultural attractor) में फंसा रहता है, भले ही पर्यावरणीय स्थितियाँ सैद्धांतिक रूप से भोजन खोजने के पक्ष में हों।

3. सामाजिक शिक्षण एक 'फायरवॉल' के रूप में:

   • चीटर्स के प्रति संवेदनशीलता: सामाजिक शिक्षण के बिना बड़ी आबादी ($N \gtrsim 5$) में, कृषि रणनीति विफल हो जाती है। "चीटर्स" (वे एजेंट जो खेती के लिए आवश्यक पानी देने या खरपतवार हटाने में योगदान दिए बिना $P_1$ की कटाई करते हैं) आक्रमण करते हैं, जिससे खेती के लिए आवश्यक सहकारी निवेश कमजोर हो जाता है।
   • SL द्वारा स्थिरीकरण: सामाजिक शिक्षण (क्लोनिंग के माध्यम से पॉलिसी विरासत में मिलना) पेश करने से एक "फायरवॉल" बनता है। सफल कृषि रणनीतियाँ नई पीढ़ियों तक प्रसारित होती हैं, जिससे जनसंख्या संभावित चीटर्स की उपस्थिति के बावजूद सहकारी व्यवहारों को बनाए रखने में सक्षम होती है। इससे पालतू संसाधनों का गैर-रेखीय प्रवर्धन और निरंतर जनसंख्या वृद्धि होती है।

प्रमुख योगदान

• यांत्रिक स्पष्टीकरण: यह शोध पत्र कृषि के उद्भव के लिए चार सार्वभौमिक घटकों की पहचान करता है: (1) व्यक्तिगत योजना (विलंबित पुरस्कारों का मूल्यांकन), (2) चीटर्स के प्रति सामाजिक संवेदनशीलता, (3) सामाजिक शिक्षण के माध्यम से स्थिरीकरण, और (4) एक उभरता हुआ लॉक-इन प्रभाव।
• कृत्रिम समाज एक मंच के रूप में: यह प्रदर्शित करता है कि जटिल सांस्कृतिक नवाचार (जैसे कृषि) बिना किसी स्पष्ट निर्देश या पूर्व-मौजूदा सामाजिक-सांस्कृतिक संरचनाओं के, सुदृढीकरण शिक्षण और पारिस्थितिक गतिशीलता के जुड़ाव से उभर सकते हैं।
• सामाजिक शिक्षण की भूमिका: यह एक कम्प्यूटेशनल प्रमाण प्रदान करता है कि सामाजिक शिक्षण केवल एक संचरण तंत्र नहीं है, बल्कि एक महत्वपूर्ण स्टेबलाइज़र है जो बड़े समूहों में सहकारी व्यवस्थाओं के पतन को रोकता है।

महत्व और दावे
लेखक दावा करते हैं कि उनके परिणाम व्यक्तिगत निर्णय लेने, सामाजिक अंतःक्रियाओं और पारिस्थितिक फीडबैक को जोड़ने वाले सार्वभौमिक तंत्रों को प्रकट करते हैं। यह अध्ययन कृत्रिम समाजों की क्षमता को उजागर करता है कि वे प्रमुख विकासवादी संक्रमणों और सांस्कृतिक नवाचारों के उद्भव की जांच के लिए प्रयोगात्मक मंच के रूप में कार्य कर सकते हैं।

यह शोध सीमाओं को भी विनम्रतापूर्वक नोट करता है, जैसे कि संसाधन भंडारण का अभाव, आनुवंशिक परिवर्तनशीलता की कमी (जो सह-विकासवादी फीडबैक को रोकता है), और सामाजिक शिक्षण का न्यूनतम प्रतिनिधित्व (शिक्षण के बजाय क्लोनिंग)। हालाँकि, यह तर्क देता है कि यह ढांचा व्यापक संज्ञानात्मक संक्रमणों, जिसमें कीटों में अति-सामाजिकता (ultrasociality) का उद्भव शामिल है, का अध्ययन करने के लिए एक सुलभ दृष्टिकोण प्रदान करता है। यह कार्य सुझाव देता है कि कृषि की ओर संक्रमण केवल पर्यावरणीय कमी की प्रतिक्रिया नहीं है, बल्कि संज्ञानात्मक दूरदर्शिता और सामाजिक संचरण तंत्रों के बीच एक जटिल परस्पर क्रिया है जो स्थिर, आत्म-सुदृढ़ पारिस्थितिक निकेत (niches) बनाती है।