Learning to flock in open space by avoiding collisions and staying together

तकनीकी सारांश: टकराव से बचकर और एक साथ रहकर खुले स्थान में झुंड बनाना सीखना

समस्या विवरण
यह शोध पत्र सामूहिक गति (collective motion) के मॉडलिंग की एक मौलिक चुनौती को संबोधित करता है: खुले, असीमित स्थान में समूह सामंजस्य (group cohesion) कैसे बनाए रखा जाए। विकसेक मॉडल (Vicsek model) जैसे न्यूनतम मॉडल आवधिक प्रणालियों (periodic systems) में दीर्घ-रेंज व्यवस्था उत्पन्न करने में सफल होते हैं, लेकिन वे खुले तंत्रों में विफल रहते हैं। विशुद्ध रूप से संरेखण-आधारित (alignment-based) अंतःक्रियाएं विसरणात्मक प्रसार (diffusive spreading) और समूह विघटन की ओर ले जाती हैं, जबकि विशुद्ध रूप से आकर्षक (attractive) अंतःक्रियाएं सुसंगत झुंड बनाने के बजाय अव्यवस्थित झुंड (swarming) या मिलिंग (milling) का परिणाम देती हैं। लेखक यह जांचते हैं कि स्व-चालित कण (self-propelled particles - SPPs) पूर्व-निर्धारित अंतःक्रिया नियमों या मीट्रिक-आधारित क्षेत्रों पर निर्भर किए बिना, सामंजस्यपूर्ण और उच्च व्यवस्थित झुंड बनाने के लिए संरेखण (alignment) और आकर्षण (attraction) के बीच संतुलन बनाना कैसे सीख सकते हैं।

कार्यप्रणाली (Methodology)
लेखक प्रथम सिद्धांतों (first principles) से झुंड की गतिशीलता प्राप्त करने के लिए एक मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-Agent Reinforcement Learning - MARL) ढांचे का उपयोग करते हैं।

• एजेंट डायनेमिक्स: $N$ एजेंट एक 2D असीमित स्थान में निरंतर गति $v_0$ के साथ चलते हैं। एजेंट केवल अपने टोपोलॉजिकल (Voronoi) पड़ोसियों को ही महसूस कर पाते हैं। उनकी गति को तब अपडेट किया जाता है जब वे एक नया हेडिंग चुनते हैं जो औसत पड़ोसी ओरिएंटेशन ($V_i$) और स्थानीय द्रव्यमान केंद्र (local center of mass) की ओर दिशा ($R_i$) का एक भारित संयोजन (weighted combination) होता है।
• नियंत्रण पैरामीटर (Control Parameter): संरेखण और आकर्षण के बीच सापेक्ष भार $\beta \in [0, 1]$ एक सीखने योग्य क्रिया (learnable action) है। यहाँ $\beta=0$ शुद्ध संरेखण (विकसेक जैसा) को दर्शाता है, जबकि $\beta=1$ शुद्ध आकर्षण को दर्शाता है।
• लर्निंग फ्रेमवर्क: अध्ययन दो प्रशिक्षण प्रतिमानों (training paradigms) का उपयोग करता है:
  1. केंद्रीकृत प्रशिक्षण (Centralized Training - CT): एजेंट एक एकल Q-मैट्रिक्स साझा करते हैं और एक साझा अनुभव पूल से सीखते हैं।
  2. विकेंद्रीकृत प्रशिक्षण (Decentralized Training - DT): प्रत्येक एजेंट अपना स्वयं का Q-मैट्रिक्स बनाए रखता है और अपने विशिष्ट प्रक्षेप पथ (trajectory) के आधार पर स्वतंत्र रूप से सीखता है।
• लागत फलन (Cost Function): एजेंटों को उनके पड़ोसियों की औसत दूरी $d$ पर आधारित एक लागत फलन $L(d)$ को कम करने के लिए प्रशिक्षित किया जाता है। यह एक गैर-उत्तल (non-convex), लेनार्ड-जोन्स जैसा पोटेंशियल है: $L(d) = a/d - b/\sqrt{d}$। यह फलन अत्यधिक अलगाव ($d \to \infty$) और निकट-दूरी की भीड़ ($d \to 0$) दोनों को दंडित करता है, जिसका न्यूनतम मान इष्टतम दूरी $\bar{d}=1$ पर होता है।
• अनुकूलन (Optimization): एजेंट समय के साथ संचयी लागत को कम करने के लिए $\epsilon$-greedy एक्सप्लोरेशन के साथ एक Q-लर्निंग एल्गोरिदम का उपयोग करते हैं ताकि इष्टतम नीति $\beta^*(d)$ प्राप्त की जा सके।

मुख्य योगदान और परिणाम

1. सुसंगत झुंड का उद्भव (Emergence of Cohesive Flocking): अध्ययन प्रदर्शित करता है कि जो एजेंटों को बड़े अलगाव और छोटी दूरियों दोनों को दंडित करने वाले लागत फलन के साथ प्रशिक्षित किया गया है, वे स्वतः ही उच्च ध्रुवीय व्यवस्था ($\Phi \approx 0.95$) के साथ सुसंगत झुंड बनाने वाली नीति सीख लेते हैं। यह व्यवहार मध्यम समूह आकार ($N < 800$) के लिए दोनों CT और DT प्रतिमानों में सुदृढ़ है।
2. टकराव से बचाव की भूमिका: एक महत्वपूर्ण निष्कर्ष यह है कि छोटी दूरियों के लिए दंड (penalty) झुंड बनाने के लिए आवश्यक है। जब लागत फलन को छोटे $d$ पर विचलन (divergence) को हटाने के लिए संशोधित किया जाता है (प्रभावी रूप से टकराव दंड को हटा दिया जाता है), तो एजेंट आकर्षण द्वारा संचालित ($\beta \approx 1$) रणनीति सीखते हैं, जिसके परिणामस्वरूप सुसंगत झुंड के बजाय एक अव्यवस्थित, सुसंगत 'स्वार्मिंग' (swarming) अवस्था प्राप्त होती है। यह सुझाव देता है कि टकराव से बचने की आवश्यकता ही संरेखण-आधारित झुंड के उद्भव का प्राथमिक चालक है।
3. दूरी-निर्भर नीति (Distance-Dependent Policy): सीखे गए Q-मैट्रिक्स का विश्लेषण एक स्पष्ट शासन विभाजन (regime split) प्रकट करता है:
   • छोटी दूरियां ($d < d^*$): इष्टतम नीति मजबूत संरेखण ($\beta \approx 0$) द्वारा प्रधान है।
   • बड़ी दूरियां ($d > d^*$): नीति में संरेखण और आकर्षण का एक लचीला संयोजन शामिल है। लेखक "पॉलिसी डिस्टिलेशन" के माध्यम से दिखाते हैं कि इस शासन में सटीक संतुलन महत्वपूर्ण नहीं है; जब तक कुछ आकर्षण मौजूद है, प्रणाली सामंजस्य बनाए रखती है।
4. संरचनात्मक विशेषताएं: परिणामी झुंड संरचनात्मक विशेषताएं प्रदर्शित करते हैं जो जैविक अवलोकनों (जैसे स्टारलिंग मर्मुरेशन) के अनुरूप हैं। वे एक "संरचनाहीन गैर-संतुलन तरल" (structureless nonequilibrium liquid) के रूप में व्यवहार करते हैं जिसमें पड़ोसी विनिमय दर (mixing rate) सीमित लेकिन कम है, और रेडियल पेयर डिस्ट्रीब्यूशन फंक्शन $g(r)$ में विशिष्ट तरल पदार्थों जैसी दोलन संरचना का अभाव है, जो प्रायोगिक डेटा से मेल खाता है।
5. स्केलेबिलिटी और सुदृढ़ता: एल्गोरिदम केंद्रीकृत प्रशिक्षण के तहत $N=1600$ एजेंटों तक प्रभावी ढंग से स्केल करता है। विकेंद्रीकृत प्रशिक्षण बहुत बड़े समूहों ($N > 800$) के लिए कम प्रदर्शन दिखाता है क्योंकि एजेंटों के लिए सीमित प्रशिक्षण समय के भीतर पूर्ण स्टेट स्पेस को एक्सप्लोर करना कठिन होता है, हालांकि इसे एक्सप्लोरेशन एक्सपोनेंट्स को समायोजित करके कम किया जा सकता है।
6. सीमा स्थितियां (Boundary Conditions): लेखकों ने वोरोनोई सेल क्षेत्र (आंतरिक बनाम सीमा एजेंटों के बीच अंतर करने के लिए) पर आधारित एक वैकल्पिक लागत फलन का परीक्षण किया और पाया कि दूरी-आधारित लागतों की तुलना में परिणामी झुंड व्यवहार में कोई गुणात्मक अंतर नहीं है।

महत्व और दावे
शोध पत्र यह दावा करता है कि यह इस प्रश्न को हल करता है कि क्यों कुछ सामाजिक प्रजातियां झुंड (flocking) के बजाय स्वार्मिंग (swarming) करती हैं। लेखक तर्क देते हैं कि झुंड बनाना केवल समूह सामंजस्य का एक तंत्र नहीं है, बल्कि एक इष्टतम रणनीति के रूप में उभरता है जो साथ रहने की अनिवार्यता और खतरनाक टकरावों से बचने की अनिवार्यता, दोनों को एक साथ पूरा करता है। सीखे गए डायनेमिक्स शोर (noise) और एल्गोरिथम विवरणों के प्रति सुदृढ़ हैं, जो यह सुझाव देते हैं कि संरेखण और आकर्षण के बीच का परस्पर प्रभाव, दूरी-निर्भर टकराव बचाव द्वारा नियंत्रित, जटिल सामूहिक गति के स्वतः उद्भव के लिए एक पर्याप्त शर्त है। परिणाम वास्तविक पक्षियों (उड़ान की अर्ध-2D प्रकृति के कारण) के लिए जैविक रूप से प्रशंसनीय हैं और स्वार्म रोबोटिक्स के लिए भी संभावित रूप से लागू हो सकते हैं, जो पूर्व-प्रोग्राम किए गए अंतःक्रिया नियमों के बजाय एक लर्निंग-आधारित विकल्प प्रदान करते हैं।