Optimal Control Strategies for Multi-Agent Sheep Herding

कल्पना कीजिए कि आप एक ऐसी दुनिया में हैं जहाँ आप केवल एक वीडियो गेम नहीं खेल रहे हैं, बल्कि चीजों के हिलने-डुलने के भौतिक विज्ञान (फिजिक्स) को प्रोग्राम कर रहे हैं। यह ऑप्टिमल कंट्रोल (optimal control) का क्षेत्र है, जो विज्ञान की एक ऐसी शाखा है जो एक सरल लेकिन कठिन प्रश्न पूछती है: "चीजों के एक समूह को बिंदु A से मूल स्थान (origin) तक ले जाने का सबसे अच्छा तरीका क्या है?" इसे एक ऑर्केस्ट्रा के कंडक्टर होने जैसा समझें, लेकिन वायलिन और बांसुरी के बजाय, आप रोबोट, ड्रोन या यहाँ तक कि खुद चलने वाली कारों (सेल्फ-ड्राइविंग कार) का निर्देशन कर रहे हैं। लक्ष्य निर्देशों (या "कंट्रोल्स") का एक आदर्श सेट खोजना है जो सभी को बिना टकराए, ऊर्जा बर्बाद किए या रास्ता भटके अपने गंतव्य तक पहुँचा सके।

इस विशिष्ट कहानी में, "संगीतकार" भेड़ों का एक झुंड हैं, और "कंडक्टर" कुत्तों का एक पैक है। चुनौती केवल भेड़ों को बाड़े (pen) तक पहुँचाना नहीं है; बल्कि कुत्तों के लिए सही रास्ते का पता लगाना है। यह शोध पत्र कुछ प्रमुख विचारों पर निर्भर करता है: स्टेट-स्पेस इक्वेशंस (state-space equations), जो केवल फैंसी गणितीय मानचित्र हैं जो ट्रैक करते हैं कि हर जानवर कहाँ है और उसकी गति कितनी है; कॉस्ट फंकशनल्स (cost functionals), जो एक स्कोरकार्ड की तरह हैं जो अच्छे व्यवहार (भेड़ों को घर पहुँचाने) के लिए अंक देते हैं और बुरे व्यवहार (बहुत अधिक हिलना-डुलना या केंद्र से बहुत दूर होना) के लिए अंक काट लेते हैं; और नॉनलीनियर डायनेमिक्स (nonlinear dynamics), जो यह बताता है कि जब चीजें एक-दूसरे के करीब आती हैं, तो दुनिया कितनी अव्यवस्थित और अप्रत्याशित हो जाती है, जैसे कि यदि कोई कुत्ता बहुत करीब आ जाए तो एक भेड़ घबराकर भाग सकती है। कोई इसकी परवाह क्यों करता है? क्योंकि भेड़ों को चराने के पीछे का गणित आश्चर्यजनक रूप से उस गणित के समान है जिसकी आवश्यकता ढही हुई इमारत के माध्यम से बचाव रोबोटों को निर्देशित करने, फैलते हुए तेल रिसाव को नियंत्रित करने, या एक पार्टिकल एक्सेलरेटर में आवेशित कणों (charged particles) को चलाने के लिए होती है। यदि हम भेड़ों को कुशलतापूर्वक चराना सीख जाते हैं, तो हम शायद जीवन बचाने या आपदाओं को साफ करने का तरीका भी खोज सकते हैं।

---

द ग्रेट शीप हर्डिंग सिमुलेशन (भेड़ चराने का महान सिलेशन)

तो, ब्रिघम यंग यूनिवर्सिटी और कुछ अन्य स्कूलों के शोधकर्ताओं की एक टीम ने इस पुराने सवाल को हल करने का निर्णय लिया: "मुझे कितनी भेड़ों को चराने के लिए कितने कुत्तों की आवश्यकता है, और उन्हें कौन सा रास्ता अपनाना चाहिए?" उन्होंने असली कुत्तों या असली भेड़ों का उपयोग नहीं किया (जो कि एक गणितीय शोध पत्र के लिए थोड़ा अराजक होगा)। इसके बजाय, उन्होंने कंप्यूटर मॉडल का उपयोग करके एक डिजिटल खेल का मैदान बनाया।

उनके सिमुलेशन में, भेड़ें जिद्दी जीव हैं। उनका एक नियम है: "कुत्तों से दूर रहो!" यदि कोई कुत्ता करीब आता है, तो भेड़ विपरीत दिशा में त्वरित (accelerate) होती है। पेपर इस त्वरण को कूलम्ब के नियम (Coulomb's law) के रूप में मॉडल करता है, जो समान आवेश वाले कणों के लिए है। इसका मतलब है कि भेड़ को दूर धकेलने वाला बल गणितीय रूप से इस तरह है जैसे दो कण जिनका समान विद्युत आवेश होता है, एक-दूसरे को प्रतिकर्षित करते हैं, और वे जितने करीब आते हैं, यह बल उतना ही मजबूत होता जाता है। हालाँकि, कुत्ते समझदार हैं। उन्हें एक कंप्यूटर एल्गोरिदम द्वारा नियंत्रित किया जाता है जो एक "लागत" (cost) को कम करने की कोशिश करता है। यह लागत तीन चीजों का मिश्रण है: भेड़ों को मूल स्थान (केंद्र/बाड़े) के करीब रखना, कुत्तों को मूल स्थान के करीब रखना, और बहुत अधिक ऊर्जा का उपयोग न करना (त्वरण)। लक्ष्य उस आदर्श संतुलन को खोजना है जहाँ कुत्ते बिना थके कुशलतापूर्वक भेड़ों को घर तक पहुँचा सकें।

पहला प्रयास: "अनुमान और जाँच" का संघर्ष

टीम की पहली रणनीति एक शक्तिशाली गणितीय उपकरण का उपयोग करने की थी जिसे solve_bvp कहा जाता है (जो बाउंड्री वैल्यू प्रॉब्लम सॉल्वर है)। कल्पना कीजिए कि आप एक पूरे रास्ते का एक साथ अनुमान लगाकर, फिर यह जाँचकर कि क्या आप दीवारों से टकराते हैं, और अपने अनुमान को तब तक समायोजित करके एक भूलभुलैया को हल करने की कोशिश कर रहे हैं जब तक कि आप सही न हो जाएँ। उन्होंने इस टूल को भेड़ों और कुत्तों के जटिल नियमों को समझाने की कोशिश की।

शुरुआत में, यह एक आपदा थी। कंप्यूटर अटक जाता था, काम करने वाला रास्ता खोजने में असमर्थ था, विशेष रूप से जब उन्होंने अधिक जानवरों को जोड़ा। सिस्टम बहुत बड़ा और बहुत अव्यवस्थित (nonlinear) था जिसे टूल आसानी से संभाल नहीं सका। यह एक ऐसे रूबिक क्यूब को हल करने जैसा था जो आपके छूते ही अपना रंग बदल देता है। हालाँकि, टीम ने हार नहीं मानी। उन्हें एहसास हुआ कि यदि वे कंप्यूटर को एक अच्छी "शुरुआती बढ़त" (एक स्मार्ट शुरुआती अनुमान) देते हैं और सेटिंग्स को ठीक से ट्यून करते हैं, तो टूल वास्तव में काम कर सकता है।

उन्होंने पाया कि यदि वे कुत्तों को भेड़ों के चारों ओर एक घेरे में शुरू करने और एक विशिष्ट, सुचारू वक्र (curve) में चलने के लिए कहते हैं, तो कंप्यूटर अंततः समाधान निकाल सकता है। उन्हें कुत्तों के प्रदर्शन को स्कोर करने के तरीके को भी बदलना पड़ा। कुत्तों को एक विशिष्ट स्थान पर समाप्त करने के लिए मजबूर करने के बजाय, उन्होंने कुत्तों को एक घेरे पर कहीं भी समाप्त करने की अनुमति दी, जिससे उन्हें एक अच्छा रास्ता खोजने की अधिक स्वतंत्रता मिली। इन बदलावों के साथ, उन्होंने सफलतापूर्वक 2 कुत्तों और 1 भेड़ के परिदृश्य का अनुकरण किया, यह देखते हुए कि कुत्ते कैसे खूबसूरती से घूमते हैं और भेड़ को बाड़े में धकेलते हैं।

दूसरा प्रयास: "लीनियर शॉर्टकट"

इसके बाद, टीम ने लीनियर क्वाड्रेटिक रेगुलेटर (LQR) नामक एक अलग दृष्टिकोण आज़माया। यह एक जटिल समस्या को यह मानकर हल करने जैसा है कि दुनिया सरल और सीधी है। उन्होंने माना कि भेड़ों की कुत्तों के प्रति प्रतिक्रिया एक जंगली, टेढ़ी-मेढ़ी वक्र के बजाय एक सुचारू, अनुमानित रेखा है। यह तरीका आमतौर पर बहुत तेज़ होता है और एक साथ अधिक जानवरों को संभाल सकता है।

और यह काम कर गया... काफी हदतः। उन्होंने 4 कुत्तों और 3 भेड़ों के परिदृश्यों का सफलतापूर्वक अनुकरण किया। कुत्ते आम तौर पर झुंड को लक्ष्य की ओर ले जाने में सक्षम थे। लेकिन एक पेच था। "लीनियर शॉर्टकट" तब विफल हो गया जब कुत्ते और भेड़ें बहुत करीब आ गए।

इसे कार चलाने के रूप में सोचें। यदि आप मोड़ से दूर हैं, तो आप मान सकते हैं कि सड़क सीधी है और आसानी से गाड़ी चला सकते हैं। लेकिन जैसे ही आप बिल्कुल तीखे कोने के पास पहुँचते हैं, वह धारणा विफल हो जाती है, और आप दुर्घटनाग्रस्त हो सकते हैं। सिमुलेशन में, जब कुत्ते भेड़ों के करीब आए, तो भेड़ों की "घबराहट" की प्रतिक्रिया बहुत तीव्र और अप्रत्याशित हो गई। लीनियर गणित इस अचानक उछाल को नहीं संभाल सका। परिणामस्वरूप, सिमुलेशन में कुत्ते अजीब व्यवहार करने लगे। वे भेड़ों के ऊपर मंडराने लगे, छोटे, बेकार लूपों में इधर-उधर थरथराते रहे, या भेड़ों के ऊपर बैठे रहने के लिए फंस गए, जिससे वे उन्हें आगे धकेलने में असमर्थ हो गए।

यह समस्या तब और खराब हो गई जब कुत्तों की तुलना में भेड़ों की संख्या अधिक थी। कुत्ते अभिभूत हो गए, और गणित उन्हें प्रभावी ढंग से समन्वयित करने में असमर्थ रहा। सिमुलेशन ने दिखाया कि जबकि यह "शॉर्टकट" तरीका चिकनी, खुली जगहों के लिए बेहतरीन है, यह तब संघर्ष करता है जब जानवर भीड़भाड़ वाले होते हैं और उनके बीच की अंतःक्रिया (interaction) तीव्र होती है।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि हालांकि हम एक आदर्श चराई रणनीति का अनुकरण कर सकते हैं, लेकिन यह आसान नहीं है। "अनुमान और जाँच" वाला तरीका (solve_bvp) छोटे समूहों के लिए अच्छा काम करता है यदि आप अपने शुरुआती अनुमानों के साथ बहुत सावधान रहते हैं, लेकिन जैसे-जैसे आप अधिक जानवर जोड़ते हैं, यह धीमा और अव्यवस्थित हो जाता है। "शॉर्टकट" तरीका (LQR) तेज़ है और बड़े समूहों को संभाल सकता है, लेकिन यह विफल हो जाता है जब जानवर एक-दूसरे के बहुत करीब आ जाते हैं क्योंकि यह व्यवहार के अचानक, जंगली परिवर्तनों को नहीं संभाल सकता।

शोधकर्ताओं ने कोई जादुई बटन नहीं पाया जो हर संभव कुत्तों और भेड़ों की संख्या के लिए समस्या को हल कर सके। इसके बजाय, उन्होंने दिखाया कि मानक गणितीय उपकरणों की सीमाएँ होती हैं। जब चीजें भीड़भाड़ वाली और अराजक होती हैं, तो सरल लीनियर गणित पर्याप्त नहीं होता है, और हमें झुंड को आगे बढ़ाने के लिए अधिक मजबूत, नॉनलीनियर रणनीतियों की आवश्यकता होती है। उन्होंने सफलतापूर्वक प्रदर्शित किया कि पर्याप्त ट्यूनिंग के साथ, हम कंप्यूटर को सिमुलेशन में भेड़ चराने का तरीका सिखा सकते हैं, लेकिन एक पूर्ण, स्केलेबल समाधान का मार्ग अभी भी प्रगति पर है।