कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर वैसे ही चीजें सीखते हैं जैसे एक छोटा बच्चा चलना सीखता है: गिरकर, उठकर और फिर से कोशिश करके। यह रीइन्फोर्समेंट लर्निंग (RL) का मूल है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एक "छात्र" (एल्गोरिदम) एक "वातावरण" के साथ बातचीत करके और अच्छे कदमों के लिए पुरस्कार पाकर सीखता है। वर्षों से, इस तरह की अधिकांश सीख कंप्यूटर के भीतर, पूर्ण, घर्षण रहित आभासी दुनिया यानी सिमुलेशन में हुई है। यह बास्केटबॉल खेलने के वीडियो गेम जैसा है जहाँ गेंद कभी गलत तरीके से नहीं उछलती और बास्केट कभी हिलती नहीं। हालांकि यह प्रशिक्षण के लिए बहुत अच्छा है, लेकिन यह केवल एक स्विमिंग पूल में सर्फिंग सीखने जैसा है; जब आप अंततः वास्तविक समुद्र में पहुँचते हैं, तो लहरें अव्यवस्थित होती हैं, रेत खुरदरी होती है, और नियम अलग होते हैं। वैज्ञानिकों के लिए बड़ा सवाल यह है: हम इन डिजिटल दिमागों को बिना किसी पूर्ण सिमुलेशन की आवश्यकता के, सीधे वास्तविक रोबोट्स पर सीधे कैसे सिखा सकते हैं?

"द ओपन एंट: ए रोबोट प्लेटफॉर्म फॉर रीइन्फोर्समेंट लर्निंग रिसर्च" नामक यह शोध पत्र एक ऐसा समाधान पेश करता है जिसे इस अंतर को पाटने के लिए डिज़ाइन किया गया है। लेखकों ने एक भौतिक रोबोट बनाया है जो एक प्रसिद्ध आभासी रोबोट "जिमनेजियम एंट" (Gymnasium Ant) की तरह दिखता है और व्यवहार करता है, लेकिन इसे सस्ता, आसानी से ठीक करने योग्य और उन शोधकर्ताओं के लिए सरल बनाया गया है जो रोबोटिक्स विशेषज्ञ नहीं हैं। उन्होंने पाया कि यह रोबोट लगभग एक घंटे में वास्तविक दुनिया में अपने आप चलना सीख सकता है, जिसमें दो बहुत अलग सीखने के तरीके इस्तेमाल किए गए। उन्होंने यह भी दिखाया कि कंप्यूटर सिमुलेशन में सीखी गई कुशलता को वास्तविक रोबोट पर स्थानांतरित किया जा सकता है, हालांकि वास्तविक फर्श पर पहुँचने के बाद रोबोट के प्रदर्शन की रैंकिंग थोड़ी बदल जाती है। सबसे महत्वपूर्ण बात यह है कि उन्होंने यह साबित किया कि कम रोबोटिक्स अनुभव वाले छात्रों की एक टीम भी कुछ ही दिनों में इस रोबोट को बना सकती है, ठीक कर सकती है और इससे सीख सकती है, जो यह सुझाव देता है कि वास्तविक दुनिया के रोबोट प्रयोग करने की बाधा आखिरकार कम हो रही है।

वह रोबोट जो एक वीडियो गेम पात्र जैसा दिखता है

लंबे समय से, रीइन्फोर्समेंट लर्निंग वीडियो गेम और सिमुलेशन की दुनिया में एक सुपरस्टार रहा है। यह उन कंप्यूटरों के पीछे की तकनीक है जो गो (Go) या बैकगैमोन जैसे जटिल खेलों में मनुष्यों को हरा सकते हैं। लेकिन जब वैज्ञानिक इन एल्गोरिदम को वास्तविक दुनिया में ले जाने की कोशिश करते हैं—जैसे रोबोट को चलना, उड़ना या चीजों को पकड़ना सिखाना—तो यह काफी पेचीदा हो जाता है। वास्तविक जीवन आश्चर्यों से भरा है: तार उलझ जाते हैं, मोटर गर्म हो जाती है, और फर्श पूरी तरह से चिकना नहीं होता है। इस कारण से, कई शोधकर्ता सिमुलेशन पर टिके रहते हैं, जहाँ वे बिना कुछ तोड़े एक सेकंड में हजारों प्रयोग चला सकते हैं। लेकिन इसमें एक पेंच है: जो चीज़ सिमुलेशन में पूरी तरह से काम करती है, वह अक्सर वास्तविकता में विफल हो जाती है।

इस शोध पत्र के लेखकों ने इसे बदलना चाहा। उन्होंने पूछा: "क्या हम एक ऐसा रोबोट बना सकते हैं जो उपयोग करने में इतना आसान और मरम्मत में इतना सरल हो कि केवल सिमुलेशन कोड जानने वाला शोधकर्ता भी वास्तविक दुनिया के प्रयोग शुरू कर सके?" इसका उत्तर देने के लिए, उन्होंने ओपन एंट (Open Ant) बनाया।

ओपन एंट एक चार पैरों वाला रोबोट है, जो मकड़ी या चींटी के आकार का है, जो एक बहुत लोकप्रिय आभासी रोबोट "जिमनेजियम एंट" से प्रेरित है। आभासी दुनिया में, यह चींटी एक गणितीय मॉडल है जो आगे बढ़ने के लिए सीखती है। ओपन एंट उसी पात्र का भौतिक संस्करण है। इसका एक गोल शरीर और चार पैर हैं, जिनमें से प्रत्येक में दो जोड़ (एक कूल्हा और एक घुटना) हैं, जो मोटरों द्वारा संचालित होते हैं। टीम ने चीजों को सरल रखने के लिए कुछ स्मार्ट विकल्प चुने:

• सोल्डरिंग की आवश्यकता नहीं: आपको इसे बनाने के लिए इलेक्ट्रॉनिक्स का जादूगर होने की आवश्यकता नहीं है। यह उन पुर्जों का उपयोग करता है जिन्हें आप बाजार से खरीद सकते हैं।
• प्लग-इन पावर: भारी बैटरी की चिंता करने के बजाय, यह दीवार के सॉकेट में प्लग होता है, ताकि यह बिना रुके घंटों तक चल सके।
• 3D प्रिंटेड बॉडी: यदि एक पैर टूट जाता है (जो तब होता है जब रोबोट चलना सीख रहे होते हैं), तो आप बस एक नया प्रिंट कर सकते हैं। यह आपकी कार के लिए अतिरिक्त टायर रखने जैसा है, लेकिन आप टायर खुद प्रिंट करते हैं।

उच्च गुणवत्ता वाले पुर्जों के साथ इसे बनाने की लागत लगभग $2,200** है, या यदि आप सस्ते, अधिक नाजुक मोटरों का उपयोग करते हैं तो लगभग **$500 (एक संस्करण जिसे वे "फिजिकल एंट लाइट" कहते हैं)। यह छोटा है, आभासी संस्करण के आकार का लगभग एक-तिहाई, लेकिन यह झटके सहने के लिए पर्याप्त मजबूत है।

एक घंटे में चलना सीखना

बड़ा परीक्षण यह था: क्या यह रोबोट वास्तव में शून्य ज्ञान से शुरू होकर अपने आप चलना सीख सकता है? शोधकर्ताओं ने रोबोट के लिए एक सरल खेल बनाया। केवल आगे चलने के बजाय (जिसके लिए हर बार दीवार से टकराने पर रोबोट को वापस खींचने की आवश्यकता होती), उन्होंने रोबोट को एक घेरे के भीतर आगे-पीछे चलने के लिए बनाया। ऊपर लगे एक कैमरे ने रोबोट को देखा और हर बार जब वह सही दिशा में चला, तो उसे एक "पुरस्कार" (एक अंक) दिया। यदि रोबोट घेरे के किनारे के बहुत करीब पहुँच जाता, तो लक्ष्य उलट जाता, और उसे मुड़कर दूसरी दिशा में चलना पड़ता। इसका मतलब था कि रोबोट बिना किसी मानव हस्तक्षेप के हमेशा सीख सकता था।

उन्होंने रोबोट पर दो बहुत अलग लर्निंग एल्गोरिदम का परीक्षण किया:

1. SARSA(λ): एक सरल, पुराना तरीका जो अलग-अलग चालें चलकर और यह याद रखकर सीखता है कि क्या काम आया।
2. SAC (सॉफ्ट एक्टर-क्रिटिक): एक अधिक आधुनिक, जटिल तरीका जो डीप न्यूरल नेटवर्क (डीप-लर्निंग AI के मस्तिष्क की तरह) का उपयोग करता है।

परिणाम प्रभावशाली थे। सरल SARSA(λ) एल्गोरिदम का उपयोग करते हुए, रोबोट ने लगभग एक घंटे के प्रत्यक्ष अनुभव में सक्षम रूप से चलना सीख लिया। यह कोई आदर्श, ओलंपिक-स्तर की चाल नहीं थी, लेकिन यह स्थिर थी और 2 से 4 सेमी/सेकंड की गति से चल सकती थी। यही बात अधिक जटिल SAC एल्गोरिदम के साथ भी हुई। पांच अलग-अलग परीक्षणों में, रोबोट ने लगभग एक घंटे में विश्वसनीय रूप से चलना सीख लिया। यह एक बड़ी बात है क्योंकि यह दिखाता है कि आपको रोबोट को चलाने के लिए सुपर-कंप्यूटर या महीनों के प्रशिक्षण की आवश्यकता नहीं है; आप इसे सीधे हार्डवेयर पर कर सकते हैं।

"सिम-टू-रियल" का जादू (और इसकी खामियां)

रोबोटिक्स में एक सामान्य तरकीब यह है कि पहले सिमुलेशन में एक रोबट को प्रशिक्षित किया जाए, फिर उस "मस्तिष्क" को वास्तविक रोबोट में कॉपी किया जाए। इसे "सिम-टू-रियल" कहा जाता है। शोधकर्ताओं ने ओपन एंट के साथ यह प्रयास किया। उन्होंने आभासी सिमुलेशन में 2,304 अलग-अलग "मस्तिष्क" प्रशिक्षित किए और फिर बिना किसी और प्रशिक्षण के उन्हें वास्तविक रोबोट पर टेस्ट किया।

यहाँ उन्होंने क्या पाया:

• यह काम करता है, लेकिन पूरी तरह से नहीं: लगभग सभी सिम्युलेटेड दिमाग वास्तविक रोबोट को सही दिशा में चलने में सक्षम बना सके। इसका मतलब है कि सिमुलेशन वास्तविकता की एक अच्छी नकल थी जिससे बुनियादी बातें सिखाई जा सकें।
• रैंकिंग बदल गई: यह पेचीदा हिस्सा है। सिमुलेशन में जो रोबोट "सबसे अच्छा" चलने वाला था, वह जरूरी नहीं कि वास्तविक दुनिया में भी सबसे अच्छा हो। वास्तव में, सिमुलेशन में शीर्ष प्रदर्शन करने वाला वास्तविक रोबोट पर छठा सबसे अच्छा निकला। यह सुझाव देता है कि हालांकि सिमुलेशन सहायक हैं, वे यह सटीक भविष्यवाणी नहीं कर सकते कि एक रोबोट वास्तविक दुनिया की अव्यवस्था में कैसा प्रदर्शन करेगा। यदि आप केवल "सर्वश्रेष्ठ" सिमुलेशन मस्तिष्क चुनते हैं और उसे वास्तविक रोबोट पर लगाते हैं, तो आप हैरान हो सकते हैं।

यह सबके लिए क्यों मायने रखता है

इस शोध पत्र का सबसे रोमांचक हिस्सा केवल यह नहीं है कि रोबोट चलता है; बल्कि यह है कि यह रोबोट सुलभ (accessible) है। लेखक चाहते थे कि यह देखें कि क्या सामान्य शोधकर्ता, जो आमतौर पर केवल कोड के साथ काम करते हैं, वास्तविक रोबोट को संभाल सकते हैं। वे ओपन एंट को उन छात्रों और शोधकर्ताओं के एक विंटर स्कूल में ले गए जिनके पास रोबोटिक्स का बहुत कम अनुभव था।

परिणाम क्या रहा? तीन दिनों के भीतर, पांच अलग-अलग टीमों ने सफलतापूर्वक रोबोट बनाए, उन्हें नियंत्रित करना सीखा, और यहाँ तक कि सिमुलेशन से वास्तविकता में कौशल भी स्थानांतरित किया। छात्रों के एक समूह ने नोट किया कि एक बार जब उन्होंने समझ लिया कि पुर्जे कैसे फिट होते हैं, तो वे पूरे रोबोट को दो घंटे से भी कम समय में असेंबल कर सकते थे। यदि उन्होंने बिना गाइड के प्रयास किया, तो उन्हें चार से छह घंटे लगे, लेकिन वे अपनी गलतियों को सुधार सकते थे और आगे बढ़ सकते थे।

शोध पत्र यह भी रेखांकित करता है कि चीजें गलत होने पर रोबोट को ठीक करना कितना आसान है। प्रयोगों के दौरान, रोबोट के पैर घिस गए और एक पैर टूट भी गया। क्योंकि पुर्जे 3D प्रिंटेड हैं और डिज़ाइन ओपन-सोर्स है, टीम मिनटों में एक नया पैर प्रिंट कर सकती थी या टूटे हुए पैर को मजबूत कर सकती थी। उन्होंने रोबोट के पैरों को फिसलने और घिसने से रोकने के लिए नरम, ग्रिपी सामग्री (TPU) से बने "मोजे" भी जोड़े।

निष्कर्ष

"ओपन एंट" शोध पत्र यह दावा नहीं करता है कि उसने रोबोटिक्स की सभी समस्याओं को हल कर दिया है। यह यह नहीं कहता कि रोबोट अब वह सब कुछ कर सकते हैं जो इंसान कर सकते हैं। इसके बजाय, यह एक व्यावहारिक, ओपन-सोर्स टूल प्रदान करता है जो अधिक लोगों को प्रयास करने में सक्षम बनाता है। यह दिखाता है कि थोड़े से चतुर डिजाइन के साथ—ऑफ-द-शेल्फ पुर्जों, 3D प्रिंटिंग और सरल कार्यों का उपयोग करके—आप वास्तविक दुनिया के AI प्रयोगों के लिए प्रवेश की बाधा को कम कर सकते हैं।

लेखक सुझाव देते हैं कि यह प्लेटफॉर्म शोधकर्ताओं को रोबोट बनाने के "ओवरहेड" की चिंता करने के बजाय सीखने के विज्ञान पर ध्यान केंद्रित करने की अनुमति देता है। चाहे आप एक छात्र हों, एक शौकिया (hobbyist) हों, या एक अनुभवी वैज्ञानिक हों, ओपन एंट यह साबित करता है कि भौतिक अनुभव से सीखना अब केवल उन लैब्स तक सीमित नहीं है जिनके पास लाखों डॉलर का उपकरण है। यह कुछ ऐसा है जिसे एक क्लासरूम, एक गैरेज या एक छोटे कार्यालय में किया जा सकता है, एक ऐसे रोबोट के साथ जो कॉफी बनाने के समय में चलना सीख सकता है।