From Classification to Regression: Using a Fruitfly to Solve Equations

कल्पना कीजिए कि आप एक कंप्यूटर को भविष्य की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। आमतौर पर, हम कंप्यूटरों को एक विशाल, सर्वव्यापी नियम पुस्तिका सीखने के लिए कहते हैं—एक एकल, विशाल सूत्र जो दुनिया के काम करने के तरीके को शुरू से अंत तक समझा सके। यह शतरंज के खेल में अपनी पहली चाल चलने की अनुमति मिलने से पहले ही हर एक संभावित चाल को याद करने की कोशिश करने जैसा है। यह काम तो करता है, लेकिन इसके लिए एक सुपरकंप्यूटर के मस्तिष्क की आवश्यकता होती है और इसे चलाने में बहुत समय लगता है। हालाँकि, प्रकृति के पास अधिक स्मार्ट तरीका है। अपने रसोईघर में मंडराते एक फ्रूट फ्लाई (फल की मक्खी) के बारेारे में सोचें। उसके छोटे से सिर में पूरे घर का विशाल नक्शा नहीं होता। इसके बजाय, वह अपने आस-पास के परिवेश को महसूस करता है, एक परिचित "गंध" या पैटर्न (जैसे सड़ते हुए फल की गंध) को पहचानता है, और उस विशिष्ट स्थान के बारे में जो उसने सीखा है, उसके आधार पर प्रतिक्रिया देता है। उसे पूरे घर के भौतिक विज्ञान को जानने की आवश्यकता नहीं है; उसे बस यह जानने की आवश्यकता है कि वह जो देख रहा है उसके आधार पर अभी क्या करना है।

यह शोध पत्र, जिसका शीर्षक "Classification से Regression तक: समीकरणों को हल करने के लिए एक फ्रूट फ्लाई का उपयोग करना" है, कंप्यूटर को जटिल गणितीय समस्याओं को हल करने के लिए सिखाने का एक नया तरीका बताता है, जो इसी फ्रूट फ्लाई रणनीति की नकल करता है। विज्ञान की दुनिया में, "रिग्रेशन" (regression) केवल इनपुट और आउटपुट के बीच संबंध खोजने के लिए एक फैंसी शब्द है—जैसे कि किसी धातु की छड़ को कितनी देर तक गर्म करने पर वह कितनी गर्म हो जाएगी, इसकी भविष्यवाणी करना। आमतौर पर, वैज्ञानिक इसे करने के लिए एक विशाल, जटिल मॉडल बनाने की कोशिश करते हैं। लेकिन यह पेपर सुझाव देता है कि एक विशाल मस्तिष्क के बजाय, हमें "पैटर्न" की एक छोटी लाइब्रेरी का उपयोग करना चाहिए। इसे एक 'चूज़-योर-ओन-एडवेंचर' (अपनी पसंद की कहानी चुनें) पुस्तक की तरह समझें। हर संभावित स्थिति के लिए एक नई कहानी लिखने के बजाय, आपके पास कुछ प्रमुख दृश्य (पैटर्न) होते हैं और उन्हें उस क्षण की कहानी बताने के लिए आपस में मिलाने के नियमों का एक सेट होता है। लेखक दिखाते हैं कि समस्या को इस खेल की तरह मानकर कि "यह किस पैटर्न जैसा दिखता है?" (classification) और फिर उत्तरों को मिलाकर, कंप्यूटर जटिल समीकरणों को बहुत तेज़ी से और कम मेमोरी के साथ, और आश्चर्यजनक रूप से सटीक रहते हुए हल कर सकते हैं।

द फ्रूटफ्लाईज़ सीक्रेट: हवा को सूंघकर समीकरणों को हल करना

लेखक, शेडी ई. अहमद और पनोस स्टिनिस (पैसिफिक नॉर्थवेस्ट नेशनल लेबोरेटरी से), एक चतुर तरकीब प्रस्तावित करते हैं: पूरा नक्शा सीखने की कोशिश करना बंद करें और लैंडमार्क्स (प्रमुख स्थलों) को सीखना शुरू करें।

पारंपरिक मशीन लर्निंग में, यदि आप चाहते हैं कि कंप्यूटर भविष्यवाणी करे कि कोई सिस्टम समय के साथ कैसे बदलता है (जैसे मौसम या ग्रहों की गति), तो आप आमतौर पर एक विशाल न्यूरल नेटवर्क को "ग्लोबल सरोगेट" (global surrogate) के रूपक के रूप में प्रशिक्षित करते हैं। यह एक एकल, जटिल मॉडल है जो एक ही बार में पूरे इनपुट स्पेस को समझने की कोशिश करता है। समस्या यह है कि ये मॉडल बहुत बड़े, महंगे और धीमे हो जाते हैं। वे लाइब्रेरी ऑफ कांग्रेस की पूरी लाइब्रेरी को केवल एक किताब खोजने के लिए अपने बैकपैक में ले जाने की कोशिश करने जैसे हैं।

लेखकों का तर्क है कि अधिकांश वैज्ञानिक डेटा वास्तव में पूरे स्थान को नहीं भरता है। एक ग्रह ब्रह्मांड में बेतरतीब ढंग से नहीं उड़ता; वह एक विशिष्ट कक्षा का पालन करता है। एक फ्रूट फ्लाई दीवार के माध्यम से एक सीधी रेखा में नहीं उड़ती; वह भोजन की सुगंध का पीछा करती है। ये प्रणालियाँ बार-बार एक ही "रेजीम" (regimes) या व्यवहारों को दोहराती हैं। पेपर सुझाव देता है कि एक वैश्विक नियम सीखने के बजाय, हमें प्रतिनिधि स्थानीय पैटर्न (representative local patterns) की एक सीमित लाइब्रेरी बनानी चाहिए।

यहाँ "फ्रूटफ्लाई रिग्रेसर" (Fruitfly Regressor) कैसे काम करता है, गंध के उदाहरण का उपयोग करते हुए दिया गया है:

1. सुगंध की लाइब्रेरी (पैटर्न): कल्पना कीजिए कि आपके पास "सुगंधों" (पैटर्न) की एक लाइब्रेरी है। प्रत्येक सुगंध प्रणाली के एक विशिष्ट, आवर्ती व्यवहार का प्रतिनिधित्व करती है। एक झूलते हुए पेंडुलम के लिए, एक पैटर्न "तेजी से बाईं ओर झूलना" हो सकता है, और दूसरा "ऊपर धीरे-धीरे रुकना" हो सकता है।
2. स्निफ टेस्ट (समानता): जब आपके पास एक नई स्थिति (एक "क्वेरी") आती है, तो कंप्यूटर शून्य से पूरे समीकरण को हल करने की कोशिश नहीं करता है। इसके बजाय, वह स्थिति को "सूंघता" है। वह वर्तमान स्थिति की तुलना अपनी लाइब्रेरी के सभी सुगंधों से करता है।
3. वेटेड मिक्स (पुनर्निर्माण): कंप्यूटर केवल एक सबसे अच्छा सुगंध नहीं चुनता है। यह गणना करता है कि वर्तमान स्थिति प्रत्येक सुगंध जैसी कितनी है। यदि इसमें "तेजी से बाईं ओर" की 60% और "ऊपर धीरे-धीरे रुकने" की 40% सुगंध है, तो यह उन दो पैटर्न के ज्ञात उत्तरों को मिलाता है (उत्तर A का 60% + उत्तर B का 40%) ताकि अंतिम भविष्यवाणी प्राप्त की जा सके।

यह दृष्टिकोण एक कठिन रिग्रेशन समस्या (एक निरंतर संख्या की भविष्यवाणी करना) को एक क्लासिफिकेशन समस्या (कौन से पैटर्न मौजूद हैं यह पता लगाना) और फिर एक सरल गणितीय समस्या (उत्तरों को मिलाना) में बदल देता है।

इस पेपर ने वास्तव में क्या पाया

लेखकों ने इस विचार का परीक्षण दो बहुत अलग प्रकार की समस्याओं पर किया: डायनामिकल सिस्टम्स (चीजें जो समय के साथ बदलती हैं, जैसे ग्रह या तरल पदार्थ) और जनरल रिग्रेशन (डेटा में संबंधों को खोजना)।

1. गति में फ्रूटफ्लाई (डायनामिकल सिस्टम्स)
उन्होंने अपने तरीके को लॉटका-वोल्टेरा सिस्टम (शिकारी और शिकार की आबादी कैसे परस्पर क्रिया करती है इसका एक मॉडल) और लोरेंज सिस्टम (अराजक मौसम पैटर्न का एक प्रसिद्ध मॉडल) पर लागू किया।

• परिणाम: पैटर्न की एक बहुत छोटी लाइब्रेरी (केवल 4 से 32 पैटर्न) के साथ भी, मॉडल इन प्रणालियों के भविष्य के व्यवहार की उच्च सटीकता के साथ भविष्यवाणी कर सका।
• आश्चर्य: उन्होंने पाया कि इन पैटर्न के बीच की "सीमाएँ" स्वाभाविक रूप से सिस्टम के स्थिर बिंदुओं (जैसे तूफान का केंद्र) के चारों ओर बनी थीं। भले ही कोई पैटर्न किसी विशिष्ट क्षेत्र में "विजेता" न हो, फिर भी वह अंतिम उत्तर में योगदान देता था, जिससे भविष्यवाणी सुचारू और स्थिर बनी रही।
• "अज्ञात" समीकरण: एक प्रयोग में, वे उस प्रणाली को नियंत्रित करने वाले समीकरणों को जानते भी नहीं थे। उन्होंने पैटर्न सीखने के लिए एक अस्थायी "हेल्पर" मॉडल का उपयोग किया, लेकिन पैटर्न मिलने के बाद, उन्होंने हेल्पर को हटा दिया। अंतिम मॉडल को केवल पैटर्न और उनकी प्रतिक्रियाओं को संग्रहीत करने की आवश्यकता थी। यह मेमोरी के लिए एक बड़ी जीत है, क्योंकि अंतिम मॉडल आमतौर पर आवश्यक विशाल न्यूरल नेटवर्क की तुलना में बहुत छोटा है।
• निरंतर सीखना (Continual Learning): उन्होंने दिखाया कि यदि सिस्टम बदलता है (जैसे मौसम का एक नए पैटर्न में बदलना), तो आप पुराने अनुभवों को भूले बिना अपनी लाइब्रेरी में कुछ नए "सुगंध" पैटर्न जोड़ सकते हैं। यह "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) की समस्या से बचाता है जहाँ AI आमतौर पर नए चीजें सीखते समय पुराने सबक भूल जाता है।

2. लैब में फ्रूटफ्लाई (जनरल रिग्रेशन)
उन्होंने मानक गणितीय समस्याओं पर भी इसका परीक्षण किया, जैसे कि एक परबोला (parabola) में वक्र फिट करना या 1D पॉइसन समीकरण (एक भौतिकी समीकरण जो बताता है कि गर्मी या बिजली कैसे फैलती है) को हल करना।

• सेटअप: उन्होंने इनपुट वेरिएबल (जैसे एक रेखा पर स्थिति) को एक "सुगंध" के रूप में और पैटर्न को अपने स्वयं के "सुगंध क्लाउड" वाले निश्चित बिंदुओं के रूप में माना।
• परिणाम:
  • एक साधारण परबोला के लिए, उन्होंने 10 पैटर्न का उपयोग किया और 0.1% की टेस्ट एरर प्राप्त की।
  • 10 अलग-अलग साइन वेव्स से बने एक जटिल वेव के लिए, उन्होंने 30 पैटर्न का उपयोग किया और लगभग 1% की एरर प्राप्त की।
  • एक तीखे कोने वाली पेचीदा भौतिकी समस्या के लिए (एक परबोला जो एक तरफ शून्य है और दूसरी तरफ घुमावदार है), उन्होंने 100 पैटर्न का उपयोग किया और लगभग 10% की एरर प्राप्त की। पेपर में उल्लेख किया गया है कि यह उच्च एरर अपेक्षित है क्योंकि फंक्शन में एक तीखा, नॉन-स्मूथ किनारा है, और "सुगंध" का प्रसार उस विशिष्ट आकार के लिए पूरी तरह से ट्यून नहीं था।
• गति: पेपर इस बात पर जोर देता है कि सरल समस्याओं के लिए पैटर्न वैल्यू को हल करने में केवल 0.01 सेकंड लगा, और सबसे जटिल कार्य में भी केवल 3.5 सेकंड लगे।

इसका क्या अर्थ है (और क्या नहीं है)

यह पेपर सुझाव देता है कि हमें जटिल समस्याओं को हल करने के लिए हमेशा एक विशाल, सर्वज्ञ मस्तिष्क बनाने की आवश्यकता नहीं होती है। समस्या को छोटे, पहचानने योग्य "पैटर्स" की लाइब्रेरी में तोड़कर और समानता के आधार पर उन्हें मिलाकर, हम ऐसे मॉडल बना सकते हैं जो:

• छोटे हैं: उन्हें स्टोर करने के लिए बहुत कम पैरामीटर्स की आवश्यकता होती है।
• तेज़ हैं: ऑनलाइन प्रेडिक्शन स्टेप केवल एक समानता चेक और एक वेटेड सम (weighted sum) है, न कि एक विशाल गणना।
• लचीले हैं: उन्हें नए डेटा के आने पर आसानी से अपडेट किया जा सकता है।

हालाँकि, पेपर सावधानी बरतते हुए कहता है कि यह हर चीज़ के लिए एक जादुई समाधान नहीं है। लेखक स्पष्ट रूप से नोट करते हैं कि उनके तरीके के लिए डेटा में "पुनरावृत्ति व्यवहार" या स्थानीय संरचनाओं का होना आवश्यक है। यदि कोई सिस्टम पूरी तरह से रैंडम है और कभी भी पैटर्न नहीं दोहराता, तो यह लाइब्रेरी दृष्टिकोण संघर्ष कर सकता है। साथ ही, जबकि परिणाम आशाजनक हैं, वे सिमुलेशन और विशिष्ट गणितीय उदाहरणों पर आधारित हैं; पेपर यह दावा नहीं करता है कि उन्होंने वास्तविक दुनिया के जलवायु मॉडलिंग या जैविक प्रणालियों को हल कर दिया है, हालांकि यह एक मार्ग सुझाता है।

लेखक उन बातों की ओर भी इशारा करते हैं जिन्हें उन्होंने अभी तक पूरी तरह से नहीं सुलझाया है। उदाहरण के लिए, वे ठीक से नहीं जानते कि पैटर्न के लिए "वैरिएंस" (सुगंध का फैलाव) को कैसे चुना जाए। उन्होंने पाया कि वैरिएंस को डोमेन के आकार को पैटर्न की संख्या से विभाजित करके सेट करना सबसे अच्छा काम करता है, जो विरोधाभासी लगा (जैसे यह उम्मीद करना कि एक रैंडम वॉकर एक सीधी रेखा में चलेगा), लेकिन उनके परीक्षणों में यह काम कर गया। वे यह भी सुझाव देते हैं कि पैटर्न की संख्या को एडैप्टिव (अनुकूलनशील) बनाया जा सकता है, जो केवल तभी बढ़ता है जब सिस्टम वर्तमान लाइब्रेरी के लिए बहुत जटिल हो जाता है।

अंत में, यह पेपर एक चंचल लेकिन शक्तिशाली दृष्टिकोण प्रदान करता है: पूरे समुद्र को याद करने के बजाय, केवल उसकी धाराओं को सीखें। स्थानीय सुगंधओं को पहचानकर नेविगेट करने की फ्रूट फ्लाई की क्षमता की नकल करके, हम दुनिया के सबसे कठिन समीकरणों को बहुत हल्के स्पर्श के साथ हल कर सकते हैं।