FLOPs vs Real Work: The Importance of Replication in AI Efficiency Assessment

आर्टिफिशियल इंटेलिजेंस की तेजी से बढ़ती दुनिया में, जहाँ कंप्यूटर प्रोग्राम लिखना, कला बनाना और जटिल समस्याओं को हल करना सीख रहे हैं, एक शांत लेकिन महत्वपूर्ण प्रश्न उभरा है: वास्तव में कितना काम किया जा रहा है? वर्षों से, शोधकर्ता और इंजीनियर इन डिजिटल मस्तिष्क द्वारा आवश्यक प्रयास को मापने के लिए एक मानक तरीके पर भरोसा करते रहे हैं। वे बुनियादी गणितीय गणनाओं, विशेष रूप से फ्लोटिंग-पॉइंट ऑपरेशन्स (floating-point operations) की संख्या गिनते हैं, जो एक मॉडल को निष्कर्ष तक पहुँचने के लिए करनी पड़ती हैं। यह कुछ इस तरह है जैसे दीवार बनाने में कितना समय लगेगा, इसका अनुमान लगाने के लिए दीवार में ईंटों की संख्या गिनना। तर्क सही लगता है: अधिक गणनाओं का अर्थ अधिक समय और अधिक ऊर्जा होना चाहिए। यह मीट्रिक विभिन्न AI मॉडलों की तुलना करने के लिए एक सार्वभौमिक भाषा बन गया है, जिससे डेवलपर्स को यह तय करने में मदद मिलती है कि कौन से डिज़ाइन कुशल हैं और कौन से बर्बादी करने वाले। हालाँकि, यह सरल गणना इस धारणा पर आधारित है कि प्रत्येक गणना समान समय और ऊर्जा लेती है, चाहे वह कैसे भी व्यवस्थित हो या उसे कौन सा कंप्यूटर कर रहा हो।

यह धारणा तब जांच के घेरे में आई जब AI मॉडल विशाल स्तर पर बढ़े, भारी मात्रा में बिजली की खपत की और पावर ग्रिड्स पर दबाव डाला। यदि मानक गणना पद्धति त्रुटिपूर्ण है, तो यह अगली पीढ़ी के बुद्धिमान सिस्टम की पर्यावरणीय लागत और गति के बारे में गंभीर गलत गणनाओं की ओर ले जा सकती है। एक हालिया अध्ययन ने यह परीक्षण करने के लिए हाथ बढ़ाया कि क्या पारंपरिक गणना पद्धति आधुनिक, शक्तिशाली कंप्यूटर चिप्स पर अब भी कायम है। शोधकर्ता यह देखना चाहते थे कि क्या गणितीय गणनाओं की संख्या और उन्हें चलाने में लगने वाले वास्तविक समय के बीच का संबंध सीधा बना हुआ है, या वास्तविकता कहीं अधिक जटिल है। उन्होंने एक विशिष्ट प्रकार के AI आर्किटेक्चर पर ध्यान केंद्रित किया जिसे कनवल्शनल न्यूरल नेटवर्क (convolutional neural network) कहा जाता है, जो छवियों को पहचानने और वीडियो को समझने जैसे कार्यों के लिए व्यापक रूप से उपयोग किया जाता है। एक अत्याधुनिक ग्राफिक्स कार्ड पर हजारों प्रयोग चलाकर, उन्होंने यह सत्यापित करने का प्रयास किया कि क्या एक प्रस्तावित गणितीय सुधार सटीक रूप से भविष्यवाणी कर सकता है कि इन मॉडलों को चलाने में कितना समय लगेगा, या क्या नए हार्डवेयर ने छिपी हुई जटिलताओं को पेश कर दिया है जिन्हें पुराने सूत्र नहीं देख सके।

टीम ने एक पिछले अध्ययन को फिर से देखते हुए शुरुआत की जिसने सुझाव दिया था कि गणितीय गणनाओं की कच्ची गिनती (raw count) निष्पादन समय (execution time) का एक विश्वसनीय भविष्यवक्ता नहीं थी। उस पिछले कार्य ने दिखाया था कि गणनाएँ कहाँ होती हैं, यह इस बात जितना ही मायने रखता है कि वे कितनी हैं। एक फैक्ट्री असेंबली लाइन की कल्पना करें: एक चौड़े कन्वेयर बेल्ट पर वस्तुओं को ले जाना अक्सर एक संकीतर, घुमावदार सुरंग के माध्यम से समान संख्या में वस्तुओं को निकालने की कोशिश करने की तुलना में तेज़ और प्रबंधित करना आसान होता है, भले ही वस्तुओं की कुल संख्या समान हो। AI की दुनिया में, छवियों की चौड़ाई और ऊंचाई जैसे स्थानिक आयामों (spatial dimensions) में व्यवस्थित गणनाओं को गहरे, अधिक जटिल परतों की तुलना में बहुत अधिक आसानी से समानांतर (parallel) रूप से संसाधित किया जा सकता है। पिछले शोधकर्ताओं ने इन आयामों के आधार पर कच्ची गणना को समायोजित करने के लिए एक सूत्र विकसित किया था, इस उम्मीद में कि एक ऐसा उपकरण बनाया जा सके जो सटीक रूप से अनुमान लगा सके कि एक मॉडल को विशिष्ट हार्डवेयर पर चलाने में कितना समय लगेगा।

यह परीक्षण करने के लिए कि क्या यह सूत्र अभी भी काम करता है, डेल्फ़्ट यूनिवर्सिटी ऑफ़ टेक्नोलॉजी के शोधकर्ताओं ने मूल प्रयोगों का एक कठोर अनुकरण (replication) तैयार किया। उन्होंने एक आधुनिक ग्राफिक्स कार्ड, NVIDIA RTX 4090 का उपयोग किया, जो मूल अध्ययन में उपयोग किए गए उपकरणों की तुलना में काफी अधिक शक्तिशाली है। उनका लक्ष्य यह देखना था कि क्या वही पैटर्न सच बने हुए हैं और क्या सूत्र अभी भी सटीक भविष्यवाणियां प्रदान कर सकता है। हालाँकि, उन्हें तुरंत एक बड़ी बाधा का सामना करना पड़ा: मूल अध्ययन ने काम को ठीक से दोहराने के लिए आवश्यक पूर्ण कोड या विस्तृत निर्देश प्रदान नहीं किए थे। शोधकर्ताओं के पास सॉफ्टवेयर लाइब्रेरी और ड्राइवरों के बारे में विशिष्ट विवरणों की कमी थी, और उनके पास वह कच्चा डेटा भी नहीं था जिसका उपयोग मूल लेखकों ने अपना सूत्र बनाने के लिए किया था। पारदर्शिता की इस कमी ने टीम को अपने प्रयोगों को सेट करने के लिए शिक्षित अनुमान लगाने के लिए मजबूर किया, जिससे उनके परिणामों में अनिश्चितता की एक परत जुड़ गई।

इन चुनौतियों के बावजूद, टीम अपने मापन के साथ आगे बढ़ी, और प्रत्येक कॉन्फ़िगरेशन को कितना समय लगता है यह देखने के लिए हजारों अलग-अलग कॉन्फ़िगरेशन चलाए। उन्होंने पहले प्रमुख निष्कर्ष की पुष्टि की: गणितीय गणनाओं की कच्ची गिनती वास्तव में एक खराब भविष्यवक्ता है कि एक मॉडल को चलने में कितना समय लगेगा। यहाँ तक कि जब दो कॉन्फ़िगरेशन में गणनाओं की बिल्कुल समान संख्या की आवश्यकता थी, तब भी उनके निष्पादन समय में भारी अंतर था, जो इस बात पर निर्भर करता था कि उन गणनाओं को कैसे व्यवस्थित किया गया था। शोधकर्ताओं ने पाया कि छवि की चौड़ाई और ऊंचाई में फैली गणनाओं को गहरे परतों में पैक की गई गणनाओं की तुलना में बहुत तेज़ी से संसाधित किया जाता था, जिससे यह पुष्टि हुई कि डेटा का भौतिक लेआउट कुल कार्य की मात्रा से अधिक मायने रखता है।

हालाँकि, जब उन्होंने अपने नए, तेज़ हार्डवेयर पर प्रस्तावित सूत्र को लागू करने की कोशिश की, तो परिणाम बहुत कम उत्साहजनक थे। वह सूत्र, जो पुराने उपकरणों पर काफी अच्छा काम करता था, आधुनिक ग्राफिक्स कार्ड को कार्यों को पूरा करने में लगने वाले समय का लगातार कम अनुमान लगाता रहा। कई मामलों में, वास्तविक लिया गया समय सूत्र द्वारा अनुमानित समय से काफी अधिक था। अधिक आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि निष्पादन समय वर्कलोड बढ़ने के साथ एक सुचारू, स्थिर वृद्धि नहीं था। इसके बजाय, समय अप्रत्याशित तरीकों से उछलता और दोलन (oscillate) करता था। जब उन्होंने इनपुट डेटा के आकार को बहुत मामूली मात्रा में बढ़ाया, तो इसे संसाधित करने का समय अचानक बढ़ जाता या गिर जाता, जिससे एक सीधी रेखा के बजाय एक ऊबड़-खाबड़, अनियमित पैटर्न बन जाता। ये उछाल विशिष्ट संख्याओं पर दिखाई दिए, जो अक्सर चार या अन्य छोटे पूर्णांकों के गुणजों (multiples) से संबंधित थे, जिससे पता चलता कि आधुनिक चिप का आंतरिक आर्किटेक्चर डेटा के प्रति जटिल, गैर-रैखिक (non-linear) तरीकों से प्रतिक्रिया कर रहा था जिसे सरल सूत्र नहीं पकड़ सका।

अध्ययन ने खुलासा किया कि गणनाओं की संख्या और उनके लगने वाले समय के बीच का संबंध पहले की तुलना में बहुत अधिक नाजुक और हार्डवेयर-निर्भर है। सूत्र इनपुट और आउटपुट चैनलों के प्रभाव को समझाने में विफल रहा, जिन्होंने पुराने सिस्टम की तुलना में नए हार्डवेयर पर निष्पादन समय में बहुत बड़ी भूमिका निभाई। इसके अलावा, शोधकर्ताओं ने देखा कि आधुनिक चिप के अनुकूलन (optimizations), जैसे कि उसका बड़ा मेमोरी कैश और विशेष प्रसंस्करण इकाइयाँ, ऐसे नए व्यवहार लाए जिनसे समय में अचानक उछाल आया। ये व्यवहार मूल अध्ययन में इसलिए छिपे हुए थे क्योंकि उसने डेटा बिंदुओं का कम रिज़ॉल्यूशन उपयोग किया था, जिसमें हर संभावित भिन्नता का परीक्षण करने के बजाय केवल कुछ ही मानों का नमूना लिया गया था। जब टीम ने प्रत्येक एकल मान का परीक्षण किया, तो सिस्टम की छिपी हुई अस्थिरता प्रकट हो गई।

शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि यह सामान्य विचार कि स्थानिक व्यवस्थाएं गहरी व्यवस्थाओं की तुलना में अधिक कुशल होती हैं, अभी भी सत्य है, लेकिन निष्पादन समय की भविष्यवाणी करने के लिए डिज़ाइन किया गया विशिष्ट गणितीय उपकरण आधुनिक हार्डवेयर पर अब विश्वसनीय नहीं है। आधुनिक चिप्स के तीव्र विकास के अनुकूल होने में सूत्र की अक्षमता का अर्थ है कि इसका उपयोग ऊर्जा खपत या गति का अनुमान लगाने के लिए एक सार्वभौमिक मानक के रूप में नहीं किया जा सकता है। अध्ययन ने वैज्ञानिक अनुसंधान में एक महत्वपूर्ण मुद्दे को भी उजागर किया: पूर्ण और सटीक प्रतिकृति पैकेज (replication packages) की कमी। मूल कोड, विशिष्ट सॉफ़्टवेयर संस्करण और कच्चे डेटा के बिना, यह जानना कठिन है कि सूत्र क्यों विफल हुआ। यह स्पष्ट नहीं है कि विफलता हार्डवेयर के कारण हुई थी या उन धारणाओं के कारण जिन्हें शोधकर्ताओं को गायब जानकारी के कारण बनाना पड़ा।

अंततः, यह कार्य इस बात की याद दिलाता है कि आर्टिफिशियल इंटेलिजेंस के तेजी से बढ़ते क्षेत्र में, सरल मीट्रिक भ्रामक हो सकते हैं। एक AI मॉडल की दक्षता केवल ऑपरेशन्स की गिनती का मामला नहीं है; यह मॉडल के डिज़ाइन, उस विशिष्ट हार्डवेयर के साथ जिस पर वह चलता है, और उस प्रक्रिया को प्रबंधित करने वाले सॉफ़्टवेयर के बीच एक जटिल परस्पर क्रिया है। शोधकर्ताओं ने अपना पूर्ण डेटा सेट और कोड सार्वजनिक कर दिया है, इस उम्मीद में कि यह पारदर्शिता दूसरों को भविष्य के लिए बेहतर उपकरण बनाने में मदद करेगी। उनके निष्कर्ष बताते हैं कि जैसे-जैसे AI बढ़ता जा रहा है, हमें सरल गणनाओं से आगे बढ़कर इन डिजिटल सिस्टमों के वास्तविक दुनिया में वास्तव में कैसे काम करने का अधिक गहरा, अधिक सूक्ष्म समझ विकसित करने की आवश्यकता है।