Accuracy and Robustness of Model Cascades Under Data Perturbations

आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक कंप्यूटर प्रोग्राम कितना स्मार्ट हो सकता है और उसे चलाने में कितनी ऊर्जा लगती है, इसके बीच एक बढ़ता हुआ तनाव है। जैसे-जैसे ये सिस्टम अधिक शक्तिशाली होते जा रहे हैं, वे भारी मात्रा में बिजली की खपत कर रहे हैं, जिससे उनके पर्यावरणीय प्रभाव को लेकर चिंताएं बढ़ रही हैं। इसे हल करने के लिए, इंजीनियरों ने 'प्रेडिक्शन कैस्केड' (prediction cascade) नामक एक रणनीति विकसित की है। कल्पना कीजिए कि श्रमिकों की एक टीम है जहाँ एक त्वरित, हल्का सहायक सरल कार्यों को संभालता है, जबकि केवल सबसे कठिन या भ्रमित करने वाले मामलों को ही एक वरिष्ठ विशेषज्ञ के पास भेजा जाता है। एआई के संदर्भ में, इसका अर्थ है कि एक छोटा, ऊर्जा-कुशल मॉडल पहले एक प्रश्न का उत्तर देने का प्रयास करता है। यदि वह अपने उत्तर के प्रति बहुत आश्वस्त महसूस करता है, तो वह वहीं रुक जाता है। यदि वह अनिश्चित है, तो वह कार्य को एक बहुत बड़े, अधिक शक्तिशाली मॉडल को सौंप देता है। यह दृष्टिकोण तब खूबसूरती से काम करता है जब डेटा साफ और स्पष्ट होता है, जिससे सिस्टम उच्च सटीकता बनाए रखते हुए भारी मात्रा में ऊर्जा बचा पाता है।

हालाँकि, वास्तविक दुनिया शायद ही कभी साफ होती है। कैमरों द्वारा ली गई छवियां धुंधली, शोरयुक्त (noisy), या खराब मौसम से विकृत हो सकती हैं, और ये खामियां सबसे स्मार्ट एल्गोरिदम को भी भ्रमित कर सकती हैं। AUMOVIO AI लैब और बर्लिन यूनिवर्सिटी ऑफ एप्लाइड साइंसेज के शोधकर्ताओं द्वारा किए गए एक नए अध्ययन में इस बात की जांच की गई है कि जब इनपुट डेटा खराब होता है, तो इन ऊर्जा-बचत कैस्केड्स के साथ क्या होता है। वे यह जानना चाहते थे कि क्या डेटा के दूषित होने पर विशेषज्ञ को कार्य सौंपने का निर्णय लेने की सिस्टम की क्षमता विश्वसनीय बनी रहती है। शोधकर्ताओं ने अपने सिस्टम का परीक्षण मानक इमेज डेटासेट्स पर किया, जिसमें स्टैटिक नॉइज़ और ब्लर से लेकर क्रमिक परिवर्तनों तक विभिन्न प्रकार के नुकसान शामिल थे, जो कैमरे के हिलने या समय के साथ मौसम बिगड़ने की नकल करते हैं।

अध्ययन से पता चलता है कि जबकि ये कैस्केड आदर्श डेटा पर कुशल होते हैं, अपूर्ण डेटा के मामले में इन्हें विशिष्ट विफलताओं का सामना करना पड़ता है। शोधकर्ताओं ने पाया कि सिस्टम का व्यवहार कार्य की जटिलता पर बहुत अधिक निर्भर करता है। कम श्रेणियों वाले सरल कार्य पर, बड़ा विशेषज्ञ मॉडल छवियों के क्षतिग्रस्त होने पर भी समस्या को हल करने में काफी सक्षम रहता है। इस परिदृश्य में विफलता छोटे सहायक की ओर से आती है। डेटा का भ्रष्टाचार सहायक के आत्मविश्वास के बोध को भ्रमित कर देता है, जिससे वह या तो गलत उत्तरों को बहुत आसानी से स्वीकार कर लेता है या बहुत सारे आसान कार्यों को विशेषज्ञ को भेज देता है, जिससे ऊर्जा की बचत व्यर्थ हो जाती है। इस मामले में, सिस्टम इसलिए विफल होता है क्योंकि रूटिंग तंत्र टूट जाता है, न कि इसलिए कि विशेषज्ञ अक्षम है।

अधिक श्रेणियों वाले अधिक जटिल कार्य पर, स्थिति अधिक गंभीर है। यहाँ, भ्रष्टाचार इतना गंभीर है कि यह छोटे सहायक और बड़े विशेषज्ञ दोनों के प्रदर्शन को कम कर देता है। जब छवियां अत्यधिक क्षतिग्रस्त होती हैं, तो विशेषज्ञ मॉडल भी सही उत्तर खोजने के लिए संघर्ष करता है। इस परिदृश्य में, कैस्केड सटीकता को पुनः प्राप्त नहीं कर सकता क्योंकि बैकअप विकल्प अब विश्वसनीय नहीं रह गया है। सिस्टम इसलिए ढह जाता है क्योंकि इस पूरी रणनीति का आधार—छोटे मॉडल की गलतियों को सुधारने की बड़े मॉडल की क्षमता—खत्म हो जाता है।

शोधकर्ताओं ने यह भी देखा कि जब क्षति एक क्रम (sequence) के दौरान धीरे-धीरे होती है, जैसे कि एक वीडियो में, तो ये सिस्टम कैसे व्यवहार करते हैं। उन्होंने एक भ्रामक पैटर्न पाया: जैसे-जैसे छवियां प्रगतित्मक रूप से अधिक विकृत होती जाती हैं, सिस्टम वास्तव में अपने निर्णयों में अधिक स्थिर हो जाता है, जिससे एक फ्रेम से दूसरे फ्रेम के बीच अचानक बदलाव कम होते हैं। हालाँकि, यह स्थिरता एक भ्रम है। सिस्टम विशेषज्ञ मॉडल को कठिन मामले भेजना बंद कर देता है, और इसके बजाय क्षय हो चुके छोटे मॉडल पर निर्भर रहता है। परिणाम स्वरूप, भविष्यवाणियों की एक ऐसी धारा मिलती है जो सुसंगत तो है लेकिन लगातार गलत है। सिस्टम शांत और स्थिर दिखाई देता है, लेकिन उसने अपने सुरक्षा जाल (safety net) का उपयोग करना बंद कर दिया है।

अंततः, अध्ययन यह प्रदर्शित करता है कि इन कैस्केड्स की दक्षता नाजुक है। शोधकर्ताओं ने पहचान की कि सिस्टम मुख्य रूप से दो तरीकों से विफल हो सकता है: या तो वह संकेत जो मॉडल बदलने का निर्णय लेता है वह दूषित हो जाता है जबकि विशेषज्ञ मजबूत बना रहता है, या भ्रष्टाचार इतना गंभीर होता है कि विशेषज्ञ मॉडल स्वयं विफल हो जाता है। उन्होंने पाया कि विफलता का प्रकार अक्सर वर्गीकरण कार्य की कठिनाई पर निर्भर करता है। सरल समस्याओं के लिए, जोखिम यह है कि सिस्टम सही ढंग से रूटिंग करना बंद कर देता है; कठिन समस्याओं के लिए, जोखिम यह है कि पूरा सिस्टम समस्या को हल करने की अपनी क्षमता खो देता है। लेखक निष्कर्ष निकालते हैं कि इन ऊर्जा-बचत उपकरणों का जिम्मेदारी से उपयोग करने के लिए, हमें उनका मूल्यांकन केवल इस आधार पर नहीं करना चाहिए कि वे आदर्श डेटा पर कैसा प्रदर्शन करते हैं, बल्कि इस आधार पर भी करना चाहिए कि जब दुनिया अव्यवस्थित होती है, तो वे निर्णयों को कितनी विश्वसनीयता से रूट करते हैं। इस समझ के बिना, टिकाऊ और कुशल एआई का वादा उस क्षण गायब हो सकता है जब इनपुट डेटा बदल जाता है।