तकनीकी सारांश: Tempora – ऑनलाइन टेस्ट-टाइम एडेप्टेशन की समय-आश्रित उपयोगिता का लक्षण वर्णन

1. समस्या विवरण (Problem Statement)

गैर-स्थिर वास्तविक दुनिया के सिस्टमों में तैनात मशीन लर्निंग मॉडल अक्सर प्रदर्शन में गिरावट का शिकार होते हैं जब परीक्षण वितरण (test distribution) प्रशिक्षण वितरण से विचलित हो जाता है (कोवेरिएट शिफ्ट)। टेस्ट-टाइम एडेप्टेशन (TTA) इसे संबोधित करता है, जिससे मॉडल को केवल आने वाले बिना लेबल वाले डेटा और प्री-ट्रेंड पैरामीटर्स का उपयोग करके अनुकूलित करने की अनुमति मिलती है, जिसमें सोर्स डेटा या लेबल की आवश्यकता नहीं होती।

हालाँकि, TTA विधियों के पारंपरिक मूल्यांकन में एक गंभीर दोष है: वे अनबाउंड प्रोसेसिंग समय (unbounded processing time) मान लेते हैं। मानक बेंचमार्क एडेप्टेशन तंत्र (जैसे, ग्रेडिएंट अपडेट, इटरेटिव ऑप्टिमाइज़ेशन) द्वारा उत्पन्न कम्प्यूटेशनल ओवरहेड की अनदेखी करते हुए केवल कुल सटीकता सुधार की रिपोर्ट करते हैं। विलंबता-संवेदनशील तैनाती (जैसे, स्वायत्त ड्राइविंग, ऑन-डिवाइस फोटोग्राफी, क्लिनिकल निर्णय समर्थन) में, एक सही भविष्यवाणी जो उपयोगकर्ता द्वारा ऐप बंद करने या रोबोट द्वारा कार्रवाई करने के बाद आती है, वह निरर्थक है। वर्तमान मूल्यांकन प्रतिमान सटीकता-विलंबता ट्रेड-ऑफ (accuracy-latency trade-off) को ध्यान में रखने में विफल रहता है, जिससे उन विधियों के चयन की ओर ले जाता है जो वास्तविक दुनिया के टेम्पोरल बाधाओं के तहत कम्प्यूटेशनल रूप से "दिवालिया" (insolvent) हो सकती हैं।

2. कार्यप्रणाली: Tempora फ्रेमवर्क (Methodology: The Tempora Framework)

लेखक Tempora पेश करते हैं, जो टेम्पोरल दबाव के तहत TTA का मूल्यांकन करने के लिए डिज़ाइन किया गया एक फ्रेमवर्क है। यह तीन विशिष्ट टेम्पोरल परिदृश्यों (temporal scenarios) के माध्यम से सटीकता-विलंबता ट्रेड-ऑफ को संचालित करता है, जिनमें से प्रत्येक का एक विशिष्ट मूल्यांकन प्रोटोकॉल और एक संबंधित समय-आश्रित उपयोगिता मीट्रिक (time-contingent utility metric) है।

2.1 टेम्पोरल परिदृश्य और मीट्रिक (Temporal Scenarios and Metrics)

फ्रेमवर्क उपयोगिता $U$ को एक कार्यात्मक मैपिंग के रूप में परिभाषित करता है जो प्रेडिक्शन और लेटेंसी के संयुक्त प्रक्षेपवक्र (joint trajectory) को एक स्केलर मान में मैप करता है, जो परिनियोजन संदर्भ (deployment context) पर आधारित होता है:

1. डिस्क्रीट उपयोगिता (Discrete Utility - पर्यावरण-नेतृत्व):

   • परिदृश्य: हार्ड डेडलाइन वाले एसिंक्रोनस स्ट्रीम्स (जैसे, सेंसर नेटवर्क)। बैच निश्चित अंतराल $\gamma$ पर आते हैं। यदि पाइपलाइन व्यस्त है, तो बैचों को छोड़ दिया जाता है।
   • मीट्रिक: $U_{discrete} = \alpha \cdot \bar{a}_{served}$, जहाँ $\alpha$ उपलब्धता (availability) (सर्व किए गए बैचों का अंश) है और $\bar{a}_{served}$ सर्व किए गए बैचों पर सटीकता है।
   • प्रोटोकॉल: एक सिंगल-मॉडल पाइपलाइन का उपयोग करता है जिसमें एक बैच-साइज़्ड बफर होता है। उपलब्धता सुनिश्चित करने के लिए फॉलबैक मॉडल का उपयोग करने वाले पूर्व कार्यों के विपरीत, यह प्रोटोकॉल छूटे हुए बैचों की लागत को उजागर करता है।

2. कंटीन्यूअस उपयोगिता (Continuous Utility - उपयोगकर्ता-नेतृत्व):

   • परिदृश्य: इंटरैक्टिव सेटिंग्स जहाँ विलंबता के साथ मूल्य कम हो जाता है (जैसे, ऑन-डिवाइस फोटो टैगिंग)। स्ट्रीम प्रेडिक्शन उत्सर्जन के साथ सिंक्रोनाइज़ होती है; कोई बैच छोड़े नहीं जाते, लेकिन देरी उपयोगकर्ता अनुभव को खराब करती है।
   • मीट्रिक: $U_{continuous} = \bar{a} \cdot \bar{\kappa} + \text{Cov}(a, \kappa)$, जहाँ $\bar{\kappa}$ एक हाइपरबोलिक डिके (hyperbolic decay) से प्राप्त रिस्पॉन्सिवनेस (responsiveness) कारक है। लेटेंसी $d_i$ एक दंड (penalty) $\kappa_i = (1 + d_i/(T-\lambda))^{-1}$ लगाती है, जहाँ $T$ एक ह्यूमन-कंप्यूटर इंटरैक्शन (HCI) थ्रेशोल्ड है।
   • प्रोटोकॉल: यह विलंबित भविष्यवाणियों को गैर-रेखीय रूप से दंडित करता है, जो दर्शाता है कि एक बेसलाइन के सापेक्ष 100ms की देरी 1s की देरी से अधिक गंभीर होती है।

3. एमोर्टाइज्ड उपयोगिता (Amortised Utility - संसाधन-नेतृत्व):

   • परिदृश्य: बजट-सीमित तैनाती (जैसे, बैटरी से चलने वाले ड्रोन)। कुल एडेप्टेशन ओवरहेड सीमित है, लेकिन प्रति-प्रेडिक्शन लेटेंसी अज्ञात है।
   • मीट्रिक: $U_{amortised} = \beta \cdot \bar{a}_{adapt} + (1-\beta) \cdot \bar{a}_{frozen}$, जहाँ $\beta$ बजट $B$ समाप्त होने से पहले एडेप्टेशन के साथ प्रोसेस किए गए स्ट्रीम का अंश है।
   • प्रोटोकॉल: मॉडल तब तक एडेप्ट करता है जब तक कि संचयी ओवरहेड बजट समाप्त नहीं हो जाता, फिर वह फ्रीज हो जाता है। यह प्रकट करता है कि क्या एडेप्टेशन टिकाऊ सुधार प्रदान करता है या ऐसा ड्रिफ्ट पैदा करता है जो पोस्ट-फ्रीज प्रदर्शन को नुकसान पहुँचाता है।

2.2 प्रयोगात्मक सेटअप (Experimental Setup)

• विधियाँ: सात 'फुली TTA' विधियों का मूल्यांकन किया गया: AdaBN, LAME, NEO (ग्रेडिएंट-फ्री) और Tent, ETA, SHOT-IM, SAR (ग्रेडिएंट-आधारित)।
• डेटासेट: ImageNet-C (15 करप्शन प्रकार, सीवेरिटी लेवल 5) को ResNet-50 बैकबोन के साथ।
• बेसलाइन: स्टैंडर्ड इन्फरेंस (नॉन-एडेप्टिव)।
• मूल्यांकन: प्रत्येक विधि के लिए 16 परिदृश्यों (5 डिस्क्रीट यूटिलाइजेशन, 5 कंटीन्यूअस थ्रेशोल्ड, 6 एमोर्टाइज्ड बजट) और 15 करप्शन प्रकारों के माध्यम से 240 टेम्पोरल मूल्यांकन।

3. मुख्य निष्कर्ष (Key Findings)

3.1 रैंक अस्थिरता (Rank Instability)

सबसे महत्वपूर्ण निष्कर्ष रैंक अस्थिरता (rank instability) है: वह विधि जिसे ऑफलाइन (अनकन्स्ट्रेंड) मूल्यांकन के तहत इष्टतम माना जाता है, टेम्पोरल दबाव के तहत अक्सर खराब प्रदर्शन करती है।

• ETA, जो पारंपरिक सेटिंग्स में स्टेट-ऑफ-द-आर्ट विधि है (ऑफलाइन रैंकिंग में प्रथम), 41.2% टेम्पोरल मूल्यांकनों में हार जाती है।
• सख्त दबाव के तहत (जैसे, $\rho=100\%$, $T=50$ms), ETA की जीत की दर गिरकर 0–7% हो जाती है।
• "सर्वश्रेष्ठ" विधि करप्शन के प्रकार और विशिष्ट टेम्पोरल बाधा के आधार पर काफी भिन्न होती है। कोई भी एकल विधि सभी परिदृश्यों में हावी नहीं होती है।

3.2 करप्शन-विशिष्ट ट्रेड-ऑफ (Corruption-Specific Trade-offs)

रैंक अस्थिरता करप्शन के प्रकार द्वारा मॉड्युलेट होती है। उदाहरण के लिए, 50ms की विंडो के साथ कंटीन्यूअस मूल्यांकन के तहत, ऑफलाइन रैंकिंग और टेम्पोरल रैंकिंग के बीच स्पीयरमैन सहसंबंध (Spearman correlation) ब्राइटनेस के लिए $r_s = -0.74$ से लेकर गॉसियन नॉइज़ के लिए $r_s = 0.21$ तक होता है।

• तंत्र (Mechanism): विभिन्न करप्शन फीचर्स को अलग तरह से बाधित करते हैं (जैसे, ब्राइटनेस शिफ्ट पिक्सल को समान रूप से बदलता है बनाम गॉसियन नॉइज़ स्वतंत्र रूप से बाधित करता है), फिर भी वर्तमान विधियाँ कंप्यूट को समान रूप से आवंटित करती हैं। ऑफलाइन रैंकिंग विधि चयन को गुमराह करती है जब करप्शन का प्रकार विधि के ओवरहेड प्रोफाइल के साथ संरेखित नहीं होता है।

3.3 प्रेशर-विशिष्ट ट्रेड-ऑफ (Pressure-Specific Trade-offs)

टेम्पोरल प्रेशर बढ़ने के साथ रैंक अस्थिरता बढ़ती है।

• एमोर्टाइज्ड मूल्यांकन: टाइट बजट ($B=1$s) पर, SHOT-IM हावी है क्योंकि यह फ्रीज होने के बाद मजबूत है। रिलैक्स्ड बजट ($B=32$s) पर, ETA हावी है।
• विफलता का विघटन (Decomposition of Failure): पेपर अनजस्टिफाइड ओवरहेड से उत्पन्न होने वाले तीन विफलता मोड की पहचान करता है:
  1. उपलब्धता पतन (Availability Collapse): डिस्क्रीट सेटिंग्स में, उच्च-ओवरहेड विधियाँ (जैसे, Tent, SAR) बहुत अधिक बैच मिस करती हैं, जिससे उनकी उपयोगिता (चाहे हाई सर्व्ड एक्यूरेसी हो) सीमित हो जाती है।
  2. सटीकता क्षरण (Accuracy Erosion): कंटीन्यूअस सेटिंग्स में, हाई लेटेंसी सटीकता को इतना अधिक कम कर देती है कि उच्च-प्रदर्शन वाली विधियाँ भी कम उपयोगिता देती हैं।
  3. अनुत्पादक ओवरहेड (Unproductive Overhead): एमोर्टाइज्ड सेटिंग्स में, Tent, ETA और SAR जैसी विधियाँ अपना बजट जल्दी समाप्त कर देती हैं लेकिन स्थिर रिप्रेजेंटेशन बनाने में विफल रहती हैं, जिसके परिणामस्वरूप फ्रीज के बाद की सटीकता स्टैंडर्ड इन्फरेंस से भी खराब (लगभग 0.1%) हो जाती है।

4. महत्व और योगदान (Significance and Contributions)

पेपर का दावा है कि Tempora विविध टेम्पोरल बाधाओं के तहत TTA का मूल्यांकन करने के लिए पहला व्यवस्थित लेंस प्रदान करता है, जो यह प्रकट करता है कि:

1. ऑफलाइन रैंकिंग अपर्याप्त है: अभ्यासी (practitioners) केवल ऑफलाइन सटीकता के आधार पर TTA विधियों का चयन नहीं कर सकते; "सर्वश्रेष्ठ" विधि तैनाती के टाइम बजट और करप्शन प्रकार पर निर्भर करती है।
2. डिप्लॉयबल एडेप्टेशन के लिए डिज़ाइन लक्ष्य: व्यवहार्य होने के लिए, भविष्य की विधियों के पास होना चाहिए:
   • करप्शन-कंडीशन्ड एलोकेशन: विशिष्ट शिफ्ट की कठिनाई के आधार पर कंप्यूट एलोकेशन को अनुकूलित करना।
   • टाइम-अवेयर स्केलिंग: डेडलाइन को पूरा करने के लिए रिस्पॉन्स डिले को सीमित करना।
   • एनीटाइम परफॉरमेंस (Anytime performance): यह सुनिश्चित करना कि बीता हुआ ओवरहेड, चाहे एडेप्टेशन कब भी रुके, स्टैंडर्ड इन्फरेंस की तुलना में लाभ दे।

यह फ्रेमवर्क नए एडेप्टिव एल्गोरिदम का प्रस्ताव नहीं करता है, बल्कि एक अधिक यथार्थवादी मूल्यांकन प्रोटोकॉल प्रदान करता है जो वर्तमान स्टेट-ऑफ-द-आर्ट विधियों की "कम्प्यूटेशनल दिवालियापन" को उजागर करता है। केवल "कौन सी विधि सबसे सटीक है?" से बदलकर "कौन सी विधि एक व्यवहार्य लागत पर स्वीकार्य सटीकता प्रदान करती है?" पर ध्यान केंद्रित करके, Tempora का लक्ष्य वास्तव में डिप्लॉय करने योग्य, समय-आश्रित एडेप्टेशन सिस्टमों के विकास को निर्देशित करना है।