तकनीकी सारांश: टेस्ट-टाइम कलेक्टिव एक्शन (TTCA)

समस्या विवरण

मशीन लर्निंग सिस्टम अक्सर उपयोगकर्ता उपसमूहों (subgroups) के बीच प्रदर्शन में असमानता प्रदर्शित करते हैं, जिसके परिणामस्वरूप "क्वालिटी-ऑफ-सर्विस" (QoS) संबंधी नुकसान होता है, जहाँ विशिष्ट समूह व्यवस्थित रूप से दूसरों की तुलना में कम सटीकता का अनुभव करते हैं। जबकि प्रदाता-केंद्रित निष्पक्षता हस्तक्षेप (प्री-, इन-, और पोस्ट-प्रोसेसिंग) मौजूद हैं, वे मॉडल को फिर से प्रशिक्षित करने की प्लेटफॉर्म की इच्छा और क्षमता पर निर्भर करते हैं। उन परिदृश्यों में जहाँ सुधार उपलब्ध नहीं है, विलंबित है, या प्लेटफॉर्म कार्रवाई करने से इनकार करता है, प्रभावित उपयोगकर्ताओं के पास इन असमानताओं को ठीक करने के लिए बाहरी साधन नहीं होते हैं।

मौजूदा "एल्गोरिद्मिक कलेक्टिव एक्शन" (ACA) ढांचे उपयोगकर्ताओं को डेटा योगदान करके एल्गोरिदम को निर्देशित करने की अनुमति देते हैं, लेकिन इन तंत्रों के लिए आमतौर पर प्लेटफॉर्म द्वारा सामूहिक संशोधित डेटा पर पुन: प्रशिक्षण की आवश्यकता होती है—एक ऐसी शर्त जिस पर उपयोगकर्ता का नियंत्रण शायद ही कभी होता है। इसके अलावा, डेटा-पॉइजनिंग शैली के हस्तक्षेपों को दरकिनार किया जा सकता है यदि प्रदाता मजबूत मॉडल अपडेट की प्रतीक्षा करते हैं या प्री-अटैक डेटा पर प्रशिक्षण लेते हैं। फलस्वरूप, एक ऐसे टेस्ट-टाइम (test-time) हस्तक्षेप की आवश्यकता है जो एक फ्रोझन ब्लैक-बॉक्स मॉडल (frozen black-box model) पर कार्य कर सके, जिसमें प्लेटफॉर्म के सहयोग या प्रशिक्षण लूप तक पहुंच की आवश्यकता न हो।

कार्यप्रणाली: टेस्ट-टाइम कलेक्टिव एक्शन (TTCA)

लेखक TTCA का प्रस्ताव करते हैं, जो एक ढांचा प्रदान करता है जिससे उपयोगकर्ताओं का एक समन्वित समूह ब्लैक-बॉक्स API पर क्वेरी एक्सेस को पूल करके एल्गोरिद्मिक नुकसान को ठीक कर सकता है। यह तंत्र दो चरणों में कार्य करता है:

चरण 1: सामूहिक प्रॉक्सी निष्कर्षण और परटर्बेशन ऑप्टिमाइज़ेशन (Collective Proxy Extraction and Perturbation Optimization)

1. क्वेरी पूलिंग (Query Pooling): $n$ उपयोगकर्ताओं का एक समूह, जिनमें से प्रत्येक के पास एक क्वेरी बजट $B$ है, एक सार्वजनिक, बिना लेबल वाली इमेज पूल $D_{pub}$ पर प्लेटफॉर्म मॉडल $f_{plat}$ को क्वेरी करने के लिए अपने संसाधनों को पूल करता है। यह इनपुट-आउटपुट जोड़ों $(x, f_{plat}(x))$ का एक डेटासेट $D_{proxy}$ उत्पन्न करता है।
2. प्रॉक्सी ट्रेनिंग (Proxy Training): सामूहिक रूप से $D_{proxy}$ पर KnockoffNets पद्धति का उपयोग करके एक सरोगेट मॉडल (प्रॉक्सी) $f_{proxy}$ को प्रशिक्षित किया जाता है। ट्रांसफर क्षमता में सुधार के लिए, स्वतंत्र रैंडम सीड्स के साथ $K=5$ प्रॉक्सी का एक एन्सेम्बल प्रशिक्षित किया जाता है।
3. परटर्बेशन ऑप्टिमाइज़ेशन (Perturbation Optimization): अंडर-सर्वेड (under-served) उपसमूह $G$ के प्रत्येक क्लास $y$ के लिए, सामूहिक रूप से एक पर-क्लास यूनिवर्सल परटर्बेशन $\delta_y$ को अनुकूलित (optimize) किया जाता है। इसका उद्देश्य $\ell_\infty$ बजट ($\|\delta_y\|_\infty \le \epsilon$) के अधीन क्लास $y$ के इनपुट्स के लिए क्रॉस-एन्ट्रॉपी लॉस को कम करना है। अनुकूलन लक्ष्य ग्राउंड-ट्रुथ क्लास है, जो प्रभावी रूप से गलत वर्गीकृत इनपुट्स को सही निर्णय सीमा (decision boundary) की ओर "धकेलता" है। ब्लैक-बॉक्स ट्रांसफर क्षमता को बढ़ाने के लिए लो-फ्रीक्वेंसी कंपोनेंट्स की ओर परटर्बेशन को बायस करने हेतु एक टोटल-वेरिएशन रेगुलराइज़र और गॉसियन ब्लर लागू किया जाता है।

चरण 2: टेस्ट-टाइम एप्लीकेशन (Test-Time Application)

अनुमान (inference) के समय, अंडर-सर्वेड उपसमूह के सदस्य अपने इनपुट्स $x$ को सबमिशन से पहले पूर्व-निर्धारित परटर्बेशन $\delta_y$ के साथ लागू करते हैं। यदि किसी उपयोगकर्ता का इनपुट क्लास $y \in G$ से संबंधित है, तो वे $x' = \text{clip}(x + \delta_y, 0, 1)$ सबमिट करते हैं; अन्यथा, वे $x$ अपरिवर्तित सबमिट करते हैं। इस प्रक्रिया के लिए प्रारंभिक क्वेरी बजट के अलावा प्लेटफॉर्म के साथ किसी अन्य इंटरैक्शन की आवश्यकता नहीं होती है जिसका उपयोग प्रॉक्सी बनाने के लिए किया गया था।

मुख्य योगदान

1. टेस्ट-टाइम सुधारात्मक तंत्र: TTCA एक ऐसा ढांचा पेश करता है जहाँ उपयोगकर्ता प्लेटफॉर्म को पुन: प्रशिक्षित किए बिना, एक फ्रोजन, ब्लैक-बॉक्स मॉडल पर असमानताओं को ठीक कर सकते हैं। यह इवेजन अटैक (evasion attack) लॉजिक (यूनिवर्सल एडवरसैरियल परटर्बेशंस) को एक विनाशकारी के बजाय सुधारात्मक उद्देश्य के लिए पुन: उपयोग करता है।
2. प्रॉक्सी-आधारित दक्षता: एक सामूहिक प्रॉक्सी निकालने और एक पुन: प्रयोज्य यूनिवर्सल परटर्बेशन को अनुकूलित करके, यह विधि उपसमूह के लिए हस्तक्षेप की लागत को कम करती है।
3. क्रॉस-आर्किटेक्चर ट्रांसफर: यह तंत्र प्रदर्शित करता है कि एक छोटा प्रॉक्सी मॉडल (जैसे, ResNet-18) प्रभावी रूप से बड़े, अज्ञात प्लेटफॉर्म आर्किटेक्चर (जैसे, ResNet-50, RegNet-Y) में ट्रांसफर होने वाले परटर्बेशंस उत्पन्न कर सकता है।
4. लागत दक्षता विश्लेषण: पेपर एक कठोर विश्लेषण प्रदान करता है जो दिखाता है कि क्वेरी को पूल करना व्यक्तिगत प्रति-इमेज हमलों की तुलना में काफी सस्ता है, भले ही सामूहिक आकार छोटा हो।

प्रयोगात्मक परिणाम

लेखक CIFAR-10, CIFAR-100, और FairFace (जनसांख्यिकीय निष्पक्षता के लिए) पर संतुलित और जानबूझकर असंतुलित प्लेटफॉर्म ट्रेनिंग व्यवस्था के तहत TTCA का मूल्यांकन करते हैं।

• उपसमूह सटीकता (Subgroup Accuracy): TTCA बहुत कम क्वेरी बजट पर अंडर-सर्वेड उपसमूह (जिसे निचले 10% समूहों के रूप में परिभाषित किया गया है) की सटीकता में महत्वपूर्ण सुधार करता है। उदाहरण के लिए, CIFAR-100 पर, केवल 5-6 उपयोगकर्ताओं का एक समूह जो क्वेरी पूल करता है, व्यक्तिगत हमलावरों के बराबर या उससे अधिक उपसमूह सटीकता प्राप्त कर सकता है, जबकि कुल मिलाकर बहुत कम क्वेरी का उपयोग करता है।
• क्वेरी बजट दक्षता:
  • इंडिविजुअल बेसलाइन: अकेले हमला करने वाले व्यक्तिगत उपयोगकर्ता (SimBA जैसे ब्लैक-बॉक्स हमले का उपयोग करके) तुलनीय उपसमूह सटीकता तक पहुँचने के लिए 308 गुना अधिक कुल प्लेटफॉर्म क्वेरी की आवश्यकता रखते हैं।
  • ब्रेक-ईवन पॉइंट: पूलिंग को व्यक्तिगत हस्तक्षेप की तुलना में अधिक लागत-प्रभावी बनाने के लिए केवल 5 से 10 सदस्यों का एक समूह पर्याप्त है।
  • सीलिंग ट्रेड-ऑफ (Ceiling Trade-off): हालांकि व्यक्तिगत हमले (प्रति-इमेज अनुकूलन द्वारा) उच्च अधिकतम सटीकता (जैसे, CIFAR-100 पर 97.9%) प्राप्त कर सकते हैं, लेकिन वे भारी कुल लागत (1,000 उपयोगकर्ताओं के लिए 2.3 मिलियन क्वेरी) के साथ ऐसा करते हैं। सामूहिक दृष्टिकोण एक निचले सटीकता सीलिंग (83%) पर संतृप्त होता है, लेकिन यह एक निश्चित, पुन: प्रयोज्य लागत (~23,000 क्वेरी) के साथ प्राप्त करता है, जो इसे बड़े समूहों के लिए बहुत अधिक कुशल बनाता है।
• निष्पक्षता मेट्रिक्स: यह हस्तक्षेप अन्य समूहों के प्रदर्शन को कम किए बिना, वर्स्ट-ग्रुप एक्यूरेसी (WGA), इक्वल-अपॉर्चुनिटी गैप (EOD), और डिस्परेट इम्पैक्ट (DI) सहित मानक ग्रुप-फेयरनेस मेट्रिक्स में सुधार करता है।
• प्रॉक्सी फिडेलिटी: उच्च-फिडेलिटी प्रॉक्सी अनिवार्य नहीं हैं; एक बार जब प्रॉक्सी "पर्याप्त रूप से निष्ठावान" (जैसे, 60-90% फिडेलिटी) हो जाता है, तो अतिरिक्त क्वेरी उपसमूह सटीकता में घटते प्रतिफल (diminishing returns) देती है।

महत्व और दावे

पेपर TTCA को उन उपयोगकर्ताओं के लिए एक सुधारात्मक हस्तक्षेप (corrective intervention) के रूप में स्थापित करता है जो QoS नुकसान का सामना कर रहे हैं जब प्लेटफॉर्म-साइड सुधार उपलब्ध नहीं होता है। इसका महत्व निम्नलिखित में निहित है:

• एजेंसी (Agency): यह उपयोगकर्ताओं को मॉडल के आंतरिक भाग या प्रशिक्षण डेटा तक पहुँच की आवश्यकता के बिना एल्गोरिद्मिक सिस्टम पर अपनी एजेंसी वापस पाने के लिए एक बाहरी साधन प्रदान करता है।
• स्केलेबिलिटी (Scalability): यह प्रदर्शित करता है कि संसाधनों के पूलिंग के माध्यम से समन्वित, छोटे पैमाने की उपयोगकर्ता कार्रवाई प्रभावी रूप से प्रणालीगत असमानताओं को कम कर सकती है।
• पूरकता (Complementarity): यह मौजूदा ACA ढांचों के पूरक के रूप में कार्य करता है, विशेष रूप से "टेस्ट-टाइम" अंतराल को संबोधित करता है जहाँ मॉडल पहले से ही तैनात और अपरिवर्तनीय (immutable) हैं।

लेखक नोट करते हैं कि यह दृष्टिकोण तब सबसे प्रभावी होता है जब अंतर्निहित कार्य व्यापक रूप से उपयोगी हो लेकिन असमान रूप से निष्पादित हो। वे सीमाओं को स्वीकार करते हैं: यदि कार्य स्वयं हानिकारक है (जैसे, प्रतिनिधित्व संबंधी नुकसान पहुँचाने वाला स्वचालित लिंग पहचान), तो TTCA का सुधारात्मक ढांचा अपर्याख्या पर्याप्त नहीं हो सकता है, और उपयोगकर्ताओं को अनुकूलन के बजाय इनकार या विरोध की ओर रुख करने की आवश्यकता हो सकती है। इसके अतिरिक्त, यह विधि एक स्थिर ब्लैक-बॉक्स मॉडल मानती है; प्लेटफॉर्म-साइड डिफेंस (जैसे, रैंडमाइज्ड स्मूथिंग) संभावित रूप से इन परटर्बेशंस की प्रभावशीलता को कम कर सकते हैं, हालांकि ऐसे डिफेंस समग्र प्लेटफॉर्म सटीकता को भी कम कर सकते हैं।