Who Gets Credit or Blame? Attributing Accountability in Modern AI Systems

तकनीकी सारांश: श्रेय या दोष किसे मिले? आधुनिक AI प्रणालियों में जवाबदेही का निर्धारण

समस्या का निरूपण
आधुनिक AI प्रणालियों को क्रमिक चरणों के माध्यम से विकसित किया जाता है—जैसे कि प्रीट्रेनिंग (pretraining), फाइन-ट्यूनिंग (fine-tuning) और अलाइनमेंट (alignment)—जहाँ प्रत्येक चरण विशिष्ट डेटा और अनुकूलन गतिकी (optimization dynamics) के आधार पर मॉडल को अपडेट करता है। यह मॉड्यूलर संरचना जवाबदेही को जटिल बनाती है: जब एक तैनात (deployed) मॉडल विशिष्ट व्यवहार प्रदर्शित करता है (चाहे वह लाभकारी हो, हानिकारक हो, या आश्चर्यजनक), तो यह स्पष्ट नहीं होता कि विकास का कौन सा चरण इसके लिए जिम्मेदार है। कारण संबंधी उत्तरदायता विश्लेषण (causal responsibility analysis) की मौजूदा विधियाँ अक्सर छोटे पैमाने के, विविक्त (discrete) परिवेशों तक सीमित होती हैं; लर्निंग डायनेमिक्स अनुसंधान आमतौर पर वर्णनात्मक होता है न कि एट्रिब्यूटिव (attributing); और डेटा एट्रिब्यूशन विधियाँ अक्सर एक "औसत मॉडल" या सरल ऑप्टिमाइज़र मान लेती हैं, जो लर्निंग रेट शेड्यूल्स, मोमेंटम (momentum) और वेट डिके (weight decay) सहित जटिल, मॉडल-विशिष्ट प्रशिक्षण प्रक्रियाओं को समझने में विफल रहती हैं। लेखक जवाबदेही एट्रिब्यूशन समस्या (accountability attribution problem) को विकास प्रक्रिया के विशिष्ट चरणों तक मॉडल के व्यवहार को ट्रैक करने के रूप में निरूपित करते हैं।

कार्यप्रणाली (Methodology)
लेखक पोटेंशियल आउटकम्स फॉर्मलिज्म (potential outcomes formalism) पर आधारित जवाबदेही एट्रिब्यूशन के लिए एक सामान्य ढांचा प्रस्तावित करते हैं। मुख्य प्रश्न काउंटरफैक्चुअल (counterfactual) है: यदि एक विशेष चरण के अपडेट नहीं हुए होते, तो मॉडल का व्यवहार कैसे बदल जाता?

1. कारण प्रभाव की परिभाषा (Causal Effect Definition): $\theta_0$ से $\theta_K$ तक विकसित होने वाले मापदंडों (parameters) वाले विकास प्रक्रिया के लिए, एक चरण $S$ को अपडेट स्टेप्स के एक सेट के रूप में परिभाषित किया गया है। ट्रीटमेंट $T^S$ यह दर्शाता है कि ये स्टेप्स हुए ($T^S=1$) या छोड़ दिए गए ($T^S=0$)। चरण $S$ की जवाबदेही को अंतिम मॉडल प्रदर्शन $\gamma(x, \theta_K)$ पर कारण प्रभाव $\tau_{K,S}$ के रूप में परिभाषित किया गया है:
   $$\tau_{K,S} = \gamma(x, \theta_K) - \gamma(x, \theta_K(0^S))$$
   जहाँ $\theta_K(0^S)$ वह काउंटरफैक्टुअल अंतिम पैरामीटर अवस्था है यदि चरण $S$ को छोड़ दिया गया होता।

2. AA-Score एस्टिमेटर: मॉडल को पुन: प्रशिक्षित (retraining) किए बिना इस कारण प्रभाव का अनुमान लगाने के लिए, लेखक टेलर एप्रोक्सिमेशन (Taylor approximations) और स्टेट ट्राजेक्टरी इंटरपोलेशन का उपयोग करके कुशल एस्टिमेटर्स व्युत्पन्न करते हैं।

   • वे एक प्रोपेगेटर मैट्रिक्स $M_k$ को परिभाषित करते हैं जो अनुकूलन गतिकी (मोमेंटम और वेट डिके के साथ SGD सहित) के प्रभाव को कैप्चर करता है।
   • एकल चरण $t$ का अंतिम अवस्था पर प्रभाव को इन मैट्रसेज़ का उपयोग करके $t+1$ पर प्रारंभिक प्रभाव से प्रसारित (propagate) किया जाता है।
   • मॉडल व्यवहार पर प्रभाव (जवाबदेही एट्रिब्यूशन स्कोर या AA-Score) को अंतिम मापदंडों पर प्रदर्शन फलन (performance function) के ग्रेडिएंट और चरण द्वारा अनुमानित पैरामीटर परिवर्तन के डॉट प्रोडक्ट के रूप में परिकलित किया जाता है।
   • एक चरण का कुल प्रभाव उसके घटक स्टेप्स के प्रभावों का योग है, जिसे प्रथम-क्रम सन्निकटन (first-order approximation) की रैखिकता द्वारा न्यायसंगत ठहराया गया है।

3. त्रुटि विश्लेषण (Error Analysis): लेखक एस्टिमेटर के लिए एक त्रुटि सीमा (error bound) प्रदान करते हैं, जो यह दर्शाती है कि सटीकता प्रारंभिक अवस्था के प्रभावों के परिमाण, लॉस हेसियन (loss Hessian) की लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) और अनुकूलन गतिकी की स्थिरता पर निर्भर करती है। एट्रिब्यूशन देर से आने वाले हस्तक्षेपों या स्थिर व्यवस्थाओं के लिए सबसे विश्वसनीय है।

प्रमुख योगदान

• समस्या की परिभाषा: काउंटरफैक्चुअल प्रश्नों के माध्यम से मॉडल व्यवहार को प्रशिक्षण चरणों तक ट्रैक करने के रूप में जवाबदेही एट्रिब्यूशन को औपचारिक रूप देना।
• ढांचा (Framework): पोटेंशियल आउटकम्स पर आधारित एक सामान्य ढांचा जो जटिल अनुकूलन गतिकी (लर्निंग रेट, मोमेंटम, वेट ड dike) को ध्यान में रखता है।
• कुशल एस्टिमेटर्स: बिना पुन: प्रशिक्षण के चरण प्रभावों को मापने के लिए AA-Score एस्टिमेटर्स का व्युत्पन्न, जो चरण के प्रभाव के पुन: प्रयोज्य प्रतिनिधित्व (reusable representations) की गणना करके डीप मॉडल्स तक स्केल करता है।
• अनुभवजन्य सत्यापन (Empirical Validation):- स्प्यूरियस कोरिलेशन (spurious correlations), डोमेन जनरलाइजेशन और नॉइजी लेबल डिग्रेडेशन की पहचान करने में ढांचे की उपयोगिता का प्रदर्शन करना।

परिणाम
लेखक विजन (MNIST, CELEBA, Chest X-rays) और लैंग्वेज (CIVILCOMMENTS) कार्यों पर AA-Score का मूल्यांकन करते हैं:

1. MNIST प्रयोग:

   • सकारात्मक/नकारात्मक चरण: AA-Score सटीक रूप से एक सम्मिलित डेटा पॉइंट को उस अंक को पहचानने के लिए उच्च सकारात्मक प्रभाव के रूप में पहचानता है और गलत लेबल वाले डेटा वाले चरणों को नकारात्मक प्रभाव के रूप में पहचानता है।
   • वितरणात्मक बदलाव (Distributional Shifts): रोटेटेड इमेजेस के 3-स्टेज सेटअप में, AA-Score प्रत्येक टेस्ट सेट के लिए "इन-डिस्ट्रीब्यूशन" चरण को सही ढंग से उच्च सकारात्मक प्रभाव के रूप में एट्रिब्यूट करता है।
   • अनुकूलन गतिकी (Optimization Dynamics): AA-Score हाइपरपैरामीटर्स के प्रभाव को दर्शाता है; उदाहरण के लिए, बाद के चरण में लर्निंग रेट या मोमेंटम को कम करने से उस चरण के लिए AA-Score कम हो जाता है, जो उनके मापदंडों पर कम प्रभाव के अनुरूप है।
   • ग्राउंड ट्रुथ के साथ सहसंबंध: AA-Score पुन: प्रशिक्षण से प्राप्त काउंटरफैक्टुअल परिणामों के साथ उच्च सहसंबंध (औसत 0.9456) दिखाता है, जो अनुकूलित DVEmb बेसलाइन से थोड़ा बेहतर प्रदर्शन करता है।

2. स्प्यूरियस कोरिलेशन (CELEBA & CIVILCOMMENTS):

   • CELEBA (ब्लोंड हेयर प्रेडिक्शन) पर, AA-Score उन चरणों की पहचान करता है जहाँ मॉडल जेंडर के साथ स्प्यूरियस कोरिलेशन सीखता है। इन उच्च-प्रभाव वाले चरणों को छोड़ने से मॉडल की कन्फाउंडिंग फीचर (confounding feature) पर निर्भरता कम हो जाती है।
   • CIVILCOMMENTS (टॉक्सिसिटी डिटेक्शन) पर, AA-Score उन चरणों की पहचान करता है जहाँ जनसांख्यिकीय पहचान शब्द विषाक्तता (toxicity) के साथ स्प्यूरियस रूप से सहसंबंधित होते हैं। शीर्ष सकारात्मक-प्रभाव वाले चरणों को छोड़ने से इन कन्फाउंडर्स के आधार पर टॉक्सिसिटी की भविष्यवाणी करने की संभावना कम हो जाती है।

3. जटिल मल्टी-स्टेज सेटिंग्स:

   • CELEBA, CIVILCOMMENTS और चेस्ट एक्स-रे डेटासेट पर, AA-Score जटिल मल्टी-स्टेज सेटिंग्स में DVEmb की तुलना में रिट्रेनिंग काउंटरफैक्टुअल्स के साथ उच्च सहसंबंध प्राप्त करता है, क्योंकि यह अनुकूलन गतिकी को स्पष्ट रूप से मॉडल करता है।

4. मजबूती और दक्षता (Robustness and Efficiency):

   • बैकडोर हमले (Backdoor Attacks): AA-SCORE बिखरे हुए बैकडोर हमलों में पोइजनड बैचों की पहचान कर सकता है, हालांकि जब जहर (poisoning) सभी बैचों में पूरी तरह से मिश्रित हो जाता है, तो विभेदात्मक शक्ति कम हो जाती है।
   • रनटाइम/मेमोरी: इस पद्धति में प्रशिक्षण के दौरान ग्रेडिएंट्स/ऑप्टिमाइज़र स्टेट्स को लॉग करना और प्रशिक्षण के बाद एट्रिब्यूशन की गणना करना शामिल है। यह डेटासेट और मॉडल के आकार के साथ लगभग रैखिक रूप से स्केल करता है, जिससे यह छोटे-से-मध्यम मॉडल्स के लिए व्यावहारिक हो जाता है, हालांकि फाउंडेशन मॉडल्स तक स्केल करना एक चुनौती है जिसे स्ट्रक्चर्ड एप्रोक्सिमेशन के माध्यम से संबोधित किया गया है।

महत्व और सीमाएं
यह शोध पत्र जवाबदेही एट्रिब्यूशन को मॉडल विश्लेषण, डिबगिंग और ऑडिटिंग के लिए एक व्यावहारिक उपकरण के रूप में स्थापित करता है। यह विशिष्ट विकास चरणों को श्रेय या दोष देने का एक सिद्धांत आधारित तरीका प्रदान करता है, जिससे हानिकारक व्यवहारों (जैसे पूर्वाग्रह, स्प्यूरियस कोरिलेशन) और लाभकारी व्यवहारों (जैसे मजबूती) की पहचान करने में मदद मिलती है।

लेखकों द्वारा बताई गई सीमाएं शामिल हैं:

• प्रथम-क्रम सन्नटों (first-order approximations) पर निर्भरता, जो तब अपर्याप्त हो सकती है जब उच्च-क्रम प्रभाव महत्वपूर्ण हों।
• हेसियन (Hessian) और प्रोपेगेटर मैट्रिक्स गणनाओं के कारण बड़े पैमाने के मॉडल्स के लिए उच्च कम्प्यूटेशनल लागत, हालांकि इससे निपटने के लिए लेयर-वाइज या ब्लॉक-वाइज जैसे स्ट्रक्चर्ड एप्रोक्सिमेशन प्रस्तावित किए गए हैं।
• रिकॉर्ड किए गए ट्राजेक्टरीज, ऑप्टिमाइज़र स्टेट्स और हाइपरपैरामीटर्स की आवश्यकता, जो व्यवहार में हमेशा उपलब्ध नहीं हो सकते हैं।