Adaptive auditing of AI systems with anytime-valid guarantees

तकनीकी सारांश: एआई प्रणालियों का अनुकूलन योग्य ऑडिटिंग (Anytime-Valid Guarantees के साथ)

समस्या विवरण

जेनरेटिव एआई (Generative AI) प्रणालियों में विफलता के स्वरूपों (failure modes) का लक्षण वर्णन वर्तमान में एनोटेशन और मूल्यांकन की उच्च लागत और समय के कारण बाधित है। फलस्वरूप, अभ्यासकर्ता अनुकूलन योग्य परीक्षण प्रतिमानों (adaptive testing paradigms) को अपना रहे हैं, जहाँ परीक्षण मामले और नमूना आकार पिछले परिणामों (जैसे रेड-टीमिंग, सक्रिय शिक्षण, या मानव-इन-द-लूप शोधन) के आधार पर अवसरवादी रूप से निर्धारित किए जाते हैं। हालांकि यह व्यावहारिक है, ये वर्कफ़्लो शास्त्रीय सांख्यिकीय धारणाओं का उल्लंघन करते हैं: नमूना आकार अक्सर छोटे (10–50 मामले) होते हैं, और सैंपलिंग/स्टॉपिंग निर्णय पूर्व-निर्धारित नियमों के बजाय गतिशील रूप से लिए जाते हैं।

मानक सांख्यिकीय अनुमान निश्चित सैंपलिंग योजनाओं और बड़े-नमूना एसिम्प्टोटिक्स (large-sample asymptotics) पर निर्भर करते हैं। इन विधियों को अनुकूलन योग्य परीक्षण पर लागू करना टाइप I त्रुटि दरों (Type I error rates) को बढ़ा देता है (जैसे निरंतर 'पीकिंग' के माध्यम से "p-hacking") और यह परिभाषित करना कठिन बना देता है कि वास्तव में किस परिकल्पना का परीक्षण किया जा रहा है। विशेष रूप से, एक लक्षित, अनुकूलित परीक्षण सूट पास करना स्वाभाविक रूप से वैश्विक मजबूती (global robustness) को प्रमाणित नहीं करता है, और न ही पूर्व-निर्दिष्ट सैंपलिंग योजना का अभाव औसत प्रदर्शन के परीक्षण की अनुमति देता है। मनमाने अनुकूलित सैंपलिंग और वैकल्पिक स्टॉपिंग के तहत कठोर अनुमान (rigorous inference) प्रदान करने वाले सांख्यिकीय ढांचों में एक महत्वपूर्ण अंतराल है।

कार्यप्रणाली

लेखक एक ढांचा प्रस्तावित करते हैं जो दो "द्वंद्वात्मक" (dueling) परिकल्पना परीक्षणों के माध्यम से एआई मजबूती के ऑडिट को औपचारिक रूप देता है और सांख्यिकीय गारंटी प्रदान करने के लिए सेफ एनीटाइम-वैलिड इन्फरेंस (Safe Anytime-Valid Inference - SAVI) का लाभ उठाता है।

1. द्वंद्वात्मक परिकल्पना ढांचा (Dueling Hypothesis Framework)
ऑडिट को दो शून्य परिकल्पनाओं (null hypotheses) के बीच एक प्रतिस्पर्धा के रूप में तैयार किया गया है:

• मॉडल का शून्य ($H_{mod}^0$): यह दावा करता है कि एआई प्रणाली वैश्विक रूप से मजबूत है। औपचारिक रूप से, सभी उपसमूहों $S$ के लिए जिनका प्रसार $\mu(S) \ge \epsilon$ है, औसत प्रदर्शन $V(S)$ एक लक्ष्य सीमा $q$ से ऊपर है। इसे अस्वीकार करने का अर्थ है कि विफलता मोड का अस्तित्व है।
• ऑडिटर का शून्य ($H_{aud}^0$): यह दावा करता है कि ऑडिटर के पास एक विशिष्ट अनुकूलन योग्य रणनीति $\pi$ है जो अंततः एक विफलता मोड को उजागर करेगी। औपचारिक रूप से, एक समय $\tau$ मौजूद है जिसके लिए सभी $t \ge \tau$ के लिए, चयनित उपसमूह $S_t^\pi$ का प्रदर्शन $q$ से नीचे है। इसे अस्वीकार करने का अर्थ है कि ऑडिट पास हो गया है (ऑडिटर एक विफलता मोड खोजने में विफल रहा)।

लेखक सिद्ध करते हैं कि एक एसिम्प्टोटिक रूप से सुसंगत (asymptotically consistent) ऑडिटिंग रणनीति के तहत, ये दो शून्य परिकल्पनाएं एसिम्प्टोटिक पूरक (asymptotic complements) हैं। इस प्रकार, ऑडिटर के शून्य को अस्वीकार करना प्रभावी रूप से वैश्विक मजबूती को प्रमाणित करता है।

2. बेटिंग और ई-प्रोसेस द्वारा परीक्षण (Testing by Betting and E-Processes)
मनमाने अनुकूलित सैंपलिंग और वैकल्पिक स्टॉपिंग को संभालने के लिए, लेखक "बेटिंग द्वारा परीक्षण" ढांचे का उपयोग करते हैं। ऑडिटर को उन उपसमूहों के विरुद्ध दांव लगाने वाले के रूप में देखा जाता है जिन्हें विफलता मोड होने का संदेह है। शून्य परिकल्पना के तहत, किसी भी बेटिंग रणनीति से लाभ नहीं होना चाहिए।

• ई-प्रोसेस (E-processes): बेटिंग वेल्थ को ई-प्रोसेस के माध्यम से ट्रैक किया जाता है, जो p-वैल्यू के क्रमिक (sequential) समकक्ष हैं। एक ई-प्रोसेस $(E_t)$ यह सुनिश्चित करता है कि किसी भी स्टॉपिंग टाइम $\tau$ के लिए, शून्य परिकल्पना के तहत $E_P[E_\tau] \le 1$ हो।
• टाइप I त्रुटि नियंत्रण: विले के असमानता (Ville's inequality) के अनुसार, जब एक ई-प्रोसेस $1/\alpha$ से अधिक हो जाता है, तो यह गारंटी देता है कि टाइप I त्रुटि दर अधिकतम $\alpha$ होगी, चाहे सैंपलिंग रणनीति या स्टॉपिंग का समय कुछ भी हो।

3. विशिष्ट परीक्षण सांख्यिकी (Specific Test Statistics)
लेखक दोनों परिकल्पनाओं के लिए कई ई-प्रोसेस फॉर्मुलेशन प्रस्तावित करते हैं:

• लाइकलीहुड रेशियो (LR): यह सिक्वेंशियल प्रोबेबिलिटी रेशियो टेस्ट (SPRT) पर आधारित है, जो विफलता परिकल्पना (failure hypothesis $q-\delta$) बनाम शून्य ($q$) के तहत देखे गए स्कोर की लाइकलीहुड की तुलना करता है।
• यूनिवर्सल इन्फरेंस (UI): यह एक अनुकूलित संस्करण है जहाँ वैकल्पिक प्रायिकता को डेटा (जैसे $\hat{\gamma}_{t-1}$) से अनुमानित किया जाता है, न कि निश्चित मान से, जिससे सीखे गए विफलता दरों के आधार पर "बेट" को अनुकूलित किया जा सके।
• शिरयाव-रॉबर्ट्स (SR) विस्तार: ये चेंजपॉइंट डिटेक्शन को एकीकृत करते हैं ताकि उन परिदृश्यों को संभाला जा सके जहाँ ऑडिटर को विफलता मोड की पहचान करने के लिए एक "लर्निंग पीरियड" की आवश्यकता होती है। ये अज्ञात देरी के विरुद्ध बचाव करते हुए सभी संभावित चेंजपॉइंट्स से लाइकलीहुड रेशियो को जोड़ते हैं।

4. द्वैत परीक्षण प्रक्रिया (Dual Testing Procedure)
यह ढांचा $H_{mod}^0$ और $H_{aud}^0$ के लिए समवर्ती (simultaneous) ई-प्रोसेस चलाता है। प्रक्रिया तब रुक जाती है जब इनमें से कोई भी सांख्यिकी $1/\alpha$ को पार कर जाती है। चूंकि दोनों शून्य परस्पर अनन्य (mutually exclusive) हैं (एक वैध ऑडिट रणनीति की धारणा के तहत), बोनफेरोनी सुधार (Bonferroni correction) की आवश्यकता नहीं है; फैमिली-वाइज एरर रेट (FWER) स्तर $\alpha$ पर नियंत्रित होता है।

मुख्य योगदान

1. द्वंद्वात्मक परिकल्पनाओं का औपचारिकीकरण: यह शोध पत्र एक ऐसा सैद्धांतिक ढांचा स्थापित करता है जहाँ एआई ऑडिटिंग को मॉडल के शून्य बनाम ऑडिटर के शून्य के परीक्षण के रूप में परिभाषित किया गया है। यह सिद्ध करता है कि पर्याप्त शक्तिशाली (एसिम्प्टोटिक रूप से सुसंगत) ऑडिटर के साथ, ये परीक्षण एसिम्प्टोटिक पूरक हैं, जिससे वैश्विक मजबूती के बारे में बाइनरी निष्कर्ष निकाले जा सकते हैं।
2. द्वैत सुरक्षित एनीटाइम-वैलिड प्रक्रियाएं: लेखक द्वैत ई-प्रोसेस पेश करते हैं जो विफलता मोड का पता लगाने और ऑडिट प्रमाणन दोनों के लिए स्टॉपिंग बाउंड प्रदान करते हैं। ये प्रक्रियाएं मनमाने अनुकूलित सैंपलिंग और वैकल्पिक स्टॉपिंग के तहत सीमित-नमूना (finite-sample) टाइप I त्रुटि नियंत्रण बनाए रखती हैं।
3. अनुभवजन्य सत्यापन: अध्ययन प्रदर्शित करता है कि अनुकूलित परीक्षण और ई-प्रोसेस, पूर्व-निर्धारित विधियों की तुलना में काफी तेजी से कठोर निष्कर्ष प्राप्त करते हैं। कुछ मामलों में, केवल 20 अवलोकनों के साथ सांख्यिकीय रूप से वैध निष्कर्ष प्राप्त किए जा सकते हैं।

प्रायोगिक परिणाम

ढांचे का मूल्यांकन दो सेटिंग्स में किया गया:

1. अर्ध-सिंथेटिक डेटा (GPQA डेटासेट): लेखकों ने विभिन्न उपसमूहों में प्रदर्शन गिरावट वाले एआई पाइपलाइनों का अनुकरण किया।

   • प्रदर्शन: SR-LR-UI (शिरयाव-रॉबर्ट्स के साथ यूनिवर्सल इन्फरेंस) प्रक्रिया विफलता मोड का पता लगाने में उच्चतम शक्ति (power) प्राप्त करती है।
   • तुलना: अनुकूलित रणनीतियों ने पूर्व-निर्धारित रणनीतियों (स्तरीकृत और पूर्व-सीखे गए) की तुलना में काफी बेहतर प्रदर्शन किया। पूर्व-निर्धारित रणनीतियाँ अक्सर विफलता मोड का पता लगाने में विफल रहीं, जिससे ऑडिटर के शून्य को गलत तरीके से खारिज करने (ऑडिट पास करने) की उच्च दर हुई—जो कि गलत व्याख्या का जोखिम है।
   • ओरेकल (Oracle): एक ओरेकल ऑडिटर (जो वास्तविक विफलता मोड जानता है) 15–25 अवलोकनों में शून्य को खारिज कर सकता है, जो यह सुझाव देता है कि स्मार्ट ऑडिटिंग रणनीतियाँ नमूना आवश्यकताओं को और कम कर सकती हैं।
   • त्रुटि नियंत्रण: जब कोई विफलता मोड मौजूद नहीं था, तो सभी विधियों ने सही ढंग से ऑडिट को पास किया (ऑडिटर के शून्य को खारिज किया) बिना किसी गलत विफलता का पता लगाए, जो टाइप I त्रुटि नियंत्रण की पुष्टि करता है।

2. वास्तविक दुनिया का LLM पाइपलाइन (क्लिनिकल नोट्स): इस ढांचे को क्लिनिकल नोट्स से सोशल डिटर्मिनेंट्स ऑफ हेल्थ (SDoH) निकालने वाले एक LLM पाइपलाइन पर लागू किया गया।

   • अनुकूलित शिक्षण: अनुकूलित ऑडिटर सफलतापूर्वक कम-सटीकता वाली श्रेणियों को अपसैंपल करने में सफल रहा (सैंपलिंग फ्रीक्वेंसी और सटीकता के बीच स्पियरमैन $\rho = -0.84$)।
   • दक्षता: ओरेकल को छोड़कर, अन्य विधियों की तुलना में SR-LR-UI ने मॉडल के शून्य को खारिज करने (यह पता लगाने कि सिस्टम मजबूत नहीं है) के लिए सबसे कम नमूनों की आवश्यकता ली।

महत्व और दावे

शोध पत्र का दावा है कि यह पहला सांख्यिकीय ढांचा प्रदान करता है जो यह औपचारिक रूप देता है कि अत्यधिक लचीले, लक्षित एआई ऑडिटिंग व्यवस्था के तहत क्या परीक्षण किया जा सकता है और कैसे परीक्षण किया जा सकता है। सैंपलिंग रणनीति को सांख्यिकीय वैधता से अलग करके, यह अभ्यासकर्ताओं को सांख्यिकीय कठोरता से समझौता किए बिना अनुकूलित, संसाधन-कुशल परीक्षण (जैसे रेड-टीमिंग, सक्रिय शिक्षण) का उपयोग करने की अनुमति देता है।

लेखक इस बात पर जोर देते हैं कि हालांकि यह ढांचा मनमाने तौर पर रणनीतियों का समर्थन करता है, "वैश्विक मजबूती" के निष्कर्ष की वैधता ऑडिटर की शक्ति पर निर्भर करती है। यदि ऑडिटर कमजोर है (उदाहरण के लिए, खराब रेड-टीमिंग), तो ऑडिट पास हो सकता है भले ही विफलता मोड मौजूद हों, जो इस चिंता को दर्शाता है कि खराब डिज़ाइन किए गए ऑडिट "सुरक्षा का दिखावा" (security theater) बन सकते हैं। यह कार्य आधुनिक ऑडिटिंग प्रथाओं के लिए एक सामान्य सांख्यिकीय आधार प्रदान करके अभ्यासकर्ताओं को एआई मजबूती का विश्वास के साथ आकलन करने में सक्षम बनाने का लक्ष्य रखता है।