Evaluating Human-AI Safety: A Framework for Measuring Harmful Capability Uplift

यहाँ वैकारो एवं अन्य द्वारा लिखित शोध पत्र "Evaluating Human-AI Safety: A Framework for Measuring Harmful Capability Uplift" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

वर्तमान AI सुरक्षा मूल्यांकन प्रतिमान (paradigms) मुख्य रूप से स्थिर बेंचमार्क (static benchmarks), तृतीय-पक्ष एनोटेशन (third-party annotations) और रेड-टीमिंग (red-teaming) पर निर्भर हैं। जबकि ये विधियाँ पुनरुत्पादनीय (reproducible) और मानकीकृत हैं, लेखक तर्क देते हैं कि इनमें गंभीर कमियाँ हैं:

• स्थिर बेंचमार्क (Static Benchmarks): ये अक्सर "सेफ्टीवाशिंग" (safetywashing) को मापते हैं जहाँ सामान्य क्षमता के विस्तार को सुरक्षा प्रगति समझ लिया जाता है। ये निरंतर, गतिशील मानव-AI अंतःक्रियाओं से उत्पन्न होने वाले नुकसान को पकड़ने में विफल रहते हैं।
• मानव मूल्यांकनकर्ता (Human Evaluators): वर्तमान अध्ययन मनुष्यों को बाहरी न्यायाधीशों (आउटपुट को लेबल करने वाले) के रूप में देखते हैं, न कि सक्रिय प्रतिभागियों के रूप में। वे यह नहीं मापते कि एक मॉडल उपयोगकर्ता की नुकसान पहुँचाने की क्षमता को पारंपरिक उपकरणों की तुलना में कितना बढ़ाता (augment) है।
• रेड टीमिंग (Red Teaming): हानिकारक सामग्री को निकालने में प्रभावी होने के बावजूद, रेड-टीमिंग में अक्सर काउंटरफैक्चुअल बेसलाइन (counterfactual baselines) का अभाव होता है। यह शायद ही कभी यह मापता है कि एक प्रेरित उपयोगकर्ता AI की सहायता से कितना अतिरिक्त नुकसान पहुँचा सकता है, जिसकी तुलना मानक खोज इंजन (search engines) या ओपन-सोर्स टूल्स से की जा सके।

मुख्य अंतराल (Core Gap): हानिकारक क्षमता उत्थान (Harmful Capability Uplift) को मापने के लिए कोई मानकीकृत मीट्रिक नहीं है—अर्थात, पारंपरिक संसाधनों का उपयोग करने की तुलना में, एक फ्रंटियर AI मॉडल की सहायता से किसी दुर्भावनापूर्ण कार्य को करने की उपयोगकर्ता की क्षमता में होने वाली आनुपातिक वृद्धि।

2. प्रस्तावित कार्यप्रणाली: हानिकारक क्षमता उत्थान ढांचा (The Harmful Capability Uplift Framework)

लेखक अलग-थलग AI आउटपुट के मूल्यांकन के बजाय मानव-AI प्रणाली के मूल्यांकन की ओर बढ़ने का प्रस्ताव करते हैं। यह ढांचा चार तकनीकी स्तंभों पर आधारित है:

A. प्रयोगात्मक डिजाइन (तीन-स्थिति दृष्टिकोण)

AI के योगदान को अलग करने के लिए, अध्ययनों में बहु-स्थिति डिजाइन (multi-condition design) का उपयोग किया जाना चाहिए:

1. केवल मानव ($H$): प्रतिभागी केवल पारंपरिक उपकरणों (वेब सर्च, दस्तावेज़) का उपयोग करके कार्य करते हैं।
2. केवल AI ($AI$): मॉडल स्वतंत्र रूप से कार्य करता है।
3. मानव-AI ($HAI$): प्रतिभागी AI सहायता के साथ कार्य करते हैं, जो वास्तविक दुनिया के वर्कफ़्लो का अनुकरण करता है।

B. उत्थान मीट्रिक ($U$)

प्राथमिक मीट्रिक हानिकारक क्षमता उत्थान अनुपात (Harmful Capability Uplift Ratio) है:
$$U = \frac{HAI}{H}$$

• व्याख्या: $U=1.0$ का अर्थ है कोई वृद्धि नहीं; $U > 1.0$ आनुपातिक सुधार को दर्शाता है (उदाहरण के लिए, $U=5.0$ का अर्थ है 5 गुना क्षमता वृद्धि)।
• नवीन क्षमता ध्वज (Novel Capability Flag): यदि किसी उपयोगकर्ता की आधारभूत क्षमता शून्य ($H=0$) है लेकिन वह AI के साथ कार्य पूरा कर सकता है, तो $U \to \infty$ होगा। यह एक गुणात्मक बदलाव का संकेत देता है जहाँ एक अक्षम अभिनेता एक व्यवहार्य खतरा बन जाता है।
• सिनर्जी अनुपात (Synergy Ratio): उन प्रभावों को मापने के लिए जहाँ संयोजन व्यक्तिगत एजेंटों दोनों से बेहतर प्रदर्शन करता है, एक सिनर्जी अनुपात $S = \frac{HAI}{\max(H, AI)}$ प्रस्तावित है।

C. प्रॉक्सी टास्क वैलिडेशन (Proxy Task Validation)

सीधे खतरनाक कार्यों (जैसे जैविक हथियार बनाना) का परीक्षण करना नैतिक रूप से वर्जित है। लेखक एक टास्क स्पेस दृष्टिकोण के माध्यम से मान्य प्रॉक्सी कार्यों (proxy tasks) का उपयोग करने का प्रस्ताव करते हैं:

• कार्यों को विभिन्न आयामों (संज्ञानात्मक जटिलता, डोमेन ज्ञान, संसाधन आवश्यकताएं, जोखिम आयाम) में वेक्टर्स के रूप में दर्शाया जाता है।
• एक प्रॉक्सी कार्य और एक लक्षित खतरनाक कार्य के बीच एक समानता सूचकांक ($S$) की गणना की जाती है।
• वैधता सीमा (Validity Threshold): अनुभवजन्य सत्यापन के लिए प्रॉक्सी और लक्षित उत्थान स्कोर के बीच सहसंबंध ($\rho$) आवश्यक है (अनुशंसित $\rho \ge 0.25$), ताकि यह सुनिश्चित हो सके कि प्रॉक्सी विश्वसनीय रूप से वास्तविक जोखिम की भविष्यवाणी करता है।

D. सांख्यिकीय और पूर्वानुमान मानक (Statistical and Forecasting Standards)

• सांख्यिकीय शक्ति (Statistical Power): अध्ययनों को केवल सांख्यिकीय सार्थकता के बजाय सुरक्षा चिंता के सबसे छोटे प्रभाव आकार (जैसे, $U \ge 5$) का पता लगाने के लिए सशक्त होना चाहिए। यहाँ फॉल्स नेगेटिव (false negatives), फॉल्स पॉजिटिव (false positives) की तुलना में अधिक महंगे माने जाते हैं।
• तुल्यता परीक्षण (Equivalence Testing): गैर-महत्वपूर्ण परिणामों का विश्लेषण 'टू वन-साइडेड टेस्ट्स' (TOST) का उपयोग करके नीति-प्रासंगिक सीमाओं के भीतर सुरक्षा सिद्ध करने के लिए किया जाना चाहिए, न कि केवल "कोई अंतर नहीं" का दावा करने के लिए।
• पूर्वानुमान मॉडल (Forecasting Models): तीव्र मॉडल पुनरावृत्ति के साथ तालमेल बिठाने के लिए, लेखक मौजूदा सार्वजनिक बेंचमार्क स्कोर के आधार पर नए मॉडलों के लिए उत्थान अनुपात का अनुमान लगाने वाले रिग्रेशन मॉडल ($U \sim \beta_1 BM_1 + \dots$) का प्रस्ताव करते हैं, जिससे महंगे मानव परीक्षणों को केवल थ्रेशोल्ड उल्लंघन के लिए आरक्षित रखा जा सके।

3. प्रमुख योगदान

1. वैचारिक पुनर्गठन (Conceptual Reframing): "हानिकारक क्षमता उत्थान" को AI सुरक्षा के मुख्य मीट्रिक के रूप में परिभाषित करता है, जिससे ध्यान "क्या मॉडल बुरा कंटेंट उत्सर्जित करता है?" से हटकर "क्या मॉडल उपयोगकर्ताओं को अधिक नुकसान पहुँचाने में सक्षम बनाता है?" पर केंद्रित होता है।
2. कार्यप्रणाली ढांचा (Methodological Framework): एक कठोर, तीन-स्थिति प्रयोगात्मक डिजाइन और एक यूनिटलेस अनुपात मीट्रिक ($U$) प्रदान करता है जो क्रॉस-डोमेन तुलना की अनुमति देता है।
3. प्रॉक्सी वैलिडेशन प्रोटोकॉल: सुरक्षित प्रॉक्सी कार्यों को खतरनाक लक्षित कार्यों के विरुद्ध वैज्ञानिक रूप से मान्य करने के लिए एक औपचारिक, बहुआयामी एम्बेडिंग फ्रेमवर्क पेश करता है, जो बाहरी वैधता अंतराल को संबोधित करता है।
4. हितधारक रोडमैप (Stakeholder Roadmap): कार्यप्रणाली को डेवलपर्स (डेवलपमेंट चक्र में एकीकरण), शोधकर्ताओं (सैद्धांतिक मॉडलिंग), फंडर्स (समर्पित अनुदान धाराएं) और नियामकों (जोखिम सीमाएं) के लिए कार्रवाई योग्य चरणों में अनुवादित करता है।

4. परिणाम और साक्ष्य

यह शोध पत्र नया अनुभवजन्य डेटा प्रस्तुत नहीं करता है बल्कि मौजूदा अध्ययनों की समीक्षा (तालिका 1) को संश्लेषित करता है ताकि क्षेत्र की वर्तमान स्थिति प्रदर्शित की जा सके:

• असंगति (Inconsistency): प्रमुख लैब्स (Anthropic, OpenAI, Meta) के मौजूदा मूल्यांकन नमूना आकार, कार्य परिभाषा और मूल्यांकन मानदंडों में बहुत भिन्न हैं।
• लापता बेसलाइन (Missing Baselines): कई अध्ययनों में उचित "मानव अकेले" (Human Alone) नियंत्रण स्थिति का अभाव है, जिससे उत्थान की गणना करना असंभव हो जाता है।
• दुर्लभ डेटा (Sparse Data): केवल कुछ ही अध्ययन उत्थान मापन का प्रयास करते हैं, और उनमें से अधिकांश अपर्याप्त शक्ति या डेटा की कमी से ग्रस्त हैं, जो संचयी वैज्ञानिक प्रगति को रोकता है।
• वर्तमान निष्कर्ष: प्रारंभिक डेटा बताता है कि उत्थान अनुपात कार्य और मॉडल संस्करण के अनुसार काफी भिन्न होता है (उदाहरण के लिए, बायोवेपन प्लानिंग कार्यों में गैर-महत्वपूर्ण से $U \approx 2.5$ तक), जो मानकीकृत माप की आवश्यकता को रेखांकित करता है।

5. महत्व और प्रभाव

• नीति प्रासंगिकता (Policy Relevance): नियामकों को जोखिम सीमा निर्धारित करने के लिए एक मात्रात्मक, ऑडिट-रेडी मीट्रिक प्रदान करता है (जैसे, यदि $U > X$ तो अनिवार्य समीक्षा)।
• सुरक्षा बनाम क्षमता संरेखण (Safety vs. Capability Alignment): "सेफ्टीवाशिंग" की समस्या को संबोधित करता है ताकि यह सुनिश्चित हो सके कि सुरक्षा मीट्रिक केवल रिफ्यूज़ल रेट या स्थिर बेंचमार्क स्कोर के बजाय वास्तविक जोखिम में कमी को ट्रैक करते हैं।
• स्केलेबिलिटी (Scalability): पूर्वानुमान दृष्टिकोण यह सुनिश्चित करता है कि सुरक्षा मूल्यांकन प्रत्येक मामूली संस्करण के लिए पूर्ण-स्तरीय मानव परीक्षणों की आवश्यकता के बिना, साप्ताहिक मॉडल अपडेट के साथ तालमेल बिठा सके।
• संस्थागतकरण (Institutionalization): इन संवेदनशील प्रयोगों के लिए सुरक्षित, प्री-रजिस्टर्ड रिपॉजिटरी होस्ट करने के लिए AI सुरक्षा संस्थानों (AISIs) के निर्माण का आह्वान करता है, ताकि ऑडिटरों के लिए पारदर्शिता सुनिश्चित हो सके और दोहरे उपयोग वाली कार्यप्रणालियों के रिसाव को रोका जा सके।

निष्कर्ष: शोध पत्र का तर्क है कि हानिकारक क्षमता उत्थान को मापे बिना, AI सुरक्षा मूल्यांकन इस वास्तविकता से कटे हुए हैं कि दुर्भावनापूर्ण अभिनेता वास्तव में इन प्रणालियों का उपयोग कैसे करेंगे। इस मानव-केंद्रित, मीट्रिक-संचालित ढांचे को अपनाकर, क्षेत्र एपिसोडिक ऑडिट से निरंतर, साक्ष्य-आधारित जोखिम शासन की ओर बढ़ सकता है।