तकनीकी सारांश: पूर्वानुमान योग्य विफलताओं के साथ ML मॉडल का प्रशिक्षण

समस्या विवरण

तैनाती से पूर्व सुरक्षा मूल्यांकन (pre-deployment safety assessment) मशीन लर्निंग प्रणालियों के लिए तैनाती के पैमाने पर विफलता दरों का अनुमान लगाने पर निर्भर करता है। हालाँकि, विनाशकारी विफलताएँ अक्सर इतनी दुर्लभ होती हैं कि किसी भी व्यावहारिक मूल्यांकन सेट में एक भी उदाहरण मौजूद नहीं होता, जिससे देखे गए प्रदर्शन और भविष्य के जोखिम के बीच एक अंतर पैदा हो जाता है। जबकि जोन्स एट अल. [21] ने मूल्यांकन सेट में देखे गए शीर्ष $k$ स्कोर से तैनाती के पैमाने तक विफलता दर का अनुमान लगाने के लिए एक्सट्रीम वैल्यू थ्योरी (EVT) का उपयोग करने का प्रस्ताव दिया था, यह विधि दो महत्वपूर्ण धारणाओं पर निर्भर करती है: (A1) विफलता की पूंछ (failure tail) स्पर्शोन्मुख रूप से लॉग-लीनियर (Gumbel domain) है, और (A2) मूल्यांकन सेट तैनाती वितरण (deployment distribution) का प्रतिनिधि है।

यह शोध पत्र एक विशिष्ट विफलता शासन (failure regime) की पहचान करता है जहाँ ये धारणाएँ खंडित हो जाती हैं: जब तैनाती सेट में एक दुर्लभ, उच्च-विफलता मोड (जैसे, प्रतिकूल प्रॉम्प्ट या खतरनाक लेआउट) मौजूद हो जो छोटे मूल्यांकन सेट में अनुपस्थित हो। इस परिदृश्य में, EVT-आधारित पूर्वानुमानकर्ता व्यवस्थित रूप से सबसे खराब स्थिति के जोखिम को कम करके आंकता है। इसके अलावा, शोध पत्र प्रदर्शित करता है कि भले ही धारणाएँ लागू हों, मानक अनुमानक (estimator) में ओवर-प्रेडिक्शन (अधिक अनुमान) की ओर एक अंतर्निहित पूर्वाग्रह होता है, जो सुरक्षा की दृष्टि से अनुकूल है, लेकिन इसे ऊपर वर्णित "ऑक्यूपेंसी" (occupancy) विफलता मोड द्वारा निष्प्रभावी किया जा सकता है।

कार्यप्रणाली

लेखक फोरकास्टेबिलिटी फाइन-ट्यूनिंग (forecastability fine-tuning) का प्रस्ताव करते हैं, जो एक प्री-ट्रेंड मॉडल को समायोजित करने की एक विधि है ताकि उसकी विफलता की पूंछ (failure tail) सटीक EVT एक्सट्रपलेशन के लिए आवश्यक संरचनात्मक धारणाओं के अनुरूप हो सके।

1. सैद्धांतिक अपघटन (Theoretical Decomposition)

मुख्य सैद्धांतिक योगदान Gumbel-tail अनुमानक के पूर्वानुमान त्रुटि का एक 'फाइनाइट-$k$' अपघटन है। त्रुटि $\Delta$ को निम्नलिखित में विभाजित किया गया है:

• रैंक टर्म ($T_\theta$): शीर्ष-$k$ गणना और तैनाती अनुपात पर आधारित एक पूर्वाग्रह जो अनुमानक में अंतर्निहित है। यह पद सामान्यतः धनात्मक (ओवर-प्रेडिक्शन) होता है और मॉडल के विशिष्ट मापदंडों से स्वतंत्र होता है, सिवाय एक स्केलिंग फैक्टर के।
• कर्वेचर टर्म ($C_\theta$): टेल-क्वांटाइल वक्र के दूसरे व्युत्पन्न (second derivative) के समानुपाती है। यह पद मॉडल पर निर्भर करता है और इसे प्रशिक्षित किया जा सकता है। यह दर्शाता है कि पूंछ "सुव्यवस्थित" (लॉग-लीनियर) है या वक्राकार है।
• ऑक्यूपेंसी टर्म ($G_\theta$): एक गैर-शून्य पद जो तब प्रकट होता है जब तैनाती सेट में एक दुर्लभ उच्च-जोखिम घटक मौजूद होता है लेकिन मूल्यांकन सेट में अनुपस्थित होता है। यह पद अंडर-प्रेडिक्शन (कम अनुमान) का कारण बनता है।
• उच्च-क्रम अवशेष (Higher-Order Remainder): स्मूथनेस उल्लंघन (जैसे, बाउंडेड सपोर्ट या हेवी टेल्स) से संबंधित पद।

लेखक दिखाते हैं कि यदि रिस्क स्कोर अवकलनीय (differentiable) है, तो पूर्वानुमान त्रुटि मॉडल मापदंडों के सापेक्ष अवकलनीय है। यह त्रुटि को स्वयं एक लॉस फंक्शन के रूप में उपयोग करने की अनुमति देता है।

2. फोरकास्टेबिलिटी लॉस (The Forecastability Loss)

प्रस्तावित उद्देश्य, फोरकास्टेबिलिटी लॉस, OLS-अनुमानित सबसे खराब स्कोर और एक्सट्रैपोलेटेड रैंकों के वास्तविक सबसे खराब स्कोर के बीच वर्ग अंतर को कम करता है।
$$\mathcal{L}_{\text{forecast}} = \sum_{j \in \mathcal{J}} w_j \left( \hat{Q}_\theta(y_j) - Y^{(j)}_\theta \right)^2$$
जहाँ $\mathcal{J}$ फिट सेट से गहरे रैंकों का प्रतिनिधित्व करता है, और भार $w_j$ तैनाती आकारों पर लॉग-यूनिफॉर्म प्रायर का पालन करते हैं।

3. प्रशिक्षण परिशोधन (Training Refinements)

मॉडल को केवल अपनी प्रदर्शन क्षमता को खराब करके पूंछ को "पूर्वानुमान योग्य" बनाने से रोकने के लिए (उदाहरण के लिए, ओवर-प्रेडिक्टेड लाइन से मेल खाने के लिए रिस्क स्कोर को बढ़ाना), लेखक एक इम्प्रूविंग-ओनली ग्रेडिएंट मास्क (improving-only gradient mask) पेश करते हैं। यह मास्क सुनिश्चित करता है कि ग्रेडिएंट अपडेट केवल तभी हों जब वे विशिष्ट कार्य पर रिस्क स्कोर को कम करें, जो फोरकास्टिंग उद्देश्य को प्राथमिक सुरक्षा उद्देश्य के साथ प्रभावी रूप से जोड़ता है।

इसके अतिरिक्त, डेटा के विशिष्ट विभाजन स्प्लिट्स पर ओवरफिटिंग से बचने के लिए, यह विधि मेटा-मल्टी-टास्क फाइन-ट्यूनिंग का उपयोग करती है। प्रत्येक प्रशिक्षण चरण में, टास्क पूल को बेतरतीब ढंग से एक 'फिट सेट' और एक 'डिप्लॉयमेंट सेट' में विभाजित किया जाता है। एक पार्टीशन-इनवेरिएंट कैश (partition-invariant cache) को शीर्ष-स्कोरिंग कार्यों के लिए बनाए रखा जाता है ताकि हर चरण में पूरे डेटासेट को पुनः स्कोर किए बिना यह पुन: विभाजन कम्प्यूटेशनल रूप से व्यवहार्य बना रहे।

मुख्य योगदान

1. फाइनाइट-$k$ त्रुटि अपघटन: Gumbel-tail पूर्वानुमान त्रुटि का एक सैद्धांतिक विश्लेषण जो मॉडल-निर्भर घटकों (कर्वेचर, ऑक्यूपेंसी) को अनुमानक-निर्भर घटकों (रैंक बायस) से अलग करता है। यह पहचानता है कि त्रुटि के कौन से हिस्से प्रशिक्षित करने योग्य हैं।
2. फोरकास्टेबिलिटी लॉस: एक अवकलनीय उद्देश्य जो मॉडल की विफलता की पूंछ को सुव्यवस्थित (लॉग-लीनियर) और तैनाती वितरण का प्रतिनिधि बनाकर, सीधे पूर्वानुमान त्रुटि को कम करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि फोरकास्टेबिलिटी के लिए फाइन-ट्यूनिंग करने से होल्ड-आउट पूर्वानुमान त्रुटि में काफी कमी आती है, जबकि प्राथमिक कार्य प्रदर्शन को सुरक्षित रखा जाता है (या सुधारा जाता है) और सुपरवाइज्ड बेसलाइन के समान सुरक्षा प्राप्त की जाती है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन दो सेटिंग्स में किया गया:

1. लैंग्वेज मॉडल (पासवर्ड गेम): एक मॉडल को एक गुप्त पासवर्ड रखने का निर्देश दिया जाता है, लेकिन इसका परीक्षण पासवर्ड निकालने के लिए डिज़ाइन किए गए प्रतिकूल प्रॉम्प्ट के विरुद्ध किया जाता है।
   • परिणाम: फोरकास्टेबिलिटी फाइन-ट्यूनिंग ने प्री-ट्रेंड बेसलाइन की तुलना में सबसे खराब लीक संभाव्यता (leak probability) को $\approx 40$ डेकेड्स कम कर दिया, जो SFT की सुरक्षा के बराबर है। महत्वपूर्ण रूप से, इसने SFT (दो ऑर्डर ऑफ मैग्नीट्यूड कम ड्रिफ्ट) की तुलना में मॉडल क्षमता (WildChat KL ड्रिफ्ट द्वारा मापा गया) को बहुत बेहतर तरीके से संरक्षित किया। इसने बेसलाइन की तुलना में पूर्वानुमान सटीकता में $\approx 60\times$ का सुधार भी किया, जबकि SFT और पोस्ट-हॉक कैलिब्रेशन $20\times$ से नीचे स्थिर हो गए थे।
2. रीइन्फोर्समेंट लर्निंग (ग्रिडवर्ल्ड): एक पॉलिसी ग्रिडवर्ल्ड में नेविगेट करती है जिसमें दुर्लभ, घने खतरनाक लेआउट हैं।
   • परिणाम: फोरकास्टेबिलिटी ट्रेनिंग ने क्षमता (रिटर्न) में $1.27\times$ का सुधार किया और सबसे खराब स्थिति के रिग्रेट (regret) को $3.5\times$ कम कर दिया, जो SFT से बेहतर है। पूर्वानुमान सटीकता के मामले में, विधि ने पोस्ट-हॉक कैलिब्रेशन के साथ $52\times$ का सुधार हासिल किया, जो SFT ($26\times$) और केवल कैलिब्रेशन ($6\times$) से काफी बेहतर है।

दोनों मामलों में, "इम्प्रूविंग-ओनली" मास्क ने सुनिश्चित किया कि पूर्वानुमान त्रुटि में कमी का सीधा संबंध वास्तविक सबसे खराब जोखिम (लीक संभाव्यता या रिग्रेट) में कमी से था।

महत्व और दावे

यह शोध पत्र प्री-डिप्लॉयमेंट सुरक्षा मूल्यांकन में एक "लुप्त परत" (missing layer) को संबोधित करने का दावा करता है: मूल्यांकन से तैनाती के पैमाने तक जोखिम स्कोर को एक्सट्रोपोलेट करने की क्षमता के साथ-साथ मॉडल को प्रशिक्षित करने की क्षमता ताकि यह एक्सट्रपलेशन विश्वसनीय हो सके।

• सुरक्षा-अनुकूल पूर्वाग्रह (Safety-Favorable Bias): लेखक नोट करते हैं कि मानक अनुमानक में ओवर-प्रेडिक्शन की ओर एक अंतर्निहित पूर्वाग्रह होता है, जो सुरक्षा के लिए वांछनीय है। हालांकि, यह पूर्वाग्रह तब निष्प्रभावी हो जाता है जब मूल्यांकन सेट एक दुर्लभ विफलता मोड को मिस कर देता है। फोरकास्टेबिलिटी ट्रेनिंग इस विशिष्ट विफलता मोड को समाप्त करने का लक्ष्य रखती है।
• कैलिब्रेशन का पूरक: परिणाम बताते हैं कि जबकि पोस्ट-हॉक एफ़ाइन कैलिब्रेशन (affine calibration) व्यवस्थित पूर्वाग्रहों को ठीक कर सकता है, यह टेल शेप (पूंछ के आकार) या ऑक्यूपेंसी गैप के संरचनात्मक बेमेल को ठीक नहीं कर सकता। फोरकास्टेबिलिटी ट्रेनिंग अंतर्निहित पूंछ को आकार देती है, जिससे बाद का कैलिब्रेशन अधिक प्रभावी हो जाता है।
• स्केलेबिलिटी: लेखक स्वीकार करते हैं कि उनके प्रयोग छोटे पैमाने के (0.6B और 8B मॉडल, सिंथेटिक मिश्रण) हैं। वे दावा करते हैं कि यह विधि एक प्रूफ-ऑफ-कॉन्सेप्ट है जो अन्य वितरणों तक सामान्यीकृत होती है, लेकिन वे नोट करते हैं कि फ्रंटियर मॉडल्स और प्राकृतिक दुर्लभ मोड तक स्केल करना अगला आवश्यक कदम है।
• मौजूदा विधियों से भिन्नता: यह शोध पत्र अपने दृष्टिकोण को डिस्ट्रीब्यूशनली रोबस्ट ट्रेनिंग (जो सबसे खराब नुकसान को कम करती है) और इम्पोर्टेंस सैंपलिंग (जिसके लिए विफलताओं के नमूने की आवश्यकता होती है) से अलग करता है। फोरकास्टेबिलिटी लॉस विशेष रूप से जोखिम को केवल कम करने के बजाय, जोखिम वितरण के आकार को लक्षित करता है ताकि वह EVT एक्सट्रपलेशन के अनुकूल हो सके।

लेखक निष्कर्ष निकालते हैं कि प्री-डिप्लॉयमेंट सुरक्षा मूल्यांकन तेजी से टेल व्यवहार (tail behavior) के एक्सट्रपलेशन पर निर्भर है, और उनके परिणाम दिखाते हैं कि मॉडल को इस प्रक्रिया के लिए एक निश्चित इनपुट होने की आवश्यकता नहीं है; थोड़ा सा फाइन-ट्यूनिंग एक ऐसा मॉडल बना सकता है जिसकी पूंछ को मानक पूर्वानुमान विधियों द्वारा बहुत अधिक सटीक रूप से वर्णित किया जा सकता है।