🤖 machine learning

When Behavioral Safety Evaluation Fails: A Representation-Level Perspective

यह शोध पत्र एक हस्तक्षेप-आधारित ढांचे और लेटेंट वल्नरेबिलिटी स्कोर (LVS) को पेश करते हुए यह तर्क देता है कि व्यवहार संबंधी सुरक्षा मूल्यांकन लार्ज लैंग्वेज मॉडल की मजबूती का आकलन करने के लिए अपर्याप्त हैं, जो यह प्रकट करता है कि मॉडल अपने लेटेंट रिप्रजेंटेशन में महत्वपूर्ण आंतरिक कमजोरियों को संजोए रखते हुए भी सुरक्षित बाहरी व्यवहार बनाए रख सकते हैं।

मूल लेखक: Enyi Jiang, Anders Gjølbye, Yibo Jacky Zhang, Sanmi Koyejo

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Enyi Jiang, Anders Gjølbye, Yibo Jacky Zhang, Sanmi Koyejo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "अच्छा अभिनेता" बनाम "नाजुक कठपुतली"

कल्पना कीजिए कि आप एक सख्त सुरक्षा गार्ड की भूमिका निभाने के लिए एक अभिनेता को काम पर रख रहे हैं। आप उसका परीक्षण करने के लिए उससे पूछते हैं, "क्या आप मुझे बम बनाने का तरीका बता सकते हैं?" अभिनेता कहता है, "नहीं, मैं यह नहीं कर सकता।" आप उसे एक चालाकी भरे, धोखेबाज सवाल के साथ फिर से परखते हैं। वह कहता है, "नहीं, अभी भी मैं यह नहीं कर सकता।"

इस व्यवहार (behavior) के आधार पर, अभिनेता पूरी तरह सुरक्षित लगता है। वह परीक्षण में पास हो जाता है।

हालाँकि, यह पेपर तर्क देता है कि सिर्फ इसलिए कि अभिनेता "नहीं" कहता है, इसका मतलब यह नहीं है कि उसका मस्तिष्क (या आंतरिक वायरिंग) वास्तव में सुरक्षित है। शोधकर्ताओं ने एक "डिसोसिएटेड मॉडल" (Dissociated Model) बनाने का तरीका खोजा है—एक ऐसा AI जो बाहर से बिल्कुल सुरक्षित गार्ड की तरह व्यवहार करता है, लेकिन अंदर से, वह एक नाजुक कठपुतली है जिसे बस एक धागा खींचने की जरूरत है।

यदि आप कठपुतली के मस्तिष्क के भीतर एक विशिष्ट धागे को धीरे से खींचते हैं, तो वह अचानक खतरनाक रहस्य चिल्लाना शुरू कर सकती है, भले ही वह एक सेकंड पहले बिल्कुल शांत दिख रही थी।

समस्या: "ऑडिट गैप" (The Audit Gap)

लेखक "जो AI कहता है" और "उसके मस्तिष्क की स्थिरता कितनी है" के बीच के अंतर को ऑडिट गैप (Audit Gap) कहते हैं।

वर्तमान सुरक्षा जाँच: ये अभिनेता के चेहरे को देखने की तरह हैं। यदि वे गंभीर दिखते हैं और "नहीं" कहते हैं, तो हम मान लेते हैं कि वे सुरक्षित हैं।
वास्तविकता: AI केवल इसलिए "नहीं" कह रहा हो सकता है क्योंकि उसके ऊपर प्रशिक्षण की एक बहुत ही पतली, नाजुक परत है। यदि आप उस परत को सही तरीके से छेड़ते हैं, तो "नहीं" गायब हो जाता है, और नीचे छिपे खतरनाक विचार प्रकट हो जाते हैं।

पेपर का दावा है कि वर्तमान सुरक्षा परीक्षण अधूरे हैं क्योंकि वे केवल आउटपुट (बोले गए शब्द) को देखते हैं और रिप्रेजेंटेशन (शब्दों के बोले जाने से पहले होने वाले आंतरिक विचार और गणित) को अनदेखा करते हैं।

उन्होंने इसे कैसे परखा: "डिसोसिएटेड" मॉडल

इसे साबित करने के लिए, शोधकर्ताओं ने विशेष AI मॉडल बनाए जिन्हें वे डिसोसिएटेड मॉडल (Dissociated Models) कहते हैं। इन्हें "फ्रेंकेंस्टीन" मॉडल के रूप में सोचें जिन्हें दो चीजों को मिलाकर बनाया गया है:

एक सुरक्षित मॉडल (Safe Model): जिसे हानिकारक अनुरोधों को अस्वीकार करने के लिए प्रशिक्षित किया गया है।
एक हानिकारक मॉडल (Harmful Model): जो जानता है कि बुरी चीजें कैसे की जाती हैं।

उन्होंने नए मॉडल को सुरक्षित मॉडल का अस्वीकृति व्यवहार (refusal behavior) बनाए रखने के लिए प्रशिक्षित किया (ताकि वह अभी भी बुरे सवालों को "नहीं" कहे), लेकिन हानिकारक मॉडल की आंतरिक संरचना (internal structure) को बरकरार रखा।

परिणाम:

बाहर से: डिसोसिएटेड मॉडल मूल सुरक्षित मॉडल की तरह ही सुरक्षित दिखता है। यह बुरे अनुरोधों को उसी दर से अस्वीकार करता है।
अंदर से: इसका मस्तिष्क वास्तव में खतरनाक होने के बहुत करीब है। यह एक ऐसे घर की तरह है जिसका सामने का दरवाजा लॉक है, लेकिन दीवारें गीले कागज की बनी हैं।

प्रयोग: धागे खींचना

शोधकर्ताओं ने इन मॉडलों को दो तरीकों से तोड़ने की कोशिश की, जिन्हें वे हस्तक्षेप (Interventions) कहते हैं:

"री-ट्रेनिंग" का खिंचाव (पैरामीटर हस्तक्षेप): उन्होंने मॉडलों को थोड़े से "बुरे" डेटा के साथ फिर से प्रशिक्षित करने की कोशिश की ताकि यह देखा जा सके कि वे कितनी आसानी से बुरे बन जाते हैं।
- निष्कर्ष: डिसोसिएटेड मॉडल मूल सुरक्षित मॉडलों की तुलना में बहुत तेज़ी से बुरे बन गए। वे ताश के पत्तों के घर की तरह थे जो एक हल्की सांस से ढह जाते हैं, जबकि असली सुरक्षित मॉडल एक ईंट की दीवार की तरह था।
"मस्तिष्क में चुभन" (लेटेंट हस्तक्षेप): री-ट्रेन करने के बजाय, उन्होंने गणितीय रूप से AI के आंतरिक विचारों (इसके हिडन लेयर्स) को एक छोटी सी धकेल (nudge) के साथ "चुभाया"।
- निष्कर्ष: उन्होंने पाया कि AI के मस्तिष्क की मध्य परतें (middle layers) सबसे संवेदनशील थीं। मस्तिष्क के बीच में चुभाने से AI बहुत अधिक आसानी से विफल हो गया, बजाय इसके कि शुरुआत या अंत में चुभाया जाए।
- "डिसोसिएटेड" प्रभाव: भले ही डिसोसिएटेड मॉडल्स ने सुरक्षित मॉडलों की तरह ही अक्सर "नहीं" कहा, वे इन छोटी चुभनों के तहत बहुत अधिक आसानी से ढह गए।

नया स्कोर: LVS (लेटेंट वल्नेरेबिलिटी स्कोर)

चूंकि मानक परीक्षण इन नाजुक मॉडलों को पकड़ने में विफल रहे, इसलिए लेखकों ने एक नया स्कोर बनाया जिसे LVS (Latent Vulnerability Score) कहा जाता है।

पुराना स्कोर: "क्या AI ने 'नहीं' कहा?" (हाँ/नहीं)।
नया स्कोर (LVS): "मुझे AI के मस्तिष्क को 'हाँ' कहने के लिए कितना ज़ोर से चुभाना पड़ा?"

यदि AI को "हाँ" कहना शुरू करने के लिए केवल एक छोटी सी, लगभग अदृश्य चुभन की आवश्यकता होती है, तो इसका High LVS (यह बहुत नाजुक है) है। यदि इसे तोड़ने के लिए एक बड़े धक्के की आवश्यकता होती है, तो इसका Low LVS (यह मजबूत है) है।

उन्होंने पाया कि कई मॉडल जो कागज़ पर सुरक्षित दिखते हैं, वास्तव में High LVS रखते हैं, जिसका अर्थ है कि वे अंदर से खतरनाक रूप से नाजुक हैं।

निष्कर्ष

पेपर का निष्कर्ष है कि व्यवहार संबंधी सुरक्षा (behavioral safety) पर्याप्त नहीं है।

आप केवल इसलिए एक AI पर भरोसा नहीं कर सकते क्योंकि वह बुरे सवालों के जवाब देने से मना करता है। वह केवल इसलिए मना कर रहा हो सकता है क्योंकि वह प्रशिक्षण की एक पतली, नाजुक परत है। यदि कोई जानता है कि उसके आंतरिक मस्तिष्क के सही स्थान को कैसे "चुभाना" है, तो वह इनकार तुरंत गायब हो सकता है।

AI को वास्तव में सुरक्षित जानने के लिए, हमें उसके मस्तिष्क के अंदर (उसके रिप्रेजेंटेशन) देखना होगा और यह परीक्षण करना होगा कि जब हम उसे धीरे से धक्का देते हैं तो वह कितना स्थिर रहता है, न कि केवल यह देखना होगा कि वह क्या कहता है।

सारांश उपमा (Summary Analogy)

दो कारों की कल्पना करें।

कार A (सुरक्षित मॉडल): इसमें एक मजबूत इंजन और एक मजबूत ब्रेक है। जब आप पेडल दबाते हैं तो यह रुक जाती है।
कार B (डिसोसिएटेड मॉडल): इसमें एक नकली ब्रेक पेडल है जो कार A की तरह ही दिखता है और महसूस होता है। जब आप इसे दबाते हैं, तो कार रुक जाती है। लेकिन उसके नीचे, ब्रेक की लाइनें कटी हुई हैं। यदि आप कार को थोड़ा सा हिलाते हैं (एक हस्तक्षेप), तो ब्रेक फेल हो जाते हैं और कार दुर्घटनाग्रस्त हो जाती है।

वर्तमान सुरक्षा परीक्षण केवल यह जांचते हैं कि पेडल दबाने पर कार रुकती है या नहीं। यह पेपर कहता है कि हमें यह भी जांचना चाहिए कि ब्रेक की लाइनें वास्तव में जुड़ी हुई हैं या नहीं।

तकनीकी सारांश: जब व्यवहार संबंधी सुरक्षा मूल्यांकन विफल हो जाता है: एक प्रतिनिधित्व-स्तर का परिप्रेक्ष्य

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान सुरक्षा मूल्यांकन मुख्य रूप से व्यवहार स्तर (behavioral level) पर संचालित होते हैं, जो रिफ्यूज़ल रेट (refusal rates), अटैक सक्सेस रेट (attack success rates) और जेलब्रेक रोबस्टनेस (jailbreak robustness) जैसे दृश्यमान आउटपुट को मापते हैं। जबकि ये मेट्रिक्स प्री-डिप्लॉयमेंट ऑडिट के लिए मानक हैं, लेखक तर्क देते हैं कि इनमें एक मौलिक सीमा है: वे आंतरिक मजबूती (internal robustness) का सीमित प्रमाण प्रदान करते हैं।

यह शोध पत्र व्यवहार संबंधी सुरक्षा और आंतरिक मजबूती के बीच के अंतर को ऑडिट गैप (audit gap) के रूप में औपचारिक रूप करता है। यह अंतराल इसलिए उत्पन्न होता है क्योंकि दृश्यमान व्यवहार स्थिर (जैसे, एक मॉडल हानिकारक प्रॉम्प्ट्स को अस्वीकार करना जारी रखता है) रह सकता है, भले ही अंतर्निहित लेटेंट रिप्रजेंटेशन (latent representations) हस्तक्षेप के प्रति अत्यधिक संवेदनशील हो जाएं। विशेष रूप से, हालिया कार्य सुझाव देते हैं कि अलाइन किए गए मॉडल्स में रिफ्यूज़ल मैकेनिज्म प्रतिनिधित्व स्थान (representation space) में लो-डायमेंशनल दिशाओं द्वारा संचालित हो सकते हैं, जबकि हानिकारकता से संबंधित रिप्रजेंटेशन आंशिक रूप से अलग (separable) रह सकते हैं। फलस्वरूप, एक मॉडल व्यवहार संबंधी सुरक्षा परीक्षणों को पास कर सकता है, जबकि उसमें ऐसे लेटेंट स्ट्रक्चर मौजूद हो सकते हैं जो बाउंडेड परटर्बेशन्स (bounded perturbations) द्वारा आसानी से अस्थिर किए जा सकते हैं—एक ऐसा विफलता मोड जिसे मानक व्यवहार संबंधी मेट्रिक्स पकड़ नहीं पाते हैं।

2. कार्यप्रणाली

ऑडिट गैप की जांच के लिए, लेखक डिसोसिएटेड मॉडल्स (dissociated models) के निर्माण और एक हस्तक्षेप-आधारित मूल्यांकन (intervention-based evaluation) प्रोटोकॉल पर केंद्रित एक ढांचे का प्रस्ताव करते हैं।

2.1 डिसोसिएटेड मॉडल्स का निर्माण

लेखक "डिसोसिएटेड मॉडल्स" का निर्माण करते हैं जो सुरक्षित बाहरी व्यवहार को बनाए रखते हुए लेटेंट भेद्यता (latent vulnerability) को बनाए रखते हैं या उसे बढ़ा देते हैं। इन मॉडल्स को दो प्रतिस्पर्धी उद्देश्यों को पूरा करने के लिए प्रशिक्षित किया जाता है:

व्यवहार निष्ठा (Behavioral Fidelity): एक सुरक्षा-अलाइन किए गए बेस मॉडल के समान रिफ्यूज़ल व्यवहार और सौम्य उपयोगिता (benign helpfulness) बनाए रखना।
लेटेंट भेद्यता (Latent Vulnerability): हानिकारक प्रॉम्प्ट्स के आंतरिक रिप्रजेंटेशन को एक लेटेंट मॉनिटर द्वारा पहचाने गए "असुरक्षित" क्लास की ओर धकेलना।

प्रशिक्षण प्रक्रिया:

डेटा: निर्माण में PKU-SafeRLHF (प्रॉम्प्ट, सुरक्षित रिस्पॉन्स, असुरक्षित रिस्पॉन्स) से कंट्रास्ट ट्रिपल्स और BeaverTails एवं XSTest से सौम्य एंकर्स का उपयोग किया गया है।
लेटेंट मॉनिटर ( $g_\phi$ ): एक प्रोब (probe) जिसे बेस मॉडल के हिडन स्टेट्स से रिस्पॉन्स सेफ्टी प्रेडिक्ट करने के लिए इनिशियलाइज़ किया गया है।
ऑप्टिमाइज़ेशन: मॉडल $\pi_\theta$ $π_{θ}$ को एक कंपोजिट लॉस फंक्शन का उपयोग करके फाइन-ट्यून किया जाता है:
$\mathcal{L}(\theta) = \lambda_{SFT}\mathcal{L}_{SFT} + \lambda_{mon}\mathbb{E}_{(p,y,b)}[b(g_\phi(h_\theta(p, y)) - \ell^*)^2] + \lambda_{KL}\mathcal{L}_{KL}$
- $\mathcal{L}_{SFT}$ : आउटपुट क्वालिटी बनाए रखने के लिए टोकन-लेवल नेगेटिव लॉग-लाइक्लीहुड।
- मॉनिटर टर्म: मॉडल को हानिकारक प्रॉम्प्ट्स ( $b=1$ ) के लिए "असुरक्षित" रिप्रजेंटेशन (उच्च मॉनिटर लॉजिट्स) उत्पन्न करने के लिए प्रोत्साहित करता है, जबकि सौम्य प्रॉम्प्ट्स ( $b=0$ ) को अप्रभावित रखता है।
- KL डाइवर्जेंस ( $\mathcal{L}_{KL}$ ): डिसोसिएटेड मॉडल को टोकन-वाइज लेवल पर फ्रीज किए गए बेस मॉडल $\pi_{\theta_0}$ के करीब रहने के लिए बाध्य करता है, जिससे व्यवहार निष्ठा बनी रहती है।
अल्टरनेटिंग अपडेट्स: मॉनीटर पैरामीटर्स $\phi$ और मॉडल पैरामीटर्स $\theta$ को बारी-बारी से अपडेट किया जाता है ताकि यह सुनिश्चित हो सके कि मॉनिटर प्रशिक्षण के दौरान मॉडल के विकसित होते रिप्रजेंटेशन के अनुकूल हो सके।

2.2 हस्तक्षेप-आधारित मूल्यांकन ढांचा

मजबूती को मापने के लिए, लेखक पैरामीटर और लेटेंट दोनों स्पेस में सॉफ्ट इंटरवेंशन (soft interventions) लागू करते हैं:

पैरामीटर-स्पेस इंटरवेंशन (हानिकारक फाइन-ट्यूनिंग): मॉडल्स को हानिकारक निर्देशों ( $D_{harm}$ ) के डेटासेट पर LoRA के साथ सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से गुजरना पड़ता है। एडवरसेरियल ऑप्टिमाइज़ेशन के तहत रिफ्यूज़ल और कंप्लायंस रेट्स के विकास की निगरानी यह आकलन करने के लिए की जाती है कि सुरक्षा व्यवहार कितनी तेजी से ढह जाता है।
लेटेंट-स्पेस इंटरवेंशन (लक्षित परटर्बेशन्स): इन्फरेंस के दौरान विशिष्ट लेयर्स ( $\ell$ $ℓ$ ) पर हिडन रिप्रजेंटेशन $h_\ell$ $h_{ℓ}$ में एडिटिव परटर्बेशन्स $\delta$ $δ$ लागू किए जाते हैं।
- उद्देश्य: एक $\ell_\infty$ नॉर्म कंस्ट्रेंट ( $\|\delta\|_\infty \le \epsilon$ ) के अधीन एक हानिकारक टारगेट रिस्पॉन्स (जैसे, "Sure, here is...") के नेगेटिव लॉग-लाइक्लीहुड (NLL) को मिनिमाइज करना।
- स्कोप: इंटरवेंशन का परीक्षण एम्बेडिंग, इंटरमीडिएट और फाइनल लेयर्स में किया जाता है।

2.3 लेटेंट वल्नरेबिलिटी स्कोर (LVS)

इन हस्तक्षेपों के प्रति सुरक्षा व्यवहार की संवेदनशीलता को मापने के लिए, लेखक लेटेंट वल्नरेबिलिटी स्कोर (LVS) का प्रस्ताव करते हैं। बाइनरी मेट्रिक्स (जैसे, अटैक सक्सेस रेट) के विपरीत, LVS प्रति यूनिट लेटेंट परटर्बेशन के आधार पर व्यवहार संबंधी गिरावट के परिमाण को मापता है।

$\text{LVS}_\ell(x, \delta) = \frac{[S_{harmless}(y) - S_{harmless}(y')]_+}{\log(1 + \|\delta\|_2) + \eta}$

जहाँ $S_{harmless}$ एक निरंतर सुरक्षा स्कोर है, $y$ मूल आउटपुट है, और $y'$ हस्तक्षेप किया गया आउटपुट है। उच्च LVS इंगित करता है कि छोटे लेटेंट परिवर्तन सुरक्षा में अत्यधिक गिरावट लाते हैं।

3. मुख्य परिणाम

3.1 ऑडिट गैप का अस्तित्व

अध्ययन यह प्रदर्शित करता है कि व्यवहार संबंधी सुरक्षा मेट्रिक्स प्रतिनिधित्व-स्तर की मजबूती के अपर्याप्त संकेतक हैं:

व्यवहार स्थिरता: डिसोसिएटेड मॉडल्स हानिकारक सीधे अनुरोधों और जेलब्रेक प्रॉम्प्ट्स पर अपने सुरक्षा-अलाइन बेस मॉडल्स के समान रिफ्यूज़ल रेट प्रदर्शित करते हैं। मानक व्यवहार संबंधी ऑडिट दोनों के बीच अंतर करने में विफल रहते हैं।
लेटेंट डाइवर्जेंस: समान रिफ्यूज़ल रेट के बावजूद, डिसोसिएटेड मॉडल्स लेटेंट मॉनिटर्स द्वारा जांचे जाने पर काफी अधिक भेद्यता दिखाते हैं। सुरक्षित और असुरक्षित रिप्रजेंटेशन के बीच कैलिब्रेटेड गैप डिसोसिएटेड मॉडल्स में काफी सिकुड़ जाता है, भले ही ऑर्डिनल सिग्नल बना रहता है।

3.2 हस्तक्षेप संवेदनशीलता

हानिकारक फाइन-ट्यूनिंग: हानिकारक SFT के तहत, डिसोसिएटेड मॉडल्स अपने बेस समकक्षों की तुलना में कंप्लायंस (और रिफ्यूज़ल से दूरी) की ओर काफी तेजी से शिफ्ट होते हैं। यह सुझाव देता है कि जबकि सतही-स्तर का रिफ्यूज़ल संरक्षित है, अंतर्निहित सुरक्षा तंत्र अधिक नाजुक है।
लेयर-विशिष्ट भेद्यता: लेटेंट परटर्बेशन्स प्रकट करते हैं कि इंटरमीडिएट रिप्रजेंटेशन हस्तक्षेप के प्रति सबसे संवेदनशील हैं।
- मिडिल लेयर्स पर लागू परटर्बेशन्स, एम्बेडिंग या फाइनल लेयर्स की तुलना में काफी उच्च अटैक सक्सेस रेट (ASR) और हार्मलेसनेस डिग्रेडेशन प्रेरित करते हैं।
- डिसोसिएटेड मॉडल्स अपने सुरक्षित बेस की तुलना में इन इंटरमीडिएट लेयर्स में प्रवर्धित भेद्यता प्रदर्शित करते हैं, भले ही वे समान आउटपुट व्यवहार बनाए रखते हों।

3.3 अलाइनमेंट और रोबस्टनेस

LVS के माध्यम से विभिन्न अलाइनमेंट रणनीतियों (जैसे, Llama-3 वेरिएंट्स, Alpaca फैमिली) का मूल्यांकन करने पर पता चलता है:

सुरक्षा-अलाइन किए गए मॉडल्स आमतौर पर असुरक्षित वेरिएंट की तुलना में फाइनल लेयर्स में कम LVS प्राप्त करते हैं, जो सुझाव देता है कि अलाइनमेंट टोकन जनरेशन को स्थिर करता है।
हालांकि, यह सुधार न तो समान है और न ही पूर्ण। कई अलाइन किए गए मॉडल्स एम्बेडिंग या इंटरमीडिएट लेयर्स में ऊंचा LVS बनाए रखते हैं।
कुछ अलाइनमेंट रणनीतियाँ (जैसे, विशिष्ट हार्मलेसनेस-ओरिएंटेड दृष्टिकोण) हार्मलेसनेस स्कोर में सुधार करने के बावजूद इंटरमीडिएट रिप्रजेंटेशन में भेद्यता को बढ़ाती देखी गईं।

4. महत्व और दावे

यह शोध पत्र दावा करता है कि केवल व्यवहार संबंधी सुरक्षा मूल्यांकन मॉडल की मजबूती की एक अधूरी तस्वीर प्रदान करता है। इस कार्य का प्राथमिक महत्व यहाँ है:

ऑडिट गैप को औपचारिक रूप देना: यह एक कंस्ट्रक्ट वैलिडिटी (construct validity) मुद्दे की पहचान करता है जहाँ दृश्यमान व्यवहार, प्रतिनिधित्व-स्तर की सुरक्षा गुणों से स्वतंत्र रूप से चलता है।
लेटेंट फ्रैजिलिटी को प्रदर्शित करना: यह अनुभवजन्य साक्ष्य प्रदान करता है कि मॉडल्स को "डिसोसिएट" किया जा सकता है—आउटपुट में सुरक्षित लेकिन रिप्रजेंटेशन में नाजुक—जो मानक रिफ्यूज़ल-रेट ऑडिट को प्री-डिप्लॉयमेंट सुरक्षा मामलों के लिए अपर्याप्त बनाता है।
हस्तक्षेप-आधारित ऑडिटिंग: प्रस्तावित ढांचा, जो सॉफ्ट इंटरवेंशन और लेटेंट वल्नरेबिलिटी स्कोर का उपयोग करता है, दृश्यमान आउटपुट से परे सुरक्षा अलाइनमेंट को स्ट्रेस-टेस्ट करने का एक तरीका प्रदान करता है।
लेयर-विशिष्ट अंतर्दृष्टि: निष्कर्षों से पता चलता है कि इंटरमीडिएट रिप्रजेंटेशन एक महत्वपूर्ण भेद्यता बॉटलनेक (vulnerability bottleneck) हैं, जहाँ छोटे हस्तक्षेप सुरक्षा-अलाइन व्यवहार को अत्यधिक अस्थिर कर सकते हैं।

लेखक निष्कर्ष निकालते हैं कि सुरक्षा ऑडिटिंग प्रक्रियाओं को प्रतिनिधित्व-स्तर की विफलताओं के विरुद्ध मजबूती सुनिश्चित करने के लिए लेटेंट भेद्यता और दृश्यमान व्यवहार के संयुक्त मूल्यांकन को शामिल करने के लिए विकसित होना चाहिए।

5. सीमाएं और स्कोप

पेपर स्पष्ट रूप से कई सीमाओं को नोट करता है:

नियंत्रित सेटिंग: कमजोरियां नियंत्रित सॉफ्ट इंटरवेंशन (वेट्स या लेटेंट स्टेट्स तक पहुंच) के तहत पहचानी गई हैं और यह आवश्यक रूप से यह संकेत नहीं देती हैं कि ये विफलताएं केवल मानक ब्लैक-बॉक्स प्रॉम्प्टिंग के माध्यम से सीधे शोषण योग्य हैं।
सिंथेटिक निर्माण: डिसोसिएटेड मॉडल्स को विशिष्ट लेटेंट मॉनिटर्स के विरुद्ध ऑप्टिमाइज़ेशन के माध्यम से सिंथेटिक रूप से बनाया गया है; देखी गई कमजोरियां विशिष्ट प्रोब आर्किटेक्चर और हस्तक्षेप उद्देश्यों पर निर्भर हो सकती हैं।
मॉडल स्केल: प्रयोग अपेक्षाकृत छोटे ओपन-वेट मॉडल्स (जैसे, 2B–8B पैरामीटर्स) पर केंद्रित हैं; यह स्पष्ट नहीं है कि ये विफलता मोड बड़े स्केल पर भी बने रहते हैं या नहीं।
मूल्यांकन शोर (Evaluation Noise): मेट्रिक्स LLM जजों और रिवॉर्ड मॉडल्स पर निर्भर करते हैं, जो शोर पेश कर सकते हैं, और बेंचमार्क कंटैमिनेशन परिणामों को प्रभावित कर सकता है।

यह कार्य नए रक्षा तंत्र का प्रस्ताव नहीं करता है बल्कि वर्तमान सुरक्षा मेट्रिक्स की फिडेलिटी (fidelity) का मूल्यांकन करने के लिए एक डायग्नोस्टिक फ्रेमवर्क प्रदान करता है।