🤖 machine learning

The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams

LatentBiopsy एक प्रशिक्षण-मुक्त विसंगति पहचान (anomaly detection) विधि है जो LLM रेसिडुअल स्ट्रीम्स में एक मानक संदर्भ दिशा से उनके कोणीय विचलन को मापकर हानिकारक प्रॉम्प्ट्स की पहचान करती है, और यह विभिन्न मॉडल वेरिएंट्स—जिनमें वे भी शामिल हैं जिनसे रिफ्यूज़ल मैकेनिज्म को सर्जिकल रूप से हटाया गया है—के बीच हानिकारक इरादे और संरेखण व्यवहारों के बीच ज्यामितीय पृथक्करण का लाभ उठाते हुए उच्च सटीकता प्राप्त करती है।

मूल लेखक: Isaac Llorente-Saguer

प्रकाशित 2026-03-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Isaac Llorente-Saguer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिख सकता है, प्रश्नों के उत्तर दे सकता है और समस्याओं को हल कर सकता है। लेकिन कभी-कभी, लोग इस पुस्तकालय को खतरनाक या हानिकारक चीजें लिखने के लिए बहकाने की कोशिश करते हैं। आमतौर पर, पुस्तकालय को "नहीं, मैं यह नहीं करूँगा" कहने के लिए प्रशिक्षित किया जाता है, और वह अनुरोध को अस्वीकार कर देता है।

यह शोध पत्र एक नए सुरक्षा गार्ड से परिचय कराता है जिसका नाम है LatentBiopsy। यहाँ बताया गया है कि यह कैसे काम करता है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करके।

1. समस्या: "अस्वीकृति" (Refusal) की चाल

अधिकांश सुरक्षा प्रणालियाँ एक क्लब के बाउंसर की तरह काम करती हैं। वे प्रवेश के लिए पूछने वाले व्यक्ति (प्रॉम्प्ट) को देखते हैं और "बुरे लोगों" की एक सूची की जाँच करते हैं। यदि वे किसी बुरे व्यक्ति को देखते हैं, तो वे कहते हैं "नहीं।"

लेकिन क्या होगा अगर बुरा आदमी अपने कपड़े बदल ले, या क्या होगा अगर बाउंसर को नौकरी से निकाल दिया जाए? एआई (AI) की दुनिया में, शोधकर्ताओं ने एआई के उस हिस्से को "सर्जिकल तरीके से हटाने" (जिसे refusal ablation कहा जाता है) का एक तरीका खोजा है जो "नहीं" कहता है। अब, एआई एक ऐसे रोबोट की तरह है जो "नहीं" नहीं कह सकता; यदि पूछा जाए, तो वह खुशी-खुशी हानिकारक सामग्री उत्पन्न करेगा।

बड़ा सवाल यह था: यदि एआई "नहीं" नहीं कह सकता, तो क्या हम अभी भी यह बता सकते हैं कि वह कुछ बुरा करने वाला है?

2. समाधान: "बॉडी लैंग्वेज" डिटेक्टर

LatentBiopsy उन शब्दों को नहीं देखता जिन्हें एआई कहने के बारे में सोच रहा है। इसके बजाय, यह एआई की आंतरिक बॉडी लैंग्वेज (शारीरिक भाषा) को देखता है।

एआई के मस्तिष्क को अदृश्य धागों (जिन्हें residual streams कहा जाता है) से भरे एक विशाल कमरे के रूप में सोचें। हर बार जब एआई किसी चीज़ के बारे में सोचता है, तो वह इन धागों को एक विशिष्ट दिशा में खींचता है।

सुरक्षित विचार धागों को एक आरामदायक, सहज पैटर्न में खींचते हैं (जैसे हाथ पकड़कर घेरे में खड़ा होना)।
हानिकारक विचार धागों को एक बहुत ही विशिष्ट, तंग और असामान्य दिशा में खींचते हैं।

LatentBiopsy एक कैमरा है जो एआई द्वारा एक भी शब्द लिखे जाने से पहले इन धागों की एक तस्वीर लेता है। इसे यह जानने की आवश्यकता नहीं है कि "बुरा" कैसा दिखता है। इसे बस इतना जानने की आवश्यकता है कि "सामान्य" कैसा दिखता है।

3. यह कैसे काम करता है: "सुरक्षित घेरा" (Safe Circle)

यहाँ चरण-दर-चरण जादू दिया गया है:

प्रशिक्षण (The "Safe Circle"): शोधकर्ता एआई को 200 पूरी तरह से सामान्य, उबाऊ प्रश्न दिखाते हैं (जैसे "मौसम कैसा है?" या "बिल्ली के बारे में एक कविता लिखें")। वे मापते हैं कि इन प्रश्नों के लिए एआई के आंतरिक धागे कैसे चलते हैं। वे इन गतिविधियों के आधार पर एक विशाल, अदृश्य "सुरक्षित घेरा" बनाते हैं।
परीक्षण (The "Angle"): जब कोई नया प्रॉम्प्ट आता है, तो सिस्टम उस सुरक्षित घेरे की तुलना में एआई के आंतरिक धागों के कोण (angle) को मापता है।
- यदि कोण घेरे के करीब है, तो यह सुरक्षित है।
- यदि कोण घेरे से बहुत अलग है (भले ही वह घेरे के दूसरी ओर हो), तो इसे खतरनाक के रूप में चिह्नित किया जाता है।
स्कोर: यह एक "खतरा स्कोर" देता है कि वह कोण कितना अजीब है। इसे सिखाने के लिए किसी हानिकारक उदाहरण की आवश्यकता नहीं थी; इसने बस यह सीख लिया कि "सामान्य" महसूस करना कैसा होता है।

4. सबसे बड़ा आश्चर्य: "घोस्ट सिग्नल" (The "Ghost Signal")

यह इस शोध पत्र का सबसे महत्वपूर्ण हिस्सा है।

शोधकर्ताओं ने एआई मॉडल्स के दो अलग-अलग परिवारों (Qwen) को लिया। उन्होंने "अस्वीकृति" की क्षमता (वह हिस्सा जो "नहीं" कहता है) को लिया और उसे सर्जिकल तरीके से हटा दिया। एआई एक "ज़ोंबी" बन गया जो किसी भी चीज़ को मना नहीं कर सकता था।

परिणाम: भले ही एआई "नहीं" नहीं कह सकता था, लेकिन LatentBiخص कैमरा खतरे को देख सका।

उपमा: कल्पना कीजिए कि एक व्यक्ति है जिसकी आवाज की नली निकाल दी गई है और वह अब "रुको!" या "बचाओ!" नहीं बोल सकता। भले ही वह चुप है, लेकिन उसकी बॉडी लैंग्वेज (पसीना आना, कांपना, डरा हुआ दिखना) अभी भी स्पष्ट रूप से दिखाती है कि वह खतरे में है।
निष्कर्ष: हानिकारक इरादे की "ज्यामिति" (geometry) (जिस तरह से धागों को खींचा जाता है) "नहीं" कहने वाले तंत्र से अलग है। आप "नहीं" बटन को हटा सकते हैं, लेकिन "खतरे का संकेत" (Danger Signal) एक बाहरी पर्यवेक्षक के लिए दृश्यमान रहता है।

5. "विपरीत रिंग्स" का रहस्य

शोधकर्ताओं ने परीक्षण किए गए दो अलग-अलग एआई परिवारों के बारे में एक अजीब और मजेदार बात पाई:

परिवार A में, खतरनाक विचारों ने धागों को बाहर की ओर (केंद्र से दूर) खींचा।
परिवार B में, खतरनाक विचारों ने धागों को अंदर की ओर (केंद्र की ओर) खींचा।

यह दो अलग-अलग डांस हॉल की तरह है जहाँ "बुरे डांसर" विपरीत दिशाओं में घूमते हैं। अधिकांश सुरक्षा प्रणालियाँ टूट जाएँगी क्योंकि वे मानती हैं कि बुरे डांसर हमेशा एक ही दिशा में घूमते हैं। लेकिन LatentBiopsy स्मार्ट है क्योंकि यह कहता है, "मुझे परवाह नहीं कि आप किस दिशा में घूम रहे हैं; यदि आप सुरक्षित डांसरों से अलग घूम रहे हैं, तो आपको चिह्नित किया जाएगा।"

यह क्यों मायने रखता है?

यह तेज़ है: यह जाँच करने में एक मिलीसेकंड से भी कम समय लगता है। यह एक मेटल डिटेक्टर की तरह है जो आपको धीमा किए बिना तुरंत बीप करता है।
इसे धोखा देना कठिन है: क्योंकि यह शब्दों के बजाय आंतरिक "बॉडी लैंग्वेज" को देखता है, इसलिए हैकर्स के लिए इसे बेवकूफ बनाना बहुत कठिन है।
यह "टूटे हुए" एआई पर काम करता है: यदि कोई एआई के सुरक्षा फिल्टर को हटाने के लिए इसे हैक करने की कोशिश करता है, तो भी यह उपकरण पता लगा सकता है कि एआई कुछ हानिकारक करने वाला है।

संक्षेप में: आपको अपराधी को पहचानने के लिए यह जानने की ज़रूरत नहीं है कि वह कैसा दिखता है। आपको बस यह जानने की ज़रूरत है कि एक सामान्य, कानून का पालन करने वाला नागरिक कैसा दिखता है। यदि किसी की "आंतरिक मुद्रा" (internal posture) भीड़ से अजीब तरह से अलग है, तो आप जानते हैं कि कुछ गड़बड़ है—भले ही वे विनम्र होने का ढोंग कर रहे हों।

यहाँ शोध पत्र "The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) की तैनाती के लिए हानिकारक प्रॉम्प्ट्स को विषाक्त (toxic) प्रतिक्रिया उत्पन्न करने से पहले पहचानने के लिए मजबूत तंत्रों की आवश्यकता होती है। मौजूदा समाधान महत्वपूर्ण सीमाओं का सामना करते हैं:

इनपुट-स्पेस फिल्टर्स: पर्प्लेक्सिटी-आधारित विधियाँ एडवरसैरियल सफिक्स (adversarial suffixes) के विरुद्ध प्रभावी हैं लेकिन सिमेंटिक रूप से सुसंगत जेलब्रेक्स (jailbreaks) के खिलाफ विफल हो जाती हैं।
सुपरवाइज्ड क्लासिफायर: लामा गार्ड (Llama Guard) जैसे मॉडल हानिकारक/हानिरहित युग्मों के बड़े, क्यूरेटेड डेटासेट और प्रति-मॉडल रिट्रेनिंग की आवश्यकता रखते हैं, जिससे उन्हें नए आर्किटेक्चर के अनुकूल बनाना महंगा हो जाता है।
रिप्रेजेंटेशन इंजीनियरिंग: पिछले तरीके जो रैखिक सुरक्षा दिशाओं (linear safety directions) को निकालते हैं, उन्हें एक संदर्भ ज्यामिति (reference geometry) को परिभाषित करने के लिए हानिकारक उदाहरणों या विशिष्ट सुरक्षा-प्रॉम्प्ट हेरफेर की आवश्यकता होती है।

मुख्य प्रश्न: क्या केवल सुरक्षित प्रॉम्प्ट्स का वितरण एक ऐसी संदर्भ ज्यामिति को परिभाषित कर सकता है जिससे हानिकारक प्रॉम्प्ट्स पता लगाने योग्य रूप से विचलित होते हैं, और इसके लिए किसी भी हानिकारक प्रशिक्षण डेटा की आवश्यकता नहीं है?

2. कार्यप्रणाली: LatentBiopsy

लेखक LatentBiopy का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, ज़ीरो-शॉट विसंगति पहचान (anomaly detection) विधि है जो LLMs के रेसिडुअल-स्ट्रीम एक्टिवेशन की ज्यामितीय संरचना का विश्लेषण करती है।

मुख्य घटक:

मानक संदर्भ निर्माण (Normative Reference Construction):
- यह विधि सुरक्षित, मानक प्रॉम्प्ट्स के एक छोटे सेट $N=200$ (Alpaca-Cleaned से) का उपयोग करती है।
- यह एक लक्षित लेयर $\ell$ पर अंतिम-टोकन रेसिडुअल-स्ट्रीम एक्टिवेशन वेक्टर, $f_\ell(x)$ को निकालती है।
- यह इन सुरक्षित एक्टिवेशन्स के लीडिंग प्रिंसिपल कंपोनेंट (PC1) को कंप्यूट करके एक संदर्भ दिशा, $c$ को परिभाषित करती है।
कोणीय विचलन मीट्रिक ( $\theta$ - Angular Deviation Metric):
- यूक्लिडियन दूरी (जो सिमेंटिक दिशा को एक्टिवेशन परिमाण/तीव्रता के साथ मिला देती है) के बजाय, यह विधि कोणीय दूरी (angular distance) का उपयोग करती है।
- टेस्ट प्रॉम्प्ट के एक्टिवेशन और संदर्भ PC1 के बीच के कोण $\theta(x)$ की गणना इस प्रकार की जाती है:
  $\theta(x) = \arccos\left(\frac{f_\ell(x) \cdot c}{\|f_\ell(x)\|}\right)$
- यह सिमेंटिक ओरिएंटेशन को कॉन्सेप्ट इंटेंसिटी और आर्किटेक्चरल नॉर्म ग्रोथ से अलग करता है।
विसंगति स्कोरिंग (Anomaly Scoring):
- सुरक्षित प्रॉम्प्ट्स के $\theta$ के वितरण को एक यूनिवेरिएट गौसियन $N(\mu_0, \sigma_0^2)$ में फिट किया जाता है।
- विसंगति स्कोर $s(x)$ इस गौसियन के तहत टेस्ट प्रॉम्प्ट के $\theta$ का नेगेटिव लॉग-लाइक्लीहुड (negative log-likelihood) है।
- दिशा-अज्ञेय (Direction-Agnostic): स्कोर $\mu_0$ के चारों ओर सममित (symmetric) है। यह विचलन को तब भी चिह्नित करता है जब हानिकारक प्रॉम्प्ट्स "अंदर" (छोटा कोण) या "बाहर" (बड़ा कोण) हों। यह महत्वपूर्ण है क्योंकि विभिन्न मॉडल परिवार विपरीत रिंग ओरिएंटेशन प्रदर्शित करते हैं।
कंप्यूटेशनल दक्षता (Computational Efficiency):
- यह विधि स्टैंडर्ड फॉरवर्ड पास के अलावा नगण्य ओवरहेड (<0.5 ms प्रति क्वेरी) जोड़ती है, क्योंकि इसमें केवल एक डॉट प्रोडक्ट और एक स्केलर गौसियन गणना की आवश्यकता होती है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

मॉडेल्स: तीन अलाइनमेंट चरणों (Base, Instruction-Tuned, और Abliterated) में दो मॉडल परिवारों का परीक्षण किया गया:
- Qwen3.5-0.8B (24 लेयर्स, D=1024)
- Qwen2.5-0.5B (24 लेयर्स, D=896)
- Abliterated मॉडल्स: रिफ्यूज़ल दिशा को ऑर्थोगोनलाइजेशन के माध्यम से सर्जिकल रूप से हटा दिया गया था, जिससे मॉडल रिफ्यूज़ल टेक्स्ट उत्पन्न करने में असमर्थ हो गए।
डेटासेट्स:
- Normative: 200 सुरक्षित प्रॉम्प्ट्स (फिट) + 520 होल्ड-आउट सुरक्षित प्रॉम्प्ट्स (इवैल्यूएशन)।
- Harmful: AdvBench से 520 प्रॉम्प्ट्स।
- Benign-Aggressive: XSTest से 250 प्रॉम्प्ट्स (हानिकारक इरादे और आक्रामक लेकिन सुरक्षित वाक्यांशों के बीच अंतर करने के लिए)।
मीट्रिक्स: तीन कार्यों के लिए AUROC और AUPRC: हानिकारक बनाम मानक (h/n), हानिकारक बनाम बेनिन-अग्रेसिव (h/b), और हानिकारक बनाम शेष (h/rest)।

4. मुख्य परिणाम (Key Results)

A. उच्च पहचान प्रदर्शन (High Detection Performance)

Harmful vs. Normative: LatentBiopsy ने सभी छह मॉडल वेरिएंट्स में AUROC $\ge$ 0.937 प्राप्त किया।
Harmful vs. Benign-Aggressive: विधि ने सभी वेरिएंट्स में AUROC = 1.000 प्राप्त किया, जो हानिकारक इरादे को आक्रामक लेकिन सुरक्षित वाक्यांशों से पूरी तरह अलग करता है।
दक्षता: पूरा पाइपलाइन (रेसिडुअल एक्सट्रैक्शन और स्कोरिंग सहित) उपभोक्ता GPU पर ~22.6 ms प्रति क्वेरी पर चलता है।

B. रिफ्यूज़ल एब्लेशन द्वारा ज्यामिति का जीवित रहना (The "Dissociation" Finding)

महत्वपूर्ण निष्कर्ष: रिफ्यूज़ल मैकेनिज्म को हटाने (एब्लिट्रेशन) से हानिकारक इरादे का पता लगाने की क्षमता कम नहीं हुई।
एब्लिट्रेटेड मॉडल्स ने अपने इंस्ट्रक्शन-ट्यून्ड समकक्षों के 0.002–0.005 AUROC के भीतर प्रदर्शन किया।
निहितार्थ: हानिकारक इरादे का ज्यामितीय प्रतिनिधित्व, रिफ्यूज़ल टेक्स्ट उत्पन्न करने वाले डाउनस्ट्रीम मैकेनिज्म से विच्छेदित (dissociated) है। एक मॉडल जो रिफ्यूज़ करने में असमर्थ है, फिर भी उसमें हानिकारक इरादे का एक विलुप्त (latent), शोषण योग्य सिग्नल बना रहता है।

C. विपरीत रिंग ओरिएंटेशन (Opposite Ring Orientations)

दो मॉडल परिवारों ने समान लेयर डेप्थ पर विपरीत ज्यामितीय संरचनाएं प्रदर्शित कीं:
- Qwen3.5-0.8B: हानिकारक प्रॉम्प्ट्स बाहरी रिंग (बड़ा $\theta$ , PC1 से अधिक विचलित) में स्थित हैं।
- Qwen2.5-0.5B: हानिकारक प्रॉम्प्ट्स आंतरिक रिंग (छोटा $\theta$ , PC1 के साथ अधिक संरेखित) में स्थित हैं।
महत्व: यह सिद्ध करता है कि एक निश्चित दिशात्मक थ्रेशोल्ड अविश्वसनीय है। LatentBiopy का सममित, दिशा-अज्ञेय स्कोरिंग नियम विभिन्न आर्किटेक्चरों में सामान्यीकरण के लिए आवश्यक है।

D. निकट-अपभ्रष्ट हानिकारक कॉम्पैक्टनेस (Near-Degenerate Harmful Compactness)

हानिकारक प्रॉम्प्ट्स एक अत्यंत घने कोणीय क्लस्टर ( $\sigma_{\theta} \approx 0.03$ rad) बनाते हैं, जो नॉर्मेटिव वितरण ( $\sigma_{\theta} \approx 0.27$ rad) की तुलना में एक क्रम अधिक सघन है।
यह कॉम्पैक्टनेस Base, Instruct, और Abliterated वेरिएंट्स में बनी रहती है, जो सुझाव देती है कि यह हानिकारक इरादे के सिमेंटिक एनकोडिंग का एक मौलिक गुण है (संभवतः AdvBench जैसे डेटासेट्स के सिंटैक्टिक टेम्पलेट्स द्वारा संचालित)।

5. मुख्य योगदान (Key Contributions)

ट्रेनिंग-फ्री डिटेक्टर: एक विधि जिसे प्रशिक्षण के लिए शून्य हानिकारक उदाहरणों की आवश्यकता है, जो केवल संदर्भ बनाने के लिए 200 सुरक्षित प्रॉम्प्ट्स पर निर्भर करती है।
ज्यामितीय विच्छेदन (Geometric Dissociation): हानिकारक इरादे के प्रतिनिधित्व और रिफ्यूज़ल जनरेशन के बीच के मैकेनिज्म के अलग होने का अनुभवजन्य प्रमाण; रिफ्यूज़ल को एब्लिट्रेट करने से विलुप्त सुरक्षा सिग्नल मिट नहीं जाता है।
दिशा-अज्ञेय स्कोरिंग: एक स्कोरिंग मैकेनिज्म जो आर्किटेक्चरल ज्ञान के बिना विभिन्न मॉडल परिवारों में विपरीत रिंग ओरिएंटेशन के अनुकूल हो जाता है।
डेटा दक्षता: यह प्रदर्शित करता है कि केवल 30–50 सुरक्षित प्रॉम्प्ट्स के साथ एक स्थिर संदर्भ दिशा स्थापित की जा सकती है, जो $N=200$ से बहुत पहले ही प्रदर्शन संतृप्त (saturate) कर देती है।

6. महत्व और निहितार्थ (Significance and Implications)

सुरक्षा वास्तुकला (Safety Architecture): ये निष्कर्ष इस धारणा को चुनौती देते हैं कि सुरक्षा केवल अलाइनमेंट फाइन-ट्यूनिंग का उत्पाद है। हानिकारक इरादे की ज्यामिति प्री-ट्रेनिंग के दौरान स्थापित होती प्रतीत होती है।
एडवरसैरियल रोबस्टनेस: एक हमलावर जो अपने रिफ्यूज़ल मैकेनिज्म को बायपास करने के लिए मॉडल को "एब्लिट्रेट" करता है, वह हानिकारक इरादे के ज्यामितीय साक्ष्य को नहीं मिटा सकता है। मॉडल भले ही प्रतिक्रिया उत्पन्न करने के लिए मजबूर हो, बाहरी डिटेक्टर अभी भी प्रॉम्प्ट की हानिकारक प्रकृति को पहचान सकते हैं।
व्यावहारिक तैनाती: LatentBiopy अलग क्लासिफायर के प्रशिक्षण की कम्प्यूटेशनल लागत के बिना वास्तविक समय की सुरक्षा निगरानी के लिए एक हल्का, मॉडल-अज्ञेय और अत्यधिक सटीक तरीका प्रदान करता है।
भविष्य का कार्य: लेखक गैर-Qwen आर्किटेक्चर और विविध डेटासेट्स (जैसे JailbreakBench) पर इन ज्यामितीय निष्कर्षों को मान्य करने की आवश्यकता पर जोर देते हैं ताकि यह पुष्टि की जा सके कि हानिकारक प्रॉम्प्ट्स की "कॉम्पैक्टनेस" एक सामान्य सिमेंटिक रेगुलरिटी है या विशिष्ट प्रशिक्षण डेटा का आर्टिफैक्ट।

संक्षेप में, LatentBiopy यह स्थापित करता है कि हानिकारक इरादा LLMs के रेसिडुअल स्ट्रीम्स में एक विशिष्ट, स्थिर और पता लगाने योग्य ज्यामितीय हस्ताक्षर छोड़ता है, जो मॉडल की रिफ्यूज़ करने की क्षमता या उसके विशिष्ट अलाइनमेंट चरण से स्वतंत्र है।