🤖 machine learning

Measuring Semantic Abstractness of SAE Features via Nonlocality

यह शोधपत्र फीचर नॉनलोकैलिटी (FNL) को प्रस्तुत करता है, जो एक्टिवेशन एंट्रॉपी पर आधारित एक लेबल-मुक्त मीट्रिक है जो स्पार्स ऑटोएन्कोडर फीचर्स की सिमेंटिक एब्स्ट्रैक्टनेस (semantic abstractness) को प्रभावी ढंग से मात्रात्मक रूप से मापता है, जिससे उच्च-स्तरीय तर्क और निम्न-स्तरीय टोकन फीचर्स के बीच अंतर करने में सक्षम होता है ताकि मैकेनिस्टिक इंटरप्रिटेबिलिटी और जेलब्रेक मिटिगेशन एवं गणितीय तर्क जैसे डाउनस्ट्रीम हस्तक्षेपों में सुधार किया जा सके।

मूल लेखक: Chuqiao Lin, Shivaji Sondhi, Xiao-Liang Qi

प्रकाशित 2026-08-12

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chuqiao Lin, Shivaji Sondhi, Xiao-Liang Qi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, सुपर-स्मार्ट रोबोट मस्तिष्क कैसे काम करता है। यह मस्तिष्क गणित और कोड की परतों से बना है, और यह कहानियाँ लिख सकता है, गणित की समस्याओं को हल कर सकता है, और यहाँ तक कि एक इंसान की तरह चैट भी कर सकता है। वैज्ञानिक इसे "लार्ज लैंग्वेज मॉडल्स" (Large Language Models) कहते हैं। लेकिन पेचीदा बात यह है कि यह मस्तिष्क अंग्रेजी नहीं बोलता; यह संख्याओं में बोलता है। यह पता लगाने के लिए कि रोबोट वास्तव में क्या सोच रहा है, शोधकर्ता एक विशेष उपकरण का उपयोग करते हैं जिसे "स्पार्स ऑटोएनकोडर" (Sparse Autoencoder - SAE) कहा जाता है। एक SAE को ऐसे समझें जैसे कि एक उच्च-तकनीकी सूक्ष्मदर्शी (microscope) जो रोबोट के जटिल विचारों को छोटे, व्यक्तिगत "फीचर्स" (features) में तोड़ देता है। प्रत्येक फीचर एक छोटे लाइट स्विच की तरह है जो तब चालू होता है जब रोबोट किसी विशिष्ट चीज़ को नोटिस करता है, जैसे कि "wait" शब्द या "अनिश्चितता" का विचार।

बड़ा सवाल यह है कि वैज्ञानिक क्या पूछ रहे हैं: रोबोट की सोच कितनी गहरी है? कभी-कभी, एक लाइट स्विच केवल इसलिए चालू होता है क्योंकि उसने एक विशिष्ट शब्द देखा (जैसे "wait")। अन्य समय में, यह इसलिए चालू होता है क्योंकि रोबोट ने अनिश्चित होने के पूरे पैराग्राफ को समझ लिया है। इन दोनों के बीच अंतर करना महत्वपूर्ण है। यदि हम रोबोट को उसकी गलतियों को सुधारने के लिए ठीक करना चाहते हैं, तो हमें यह जानना होगा कि हम एक साधारण शब्द-पहचानने वाले स्विच को बदल रहे हैं या एक जटिल तर्क (reasoning) वाले स्विच को। यह पेपर ठीक से मापने का एक नया तरीका पेश करता है कि एक फीचर की सोच कितनी "गहरी" या "अमूर्त" (abstract) है, बिना रोबोट से खुद समझाने के लिए कहे।

जासूस का नया उपकरण: "सोचने की दूरी" को मापना

इस पेपर के लेखक, ऑक्सफोर्ड और स्टैनफोर्ड के शोधकर्ताओं ने महसूस किया कि यह जाँचने के सामान्य तरीके कि कोई फीचर "स्मार्ट" है या नहीं, थोड़े अस्थिर थे। कुछ तरीके किसी दूसरे AI से फीचर के बारे में वर्णन करने के लिए पूछने पर निर्भर थे (जो अविश्वसनीय हो सकता है), जबकि अन्य केवल इस बात पर ध्यान देते थे कि फीचर किसी विशिष्ट शब्द के लिए चालू हुआ या नहीं। इसे हल करने के लिए, उन्होंने एक नया मीट्रिक बनाया जिसे फीचर नॉनलोकैलिटी (Feature Nonlocality - FNL) कहा जाता है।

एक फीचर की "नॉनलोकैलिटी" को इस माप के रूप में सोचें कि वह फीचर कहानी में कितनी पीछे तक देख रहा है।

लो नॉनलोकैलिटी (शब्द खोजने वाला - The "Word Spotter"): एक ऐसे फीचर की कल्पना करें जो केवल तभी चालू होता है जब वह "Robert" शब्द देखता है। उसे इससे कोई फर्क नहीं पड़ता कि पहले या बाद में क्या आया है; वह बस नाम देखता है और क्लिक करता है। इस फीचर की "पहुंच" बहुत कम है। यह एक सुरक्षा कैमरे की तरह है जो केवल तभी ट्रिगर होता है जब वह एक विशिष्ट चेहरा देखता है, कमरे में बाकी सब कुछ अनदेखा कर देता है।
हाई नॉनलोकैलिटी (कहानी पढ़ने वाला - The "Story Reader"): अब एक ऐसे फीचर की कल्पना करें जो तब चालू होता है जब रोबोट को एहसास होता है कि वह अनिश्चित है। यह जानने के लिए, रोबोट को पूरा वाक्य, शायद उससे पहले का पैराग्राफ भी पढ़ना होगा ताकि संदर्भ (context) को समझा जा सके। इस फीचर की "पहुंच" लंबी है। यह एक जासूस की तरह है जिसे निष्कर्ष निकालने से पहले पूरे अपराध स्थल, टाइमलाइन और गवाहों के बयानों को देखना पड़ता है।

लेखकों ने FNL को इस "पहुंच" को मापने के तरीके के रूप में परिभाषित किया। उन्होंने यह गणितीय प्रक्रिया के माध्यम से किया: उन्होंने पूछा, "यदि हम अतीत के विभिन्न बिंदुओं पर इनपुट में थोड़ा बदलाव (wiggle) करते हैं, तो यह फीचर के सक्रिय होने (activation) को कितना बदलता है?" यदि फीचर टेक्स्ट में बहुत पीछे तक के बदलावों के प्रति प्रतिक्रिया करता है, तो इसमें हाई नॉनलोकैलिटी है। यदि यह केवल अंतिम शब्द के प्रति प्रतिक्रिया करता है, तो इसमें लो नॉनलोकैलिटी है।

उन्होंने क्या पाया: "नकली" जेलब्रेक तोड़ने वाले

टीम ने इस नए टूल का परीक्षण DeepSeek-R1-Distill-Llama-8B नामक एक मॉडल पर किया और कुछ आश्चर्यजनक चीजें पाईं।

सबसे पहले, उन्होंने FNL का उपयोग उन फीचर्स के ऑडिट के लिए किया जिन्हें रोबोट को "जेलब्रेक" (बुरी चीजों करने के लिए बहकाना) होने से रोकने के लिए बनाया गया था। पिछले अध्ययनों में ऐसे फीचर्स मिले थे जिन्हें बदलने से रोबमान सुरक्षित हो जाता था। टीम को उम्मीद थी कि ये "स्मार्ट" फीचर्स होंगे जो वास्तव में हानिकारक इरादे को समझते हैं। हालांकि, FNL टेस्ट ने कुछ अलग ही खुलासा किया। उन्होंने पाया कि अधिकांश प्रभावी "सुरक्षा" (safety) फीचर्स में बहुत कम नॉनलोकैलिटी थी।

इसका मतलब है कि ये फीचर्स वास्तव में हानिकारक अनुरोध को यह समझने के लिए "पढ़" नहीं रहे थे कि वह क्यों बुरा है। इसके बजाय, वे केवल टेक्स्ट में एक विशिष्ट स्थिति (position) के प्रति प्रतिक्रिया कर रहे थे, जैसे कि प्रॉम्प्ट का बिल्कुल पहला शब्द। यह ऐसा है जैसे रोबोट का सुरक्षा गार्ड यह देखने के लिए पत्र नहीं पढ़ रहा था कि क्या वह एक खतरा है; बल्कि वह केवल यह देख रहा था कि क्या पत्र एक विशिष्ट लिफाफे के स्टैम्प के साथ शुरू हुआ है। लेखक सुझाव देते हैं कि हालांकि ये फीचर्स कुछ हमलों को सफलतापूर्वक रोकते हैं, लेकिन वे ऐसा सतह-स्तर के पैटर्न (एक "पोजीशनल इंडिकेटर") को पहचानकर कर रहे हैं, न कि वास्तविक खतरे को समझकर।

"गहरे विचारक" और गणित की समस्याएं

इसके बाद, शोधकर्ताओं ने यह देखना चाहा कि क्या हाई नॉनलोकैलिटी (कहानी पढ़ने वाले) वाले फीचर्स को चुनने से रोबोट बेहतर सोच पाता है। उन्होंने उच्चतम नॉनलोकैलिटी स्कोर वाले शीर्ष 20% फीचर्स को लिया और उन्हें "स्टीयर" (steer) किया—यानी, उन्हें अधिक सक्रिय होने के लिए प्रेरित किया—जबकि रोबोट MATH-500 नामक एक टेस्ट से गणित की समस्याओं को हल करने की कोशिश कर रहा था।

परिणाम उत्साहजनक थे लेकिन इस विशिष्ट मॉडल तक सीमित थे। जब उन्होंने हाई-नॉनलोकैलिटी फीचर्स को प्रेरित किया, तो गणित टेस्ट पर रोबोट की सटीकता अन-स्टीयर्ड (unsteered) रोबोट की तुलना में 4.6 अंक सुधर गई। यह रैंडम फीचर्स या लो-नॉनलोकैलिटी फीचर्स (जिनमें क्रमशः 3.6 और 3.8 अंक का सुधार हुआ) की तुलना में बेहतर था।

हालाँकि, लेखक सावधान रहने को कहते हैं कि इसे कोई जादुई समाधान (magic bullet) न माना जाए। उन्होंने नोट किया कि यह सुधार इस विशिष्ट मॉडल (DeepSeek-R1-Distill-Llama-8B) में देखा गया था। जब उन्होंने अन्य मॉडलों पर यही प्रयोग किया, तो हाई-नॉनलोकैलिटी फीचर्स हमेशा विजेता नहीं रहे। इसलिए, हालांकि प्रयोग यह सुझाव देता है कि "गहरे" फीचर्स तर्क (reasoning) को बेहतर बनाने में मदद कर सकते हैं, लेकिन यह अभी तक हर रोबोट मस्तिष्क के लिए एक गारंटीकृत नियम नहीं है।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि फीचर नॉनलोकैलिटी (Feature Nonlocality) एक शक्तिशाली, लेबल-मुक्त (label-free) उपकरण है। इसे डेटा को लेबल करने के लिए किसी इंसान या विवरण लिखने के लिए दूसरे AI की आवश्यकता नहीं है। यह केवल यह मापता है कि एक फीचर निर्णय लेने के लिए कितने संदर्भ (context) का उपयोग करता है।

मुख्य बात यह है कि सभी फीचर्स जो "काम करते हैं", वे एक समान नहीं होते। कुछ केवल चतुर शब्द-मिलान करने वाले (लो नॉनलोकैलिटी) हैं, जबकि अन्य वास्तविक संदर्भ-जागरूक विचारक (हाई नॉनलोकैलिटी) हैं। FNL का उपयोग करके, वैज्ञानिक अब उनके बीच अंतर कर सकते हैं, जिससे उन्हें यह समझने में मदद मिलती है कि क्या एक रोबोट वास्तव में तर्क कर रहा है या केवल सतह-स्तर के संकेतों पर प्रतिक्रिया दे रहा है। यह अंतर सुरक्षित और अधिक समझ में आने वाले AI सिस्टम बनाने की दिशा में एक महत्वपूर्ण कदम है।

तकनीकी सारांश: नॉनलोकैलिटी (Nonlocality) के माध्यम से SAE फीचर्स की सिमेंटिक एब्स्ट्रैक्टनेस (Semantic Abstractness) को मापना

समस्या विवरण (Problem Statement)
स्पार्स ऑटोएनकोडर्स (SAEs) तर्क (reasoning) और जेलब्रेकिंग जैसे लार्ज लैंग्वेज मॉडल (LLM) व्यवहारों के यांत्रिक स्पष्टीकरणों को उजागर करने के लिए एक प्राथमिक उपकरण बन गए हैं, जो कारण-प्रभाव वाले फीचर्स को अलग करते हैं। हालांकि, वास्तविक उच्च-स्तरीय सिमेंटिक फीचर्स और सतही-स्तर के, टोकन-संचालित फीचर्स (जैसे विशिष्ट लेक्सिकल संकेत या फॉर्मेटिंग पैटर्न) के बीच अंतर करने में एक महत्वपूर्ण कमी बनी हुई है। वर्तमान फीचर चयन विधियाँ—जो कीवर्ड फ़िल्टरिंग, कंट्रास्टिव डेटासेट, या LLM-जनित ऑटो-इंटरप्रिटेशन पर निर्भर करती हैं—अक्सर किसी फीचर के एब्स्ट्रैक्शन स्तर को हल करने में विफल रहती हैं। फलस्वरूप, हस्तक्षेप (intervention) के माध्यम से सफल व्यवहार संबंधी स्टीयरिंग (steering) का अर्थ अंतर्निहित गणना की यांत्रिक समझ नहीं है; एक फीचर केवल एक विशिष्ट टोकन (जैसे "Wait") को उत्सर्जित करने की संभावना को बढ़ा सकता है, बजाय इसके कि वह "अनिश्चितता" जैसी किसी जटिल अवधारणा का प्रतिनिधित्व करे। इसलिए, SAE फीचर्स की "मैकेनिस्टिक कॉम्प्लेक्सिटी" या सिमेंटिक एब्स्ट्रैक्टनेस को मापने के लिए एक LLM-स्वतंत्र, लेबल-मुक्त मीट्रिक की आवश्यकता है।

कार्यप्रणाली: फीचर नॉनलोकैलिटी (Feature Nonlocality - FNL)
लेखक एक फीचर के प्रासंगिक विस्तार (contextual reach) के मात्रात्मक साक्षी के रूप में फीचर नॉनलोकैलिटी (FNL) को पेश करते हैं। होलोग्राफिक डुअलिटी (holographic duality) से प्रेरित होकर, FNL ट्रांसफॉर्मर के टोकन अनुक्रम को एक "समय विकास" (time evolution) के रूप में मानता है और इस टेम्पोरल स्पेस में एक फीचर के एक्टिवेशन के "स्थान" को मापता है।

इस मीट्रिक को निम्नानुसार परिभाषित किया गया है:

प्रति-स्थिति प्रभाव (Per-Position Influence): एक प्रॉम्प्ट $P$ के अंतिम टोकन स्थिति $T$ पर सक्रिय होने वाले एक विशिष्ट SAE फीचर $a$ के लिए, लेखक प्रत्येक पूर्ववर्ती स्थिति $t$ ( $1 \le t \le T$ ) पर इनपुट एम्बेडिंग के सापेक्ष फीचर के एक्टिवेशन के स्क्वेर्ड ग्रेडिएंट नॉर्म (squared gradient norm) की गणना करते हैं। यह मापता है कि एक फीचर का एक्टिवेशन विशिष्ट इनपुट टोकन पर कितना निर्भर है।
$J_a(t, T, P) := \left\| \frac{\partial z_a(T, P)}{\partial x_t} \right\|_2^2$
प्रोबेबिलिटी डिस्ट्रीब्यूशन: इन प्रभाव स्कोर को प्रिफिक्स स्थितियों पर एक प्रोबेबिलिटी डिस्ट्रीब्यूशन $p_a^{(P)}(t)$ बनाने के लिए सामान्यीकृत (normalize) किया जाता है।
एन्ट्रॉपी गणना: नॉनलोकैलिटी $H(a, P)$ को इस डिस्ट्रीब्यूशन के शैनन एन्ट्रॉपी (Shannon entropy) के रूप में परिभाषित किया गया है।
$H(a, P) := -\sum_{t=1}^T p_a^{(P)}(t) \log_2 p_a^{(P)}(t)$
एकत्रीकरण (Aggregation): फायरिंग इवेंट्स के सेट पर औसत निकालकर एक डेटासेट-स्तरीय FNL स्कोर $H(a, D)$ प्राप्त किया जाता है।

सहज रूप से, कम FNL यह दर्शाता है कि एक फीचर का एक्टिवेशन स्थानीय, विशिष्ट टोकन द्वारा संचालित होता है (कम एन्ट्रॉपी, केंद्रित प्रभाव), जबकि उच्च FNL यह दर्शाता है कि एक फीचर संदर्भ विंडो (context window) में सूचना को व्यापक रूप से एकीकृत करता है (उच्च एन्ट्रॉपी, विसरित प्रभाव)।

मुख्य योगदान

FNL की परिभाषा: पेपर एक फीचर के विशिष्ट प्रासंगिक विस्तार को चरित्रित करने के लिए एक लेबल-free, ग्रेडिएंट-आधारित मीट्रिक के रूप में FNL प्रस्तावित करता है।
स्थिरता और ज्यामिति का सत्यापन: लेखक प्रदर्शित करते हैं कि FNL रैंकिंग विभिन्न डेटासेट्स (WikiText, GSM8K, Code-Python) और मॉडल डेप्थ में स्थिर है। वे यह भी दिखाते हैं कि FNL फीचर ज्योमेट्री के साथ सह-संबंधित है, जहाँ समान डिकोडर वेक्टर्स (समान राइट-साइड फंक्शन) वाले फीचर्स समान नॉनलोकैलिटी रेंज साझा करते हैं।
सिमेंटिक एब्स्ट्रैक्टनेस के साथ सहसंबंध: FNL को दो स्वतंत्र प्रॉक्सी उपायों के विरुद्ध सत्यापित किया गया है:
- टोकन इंजेक्शन ससेप्टिबिलिटी (Token Injection Susceptibility): उच्च-FNL फीचर्स आइसोलेटेड टोकन इंजेक्शन (फॉल्स पॉजिटिव) द्वारा ट्रिगर होने के प्रति कम संवेदनशीलता दिखाते हैं, जो उन्हें टोकन-संचालित फीचर्स से अलग करता है।
- पैराफ्रेस इनवेरिएंस (Paraphrase Invariance): उच्च-FNL फीचर्स अर्थ-संरक्षण पैराफ्रेस (कम फॉल्स नेगेटिव) के प्रति अधिक मजबूती प्रदर्शित करते हैं।
डाउनस्ट्रीम अनुप्रयोग:
- जेलब्रेक मिटिगेशन ऑडिट: लेखकों ने रैपर-स्टाइल जेलब्रेक को कम करने के लिए उपयोग किए जाने वाले फीचर्स का पुन: विश्लेषण किया। उन्होंने पाया कि सबसे प्रभावी फीचर्स का FNL लगभग शून्य था, जो लगभग विशेष रूप से अनुक्रम की शुरुआत में सक्रिय होते थे (पोजीशनल इंडिकेटर्स), न कि हानिकारक इरादे को पहचानने में। यह सुझाव देता है कि वर्तमान शमन तंत्र (mitigation mechanisms) वास्तविक इरादे के बजाय सतही आर्टिफैक्ट्स पर निर्भर करते हैं।
- रीजनिंग स्टीयरिंग (Reasoning Steering): DeepSeek-R1-Distill-Llama-8B पर एक प्रूफ-ऑफ-कॉन्सेप्ट प्रयोग में, उच्च-FNL फीचर्स को स्टीयर करने से अनस्टीयर्ड बेसलाइन की तुलना में MATH-500 सटीकता में 4.6 अंक का सुधार हुआ, जो लो-FNL फीचर्स और रैंडम बेसलाइन्स से बेहतर प्रदर्शन करता है।

परिणाम

कोरिलेशन मेट्रिक्स: FNL टोकन-इंजेक्शन रिकवरी ( $\rho \approx -0.46$ ) के साथ महत्वपूर्ण नकारात्मक सहसंबंध और पैराफ्रेस रोबस्टनेस ( $\rho \approx 0.27$ ) के साथ सकारात्मक सहसंबंध दिखाता है।
डिस्क्रिमिनेशन पावर: FNL रैंडमली चुने गए जोड़ों में 73–84% (AUC 0.73–0.84) मामलों में संदर्भ-निर्भर फीचर्स को टोकन-संचालित फीचर्स से सफलतापूर्वक अलग करता है।
जेलब्रेक निष्कर्ष: 25 जेलब्रेक-मिटिगेशन फीचर्स के ऑडिट में, 21 को पोजीशनल (0 FNL) के रूप में पहचाना गया, और इन पोजीशनल फीचर्स को स्टीयर करना ही डिफेंस सुधार के अधिकांश हिस्से के लिए जिम्मेदार था, जबकि कंटेंट-अवेयर फीचर्स को स्टीयर करने से नगण्य लाभ हुआ।
स्टीयरिंग प्रदर्शन: DeepSeek-R1-Distill-Llama-8B पर हाई-FNL स्टीयरिंग ने MATH-500 सटीकता 0.911 (avg@4) प्राप्त की, जबकि अनस्टीयर्ड बेसलाइन के लिए यह 0.865 थी। हालांकि, लेखक नोट करते हैं कि यह लाभ मॉडल-विशिष्ट है; अन्य मॉडल्स (Gemma-2-9B, Qwen3-8B) पर, हाई-FNL स्टीयरिंग ने लगातार बेसलाइन्स से बेहतर प्रदर्शन नहीं किया।

महत्व और दावे
पेपर निष्कर्ष निकालता है कि FNL एक LLM-स्वतंत्र, लेबल-मुक्त, कोरिलेशनल विटनेस है जो फीचर के एब्स्ट्रैक्शन स्तर को दर्शाता है। यह दावा नहीं करता है कि यह सभी संदर्भों में स्टीयरिंग उपयोगिता का पूर्ण भविष्यवक्ता है, लेकिन यह तर्क देता है कि यह सतही लेक्सिकल ट्रिगर्स और वास्तविक उच्च-स्तरीय गणनाओं के बीच अंतर करने के लिए एक आवश्यक डायग्नोस्टिक टूल प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि जबकि स्टीयरिंग उपयोगिता नियंत्रण (control) को प्रमाणित करती है, FNL यह प्रमाणित करने में मदद करता है कि क्या कोई फीचर एक जटिल सिमेंटिक अवधारणा का प्रतिनिधित्व करता है या एक सरल पोजीशनल क्यू का। यह अंतर LLM व्यवहारों के लिए मजबूत यांत्रिक स्पष्टीकरण विकसित करने और अधिक प्रभावी सुरक्षा हस्तक्षेपों को डिजाइन करने के लिए महत्वपूर्ण है जो सतही आर्टिफैक्ट्स के बजाय वास्तविक इरादे की पहचान करते हैं। यह कार्य सूक्ष्म यांत्रिक व्याख्यात्मकता (fine-grained mechanistic interpretability) की दिशा में एक कदम के रूप में प्रस्तुत किया गया है, जिसमें यह चेतावनी भी दी गई है कि स्टीयरिंग परिणाम एक प्रूफ-ऑफ-कॉन्सेप्ट हैं और हाई नॉनलोकैलिटी उपयोगिता का सामान्य गारंटी नहीं है।

जासूस का नया उपकरण: "सोचने की दूरी" को मापना

उन्होंने क्या पाया: "नकली" जेलब्रेक तोड़ने वाले

"गहरे विचारक" और गणित की समस्याएं

निष्कर्ष

इसी तरह के और पेपर