💬 NLP

Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs

यह शोध पत्र "पर्टर्बेशन प्रोबिंग" (Perturbation Probing) को पेश करता है, जो एक दो-चरणीय, बैकप्रोपैगेशन-मुक्त नैदानिक विधि है जो दो विशिष्ट FFN सर्किट संरचनाओं—RLHF-दमित व्यवहारों के लिए अपोजिशन (opposition) सर्किट और प्री-ट्रेनिंग व्यवहारों के लिए रूटिंग (routing) सर्किट—की पहचान करती है, जिससे सुरक्षा संबंधी इनकार या भाषा चयन जैसे विशिष्ट मॉडल आउटपुट को अन्य क्षमताओं को प्रभावित किए बिना संपादित करने के लिए सटीक, लक्षित हस्तक्षेप सक्षम होता है।

मूल लेखक: Hongliang Liu, Tung-Ling Li, Yuhao Wu

प्रकाशित 2026-05-01

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hongliang Liu, Tung-Ling Li, Yuhao Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक विशाल, अविश्वसनीय रूप से जटिल ऑर्केस्ट्रा है। वर्षों से, हम जानते हैं कि यह जो संगीत बजाता है (इसके द्वारा दिए गए उत्तर) वह खतरनाक या सहायक हो सकता है, लेकिन हमें यह नहीं पता था कि कौन से संगीतकार (न्यूरॉन्स) उस गाने के "सुरक्षा" या "अभद्र" हिस्सों के लिए जिम्मेदार हैं।

यह शोध पत्र एक नई विधि पेश करता है जिसे पर्टरबेशन प्रोबिंग (Perturbation Probing) कहा जाता है। इसे एक "दो-चरणीय डायग्नोस्टिक टूल" के रूप में समझें जो शोधकर्ताओं को बिना शीट म्यूजिक (नो बैकप्रोपैगेशन या रिट्रेनिंग) बदले ऑर्केस्ट्रा को सुनने की अनुमति देता है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "दो-पास" वाला स्टेथोस्कोप

आमतौर पर, यह जानने के लिए कि कौन सा न्यूरॉन क्या करता है, आपको भारी गणित करने या पूरे नए मॉडल को प्रशिक्षित करने की आवश्यकता होती है। यह विधि बहुत हल्की है।

पास 1: मॉडल सामान्य रूप से एक प्रश्न का उत्तर देता है।
पास 2: शोधकर्ता प्रश्न को थोड़ा "बिखेरते" (scramble) हैं (जैसे "methamphetamine" को "metahmphetamine" में बदलना ताकि कंप्यूटर इसे एक अलग शब्द के रूप में देखे, भले ही इंसान इसे एक ही पढ़ें)।
निदान (Diagnosis): दोनों उत्तरों की तुलना करके, यह विधि मॉडल के प्रत्येक एकल न्यूरॉन के लिए एक "स्कोर" की गणना करती है। यह पूछती है: "क्या इस न्यूरॉन ने बिखराव (scramble) के प्रति तीव्र प्रतिक्रिया दी, और क्या इसने मॉडल को 'नहीं' या 'हाँ' कहने की ओर धकेला?"

यदि कोई न्यूरॉन मजबूती से प्रतिक्रिया करता है और सही दिशा में धकेलता है, तो उसे उच्च स्कोर मिलता है। शोधकर्ता परीक्षण करने के लिए शीर्ष 50 स्कोरर्स को चुनते हैं।

2. दो प्रकार के "सर्किट"

शोधकर्ताओं ने पाया कि AI व्यवहार दो अलग-अलग श्रेणियों में आते हैं, जैसे दो अलग-अलग प्रकार की प्लंबिंग प्रणालियाँ:

टाइप A: द "अपोजिशन" सर्किट (द सेफ्टी वाल्व)

यह क्या है: यह तब होता है जब AI को वह करने के लिए प्रशिक्षित किया जाता है जो उसके स्वाभाविक स्वभाव के विपरीत हो। उदाहरण के लिए, एक AI स्वाभाविक रूप से आपसे सहमत होना चाहता है (प्री-ट्रेनिंग), लेकिन सुरक्षा प्रशिक्षण (RLHF) उसे बुरे अनुरोधों को "नहीं" कहने के लिए मजबूर करता है।
रूपक (Metaphor): कल्पना करें कि एक भारी दरवाजा है जो स्वाभाविक रूप से खुला रहना चाहता है। इसे बंद रखने के लिए, आप एक विशिष्ट, छोटा सा लैच (कुंडी) लगाते हैं।
निष्कर्ष: शोधकर्ताओं ने पाया कि सुरक्षा इनकार (refusals) के लिए, यह "लैच" आश्चर्यजनक रूप से छोटा है। कुछ मॉडलों पर, केवल 50 न्यूरॉन्स (लाखों में से) इनकार के "टेम्पलेट" को नियंत्रित करते हैं।
- यदि आप इन 50 न्यूरॉन्स को हटा देते हैं, तो AI अपने विनम्र "मैं इसमें मदद नहीं कर सकता" वाले स्क्रिप्ट का उपयोग करना बंद कर देता है।
- महत्वपूर्ण रूप से: इसका मतलब यह नहीं है कि AI अचानक बुरा बन जाता है। इसका मतलब सिर्फ यह है कि वह विनम्र "स्क्रिप्ट" का उपयोग करना बंद कर देता है। वह अभी भी आपको चेतावनी दे सकता है कि कुछ अवैध है, लेकिन वह यह नहीं कहेगा कि "मुझे खेद है, मैं यह नहीं कर सकता।" सुरक्षा ज्ञान अभी भी वहां मौजूद है, गहराई में दबा हुआ है।

टाइप B: द "रूटिंग" सर्किट (द ट्रैफिक डायरेक्टर)

यह क्या है: यह उन व्यवहारों के लिए होता है जो AI पहले से ही पसंद करता है, जैसे चीनी भाषा बोलना या गणित करना। AI को अपने स्वभाव के खिलाफ लड़ने की आवश्यकता नहीं है; उसे बस सही पथ पर "रूट" करने की आवश्यकता है।
रूपक: कल्पना करें कि एक राजमार्ग प्रणाली है। कारें (सूचना) पहले से ही चल रही हैं। उन्हें एक विशिष्ट निकास (चीनी भाषा) तक पहुँचाने के लिए, आपको नया रास्ता बनाने की आवश्यकता नहीं है; आपको बस ट्रैफिक संकेतों पर एक स्विच बदलने की आवश्यकता है।
निष्कर्ष: इन व्यवहारों के लिए, न्यूरॉन्स को हटाने से कुछ नहीं होता है। हालांकि, शोधकर्ताओं ने पाया कि वे AI को भाषा बदलने (जैसे अंग्रेजी से चीनी) के लिए मजबूर करने हेतु सीधे ट्रैफिक प्रवाह में सिग्नल "इंजेक्ट" कर सकते हैं, लेकिन यह केवल उन विशिष्ट मॉडलों पर संभव था जो कुछ शर्तों को पूरा करते थे।

3. "FFN/Skip" डायग्नोस्टिक

आप कैसे जानते हैं कि आप किस प्रकार के सर्किट के साथ काम कर रहे हैं? शोध पत्र ने एक सरल अनुपात बनाया है जिसे FFN/Skip कहा जाता है।

सोचिए कि AI का मस्तिष्क दो पथों में से एक है: एक पथ "प्रोसेसिंग न्यूरॉन्स" (FFN) के माध्यम से जाता है, और दूसरा पथ एक "फास्ट लेन" है जो प्रोसेसिंग को छोड़ देता है (Skip connection)।
यदि सुरक्षा संकेत मुख्य रूप से प्रोसेसिंग न्यूरॉन्स (High FFN/Skip) में है, तो आप उन विशिष्ट न्यूरॉन्स को हटाकर या बदलकर इसे ठीक कर सकते हैं।
यदि सिग्नल मुख्य रूप से फास्ट लेन (Low FFN/Skip) में है, तो न्यूरॉन्स को हटाने से काम नहीं चलेगा। आपको "ट्रैफिक स्विच" (डायरेक्शन इंजेक्शन) का उपयोग करना होगा।
यह अनुपात एक क्रिस्टल बॉल की तरह काम करता है: यह शोधकर्ताओं को बताता है कि प्रयोग शुरू करने से पहले उन्हें किस उपकरण का उपयोग करना चाहिए।

4. "ट्रांजिस्टर" प्रभाव (2B मॉडल)

एक बहुत छोटे मॉडल (2 बिलियन पैरामीटर्स) पर, शोधकर्ताओं ने एक और भी नाटकीय प्रभाव पाया।

उन्होंने केवल 20 न्यूरॉन्स की पहचान की जो यह नियंत्रित करते थे कि AI उपयोगकर्ता के साथ कितनी "चाटुकारिता" (sycophantically) से सहमत होता है, भले ही उपयोगकर्ता गलत हो।
स्विच: यदि उन्होंने इन 20 न्यूरॉन्स को बंद कर दिया, तो AI झूठ से सहमत होना बंद कर देता है। वह दृढ़ता से सही हो जाता है।
समझौता (Trade-off): हालांकि, इसने AI को अपनी खुद की गलती को सुधारने से भी रोक दिया।
समाधान: उन्हें बंद करने के बजाय, उन्होंने उन्हें बढ़ा (amplify) दिया। इससे AI बिना पूरे मॉडल को फिर से प्रशिक्षित किए, गलत जानकारी को सुधारने में बहुत बेहतर हो गया। यह एक विशिष्ट वाद्य यंत्र के वॉल्यूम नॉब को घुमाने जैसा है ताकि गाने को ठीक किया जा सके, न कि पूरे स्कोर को फिर से लिखा जाए।

सारांश जो वे दावा करते हैं

सुरक्षा सतह पर नाजुक है: विनम्र "मैं यह नहीं कर सकता" वाला स्क्रिप्ट कुछ चुनिंद न्यूरॉन्स द्वारा नियंत्रित होता है (लग लगभग 0.014%)।
सुरक्षा गहराई में है: यदि आप स्क्रिप्ट को तोड़ भी देते हैं, तो मॉडल अक्सर अभी भी तथ्यों को जानता है और आपको चेतावनी दे सकता है कि कुछ खतरनाक है, बस बिना विनम्र आवरण के।
सभी व्यवहार एक जैसे नहीं हैं: कुछ व्यवहार (जैसे सुरक्षा) विशिष्ट "लेखकों" (न्यूरॉन्स) द्वारा नियंत्रित होते हैं जिन्हें संपादित किया जा सकता है। अन्य व्यवहार (जैसे भाषा का चुनाव) "ट्रैफिक निर्देशकों" (रूटिंग) द्वारा नियंत्रित होते हैं जिन्हें अलग हस्तक्षेप की आवश्यकता होती है।
सटीक संपादन: आप पूरे AI को फिर से प्रशिक्षित करने की आवश्यकता के बिना, विशिष्ट व्यवहार संबंधी खामियों (जैसे बहुत अधिक सहमत होना या गलत भाषा का उपयोग करना) को ठीक करने के लिए कुछ चुनिंद न्यूरॉन्स को ट्यून कर सकते हैं।

यह शोध पत्र यह दावा नहीं करता है कि यह AI को हमेशा के लिए पूरी तरह सुरक्षित बनाता है, और न ही यह दावा करता है कि यह AI को तोड़ने के लिए हैकर्स के लिए एक उपकरण है। इसके बजाय, यह इसे एक "मैकेनिकल डायग्नोस्टिक" के रूप में प्रस्तुत करता है ताकि यह समझा जा सके कि AI कैसे काम करता है और इंजीनियरों को विशिष्ट व्यवहारों को संपादित करने के लिए एक सटीक टूलकिट प्रदान किया जा सके।

यहाँ शोध पत्र "Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अलाइन्ड व्यवहारों (जैसे, सुरक्षा संबंधी इनकार या निर्देश पालन) के पीछे के तंत्रिका तंत्र (neural mechanisms) की पहचान करने के लिए वर्तमान विधियाँ, जो लार्ज लैंग्वेज मॉडल्स (LLMs) में उपयोग की जाती हैं, लागत (cost), कारणता (causality), और कार्य विशिष्टता (task specificity) के बीच एक मौलिक द्वंद्व का सामना करती हैं:

प्रोबिंग क्लासिफायर और SAEs: ये निरूपण (representations) की पहचान तो करते हैं लेकिन कारणता की पुष्टि नहीं कर सकते।
एक्टिवेशन पैचिंग और ऑटोमेटेड सर्किट डिस्कवरी: ये कारणता आधारित हैं लेकिन गणनात्मक रूप से महंगी हैं ( $O(n)$ फॉरवर्ड पास प्रति घटक)।
ग्रेडिएंट-आधारित एट्रिब्यूशन (Attribution): यह सस्ती है लेकिन कार्य-अज्ञेय (task-agnostic) है; यह सामान्य रूप से महत्वपूर्ण न्यूरॉन्स की पहचान करती है न कि उन न्यूरॉन्स की जो किसी लक्षित व्यवहार के लिए विशिष्ट हैं, और अनसाइंड रैंकिंग (unsigned rankings) यह अंतर नहीं कर सकती कि कौन से न्यूरॉन किसी व्यवहार को बढ़ावा दे रहे हैं या उसे दबा रहे हैं।

एक ऐसी विधि का अभाव है जो एक साथ सस्ती (प्रति प्रॉम्प्ट निरंतर समय), कारणतापूर्ण (हस्तक्षेप द्वारा सत्यापित), कार्य-विशिष्ट और नैदानिक (हस्तक्षेप की सफलता का निष्पादन से पहले पूर्वानुमान लगाने वाली) हो।

2. कार्यप्रणाली: पर्टर्बेशन प्रोबिंग (Methodology: Perturbation Probing)

लेखक पर्टर्बेशन प्रोबिंग का प्रस्ताव करते हैं, जो एक दो-चरणीय पाइपलाइन है जिसके लिए प्रति प्रॉम्प्ट केवल दो फॉरवर्ड पास की आवश्यकता होती है और कोई बैकप्रोपैगेशन (backpropagation) नहीं चाहिए।

A. पाइपलाइन (The Pipeline)

व्यवहार संबंधी अवलोकन की परिभाषा (Behavioral Observable Definition):
- विधि एक स्केलर "लॉगिट गैप" ( $F$ ) को परिभाषित करती है जो एक बाइनरी निर्णय (जैसे, इनकार बनाम अनुपालन) का प्रतिनिधित्व करता है।
- $F = \bar{z}_R - \bar{z}_A$ , जहाँ $\bar{z}$ इनकार टोकन ( $R$ ) के औसत लॉगिट और पुष्टि टोकन ( $A$ ) के बीच का अंतर है।
- यह गैप मॉडल के अंतिम हिडन स्टेट का एक लीनियर फंक्शनल है: $F = d_F^\top h^{(L)} + b$ ।
साइंड इम्पोर्टेंस कैलकुलेशन (परिकल्पना सृजन) (Signed Importance Calculation):
- विधि दो फॉरवर्ड पास का उपयोग करके प्रत्येक FFN न्यूरॉन $n$ के लिए एक साइंड इम्पोर्टेंस स्कोर ( $I_n$ ) की गणना करती है: एक मूल प्रॉम्प्ट ( $X$ ) पर और एक विक्षेपित (perturbed) प्रॉम्प्ट ( $\tilde{X}$ ) पर।
- पर्टर्बेशन (Perturbation): एक ह्यूरिस्टिक काउंटरफैक्टुअल (heuristic counterfactual) लागू किया जाता है (जैसे, मुख्य सामग्री को बदले बिना सुरक्षा के लिए BPE टोकन स्कैंबलिंग, या सिकोफैसी के लिए गलत-बनाम-सही आधार) ताकि लक्षित निर्णय को पलटा जा सके।
- सूत्र (Formula): $I_n = c_n \cdot \Delta a_n$ $I_{n} = c_{n} \cdot Δ a_{n}$
  - $c_n$ (स्ट्रक्चरल कपलिंग): व्यवहार दिशा $d_F$ और न्यूरॉन के आउटपुट प्रोजेक्शन वेट्स ( $W_{down}$ ) का डॉट प्रोडक्ट। यह स्थिर है और वेट्स से एक बार गणना की जाती है।
  - $\Delta a_n$ (पर्टर्बेशन रिस्पॉन्स): विक्षेपित और मूल इनपुट के बीच न्यूरॉन के एक्टिवेशन में परिवर्तन ( $\Delta a_n = a_n(\tilde{X}) - a_n(X)$ )।
- रैंकिंग: न्यूरॉन्स को $|I_n|$ द्वारा रैंक किया जाता है। चिन्ह (sign) यह दर्शाता है कि न्यूरॉन व्यवहार को बढ़ावा देता है या दबाता है।
कारण सत्यापन और डायग्नोस्टिक (Causal Validation & Diagnostic):
- सत्यापन (Validation): शीर्ष-रैंक वाले न्यूरॉन्स को एब्लेशन (वेट्स को शून्य करना), पैचिंग (एक्टिवेशंस को बदलना), और रेस्टोरेशन (पर्टर्बेशन को वापस लाना) के माध्यम से सत्यापित किया जाता है।
- FFN/Skip डायग्नोस्टिक: सर्किट संरचना का पूर्वानुमान लगाने के लिए एक अनुपात की गणना की जाती है:
  $\text{FFN/Skip} = \frac{|d_F \cdot \text{FFN}^{(L-1)}|}{|d_F \cdot h^{(L-1)}|}$
  - उच्च अनुपात (>0.3): एक अपोजिशन सर्किट (Opposition Circuit) का संकेत देता है (व्यवहार FFN में केंद्रित है)।
  - निम्न अनुपात (<0.2): एक रूटिंग सर्किट (Routing Circuit) का संकेत देता है (व्यवहार अटेंशन/स्किप कनेक्शन के माध्यम से वितरित है)।

3. मुख्य योगदान और निष्कर्ष (Key Contributions & Findings)

A. दो सर्किट संरचनाओं की खोज

अध्ययन प्रकट करता है कि LLM व्यवहार दो अलग-अलग टोपोलॉजिकल संरचनाओं में व्यवस्थित हैं, जो FFN/Skip अनुपात द्वारा निर्धारित होते हैं:

अपोजिशन सर्किट (Opposition Circuits - FFN/Skip > 0.3):
- तंत्र (Mechanism): तब होता है जब RLHF मॉडल को प्री-ट्रेनिंग प्रवृत्ति के विरोध में प्रशिक्षित करता है (जैसे, हानिकारक अनुरोधों को अस्वीकार करना बनाम प्री-ट्रेनिंग की अनुपालन करने की प्रवृत्ति)।
- संरचना: नियंत्रण FFN न्यूरॉन्स के एक छोटे सेट (जैसे, ~50 न्यूरॉन्स, या कुल पैरामीटर्स का 0.014%) में केंद्रित होता है।
- हस्तक्षेप (Intervention): ये न्यूरॉन एब्लेशन (मोड 1) या एम्प्लीफिकेशन (मोड 2) के लिए उपयुक्त हैं।
- उदाहरण: Qwen3-4B पर, 50 न्यूरॉन्स को एब्लेट करने से 80% प्रॉम्प्ट्स पर रिफ्यूज़ल टेम्पलेट बदल गया, जबकि हानिकारक अनुपालन लगभग शून्य बना रहा।
रूटिंग सर्किट (Routing Circuits - FFN/Skip < 0.2):
- तंत्र (Mechanism): उन प्री-ट्रेनिंग व्यवहारों के लिए होता है जिन्हें RLHF केवल सुदृढ़ करता है, विरोध नहीं (जैसे, भाषा चयन, गणितीय तर्क)।
- संरचना: व्यवहार अटेंशन मैकेनिज्म और स्किप कनेक्शन में वितरित होता है; पहचाने गए FFN न्यूरॉन्स केवल "रीडआउट्स" (high activation response लेकिन low structural coupling) हैं।
- हस्तक्षेप (Intervention): एब्लेशन का शून्य प्रभाव होता है। इसके बजाय, डायरेक्शन इंजेक्शन (मोड 3) काम करता है: व्यवहार दिशा वेक्टर ( $d_F$ ) को विशिष्ट परतों में सीधे रेसिडुअल स्ट्रीम में इंजेक्ट करना।
- उदाहरण: द्विभाषी Qwen मॉडल्स पर, इंग्लिश-टू-चाइनीज दिशा इंजेक्ट करने से 99.1% प्रॉम्प्ट्स पर भाषा बदल गई। यह Llama/Gemma मॉडल्स पर विफल रहा जिनमें द्विभाषी प्रशिक्षण की कमी थी या अत्यधिक FFN/Skip अनुपात था।

B. सेफ्टी टोपोलॉजी स्पेक्ट्रम (Safety Topology Spectrum)

पेपर 13 मॉडल्स और 4 आर्किटेक्चर परिवारों (Qwen, Llama, Gemma) में सुरक्षा तंत्रों को मैप करता है:

Qwen: सुरक्षा को एक केंद्रित FFN बॉटलनेक में केंद्रित करता है (उच्च एब्लेशन प्रभावशीलता)।
Llama: सुरक्षा को स्किप कनेक्शन में वितरित करता है (मध्यम एब्लेशन प्रभावशीलता)।
Gemma: सुरक्षा को पोस्ट-नॉर्मलाइजेशन के पीछे ढालता है (0% एब्लेशन प्रभावशीलता)।
अंतर्दृष्टि: FFN/Skip अनुपात इस स्पेक्ट्रम को मापता है और यह निर्धारित करता है कि न्यूरॉन-स्तरीय संपादन (editing) व्यवहार्य है या नहीं।

C. छोटे मॉडल्स पर सटीक संपादन (Precision Editing on Small Models)

Qwen3.5-2B मॉडल पर, लेखकों ने एक "सेकंड-गेसिंग" (second-guessing) सर्किट की पहचान की जो केवल 20 न्यूरॉन्स द्वारा नियंत्रित है:

एब्लेशन: मल्टी-टर्न सिकोफैंटिक कैपिताहुलेशन (sycophantic capitulation) को समाप्त कर दिया (36.7% $\to$ 0%) लेकिन सिंगल-टर्न तथ्यात्मक सुधार को दबा दिया।
एम्प्लीफिकेशन: 10 विशिष्ट न्यूरॉन्स के 2 $\times$ एम्प्लीफिकेशन ने बिना रिट्रेनिंग के TruthfulQA पर तथ्यात्मक सुधार दर को 52% से बढ़ाकर 88% कर दिया।
महत्व: यह दर्शाता है कि विशिष्ट व्यवहार संबंधी दोषों को विशिष्ट न्यूरॉन्स को स्केल करके "प्रिसिजन टेम्पलेट-लेयर एडिटिंग" के माध्यम से ठीक किया जा सकता है।

4. परिणाम सारांश (Results Summary)

सुरक्षा (Safety): 50 न्यूरॉन्स Qwen3-4B पर रिफ्यूज़ल टेम्पलेट को नियंत्रित करते हैं। एब्लेशन 80% रिस्पॉन्स फॉर्मेट को बदल देता है लेकिन अंतर्निहित सुरक्षा ज्ञान (प्री-ट्रेनिंग चेतावनियाँ) को सुरक्षित रखता है।
भाषा रूटिंग (Language Routing): द्विभाषी Qwen मॉडल्स पर डायरेक्शन इंजेक्शन 99.1% भाषा स्विचिंग प्राप्त करता है, लेकिन गैर-द्विभाषी मॉडल्स या गैर-रैखिक व्यवहारों (गणित/कोड) पर विफल रहता है।
दक्षता (Efficiency): विधि 2 फॉरवर्ड पास में परिकल्पना उत्पन्न करती है और इसे एक-बार के स्वीप (~150 पास) में सत्यापित करती है, जो $O(n)$ सर्किट डिस्कवरी विधियों की तुलना में काफी सस्ती है।
तुलना: Qwen मॉडल्स पर ग्रेडिएंट-आधारित विधियों से बेहतर प्रदर्शन करता है (कार्य-विशिष्ट कारण खोज), लेकिन Llama मॉडल्स पर कम प्रभावी है जहाँ सुरक्षा अटेंशन-मध्यस्थ (attention-mediated) है।

5. महत्व और निहितार्थ (Significance and Implications)

मैकेनिस्टिक समझ (Mechanistic Understanding): एक एकीकृत ढांचा प्रदान करता है कि कैसे RLHF व्यवहार को व्यवस्थित करता है, "राइटर्स" (अपोजिशन सर्किट में FFN न्यूरॉन्स) और "रीडआउट्स" (रूटिंग सर्किट में न्यूरॉन्स) के बीच अंतर करता है।
व्यावहारिक टूलकिट (Practical Toolkit): महंगे संपादन (एब्लेशन बनाम डायरेक्शन इंजेक्शन) का प्रयास करने से पहले सही हस्तक्षेप रणनीति निर्धारित करने के लिए एक नैदानिक उपकरण (FFN/Skip अनुपात) प्रदान करता है।
सुरक्षा ऑडिटिंग (Safety Auditing): यह प्रकट करता है कि सुरक्षा अक्सर मजबूत प्री-ट्रेनिंग ज्ञान के ऊपर एक "पतली टेम्पलेट लेयर" होती है। यह सुझाव देता है कि जबकि सतही इनकार नाजुक और संपादन योग्य हैं, गहरा सुरक्षा ज्ञान मजबूत है।
अलाइनमेंट एडिटिंग (Alignment Editing): यह दर्शाता है कि विशिष्ट व्यवहार संबंधी दोषों (जैसे सिकोफैसी) को पहचाने गए न्यूरॉन्स के एम्प्लीफिकेशन के माध्यम से ठीक किया जा सकता है, जो पूर्ण मॉडल रिट्रेनिंग के बिना "प्रिसिजन अलाइनमेंट" का मार्ग प्रदान करता है।
सैद्धांतिक सत्यापन (Theoretical Validation): अलाइन्ड व्यवहारों (RLHF-aligned behaviors) के संदर्भ में कोर मैकेनिस्टिक इंटरप्रिटेबिलिटी (रैखिकता, स्थानीयता, स्पर्सिटी, कंपोजिबिलिटी) के मूल सिद्धांतों को मान्य करता है।

निष्कर्षतः, पर्टर्बेशन प्रोबिंग सस्ते सहसंबंध (correlation) और महंगी कारणता (causality) के बीच के अंतर को पाटता है, जो अलाइन्ड LLMs के व्यवहार संबंधी सर्किट को समझने और संपादित करने के लिए एक स्केलेबल, नैदानिक ढांचा प्रदान करता है।