💬 NLP

Perturbation: A simple and efficient adversarial tracer for representation learning in language models

यह शोध पत्र "पर्टर्बेशन" (Perturbation) को प्रस्तुत करता है, जो भाषा मॉडलों में भाषाई निरूपणों (linguistic representations) की पहचान करने के लिए एक सरल और कुशल विधि है, जो उन्हें एक एकल प्रतिकूल उदाहरण (adversarial example) पर फाइन-ट्यून करके और अन्य इनपुटों में इसके परिणामस्वरूप होने वाले "संक्रमण" (infection) को मापकर किया जाता है, जिससे प्रतिबंधात्मक ज्यामितीय धारणाओं की आवश्यकता को दरकिनार करते हुए संरचित सामान्यीकरण और अमूर्तीकरण का पता चलता है।

मूल लेखक: Joshua Rozner, Cory Shain

प्रकाशित 2026-03-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joshua Rozner, Cory Shain

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, ब्लैक-बॉक्स रोबोट है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। यह कविताएँ लिख सकता है, गणित की समस्याओं को हल कर सकता है, और एक इंसान की तरह बात कर सकता है। लेकिन रहस्य यह है: यह वास्तव में चीज़ों को "जानता" कैसे है?

क्या इसके दिमाग में कोई छोटी फाइलिंग कैबिनेट है जहाँ यह "व्याकरण" (grammar) की अवधारणा को संग्रहीत करता है? या यह केवल पैटर्न को याद रखता है? वर्षों से, वैज्ञानिक इस रोबोट के मस्तिष्क के भीतर झाँकने की कोशिश कर रहे हैं ताकि इन "फाइलिंग कैबिनेट" (जिसे शोधकर्ता प्रस्तुतिकरण या representations कहते हैं) को खोजा जा सके, लेकिन वे एक निराशाजनक चक्र में फँसे हुए थे।

पुरानी समस्या: "बहुत कठोर" बनाम "बहुत ढीला" दुविधा

पहले, वैज्ञानिकों ने इन मानसिक फाइलिंग कैबिनेट को खोजने के लिए दो मुख्य तरीके आजमाए थे:

"रूलर" (पैमाना) दृष्टिकोण: उन्होंने माना कि रोबोट का मस्तिष्क एक सीधी रेखा (linear) की तरह व्यवस्थित है। उन्होंने पैटर्न खोजने के लिए डेटा पर एक रूलर खींचने की कोशिश की।
- दोष: कभी-कभी मस्तिष्क एक सीधी रेखा नहीं होता; यह ऊन के एक उलझे हुए गोले की तरह होता है। यदि आप केवल सीधी रेखाओं की तलाश करते हैं, तो आप वास्तविक संरचना को छोड़ देते हैं। इससे भी बुरा यह है कि यदि आप कागज के एक खाली टुकड़े (एक अप्रशिक्षित रोबोट) पर रूलर का उपयोग करते हैं, तो आप गलती से एक ऐसा पैटर्न "ढूँढ" सकते हैं जो वहाँ है ही नहीं।
"कोई नियम नहीं" दृष्टिकोण: उन्होंने डेटा के आकार के बारे में कोई धारणा बनाना छोड़ दिया।
- दोष: यदि आपके पास कोई नियम नहीं है, तो आप कुछ भी पा सकते हैं। आप खुद को यह विश्वास दिला सकते हैं कि रोबोट "प्रेम" को समझता है क्योंकि आपने शब्द "प्रेम" को एक विशिष्ट तरीके से देखने के लिए मजबूर किया है। यह बादलों में चेहरा खोजने जैसा है क्योंकि आप वास्तव में एक चेहरा देखना चाहते हैं।

नया समाधान: "संक्रमण" विधि (परेशान करना/Perturbation)

इस शोध पत्र के लेखक, जोशुआ रोज़नर और कोरी शेन, एक चतुर, सरल विचार लेकर आए। रोबोट के मस्तिष्क को देखने के बजाय, उन्होंने इसे छेड़ने (poke करने) और यह देखने का निर्णय लिया कि "संक्रमण" (infection) कैसे फैलता है।

रोबोट के ज्ञान को डोमिनोज़ के एक विशाल, जुड़े हुए जाल की तरह सोचें।

यदि रोबोट वास्तव में एक अवधारणा को समझता है (जैसे कि एक "बत्तख" एक जानवर के रूप में और "बत्तक" एक क्रिया के रूप में के बीच का अंतर), तो उस अवधारणा से संबंधित सभी डोमिनोज़ आपस में जुड़े होते हैं।
यदि रोबोट उस अवधारणा को नहीं समझता है, तो डोमिनोज़ बेतरतीब ढंग से बिखरे हुए होंगे।

यहाँ उनका प्रयोग है:

छूना (The Poke): वे रोबोट को लेते हैं और उसे एक अकेला वाक्य दिखाते हैं जहाँ वे उसे गलती करने के लिए मजबूर करते हैं।
- उदाहरण: वे उसे वाक्य "The duck quacks" दिखाते हैं लेकिन रोबोट को यह सीखने के लिए मजबूर करते हैं कि इस संदर्भ में, "duck" को बदलकर "glam" किया जाना चाहिए।
- वे रोबोट के मस्तिष्क को इतना सूक्ष्म रूप से बदलते हैं कि वह यह मानने लगे कि यहाँ "glam" सही शब्द है।
फैलाव (The Spread): अब, वे पूछते हैं: क्या यह गलती अन्य वाक्यों को "संक्रमित" करती है?
- यदि रोबोट के पास वास्तव में "बत्तख" (duck) की अवधारणा है, तो एक जगह इसे बदलने से उन अन्य जगहों पर भी प्रभाव पड़ना चाहिए जहाँ "बत्तख" का उसी तरह उपयोग किया जाता है।
- यदि वे "बत्तख" (जानवर) को बदलकर "glam" कर देते हैं, तो क्या रोबोट अचानक एक बत्तख के बच्चे (duckling) के बारे में बात करते समय भी "glam" कहना शुरू कर देगा?
- या, यदि वे "बत्तख" (क्रिया) को बदलकर "glam" कर देते हैं, तो क्या यह जानवर को प्रभावित करेगा?

उन्हें क्या मिला

उनके परिणाम ऐसे थे जैसे किसी लाइट स्विच का चालू होना:

अप्रशिक्षित रोबोट (एक कोरा स्लेट): जब उन्होंने एक ऐसे रोबोट को छेड़ा जिसने अभी तक कुछ सीखा नहीं था, तो "संक्रमण" सार्थक तरीके से नहीं फैला। यह केवल रैंडम शोर (noise) था। यह साबित करता है कि उनका तरीका वहां पैटर्न का भ्रम पैदा नहीं करता जहाँ वे मौजूद नहीं हैं।
प्रशिक्षित रोबोट (एक शिक्षार्थी): जब उन्होंने एक ऐसे रोबोट को छेड़ा जिसे भाषा पर प्रशिक्षित किया गया था, तो संक्रमण पूरी तरह से फैला।
- यदि उन्होंने एक शब्द के "जानवर" वाले अर्थ को बिगाड़ा, तो इसने केवल अन्य "जानवर" वाले वाक्यों को प्रभावित किया।
- यदि उन्होंने एक विशिष्ट व्याकरण नियम (जैसे "फिलर-गैप" वाक्य, जो जटिल वाक्य संरचनाएं हैं) को बिगाड़ा, तो त्रुटि उन्हीं अन्य वाक्यों में फैली जिनमें वही व्याकरण नियम था, लेकिन उन वाक्यों में नहीं जो सतह पर समान दिखते थे।

यह क्यों महत्वपूर्ण है (आहा! क्षण)

यह विधि तीन कारणों से गेम-चेंजर है:

यह एक सत्य डिटेक्टर है: पिछले तरीकों के विपरीत जो रैंडम डेटा में "भूतिया पैटर्न" खोज सकते थे, यह विधि केवल उन रोबोटों में वास्तविक पैटर्न पाती है जिन्होंने वास्तव में सीखा है। यह एक झूठ पकड़ने वाली मशीन की तरह है जो केवल तभी बीप करती है जब कोई वास्तव में झूठ बोल रहा हो, न कि तब जब वह केवल सांस ले रहा हो।
यह सरल और सस्ता है: आपको सुपरकंप्यूटर या विशाल डेटासेट की आवश्यकता नहीं है। आपको बस रोबोट को छेड़ने के लिए एक वाक्य चाहिए, और यह देखने के लिए कुछ मिनट का कंप्यूटर समय चाहिए कि क्या होता है।
यह अनुभव से सीखने को सिद्ध करता है: यह अध्ययन दिखाता है कि इन रोबोटों को मानव व्याकरण के नियमों के साथ प्रोग्राम करने की आवश्यकता नहीं है। वे भाषा को पढ़कर और अनुभव करके जटिल भाषाई संरचनाओं (जैसे कि कैसे शब्द अर्थ बदलते हैं या वाक्य कैसे बनते हैं) को समझ सकते हैं, ठीक वैसे ही जैसे एक मानव बच्चा करता है।

उपमा सारांश

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक शहर का सबवे सिस्टम कैसे काम करता है।

पुराना तरीका: आप एक नक्शा बनाने की कोशिश करते हैं जो आपके इस अनुमान पर आधारित है कि रेखाएं कैसी होनी चाहिए। आप वहां एक रेखा खींच सकते हैं जहां वास्तव में कोई ट्रैक नहीं है।
इस शोध पत्र का तरीका: आप एक स्टेशन में एक बूंद लाल रंग (dye) डालते हैं। यदि रंग अन्य स्टेशनों में फैलता है जो वास्तव में ट्रैक द्वारा जुड़े हुए हैं, तो आप जानते हैं कि नक्शा असली है। यदि रंग वहीं रुक जाता है या बेतरतीब ढंग से फैलता है, तो आप जानते हैं कि कोई वास्तविक संबंध नहीं है।

लेखकों ने भाषा मॉडल के मस्तिष्क में "लाल रंग की एक बूंद" (एक छोटी सी त्रुटि) डाली और देखा कि यह ठीक वहीं प्रवाहित हुई जहाँ वास्तविक भाषा की समझ के "ट्रैक" बने हुए थे। यह यह सिद्ध करने का एक सरल, सुंदर तरीका है कि ये AI मॉडल वास्तव में मानव भाषा की गहरी संरचना को सीख रहे हैं।

यहाँ शोध पत्र "Perturbation: A simple and efficient adversarial tracer for representation learning in language models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र भाषा मॉडलों (LMs) की व्याख्यात्मकता (interpretability) के एक मौलिक द्वंद्व को संबोधित करता है: यह कैसे पहचानें कि लेटेंट भाषाई प्रतिनिधित्व (latent linguistic representations) क्या हैं, बिना दो जाल में फँसे:

अति-प्रतिबंधित दृष्टिकोण (Over-constrained approaches): डिस्ट्रीब्यूटेड एलाइनमेंट सर्च (DAS) जैसे तरीके अक्सर "लीनियर रिप्रेजेंटेशन हाइपोथेसिस" पर निर्भर करते हैं। हालांकि ये लीनियर सबस्पेस खोजने में प्रभावी हैं, लेकिन ये अनट्रेंड (untrained) मॉडलों में स्पूरियस संरचनाओं (spurious structures) को खोज सकते हैं (फाल्स पॉजिटिव) और नॉन-लीनियर (nonlinear) प्रतिनिधित्वों को पकड़ने में विफल रहते हैं।
अल्प-प्रतिबंधित दृष्टिकोण (Under-constrained approaches): बिना किसी बाधा के, कोई भी न्यूरल नेटवर्क गणितीय रूप से किसी भी कॉज़ल मॉडल (causal model) के साथ संरेखित किया जा सकता है, जिससे वास्तविक प्रतिनिधित्व और एलाइनमेंट विधि के आर्टिफैक्ट्स (artifacts) के बीच अंतर करना असंभव हो जाता है।

मौजूदा तरीके (जैसे प्रोबिंग क्लासिफायर) अक्सर सहसंबंधी (correlational) होते हैं और वे वास्तविक प्रतिनिधित्व को खोजने के बजाय स्वयं उसे सीख सकते हैं। लेखक तर्क देते हैं कि वर्तमान तकनीकें यह निर्धारित करने में संघर्ष करती हैं कि कोई निष्कर्ष वास्तविक कॉज़ल स्ट्रक्चर को दर्शाता है या पूर्व धारणाओं (prior assumptions) को।

2. कार्यप्रणाली: पर्टरबेशन (Methodology: Perturbation)

लेखक पर्टरबेशन (Perturbation) प्रस्तावित करते हैं, जो एक डेटा-संचालित, अनसुपरवाइज्ड विधि है जो प्रतिनिधित्वों को स्थिर एक्टिवेशन पैटर्न के रूप में नहीं, बल्कि सीखने के माध्यम (conduits for learning) के रूप में पुनर्कल्पित करती है। मूल परिकल्पना यह है: यदि कोई मॉडल एक विशिष्ट एब्स्ट्रैक्शन (abstraction) का प्रतिनिधित्व करता है, तो पर्टरबेशन के माध्यम से उस एब्स्ट्रैक्शन में की गई गड़बड़ी (corruption) उस एब्स्ट्रैक्शन को साझा करने वाले अन्य उदाहरणों में चुनिंदा रूप से प्रसारित होनी चाहिए।

तकनीकी वर्कफ़्लो (Technical Workflow):

रीमैपिंग परिभाषा (Remapping Definition): एक रीमैपिंग को 4-टुपल $\langle C_o, R_o, C_a, R_a \rangle$ $⟨ C_{o}, R_{o}, C_{a}, R_{a} ⟩$ के रूप में परिभाषित किया गया है, जो एक मूल स्ट्रिंग ( $S_o$ $S_{o}$ ) के संदर्भ ( $C$ $C$ ) और क्रिटिकल रीजन ( $R$ $R$ ) तथा एक वैकल्पिक स्ट्रिंग ( $S_a$ $S_{a}$ ) के बीच पत्राचार (correspondence) को दर्शाता है।
- उदाहरण: $A \text{ } \mathbf{duck} \text{ } quacks \rightarrow A \text{ } \mathbf{glam} \text{ } quacks$ ।
- यहाँ $C_o$ मूल संदर्भ है, $R_o$ मूल टोकन है, $C_a$ वैकल्पिक संदर्भ है, और $R_a$ वैकल्पिक टोकन है।
पर्टरबेशन (प्रशिक्षण) (Perturbation - Training): मॉडल $p$ $p$ को एक एकल एडवरसैरियल उदाहरण (या एक छोटा बैच) पर वैकल्पिक टोकन ( $R_a$ $R_{a}$ ) को मूल संदर्भ ( $C_o$ $C_{o}$ ) में उत्पन्न करने के लॉस (loss) को कम करने के लिए फाइन-ट्यून किया जाता है।
- उद्देश्य: $-\log [p(R_a|C_o) / p(R_o|C_o)]$ को न्यूनतम करना।
- यह प्रभावी रूप से मॉडल के क्रिटिकल रीजन के प्रतिनिधित्व को "संक्रमित" (infect) कर देता है।
मूल्यांकन (ट्रेसिंग) (Evaluation - Tracing): पर्टर्बड मॉडल $\tilde{p}$ $\tilde{p}$ का मूल्यांकन नए उदाहरणों पर मूल के सापेक्ष वैकल्पिक टोकन के लॉग-ऑड्स रेशियो (log-odds ratio) को मापने के लिए किया जाता है।
- मीट्रिक: $R = \log \left[ \frac{\tilde{p}(R_a|C_a)}{\tilde{p}(R_o|C_a)} \cdot \frac{p(R_o|C_o)}{p(R_a|C_o)} \right]$ ।
- उच्च ट्रांसफर (transfer) यह संकेत देता कि स्रोत उदाहरण में किया गया पर्टरबेशन लक्ष्य उदाहरण में भी सामान्यीकृत (generalized) हुआ, जिसका अर्थ है कि वे एक ही लेटेंट प्रतिनिधित्व साझा करते हैं।
क्लस्टरबिलिटी (Clusterability): प्रतिनिधित्वों की गुणवत्ता को मापने के लिए, लेखक "सेम क्लास" बनाम "डिफरेंट क्लास" जोड़ों के आधार पर एक क्लासिफायर के एरिया अंडर द कर्व (AUC) की गणना करते हैं।

मुख्य लाभ:

कोई ज्यामितीय धारणा नहीं (No Geometric Assumptions): यह लीनियरिटी (linearity) का अनुमान नहीं लगाता।
चयनात्मकता (Selectivity): यह अनट्रेंड मॉडलों में संरचना नहीं खोजता (DAS के विपरीत)।
दक्षता (Efficiency): इसके लिए प्रत्येक हस्तक्षेप (intervention) के लिए केवल एक प्रशिक्षण उदाहरण और कुछ ग्रेडिएंट स्टेप्स की आवश्यकता होती है।

3. प्रयोगात्मक डिज़ाइन (Experimental Design)

लेखकों ने विभिन्न मॉडलों (RoBERTa, ModernBERT, GPT-BERT, Pythia) का उपयोग करके तीन भाषाई ग्रेन साइज़ (grain sizes) में पर्टरबेशन का परीक्षण किया:

मॉर्फोलॉजी (Morphology): डेवर्बल संज्ञाओं (जैसे teacher) बनाम तुलनात्मक विशेषणों (जैसे taller) के उपयोग वाले प्रत्यय (suffix) -er के बीच अंतर करना।
लेक्सिकल (शब्द अर्थ बोध - Word Sense Disambiguation): एक ही शब्द के विभिन्न अर्थों (जैसे आकार के रूप में square बनाम शहर का चौक/square) के बीच अंतर करना (CoarseWSD-20 डेटासेट का उपयोग करके)।
सिंटैक्स (Syntax): फिलर-गैप (Filler-Gap - FG) कंस्ट्रक्शन का विश्लेषण करना (जैसे I know who the man liked [gap] )। इसमें विभिन्न FG प्रकारों (wh-questions, clefts, relatives) की तुलना गैर-FG कंट्रोल्स से की गई।

4. मुख्य परिणाम (Key Results)

A. मॉर्फोलॉजिकल प्रतिनिधित्व (Morphological Representations)

प्रशिक्षित मॉडल (Trained Models): इन्होंने मजबूत विथ-इन-क्लास ट्रांसफर (जैसे taller को पर्टर्ब करने से अन्य तुलनात्मक शब्दों पर प्रभाव पड़ा, लेकिन डेवर्बल संज्ञाओं पर नहीं) और न्यूनतम बिटवीन-क्लास ट्रांसफर दिखाया।
अनट्रेंड मॉडल (Untrained Models): इनमें ट्रांसफर लगभग पूरी तरह से साझा टोकनाइजेशन (shared tokenization) द्वारा संचालित था (जैसे यदि प्रत्यय -er एक ही टोकन था, तो व्याकरणिक वर्ग की परवाह किए बिना ट्रांसफर हुआ)।
निष्कर्ष: प्रशिक्षण मॉडल को सतह के टोकन ओवरलैप के बजाय अमूर्त मॉर्फोलॉजिकल क्लासेज सीखने के लिए प्रेरित करता है।

B. लेक्सिकल प्रतिनिधित्व (शब्द अर्थ - Word Senses)

तुलना: पर्टरबेशन की तुलना कॉन्टेक्स्टुअल एम्बेडिंग्स के कोसाइन सिमिलरिटी (cosine similarity) से की गई (एक कोरिलेशनल बेसलाइन)।
परिणाम: पर्टरबेशन ने 5 में से 3 मॉडलों में "बेस्ट-लेयर" कोसाइन बेसलाइन की तुलना में उच्च क्लस्टरबिलिटी (AUC) प्राप्त की।
अंतर्दृष्टि: शब्द अर्थों का मॉडल व्यवहार पर कॉज़ल प्रभाव स्थिर स्टेट समानता (static state similarity) द्वारा सुझाए गए प्रभाव से भी अधिक मजबूत प्रतीत होता है। पर्टरबेशन ने प्रशिक्षित मॉडलों में अर्थों को सफलतापूर्वक अलग किया (जैसे square आकार बनाम square कंपनी), लेकिन अनट्रेंड मॉडलों में नहीं।

C. सिंटैक्स प्रतिनिधित्व (Filler-Gap)

सीखने की गतिशीलता (Dynamics of Learning): अध्ययन ने ट्रेनिंग चेकपॉइंट्स को ट्रैक किया। शुरुआत में, ट्रांसफर सतही लेक्सिकल ओवरलैप (CRS) द्वारा संचालित था। जैसे-जैसे प्रशिक्षण आगे बढ़ा (2k–5k स्टेप्स), मॉडल ने FG कंस्ट्रक्शन को न्यूनतम गैर-FG कंट्रोल्स से अलग करना सीख लिया।
चयनात्मकता (Selectivity): प्रशिक्षित मॉडलों में, FG पर्टरबेशन अन्य FG कंस्ट्रक्शनों में मजबूती से स्थानांतरित हुआ, लेकिन गैर-FG कंट्रोल्स और एग्रीमेंट/ट्रांजिटिविटी कंट्रोल्स में कमजोर रहा।
परिष्करण (Refinement): पिछले DAS अध्ययनों के विपरीत, पर्टरबेशन ने एक "बेसलाइन्ड" माप (FG ट्रांसफर माइनस नॉन-FG ट्रांसफर) की अनुमति दी, जिससे फिलर-गैप डिपेंडेंसी के विशिष्ट प्रतिनिधित्व को भ्रमित करने वाली लेक्सिकल समानताओं से अलग किया जा सका।

5. मुख्य योगदान (Key Contributions)

नया पद्धतिगत ढांचा (New Methodological Framework): "पर्टरबेशन" को एक सरल, कुशल और धारणा-मुक्त कॉज़ल रिप्रेजेंटेशन डिस्कवरी विधि के रूप में पेश किया। यह लीनियरिटी बनाम एक्सप्रेसिवनेस के द्वंद्व से बचता है।
एब्स्ट्रैक्शन के लिए कॉज़ल साक्ष्य: इस बात के पुख्ता प्रमाण दिए कि भाषा मॉडल वितरण संबंधी डेटा (distributional data) से ही समृद्ध भाषाई एब्स्ट्रैक्शन (मॉर्फोलॉजिकल, लेक्सिकल, सिंटैक्टिक) उभरते हैं, बिना किसी जन्मजात व्याकरणिक बाधा के।
अनट्रेंड मॉडलों में चयनात्मकता: यह प्रदर्शित किया कि अन्य व्याख्यात्मक उपकरणों के विपरीत, पर्टरबेशन अनट्रेंड मॉडलों में संरचना का भ्रम (hallucinate) पैदा नहीं करता है, जो इसे प्रतिनिधित्व के उद्भव (emergence) का अध्ययन करने के लिए एक विश्वसनीय उपकरण बनाता है।
दक्षता: यह विधि कम्प्यूटेशनल रूप से सस्ती है (प्रति प्रयोग मिनटों में बनाम कॉर्पस एब्लेशन अध्ययन के दिनों में) और इसके लिए न्यूनतम डेटा (एकल एडवरसैरियल उदाहरण) की आवश्यकता होती है।

6. महत्व और सीमाएं (Significance and Limitations)

महत्व:

यह शोध पत्र "इंटरप्रिटेबिलिटी डिलेमा" का एक मजबूत समाधान प्रदान करता है, जो यह सत्यापित करने का तरीका देता है कि क्या मॉडल ने वास्तव में एक भाषाई अवधारणा सीखी है या केवल सतही पैटर्न को याद किया है।
यह भाषा अधिग्रहण के उपयोग-आधारित सिद्धांतों (usage-based theories) का समर्थन करता है, यह सुझाव देते हुए कि अनुभव से सांख्यिकीय सीखना जटिल भाषाई संरचनाएं बनाने के लिए पर्याप्त है।
यह भाषाविदों को विशाल डेटासेट या जटिल प्रशिक्षण पाइपलाइन की आवश्यकता के बिना भाषाई घटनाओं की संबद्धता के बारे में परिकल्पनाओं का परीक्षण करने के लिए एक व्यावहारिक उपकरण प्रदान करता है।

सीमाएं:

टोकनाइजेशन संवेदनशीलता (Tokenization Sensitivity): विधि इस बात से प्रभावित हो सकती है कि शब्दों को कैसे टोकनाइज़ किया गया है (जैसे मल्टी-टोकन शब्दों ने अलग-अलग ट्रांसफर पैटर्न दिखाए)।
संदर्भ दिशात्मकता (Context Directionality): वर्तमान कार्यान्वयन ऑटोरेग्रेसिव मॉडलों (जैसे GPT में वर्ड सेंस डिसएम्बिग्युएशन अध्ययनों को सीमित करते हुए) में द्विदिश संदर्भ (bidirectional context) के साथ संघर्ष करता है।
मैकेनिज्म बनाम प्रतिनिधित्व (Mechanism vs. Representation): यह साझा प्रतिनिधित्व का पता लगाने में उत्कृष्ट है, लेकिन यह विशिष्ट आंतरिक तंत्र या मॉडल को कैसे निर्देशित (steer) किया जाए, यह प्रकट नहीं करता है (सर्किट विश्लेषण के विपरीत)।
डिज़ाइन निर्भरता: परिणामों की गुणवत्ता काफी हद तक शोधकर्ता द्वारा चुने गए रीमैपिंग और कंट्रोल्स पर निर्भर करती है।

संक्षेप में, पर्टरबेशन एक नवीन, कुशल और सैद्धांतिक रूप से सुदृढ़ तकनीक है जो भाषाई एब्स्ट्रैक्शन के कॉज़ल फ्लो को ट्रेस करने के लिए एडवरसैरियल फाइन-ट्यूनिंग का उपयोग करती है, जो इस बात की पुष्टि करती है कि ये मॉडल प्रशिक्षण के माध्यम से संरचित, सामान्यीकरण योग्य प्रतिनिधित्व सीखते हैं।