💬 NLP

Where Do Prompt Perturbations Break Generation? A Segment-Level View of Robustness in LoRA-Tuned Language Models

यह शोध पत्र S $^2$ R $^2$ प्रस्तुत करता है, जो LoRA-ट्यून किए गए भाषा मॉडलों के लिए एक सेगमेंट-स्तरीय मजबूती ढांचा (robustness framework) है, जो प्रॉम्प्ट गड़बड़ी (prompt perturbations) के कारण होने वाले महत्वपूर्ण सूचना विचलन (information drift) को कम करने के लिए ऑप्टिमल ट्रांसपोर्ट के माध्यम से सिमेंटिक सेगमेंट को संरेखित करता है और एडॉप्टर स्थिरता को नियंत्रित करता है, जबकि स्वच्छ प्रदर्शन और क्रॉस-डेटासेट ट्रांसफर को बनाए रखता है।

मूल लेखक: Zhuoyun Li, Boxuan Wang, Jinwei Hu, Zhenglin Huang, Qisong He, Xinmiao Huang, Guangliang Cheng, Xiaowei Huang, Yi Dong

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhuoyun Li, Boxuan Wang, Jinwei Hu, Zhenglin Huang, Qisong He, Xinmiao Huang, Guangliang Cheng, Xiaowei Huang, Yi Dong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित सहायक (एक लार्ज लैंग्वेज मॉडल) है जो लंबे लेखों का सारांश बनाने में माहिर है। आप उनसे एक समाचार कहानी का सारांश बनाने के लिए कहते हैं, और वे एक बेहतरीन काम करते हैं। लेकिन फिर, आप अपने अनुरोध में एक बहुत ही छोटा, लगभग अदृश्य बदलाव करते हैं—शायद एक शब्द को उसके पर्यायवाची से बदल देते हैं, एक छोटी सी टाइपिंग की गलती करते हैं, या वाक्य को थोड़ा सा फिर से लिख देते हैं।

आश्चर्यजनक रूप से, आपका सहायक अचानक तथ्यों को गलत कर सकता है। वे एक तारीख बदल सकते हैं, किसी व्यक्ति का नाम बदल सकते हैं, या निष्कर्ष को पूरी तरह उलट सकते हैं, भले ही शेष सारांश बिल्कुल वैसा ही दिखे।

समस्या: "पूरी तस्वीर" का जाल (The "Whole Picture" Trap)
वर्तमान तरीके जो AI को अधिक विश्वसनीय बनाने की कोशिश करते हैं, वे इसे एक बड़े ब्लॉक के रूप में पूरे सारांश को देखकर ठीक करने का प्रयास करते हैं। वे यह देखते हैं कि क्या "साफ" संस्करण और "अव्यवस्थित" संस्करण समग्र रूप से समान दिखते हैं।

इस शोध पत्र के लेखक तर्क देते हैं कि यह घर की सुरक्षा की जांच केवल छत को देखकर करने जैसा है। यदि छत ठीक है, तो आप यह मिस कर सकते हैं कि नींव में दरार आ गई है। AI के संदर्भ में, सारांश 90% मूल के समान दिख सकता है, लेकिन वह छूटा हुआ 10% सबसे महत्वपूर्ण हिस्सा हो सकता है (जैसे कि कोई मेडिकल डायग्नोसिस या वित्तीय आंकड़ा)। पुराने तरीके इन "स्थानीय विफलताओं" (local failures) को मिस कर देते हैं क्योंकि वे बड़ी तस्वीर पर बहुत अधिक केंद्रित होते हैं।

समाधान: S2R2 (सेगमेंट दृष्टिकोण)
शोधकर्ताओं ने एक नई विधि पेश की है जिसे S2R2 कहा जाता है। पूरे सारांश को एक साथ देखने के बजाय, यह AI के उत्तर को छोटे, सार्थक टुकड़ों (सेगमेंट्स) में विभाजित करता है, जैसे कि व्यक्तिगत वाक्य या मुख्य तथ्य।

इसे एक असेंबली लाइन पर गुणवत्ता नियंत्रण निरीक्षक की तरह समझें। केवल यह जांचने के बजाय कि पूरी कार कैसी दिखती है, वे हर विशिष्ट भाग की जांच करते हैं: टायर, इंजन, ब्रेक। यदि टायर एकदम सही हैं लेकिन ब्रेक खराब हैं, तो कार असुरक्षित है। S2R2 AI के लिए भी यही करता है:

यह उत्तर को विभाजित करता है: यह साफ उत्तर और परिवर्तित (perturbed) उत्तर को सेगमेंट्स में बांटता है।
यह कमजोर बिंदुओं को ढूंढता है: यह इन सेगमेंट्स को संरेखित (align) करता है और पूछता है, "कौन सा विशिष्ट भाग सबसे अधिक बदला है?"
यह विचलन को दंडित करता है: यदि कोई महत्वपूर्ण सेगमेंट (जैसे कोई नाम या संख्या) सच्चाई से दूर भटक जाता है, तो यह AI को भारी दंड देता है, भले ही बाकी टेक्स्ट ठीक हो।

"मसल मेमोरी" का सादृश्य (एडॉप्टर स्थिरता)
यह पेपर यह भी देखता है कि AI कैसे मजबूती से सीखना सीखता है। वे LoRA नामक एक तकनीक का उपयोग करते हैं, जो एक विशाल, जमे हुए शरीर (प्री-ट्रेन्ड मॉडल) में एक छोटे, समायोज्य "मांसपेशी" (muscle) को जोड़ने जैसा है ताकि यह पूरे मस्तिष्क को फिर से लिखे बिना नए कार्यों को सीख सके।

शोधकर्ताओं ने देखा कि यदि आप इस "मांसपेशी" को एक विशिष्ट त्रुटि को ठीक करने के लिए बहुत अधिक धकेलते हैं, तो यह बाद में मामूली बदलावों के प्रति अत्यधिक प्रतिक्रिया दे सकती है।

सादृश्य: कल्पना कीजिए कि एक पियानो वादक एक नया गाना सीख रहा है। यदि वे इतनी तीव्रता से अभ्यास करते हैं कि वे एक विशिष्ट नोट को छूने के लिए अपनी उंगलियों को एक अजीब आकार में मोड़ लेते हैं, तो वे थोड़ा अलग नोट बजाते समय अपना हाथ तोड़ सकते हैं।
समाधान: S2R2 एक नियम जोड़ता है जो कहता है, "अपनी उंगलियों को बहुत अधिक न फैलाएं।" यह AI के समायोजनों को छोटा और नियंत्रित रखता है। यह सुनिश्चित करता है कि AI उन विशिष्ट गलतियों के प्रति ओवरफिट (overfit) न हो जो उसने प्रशिक्षण के दौरान देखी थीं, जिससे यह नए, अनदेखे बदलावों के सामने अधिक स्थिर रहता है।

परिणाम
टीम ने सारांश कार्यों (जैसे लंबे समाचार लेखों को संक्षिप्त सारांश में बदलना) पर इसका परीक्षण किया। उन्होंने पाया कि:

S2R2 अधिक कठिन/मजबूत है: जब उन्होंने टाइपो, पर्यायवाची या पुनर्गठन के साथ इनपुट प्रॉम्प्ट्स को बिगाड़ा, तो S2R2 ने पिछले तरीकों की तुलना में महत्वपूर्ण तथ्यों (नाम, संख्या, निष्कर्ष) को बहुत अधिक स्थिर रखा।
यह कुशल है: इसे स्थिरता प्राप्त करने के लिए अन्य तरीकों की तुलना में अपनी सीखने की मांसपेशियों को उतना "फैलाने" की आवश्यकता नहीं पड़ी।
यह अच्छी तरह से स्थानांतरित होता है: जब उन्होंने AI को एक प्रकार के समाचार पर प्रशिक्षित किया और दूसरे पूरी तरह से अलग प्रकार (जैसे मेडिकल रिपोर्ट) पर परीक्षण किया, तो S2R2 अन्य की तुलना में बेहतर प्रदर्शन कर सका।

संक्षेप में
यह पेपर तर्क देता है कि AI को विश्वसनीय बनाने के लिए, हमें केवल यह नहीं देखना चाहिए कि पूरा उत्तर सही दिखता है या नहीं। हमें गहराई में जाना चाहिए, उत्तर के विशिष्ट "ईंटों" की जांच करनी चाहिए, और यह सुनिश्चित करना चाहिए कि AI प्रश्न में होने वाले मामूली बदलावों पर अत्यधिक प्रतिक्रिया न दे। सबसे महत्वपूर्ण हिस्सों पर ध्यान केंद्रित करके और AI के सीखने के समायोजनों को शांत और नियंत्रित रखकर, हम एक अधिक भरोसेमंद सहायक प्राप्त करते हैं।

तकनीकी सारांश: S2R2 – LoRA-ट्यून किए गए भाषा मॉडलों में मजबूती का एक सेगमेंट-स्तरीय दृष्टिकोण

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) प्रॉम्प्ट के मामूली परिवर्तनों (perturbations) के प्रति अत्यधिक संवेदनशीलता प्रदर्शित करते हैं, जैसे कि टाइपोग्राफिकल त्रुटियाँ, शब्द विलोपन, समानार्थी प्रतिस्थापन, या पैराफ्रेसिंग। जबकि मौजूदा मजबूती (robustness) विधियाँ अक्सर पूरे-अनुक्रम स्तर (whole-sequence level) पर निरंतरता लागू करती हैं (जैसे, स्वच्छ और परिवर्तित आउटपुट के बीच कुलबैक-लीब्लर डाइवर्जेंस को कम करना), इस समग्र दृष्टिकोण की एक महत्वपूर्ण सीमा है: यह स्थानीय विफलताओं को छिपा सकता है। एक परिवर्तित प्रतिक्रिया वैश्विक रूप से स्वच्छ आउटपुट के समान बनी रह सकती है, लेकिन एक महत्वपूर्ण अर्थ संबंधी सेगमेंट (semantic segment), जैसे कि एक विशिष्ट इकाई, संख्यात्मक मान, कारण संबंध, या निष्कर्ष, पर विचलित हो सकती है।

इसके अलावा, वर्तमान विधियों में अक्सर इस बात की व्याख्या करने के लिए तंत्र-पक्ष (mechanism-side) व्याख्या का अभाव होता है कि ये विचलन क्यों होते हैं। परिवर्तन जनरेशन के दौरान स्रोत साक्ष्य (source evidence) के माध्यम से अटेंशन के पुनर्वितरण (reallocation) के तरीके को बदल सकते हैं, लेकिन इसे शायद ही कभी स्पष्ट रूप से नियमित (regularize) किया जाता है। पेपर का तर्क है कि मजबूती का विश्लेषण केवल वैश्विक अनुक्रम निरंतरता के बजाय स्थानीय अर्थ संबंधी विचलन (local semantic drift) के माध्यम से किया जाना चाहिए, और अनुकूलन प्रक्रिया (विशेष रूप से लो-रैंक एडेप्टेशन, या LoRA में) को नियंत्रित करना परिवर्तन-प्रवर्धित साक्ष्य बदलावों (perturbation-amplified evidence shifts) को रोकने के लिए आवश्यक है।

2. कार्यप्रणाली: S2R2

लेखक S2R2 (सेमेंटिक सेगमेंट रोबस्टनेस रेगुलराइजेशन) का प्रस्ताव करते हैं, जो LoRA-अनुकूलित LLMs के लिए एक मजबूत फाइन-ट्यूनिंग फ्रेमवर्क है। यह फ्रेमवर्क दो जुड़े हुए घटकों से बना है: एक आउटपुट-साइड सेमेंटिक अलाइनमेंट ऑब्जेक्टिव और एक मैकेनिज्म-साइड एडेप्टर स्टेबिलिटी रेगुलराइज़र।

2.1 सेगमेंट-स्तरीय अपघटन और संरेखण (Decomposition and Alignment)

आउटपुट को एक एकल अनुक्रम मानने के बजाय, S2R2 स्वच्छ ( $y$ ) और परिवर्तित ( $y'$ ) जनरेशन को अर्थ संबंधी सेगमेंट ( $G(y)$ और $G(y')$ ) में विभाजित करता है।

सेगमेंट प्रतिनिधित्व: सेगमेंट को उनके टोकन-स्तरीय हिडन स्टेट्स के औसत द्वारा दर्शाया जाता है।
ऑप्टिमल ट्रांसपोर्ट अलाइनमेंट: सेगमेंट के क्रम या ग्रैनुलैरिटी में भिन्नता को संभालने के लिए, विधि एक ऑप्टिमल ट्रांसपोर्ट प्लान ( $T^*$ ) का उपयोग करके दो सेगमेंट सेटों को अलाइन करती है। सेगमेंट के बीच लागत $1 - \cos(e_u, e'_v)$ द्वारा परिभाषित है।
वर्स्ट-ड्रिफ्ट पेनलाइजेशन (Worst-Drift Penalization): सेमेंटिक रोबस्टनेस लॉस ( $\mathcal{L}_{sem}$ ) को उन सेगमेंट को दंडित करने के लिए डिज़ाइन किया गया है जिनमें सबसे अधिक अर्थ संबंधी विचलन होता है। यह औसत विचलन को एक स्मूथ मैक्सिमम टर्म (जो $\beta$ द्वारा नियंत्रित है) के साथ जोड़ता है ताकि "वर्स्ट-ड्रिफ्ट" सेगमेंट पर अनुकूलन (optimization) केंद्रित हो सके:
$\mathcal{L}_{sem} = \frac{1}{U} \sum_{u} d_u + \frac{1}{\beta} \log \sum_{u} \exp(\beta d_u)$
जहाँ $d_u$ सेगमेंट $u$ का विचलन है।

2.2 एडेप्टर-स्टेबिलिटी रेगुलराइज़र (Adapter-Stability Regulariser)

आउटपुट विचलन को मॉडल अनुकूलन से जोड़ने के लिए, लेखक एक रेगुलराइज़र ( $\mathcal{L}_{stab}$ ) पेश करते हैं जो अटेंशन प्रोजेक्शन (विशेष रूप से क्वेरी और की मैट्रिसेस) में LoRA अपडेट के विकास को नियंत्रित करता है।

तंत्र: रेगुलराइज़र को लेयर्स में LoRA फैक्टर मैट्रिसेस ( $A$ और $B$ ) के फ्रोबेनियस नॉर्म्स (Frobenius norms) के गुणनफल के योग के रूप में परिभाषित किया गया है:
$\mathcal{L}_{stab} = \sum_{\ell} \sum_{\ast \in \{Q,K\}} \|B^\ell_\ast\|_F \|A^\ell_\ast\|_F$
तर्क: यह टर्म परिवर्तन-प्रवर्धित अटेंशन पुनर्वितरण (perturbation-amplified attention reallocation) को सीमित करने के लिए एक सुलभ प्रॉक्सी के रूप में कार्य करता है। बड़े LoRA अपडेट्स इनपुट परिवर्तनों के प्रभाव को अटेंशन स्कोर पर बढ़ा सकते हैं, जिससे अस्थिर साक्ष्य आवंटन (evidence allocation) हो सकता है। इन नॉर्म्स को प्रतिबंधित करके, यह विधि मॉडल को परिवर्तित उदाहरणों को फिट करने के लिए अत्यधिक पैरामीटर मूवमेंट पर निर्भर होने से रोकती है।

2.3 जटिलता व्याख्या (PAC-Bayesian View)

पेपर एक PAC-Bayesian जटिलता लेंस के माध्यम से एडेप्टर-स्टेबिलिटी टर्म की व्याख्या करता है।

प्रायर/पोस्टीरियर: फ्रीज्ड प्री-ट्रेंड मॉडल को प्रायर सेंटर ( $P$ ) के रूप में देखा जाता है, और LoRA पैरामीटर्स एक पोस्टीरियर वितरण ( $Q$ ) को परिभाषित करते हैं।
जटिलता नियंत्रण: LoRA नॉर्म्स को नियंत्रित करने को प्रायर के सापेक्ष अनुकूलित परिकल्पना (hypothesis) की जटिलता को सीमित करने के रूप में व्याख्यायित किया जाता है। यह सुझाव देता है कि मजबूती विशिष्ट परिवर्तन पैटर्न पर ओवरफिट होने के बजाय, प्री-ट्रेंड परिकल्पना स्थान को संरक्षित करके प्राप्त की जाती है।

2.4 अंतिम ऑब्जेक्टिव

कुल प्रशिक्षण ऑब्जेक्टिव मानक क्रॉस-एन्ट्रॉपी लॉस ( $\mathcal{L}_{CE}$ ), सेमेंटिक सेगमेंट लॉस और एडेप्टर-स्टेबिलिटी टर्म को जोड़ता है:
$\mathcal{L}_{S2R2} = \mathcal{L}_{CE} + \lambda_{sem}\mathcal{L}_{sem} + \lambda_{stab}\mathcal{L}_{stab}$

3. मुख्य योगदान

सेगमेंट-लेवल रोबस्टनेस व्यू: यह पेपर प्रॉम्प्ट रोबस्टनेस विफलताओं का विश्लेषण पूरे-अनुक्रम निरंतरता के बजाय स्थानीय अर्थ संबंधी विचलन के माध्यम से करने का प्रस्ताव करता है, और तर्क देता है कि वैश्विक मेट्रिक्स महत्वपूर्ण स्थानीय विफलताओं को छिपा सकते हैं।
S2R2 फ्रेमवर्क: एक रोबस्ट LoRA फाइन-ट्यूनिंग फ्रेमवर्क का परिचय, जो स्वच्छ और परिवर्तित जनरेशन को सेमेंटिक-सेगमेंट स्तर पर अलाइन करता है और वर्स्ट-ड्रिफ्ट सेगमेंट को स्पष्ट रूप से दंडित करता है।
एडेप्टर-स्टेबिलिटी कनेक्शन: सेगमेंट-लेवल रोबस्टनेस और एडेप्टर स्टेबिलिटी के बीच एक नया संबंध, जो Lo-ट्राक्टेबल अटेंशन पुनर्वितरण को सीमित करने के प्रॉक्सी और एक PAC-Bayesian जटिलता रेगुलराइज़र के रूप में LoRA नॉर्म कंट्रोल की व्याख्या करता है।
अनुभवजन्य सत्यापन (Empirical Validation): समराइजेशन बेंचमार्क पर व्यापक मूल्यांकन, जो निरंतरता-आधारित बेसलाइन्स की तुलना में बेहतर मजबूती और क्रॉस-डेटासेट ट्रांसफर प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने BART-base, Flan-T5-base, और Mistral-7B-Instruct-v0.2 जैसे मॉडलों का उपयोग करके CNN/DailyMail, XSum, और PubMed जैसे समराइजेशन कार्यों पर S2R2 का मूल्यांकन किया। परिवर्तनों में टाइपोग्राफिकल नॉइज़, विलोपन, समानार्थी प्रतिस्थापन और पैराफ्रेसिंग शामिल थे।

रोबस्टनेस प्रदर्शन: S2R2 ने परिवर्तनों के तहत परफॉरमेंस ड्रॉप रेट (PDR) को काफी कम कर दिया। उदाहरण के लिए, BART-base के साथ CNN/DailyMail पर, S2Rly ने 0.0012 का PDR प्राप्त किया, जो SMART बेसलाइन की तुलना में 81% की कमी है।
सेमेंटिक स्थिरता: विधि ने सरफेस-फॉर्म अस्थिरता (Output Edit Rate) को कम करते हुए प्रतिस्पर्धी सेमेंटिक निरंतरता (Self-BERTScore द्वारा मापा गया) बनाए रखी।
जटिलता और सामान्यीकरण: महत्वपूर्ण रूप से, S2R2 ने बेसलाइन्स की तुलना में बहुत छोटे LoRA जटिलता टर्म (DKL) के साथ ये परिणाम प्राप्त किए। यह सुझाव देता है कि S2R2 परिवर्तनों को फिट करने के लिए बड़े एडेप्टर मूवमेंट पर निर्भर नहीं है।
क्रॉस-डेटासेट ट्रांसफर: ज़ीरो-शॉट मूल्यांकन में (जैसे, CNN/DailyMail पर फाइन-ट्यून किया गया, PubMed पर टेस्ट किया गया), S2R2 ने बेसलाइन्स की तुलना में मजबूत ट्रांसफर क्षमता दिखाई, जिससे कम एम्पिरिकल रिस्क और कॉम्प्लेक्सिटी-एडजस्टेड स्कोर प्राप्त हुआ। यह इंगित करता है कि वर्स्ट-ड्रिफ्ट सेमेंटिक सेगमेंट को संरक्षित करना देखे गए परिवर्तनों से परे रोबस्टनेस ट्रांसफर का समर्थन करता है।

5. महत्व और दावे

पेपर का दावा है कि S2R2 भाषा आउटपुट की गैर-समान भेद्यता (non-uniform vulnerability) को संबोधित करके एक अधिक लक्षित दृष्टिकोण प्रदान करता है। इसका प्राथमिक महत्व है:

फोकस को बदलना: समग्र अनुक्रम निरंतरता से सेगमेंट-लेवल सेमेंटिक संरक्षण की ओर बढ़ना, जो जनरेशन कार्यों में महत्वपूर्ण विफलताओं को बेहतर ढंग से पकड़ता है।
मैकेनिज्म-साइड रेगुलराइजेशन: LoRA नॉर्म कंस्ट्रेंट्स के माध्यम से अटेंशन पुनर्वितरण को नियंत्रित करने का एक सुलभ तरीका प्रदान करना, जो आउटपुट स्थिरता को आंतरिक मॉडल अनुकूलन से जोड़ता है।
सामान्यीकरण: यह प्रदर्शित करना कि देखे गए परिवर्तनों और डेटासेट के परे मजबूती हासिल करने के लिए एडेप्टर ग्रोथ (जटिलता) को नियंत्रित करना प्रभावी है।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि PAC-Bayesian व्याख्या एक "जनरलाइजेशन-ओरिएंटेड एक्सप्लेनेशन" है न कि एक प्रमाणित गारंटी, और अटेंशन पुनर्वितरण एक "डायग्नोस्टिक प्रॉक्सी" है न कि जनरेशन व्यवहार का पूर्ण कारण संबंधी स्पष्टीकरण। भविष्य के कार्य के रूप में डायरेक्ट अटेंशन डायग्नोस्टिक्स के साथ फ्रेमवर्क को विस्तारित करने का प्रस्ताव दिया गया है।