Selection-Aware Diagnostics for Chain-of-Thought Answer Hijacking
यह शोध पत्र विशिष्ट मॉडल-कार्य कॉन्फ़िगरेशन में चयन-जागरूक सक्रिय पैचिंग (selection-aware activation patching) द्वारा हाईजैक की गई प्रक्षेपवक्रों (trajectories) से सही उत्तरों को सफलतापूर्वक पुनर्प्राप्त करने का प्रदर्शन करके, एलएलएम (LLMs) पर चेन-ऑफ-थॉट उत्तर हाईजैकिंग हमलों की भंगुरता की जांच करता है, जबकि यह प्रकट करता है कि रिकवरी की प्रभावशीलता स्वच्छ ट्रेस के स्रोत और हमले की प्रकृति पर निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (जैसे कि एक बहुत ही बुद्धिमान लेकिन कभी-कभी भोला रोबोट) एक गणित की समस्या को हल करने की कोशिश कर रहा है। आमतौर पर, यह चरण-दर-चरण सोचता है (इसे "चेन-ऑफ-थॉट" कहा जाता है) और सही उत्तर प्राप्त करता है।
लेकिन, एक चाल है। एक हमलावर गणित की समस्या से पहले एक लंबी, भ्रमित करने वाली या चापलूसी भरी कहानी डाल सकता है। रोबोट उस कहानी को पढ़ता है, विचलित या भ्रमित हो जाता है, और अपने दिमाग में गणित को सही ढंग से करने के बावजूद, वह गलती से गलत अंतिम उत्तर लिख देता है। इसे "आंसर हाइजैकिंग" (उत्तर अपहरण) कहा जाता है।
यह शोध पत्र एक टीम के मैकेनिक्स की तरह है जो यह पता लगाने की कोशिश कर रहे हैं कि इस भटकाव का कारण रोबोट के मस्तिष्क में कहाँ होता है और बिना रोबोट को फिर से पूरी तरह से सिखाए इसे कैसे ठीक किया जाए।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "हाइजैक की गई ट्रेन" (The Hijacked Train)
रोबोट की तर्क प्रक्रिया को एक सुरंग (न्यूरल नेटवर्क लेयर्स) के माध्यम से चलती हुई ट्रेन के रूप में सोचें।
- हाइजैक: हमलावर पटरियों पर एक "पटरी से उतरने वाला संकेत" (derailment signal) रख देता है। ट्रेन (तर्क) ठीक दिखती है, लेकिन बिल्कुल अंत में, वह पटरी से उतर जाती है और गलत उत्तर देती है।
- लक्ष्य: शोधकर्ता इस सुरंग में उस सटीक स्थान को खोजना चाहते थे जहाँ ट्रेन सबसे अधिक नाजुक होती है ताकि वे उसे धीरे से वापस सही पटरी पर ला सकें।
2. विधि: "सर्जिकल नज़" (The Surgical Nudge)
पूरी ट्रेन को ठीक करने या इंजन को फिर से प्रशिक्षित करने के बजाय, शोधकर्ताओं ने एक्टिवेशन पैचिंग (Activation Patching) नामक तकनीक का उपयोग किया।
- कल्पना करें कि ट्रेन सुरंग के माध्यम से चल रही है। एक विशिष्ट क्षण पर, शोधकर्ता ट्रेन को रोकते हैं, वर्तमान "विचार" को एक अलग, गैर-हाइजैक किए गए रन से प्राप्त "स्वच्छ विचार" (clean thought) के साथ बदलते हैं, और फिर ट्रेन को आगे बढ़ने देते हैं।
- उन्होंने यह देखने के लिए कि कौन सा "फ्लोर" (लेयर) इस बदलाव के प्रति सबसे संवेदनशील था, सुरंग के विभिन्न "फ्लोर" पर इसका परीक्षण किया।
3. बड़ी खोज: यह एक "ज़ोन" है, न कि एक "स्पॉट"
शोधकर्ताओं को उम्मीद थी कि उन्हें एक विशिष्ट फ्लोर मिलेगा जहाँ सुधार हमेशा काम करता है (जैसे कि एक अकेला खराब बल्ब)। इसके बजाय, उन्हें कुछ अधिक दिलचस्प मिला: एक "फ्रैजिलिटी ज़ोन" (नाजुकता क्षेत्र)।
- बैंड: कुछ प्रकार के हाइजैक के लिए (जैसे भ्रमित करने वाली गणितीय पuzzles या ट्रिकी प्रश्न), सुरंग का एक पूरा मध्य भाग होता है जहाँ ट्रेन डगमगाती है। यदि आप इस मध्य ज़ोन में कहीं भी ट्रेन को थोड़ा सा धक्का (nudge) देते हैं, तो वह अक्सर सही उत्तर पर वापस आ जाती है।
- उपमा: यह किसी एक ढीले पेंच की तरह नहीं है; यह एक पूरे ट्रैक के खंड की तरह है जो थोड़ा सा मुड़ा हुआ है। आपको हर बार सटीक स्थान पर प्रहार करने की आवश्यकता नहीं है; उस मुड़े हुए खंड में कहीं भी प्रहार करना समस्या को ठीक कर देता है।
4. आश्चर्य: आपको "परफेक्ट" सुधार की आवश्यकता नहीं है
एक सामान्य धारणा थी कि गलती को ठीक करने के लिए, आपको खराब विचार को उसी समस्या से प्राप्त सटीक सही विचार से बदलना होगा (जैसे एक काम करने वाली मशीन से सटीक समान गियर के साथ टूटे हुए गियर को बदलना)।
शोधकर्ताओं ने पाया कि यह हमेशा सच नहीं होता है।
- "रैंडम" सुधार: कुछ मामलों में, उन्होंने हाइजैक किए गए विचार को रैंडम नॉइज़ (स्टैटिक/शोर) या बिल्कुल अलग समस्या के विचार से बदल दिया, और इसने फिर भी उत्तर को ठीक कर दिया!
- अर्थ: यह सुझाव देता है कि हाइजैक विचार की सामग्री के गलत होने के बारे में नहीं था, बल्कि उस पथ (path) के बारे में था जो बहुत संवेदनशील था। किसी भी चीज़ (यहाँ तक कि रैंडम नॉइज़) के साथ पथ को तोड़ना ही हाइजैक को रोकने और रोबोट को अपने आप सही उत्तर खोजने देने के लिए पर्याप्त था।
- अपवाद: कुछ प्रकार के हाइजैक के लिए (जैसे जब रोबोट "चापलूस" हो रहा हो या उपयोगकर्ता को खुश करने की कोशिश कर रहा हो), यह "रैंडम फिक्स" काम नहीं करता है। वे हाइजैक गहरे और अधिक जटिल होते हैं, जिनमें लंबे, अधिक विशिष्ट हस्तक्षेप की आवश्यकता होती है।
5. परिणाम: यह कितना अच्छा काम करता है?
- सफलता दर: जब उन्होंने सही "फ्रैजिलिटी ज़ोन" में यह "नज़" (धक्का) लगाया, तो उन्होंने हाइजैक किए गए गणित के लगभग 40% से 60% मामलों में सही उत्तर सफलतापूर्वक प्राप्त किया।
- क्रॉस-मॉडल: उन्होंने दो अलग-अलग रोबोट दिमागों (Qwen और Llama) पर इसका परीक्षण किया। "फ्रैजिलिटी ज़ोन" दोनों के लिए समान स्थानों पर दिखाई दिया, जिससे पता चलता है कि यह इन रोबोटों के सोचने के तरीके की एक सामान्य विशेषता है।
- ट्रांसफर: उन्होंने एक सेट (GSM8K) पर सीखे गए सुधार को दूसरे, कठिन सेट (MATH-500) पर आज़माया। बिना किसी रीट्रेनिंग के यह अभी भी लगभग 26% समय काम करता है।
6. यह क्या नहीं है
लेखक बहुत सावधानी से कहते हैं कि यह क्या नहीं है:
- यह कोई जादुई ढाल नहीं है जो रोबोट को सभी हमलों से सुरक्षित बनाती है।
- यह रोबोट को स्थायी रूप से ठीक करने का तरीका नहीं है (सुधार वास्तविक समय में लागू किया जाता है, जैसे कि एक अस्थायी पैच)।
- यह इस बात का प्रमाण नहीं है कि रोबोट के "स्वच्छ विचार" ही सही उत्तर प्राप्त करने का एकमात्र तरीका हैं। कभी-कभी, बस चीजों को हिलाना-डुलाना (रैंडम नॉइज़) ही काफी होता है।
सारांश
यह शोध पत्र दिखाता है कि जब AI मॉडल गलत उत्तर देने के लिए धोखा खा जाते हैं, तो अक्सर धोखा उनकी सोच की प्रक्रिया के एक विशिष्ट "मध्य ज़ोन" में होता है। उस ज़ोन को एक "नज़" (धक्के) के साथ धीरे से बाधित करके (भले ही वह रैंडम हो), हम अक्सर मॉडल को सही उत्तर पर वापस ला सकते हैं। यह हमें यह समझने में मदद करता है कि ये मॉडल कहाँ नाजुक हैं, बजाय इसके कि हम केवल यह कहें कि "मॉडल टूटा हुआ है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।