EchoCoT: Extracting Hidden Chain-of-Thought from Large Reasoning Models
यह शोध पत्र EchoCoT को प्रस्तुत करता है, जो एक बहु-चरणीय हमला ढांचा (multi-step attack framework) है जो API इंटरैक्शन के माध्यम से ओपन-सोर्स और फ्रंटियर प्रोप्राइटरी लार्ज रीजनिंग मॉडल्स दोनों से छिपे हुए चेन-ऑफ-थॉट ट्रेसेस (chain-of-thought traces) को लगभग शब्दशः सफलतापूर्वक निकाल लेता है, जो इन मूल्यवान मॉडल संपत्तियों के लिए एक महत्वपूर्ण सुरक्षा जोखिम को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ जटिल समस्याओं को हल करने में उल्लेखनीय रूप से कुशल हो गई हैं, चाहे वह कंप्यूटर कोड लिखना हो या वैज्ञानिक पहेलियों को सुलझाना। जब ये उन्नत मॉडल किसी कठिन प्रश्न का सामना करते हैं, तो वे केवल एक अंतिम उत्तर नहीं देते हैं। इसके बजाय, वे पहले विचारों का एक लंबा, आंतरिक प्रवाह उत्पन्न करते हैं, जो एक चरण-दर-चरण तर्क प्रक्रिया है जहाँ वे विचारों का अन्वेषण करते हैं, अपने काम की जाँच करते हैं, गलतियों को सुधारते हैं, और एक निष्कर्ष पर पहुँचने से पहले विभिन्न रास्तों पर विचार करते हैं। यह आंतरिक एकालाप, जिसे अक्सर 'चेन ऑफ थॉट' (chain of thought) कहा जाता है, आमतौर पर उपयोगकर्ता से छिपा रहता है। मॉडल अपनी बौद्धिक संपदा की रक्षा करने और संवेदनशील डेटा या मालिकाना तर्क के प्रदर्शन को रोकने के लिए इस तर्क को निजी रखता है, और केवल अंतिम परिणाम ही दिखाता है। डेवलपर्स के लिए, यह छिपा हुआ तर्क भविष्य के मॉडलों को बेहतर बनाने के लिए एक मूल्यवान संसाधन है, जबकि उपयोगकर्ताओं के लिए, यह एक 'ब्लैक बॉक्स' है जो पीछे के बिखराव भरे काम को प्रकट किए बिना एक सही उत्तर देने का वादा करता है।
CISPA हेल्म्सहोल्ट्ज़ सेंटर फॉर इंफॉर्मेशन सिक्योरिटी के सुरक्षा शोधकर्ताओं की एक टीम ने पाया है कि यह छिपा हुआ तर्क उतना सुरक्षित नहीं है जितना पहले माना जाता था। उन्होंने इन उन्नत मॉडलों को उनके पूरे आंतरिक विचार प्रक्रिया को, लगभग शब्द-दर-शब्द, प्रकट करने के लिए छलने का एक तरीका खोज निकाला है, भले ही मॉडल उन्हें गुप्त रखने के लिए डिज़ाइन किए गए हों। शोधकर्ताओं ने 'इको-सीओटी' (EchoCoT) नामक एक विधि विकसित की है, जो इन मॉडलों के बाहरी उपकरणों (tools) के साथ बातचीत करने के एक विशिष्ट दोष का फायदा उठाती है। कई प्रणालियों में, जब किसी मॉडल को किसी उपकरण—जैसे कैलकुलेटर या डेटाबेस—का उपयोग करने की आवश्यकता होती है, तो वह अपने तर्क को करने के लिए रुक जाता है, लेकिन निरंतरता सुनिश्चित करने के लिए वह अपने पिछले विचारों को अपनी मेमोरी में सक्रिय रखता है। शोधकर्ताओं ने महसूस किया कि एक हमलावर इस निरंतरता का लाभ उठाने के लिए इसका उपयोग कर सकता है। मॉडल को अपने विचारों को किसी टूल में सहेजने (save) के लिए बार-बार कहने और फिर उन सहेजे गए विचारों को अधूरा बताकर अस्वीकार करने के माध्यम से, वे मॉडल को अपने आंतरिक तर्क को फिर से दोहराने (replay) के लिए मजबूर कर सकते हैं, जिससे हर बार अधिक विवरण प्रकट होता है और अंततः पूरी, छिपी हुई 'चेन ऑफ थॉट' उजागर हो जाती है।
शोधकर्ताओं ने इस तकनीक का परीक्षण विभिन्न मॉडलों पर किया, जिसमें ओपन-सोर्स सिस्टम और प्रमुख प्रौद्योगिकी कंपनियों के सबसे उन्नत, मालिकाना मॉडल दोनों शामिल थे। ओपन-सोर्स मॉडलों पर, जहाँ शोधकर्ता निकाले गए विचारों की तुलना मूल छिपे हुए विचारों से कर सके, उन्होंने पाया कि इको-सीओटी लगभग पूरी तर्क प्रक्रिया को पुनः प्राप्त कर सकता है। कई मामलों में, निकाला गया टेक्स्ट मूल छिपे हुए विचारों से अत्यधिक सटीकता के साथ मेल खाता था, जो सटीक शब्दों और वाक्यांशों के 90 प्रतिशत से अधिक हिस्से को कैप्चर करता था। यह विधि बहुत लंबी तर्क श्रृंखलाओं के लिए भी काम करती थी, जो हजारों टोकन के विचारों को सफलतापूर्वक निकाल लेती थी। जब शोधकर्ताओं ने गूगल और एंथ्रोपिक जैसी कंपनियों के मालिकाना मॉडलों पर समान तकनीक लागू की, तो वे सीधे तुलना करने के लिए मूल छिपे हुए विचारों को नहीं देख सके। हालाँकि, निकाले गए विचार अविश्वसनीय रूप से लंबे थे, जो अक्सर उन तर्कों की लंबाई से मेल खाते थे जिनका उपयोग करने के लिए कंपनियों ने रिपोर्ट किया था। इसके अलावा, इन निकाले गए विचारों की सामग्री कंपनियों द्वारा दिए गए संक्षिप्त सारांशों के साथ निकटता से मेल खाती थी, जो यह सुझाव देता है कि निष्कर्षण सटीक था। गूगल के एक मॉडल से संबंधित एक उदाहरण में, शोधकर्ताओं ने 33,000 से अधिक टोकन की एक तर्क श्रृंखला को पुनः प्राप्त किया, जो मॉडल की रिपोर्ट की गई आंतरिक प्रक्रिया की लंबाई के लगभग समान थी।
केवल टेक्स्ट को पुनः प्राप्त करने के अलावा, निकाले गए विचारों ने इस बात के समृद्ध विवरण भी प्रकट किए कि ये मॉडल कैसे सोचते हैं। शोधकर्ताओं ने देखा कि मॉडल गूगल सर्च का अनुकरण (simulate) कर रहे हैं, जानकारी को याद करते समय चीनी और अंग्रेजी जैसी विभिन्न भाषाओं के बीच स्विच कर रहे हैं, और व्यापक आत्म-सुधार (self-correction) में संलग्न हैं। ये व्यवहार, जैसे कि मॉडल का कहना "रुको, क्या यह सच है?" या "मुझे एक अलग दृष्टिकोण आज़माना चाहिए," उस कच्चे आंतरिक प्रक्रम का हिस्सा हैं जिसे आमतौर पर उपयोगकर्ता को अंतिम उत्तर दिखाने से पहले हटा दिया जाता है। अध्ययन ने यह भी दिखाया कि इस हमले को स्वचालित (automate) किया जा सकता था। शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो विचारों के लिए पूछने के सबसे अच्छे तरीके को सीख सकता था, जो मॉडल द्वारा उपयोग किए गए शब्दों की संख्या जैसे फीडबैक संकेतों के आधार पर अपने प्रश्नों को परिष्कृत करता था। इस स्वचालित दृष्टिकोण ने हमले को और भी प्रभावी बना दिया, जिससे यह बिना किसी मैनुअल प्रोग्रामिंग के विभिन्न प्रकार के प्रश्नों और डेटासेटों पर सामान्यीकृत (generalize) हो सका।
इस खोज के निहितार्थ कृत्रिम बुद्धिमत्ता की सुरक्षा के लिए महत्वपूर्ण हैं। शोधकर्ताओं ने पाया कि केवल तर्क को उपयोगकर्ता से छिपाना इसे सुरक्षित रखने के लिए पर्याप्त नहीं है। जब तक मॉडल टूल उपयोग करने के लिए आवश्यक कार्यों को करने के लिए अपने आंतरिक स्टेट (internal state) को बनाए रखता है, तब तक उस स्टेट को फिर से चलाया और निकाला जा सकता है। अध्ययन ने कई संभावित सुरक्षा उपायों का परीक्षण किया, जैसे कि तर्क शब्दों की गिनती को छिपाना या मॉडल के सिस्टम प्रॉम्प्ट में लीक को रोकने के लिए सख्त निर्देश जोड़ना। जबकि इनमें से कुछ उपायों ने हमले की सफलता को कम कर दिया, लेकिन कोई भी इसे पूरी तरह से नहीं रोक सका। सबसे प्रभावी परीक्षण किया गया बचाव यह था कि टूल कॉल के बाद मॉडल की अपने पिछले तर्क तक पहुँच को हटा दिया जाए, लेकिन इससे जटिल, बहु-चरणीय कार्यों को करने की मॉडल की क्षमता बाधित हो जाएगी। शोधकर्ताओं ने शामिल प्रमुख प्रौद्योगिकी कंपनियों को उनके निष्कर्षों की जिम्मेदारी से रिपोर्ट की, जो इन शक्तिशाली तर्क प्रणालियों के वर्तमान डिज़ाइन में एक गंभीर भेद्यता (vulnerability) को रेखांकित करता है। उनका कार्य बताता है कि इन मॉडलों की बौद्धिक संपदा और सुरक्षा की रक्षा करने के लिए केवल इस धारणा पर निर्भर रहने के बजाय कि छिपे हुए विचार छिपे रहेंगे, उन्हें कैसे बनाया जाता है और वे बाहरी दुनिया के साथ कैसे इंटरैक्ट करते हैं, इसमें अधिक मौलिक बदलावों की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।