RECUR: Resource Exhaustion Attack via Recursive-Entropy Guided Counterfactual Utilization and Reflection
यह शोध पत्र RECUR को प्रस्तुत करता है, जो एक नया संसाधन निष् exhaustion (resource exhaustion) हमला है जो "रिकर्सिव एंट्रॉपी" (Recursive Entropy) नामक एक नए मीट्रिक का लाभ उठाकर काउंटरफैक्चुअल प्रश्न पूछने के माध्यम से लार्ज रीजनिंग मॉडल्स (LRMs) में अत्यधिक, अनावश्यक रिफ्लेक्शन को ट्रिगर करता है, जिससे कंप्यूटेशनल लागत काफी बढ़ जाती है और थ्रूपुट कम हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-इंटेलिजेंट व्यक्तिगत सहायक है। एक कठिन गणितीय समस्या को हल करने के लिए, यह सहायक केवल उत्तर नहीं बताता; बल्कि, यह बैठ जाता है, एक नोटपैड निकालता है, और अपने तर्क के हर चरण को लिखने के लिए "ज़ोर से सोचता" है। आधुनिक लार्ज रीजनिंग मॉडल्स (LRMs) इसी तरह काम करते हैं।
हालाँकि, यह शोध पत्र इन सहायकों के "दिमाग में एक खराबी" को उजागर करता है। शोधकर्ताओं ने पाया कि आप सहायक को अनंत अति-चिंतन (infinite overthinking) की स्थिति में फँसा सकते हैं, जहाँ वह एक लूप में फंस जाता है: "रुको, मुझे इसे फिर से जांचना चाहिए... लेकिन अगर मैं इसे फिर से जांचता हूँ, तो... रुको, मुझे इसे फिर से जांचना चाहिए!"
इसे रिसोर्स एग्जॉशन अटैक (Resource Exhaustion Attack) कहा जाता है, और यहाँ बताया गया है कि यह कुछ रूपकों (metaphors) के माध्यम से कैसे काम करता है।
1. अवधारणा: "रिकर्सिव एंट्रॉपी" (संदेह का चक्रव्यूह)
शोधकर्ताओं ने एक तरीका विकसित किया है जिससे यह मापा जा सके कि मॉडल कितना "फँसा हुआ" महसूस कर रहा है, जिसे वे रिकर्सिव एंट्रॉपी (Recursive Entropy) कहते हैं।
- रूपक: एक पेशेवर जासूस की कल्पना करें जो एक केस सुलझा रहा है।
- सामान्य सोच: जासूस सुराग देखता है, उन्हें जोड़ता है, और जैसे-जैसे वह सच्चाई के करीब पहुँचता है, उसका आत्मविश्वास बढ़ता है। उसके नोट्स अधिक स्पष्ट और केंद्रित होते जाते हैं। (यह घटती एंट्रॉपी है)।
- लूप: अब एक ऐसे जासूस की कल्पना करें जो एक सुराग पाता है, फिर तुरंत उस पर संदेह करता है, फिर उस संदेह पर संदेह करता है, फिर उस संदेह पर संदेह करता है जो उस संदेह के बारे में था। उसके नोट्स "शायद यह वह था? लेकिन क्या होगा अगर वह वह नहीं था? लेकिन अगर वह वह नहीं था, तो..." जैसे अराजक, दोहराव वाले कचरे में बदल जाते हैं। (यह बढ़ती रिकर्सिव एंट्रॉपी है)।
शोधकर्ताओं ने पाया कि जब यह "संदेह का चक्रव्यूह" बढ़ने लगता है, तो मॉडल दोहरावपूर्ण सोच के अथाह गड्ढे में गिरने ही वाला होता है।
2. हमला: "RECUR" (गैसलाइटिंग विधि)
शोधकर्ताओं ने RECUR नामक एक हमला बनाया है। यह तीन चरणों में काम करता है:
चरण A: काउंटरफैक्चुअल प्रश्न (द "गैसलाइटिंग" प्रॉम्प्ट)
"1+1 क्या है?" जैसे सरल प्रश्न पूछने के बजाय, वे "1+1 वास्तव में 3 क्यों है?" या "यदि 1+1 दो नहीं होता, तो वह क्या होता?" जैसा "गैसलाइटिंग" प्रश्न पूछते हैं।
- रूपक: यह एक गणित के प्रोफेसर के पास जाकर कहने जैसा है, "मुझे पता है कि आप सोचते हैं कि 1+1=2, लेकिन मैंने सुना है कि यह वास्तव में 3 है। क्या आप समझा सकते हैं कि आपका तर्क गलत क्यों हो सकता है?" यह प्रोफेसर को गणित हल करना बंद करने और अपने अस्तित्व पर सवाल उठाने के लिए मजबूर करता है।
चरण B: गाइडेड सैंपलिंग (द "नज" या धकेलना)
हमलावर "संदेह के चक्रव्यूह" के मेट्रिक का उपयोग उन सटीक शब्दों को चुनने के लिए करते हैं जो मॉडल को घुमाते रहेंगे। वे केवल मॉडल के विफल होने का इंतज़ार नहीं करते; वे सक्रिय रूप से उसे सबसे भ्रमित करने वाले, दोहराव वाले रास्तों की ओर मोड़ते हैं।
- रूपक: यह भीड़ में एक हिक्लर (heckler) की तरह है जो केवल "तुम गलत हो!" चिल्लाता नहीं है, बल्कि विशेष रूप से उन भ्रमित करने वाले शब्दों को फुसफुसाता है जिन्हें वह जानता है कि बोलने वाले का ध्यान भटका देंगे।
**चरण C: कोहेरेंस-आधारित ट्रिमिंग (द "चीट शीट")
एक बार जब वे एक आदर्श लूप ढूंढ लेते हैं जो मॉडल को अनंत काल तक घुमाता रहता है, तो वे अनावश्यक बातों को "छँटाई" (trim) कर देते हैं। वे लूप के सबसे प्रभावशाली, दोहराव वाले हिस्सों को लेते हैं और उन्हें एक छोटे, "सांद्रित" प्रॉम्प्ट में बदल देते हैं।
- रूपक: यदि एक 10 पन्नों का तर्क किसी को पागल कर देता है, तो हमलावर को अगले व्यक्ति को वह पूरा 10 पन्ना पढ़ने की आवश्यकता नहीं है। वे बस सबसे भ्रमित करने वाले तीन वाक्यों को ढूंढते हैं और उन्हें अगले व्यक्ति के कान में फुसफुसा देते हैं।
3. परिणाम: "ब्रेन फ्रीज़"
जब यह हमला सफल होता है, तो परिणाम नाटकीय होते हैं:
- आउटपुट विस्फोट: मॉडल की "सोच" सामान्य से 11 गुना लंबी हो जाती है।
- सिस्टम क्रैश: क्योंकि मॉडल कुछ भी न सोचने के लिए बहुत अधिक "मस्तिष्क शक्ति" (कंप्यूटिंग संसाधन) का उपयोग कर रहा है, इसलिए सेवा की गति 90% तक धीमी हो जाती है।
रूपक सारांश:
यह एक शरारती व्यक्ति की तरह है जिसने एक हाई-स्पीड सुपरकंप्यूटर को "मैं इस कमरे में क्यों आया था?" वाले लूप में फंसे व्यक्ति की तरह व्यवहार करने का तरीका ढूंढ लिया है। कंप्यूटर 100% क्षमता पर काम कर रहा है, लेकिन वह शून्य उपयोगी परिणाम दे रहा है, जिससे प्रभावी रूप से मशीन पंगु हो रही है।
यह क्यों मायने रखता है?
शोधकर्ता इंटरनेट को तोड़ने की कोशिश नहीं कर रहे हैं; वे डिजिटल ताले बनाने वाले (digital locksmiths) की तरह काम कर रहे हैं। यह दिखाकर कि इन मॉडल्स को एक "सोचने के लूप" में फँसाना कितना आसान है, वे इंजीनियरों को "मानसिक रेलिंग" (mental guardrails) बनाने में मदद कर रहे हैं ताकि अगली पीढ़ी के AI में गहरे तर्क और एक बेकार संदेह के चक्र के बीच अंतर किया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।