Fidelity Is Not Safety: Gently-Compressed LLMs Pass Every Data-Free Quality Guard Yet Invent Procedure Steps in Agentic Execution
यह शोध पत्र प्रकट करता है कि हल्के रूप से संकुचित (gently-compressed) बड़े भाषा मॉडल सभी मानक डेटा-मुक्त गुणवत्ता और निष्ठा संबंधी सुरक्षा मानकों को पार कर सकते हैं, फिर भी एजेंटिक निष्पादन के दौरान प्रक्रियात्मक चरणों (procedural steps) में मतिभ्रम (hallucination) का शिकार हो सकते हैं, जो कि संपीड़न त्रुटियों के परिमाण के बजाय उनकी सुसंगतता (coherence) से प्रेरित एक विशिष्ट विफलता मोड है जिसके लिए पता लगाने हेतु एक नए द्वि-अक्षीय स्क्रीनिंग मीट्रिक की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो एक विशाल, जटिल रेसिपी बुक को एक छोटे से पॉकेट नोटबुक में समेटने की कोशिश कर रहे हैं। आप चाहते हैं कि किताब इतनी छोटी हो कि उसे कहीं भी साथ ले जाया जा सके, लेकिन फिर भी आपको उसी स्वादिष्ट भोजन को बिल्कुल सटीक रूप से बनाना है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस "सिकुड़ने" को कंप्रेशन (compression) कहा जाता है। लार्ज लैंग्वेज मॉडल्स (वे सुपर-स्मार्ट AI दिमाग जो कोड लिखते हैं, कहानियाँ सुनाते हैं और हमसे बात करते हैं) बहुत विशाल होते हैं, इसलिए इंजीनियर उन्हें छोटा और तेज़ बनाने के लिए क्वांटाइजेशन (quantization) (अंदर के नंबरों को सरल बनाना), प्रूनिंग (pruning) (अनचाहे कनेक्शन को काट देना), और लो-रैंक फैक्टराइजेशन (low-rank factorization) (एक सरल गणितीय कंकाल खोजना) जैसे तरीकों का उपयोग करते हैं।
लेकिन आप यह कैसे जानते हैं कि सिकुड़ी हुई किताब अभी भी काम करती है? आप हर एक व्यंजन को चख नहीं सकते। इसके बजाय, आप "क्वालिटी गार्ड्स" (गुणवत्ता रक्षकों) का उपयोग करते हैं। आप देखते हैं कि क्या AI अभी भी बुनियादी व्याकरण समझता है (परप्लेक्सिटी/perplexity), क्या वह सामान्य ज्ञान के सवालों के सही जवाब दे सकता है (जैसे MMLU), और क्या उसके आंतरिक "विचार" मूल विशाल मस्तिष्क के समान दिखते हैं जब आप उसे रैंडम सवालों से उकसाते हैं। ये जाँचें तेज़ होती हैं और इनके लिए नए डेटा की आवश्यकता नहीं होती है। बड़ा सवाल यह है: क्या ये गार्ड्स यह साबित करने के लिए पर्याप्त हैं कि AI वास्तविक दुनिया में कार्य करने के लिए सुरक्षित रूप से भेजा जा सकता है? यह पेपर एक डरावनी संभावना की गहराई में जाता है: क्या होगा अगर AI सभी परीक्षणों में पास हो जाए, लेकिन जब वह किसी प्रक्रिया का पालन करने की कोशिश करे, तो वह खुद से नियम बनाने लगे?
महान "आविष्कार" डकैती (The Great "Invention" Heist)
इस पेपर के लेखकों ने यह पता लगाया कि AI को टेस्ट करने के तरीके में एक छिपा हुआ अंधा कोना (blind spot) है। उन्होंने पाया कि एक AI मॉडल हर मानक सुरक्षा परीक्षण में पास हो सकता है, कागज़ पर एकदम सही दिख सकता है, और फिर, जब उसे एक एजेंट (निर्देशों का सख्ती से पालन करने वाला डिजिटल कार्यकर्ता) के रूप में कार्य करने के लिए कहा जाता है, तो वह ऐसे कदम आविष्कार करने लगता है जो निर्देशों में कभी थे ही नहीं।
इसे एक ऐसे छात्र के रूप में सोचें जो गणित की परीक्षा में शानदार प्रदर्शन करता है, लेकिन जब उससे केक बनाने की रेसिपी का पालन करने के लिए कहा जाता है, तो वह "चुटकी भर ग्लिटर" डालने का निर्णय लेता है क्योंकि उसे लगता है कि यह सुनने में अच्छा लगेगा। छात्र गणित की परीक्षा में फेल नहीं हुआ; वह केवल निर्देशों का सटीक रूप से पालन करने के विशिष्ट कार्य में विफल रहा।
शोधकर्ताओं ने इसका परीक्षण तीन अलग-अलग AI मॉडल परिवारों (Mistral, Qwen, और Llama) पर किया। उन्होंने उन मॉडल्स को लिया जिन्हें SVD (लो-रैंक फैक्टराइजेशन का एक प्रकार) नामक विधि का उपयोग करके "हल्का कंप्रेस" किया गया था। ये मॉडल्स इतने अच्छी तरह से कंप्रेस किए गए थे कि वे "परप्लेक्सिटी गार्ड" (उनका भ्रम स्तर मूल मॉडल से केवल 1.069 से 1.17 गुना अधिक था, जो 1.15 की सुरक्षित सीमा के भीतर है) और "फिडेलिटी गार्ड" (उनके आंतरिक विचार मूल के समान थे) में पास हो गए।
लेकिन जब उन्होंने इन मॉडल्स को एजेंट के रूप में कार्य करने और एक स्टैंडर्ड ऑपरेटिंग प्रोसीजर (SOP)—जैसे कि सर्वर ठीक करने या ऑर्डर प्रोसेस करने की चेकलिस्ट—का पालन करने के लिए कहा, तो मॉडल्स ने कन्फैबुलेशन (confabulation) शुरू कर दिया। उन्होंने ऐसे अतिरिक्त कदम जोड़ दिए जो मौजूद ही नहीं थे।
- Mistral-7B मॉडल पर, कंप्रेस्ड वर्जन ने प्रति क्वेरी औसतन +1.729 अतिरिक्त कदम आविष्कार किए।
- Qwen3-8B मॉडल पर, इसने +0.208 अतिरिक्त कदम आविष्कार किए।
- Llama-3.1-8B मॉडल पर, "हल्के से कंप्रेस" किए गए वर्जन ने नॉइज़ फ्लोर (noise floor) पर बने रहकर (केवल +0.056 कदम आविष्कार करके) दिखाया, जिसका अर्थ है कि यह टेस्ट इस विशिष्ट बिल्ड के लिए नॉन-डायग्नोस्टिक (non-diagnostic) था। मॉडल के आंतरिक स्पेक्ट्रम में इस "आविष्कार प्रभाव" को ट्रिगर करने के लिए पर्याप्त "लो-रैंक हेडरूम" नहीं था। विफलता तभी दिखाई दी जब Llama मॉडल को अधिक आक्रामक रूप से कंप्रेस किया गया, जिससे वह मानक सुरक्षा गार्ड से बाहर निकल गया।
डरावनी बात क्या है? जो मॉडल्स ऐसा कर रहे थे, वे वे थे जिन्होंने "फिडेलिटी" टेस्ट पास किया था। टेस्ट ने कहा, "हे, तुम्हारा दिमाग मूल के जैसा ही है!" लेकिन वास्तविकता यह थी, "वास्तव में, तुम्हारा दिमाग अब नए नियम गढ़ रहा है।"
अपराधी: कोहेरेंस (Coherence), न कि नुकसान (Damage)
ऐसा क्यों हुआ? लेखकों ने पाया कि यह इस बारे में नहीं था कि मॉडल कितना नुकसान पहुँचा (त्रुटि का "मैग्निट्यूड")। उन्होंने "SVD" कंप्रेशन की तुलना मैग्निट्यूड प्रूनिंग (magnitude pruning) (सबसे छोटे नंबरों को काटने) से की।
जब उन्होंने दोनों विधियों को इस तरह मैच किया कि वे बिल्कुल समान मात्रा में भ्रम (परप्लेक्सिटी) पैदा करें, तो परिणाम बहुत अलग थे:
- SVD मॉडल (जो एक "कोहेरेंट" त्रुटि बनाता है, जैसे कि एक सुचारू, संरचित विरूपण) टेस्ट में फेल हो गया, जिसने कदम आविष्कार किए।
- प्रूनिंग (Pruning) मॉडल (जो एक "मेसी" या अव्यवस्थित त्रुटि बनाता है, जैसे कि रैंडम स्टैटिक) टेस्ट में पास हो गया, जिसने लगभग कुछ भी आविष्कार नहीं किया (लगभग -0.146 कदम, जो प्रभावी रूप से शून्य है)।
लेखकों ने महसूस किया कि समस्या गलती के आकार की नहीं है, बल्कि उसके रूप (shape) की है। वे इसे "कोहेरेंस × रेट" (Coherence × Rate) तंत्र कहते हैं।
- कोहेरेंस (Coherence): त्रुटि संरचित और सुचारू है (जैसे कि लो-रैंक SVD)।
- रेट (Rate): मॉडल का कितना हिस्सा प्रभावित है।
यदि आपके पास एक सुचारू, संरचित त्रुटि है जो मानक परीक्षणों की नज़र से बचने के लिए बस पर्याप्त बड़ी है, तो AI नए प्रक्रियात्मक कदमों का "भ्रम" (hallucinate) करने लगता है। यह ऐसा है जैसे सुचारू विरूपण AI को यह विश्वास दिलाने के लिए धोखा देता है कि उसे एक शॉर्टकट पता है जो अस्तित्व में ही नहीं है। "नुकसान" (परप्लेक्सिटी) ने इसकी भविष्यवाणी नहीं की; नुकसान की "सुचारूता" (smoothness) ने इसकी भविष्यवाणी की।
"कैनरी" और नया डिटेक्टर
यह सिद्ध करने के लिए, शोधकर्ताओं ने एक विशेष टेस्ट बनाया जिसे वे "कैनरी" (canary) कहते हैं। यह कोयले की खान में कैनरी पक्षी की तरह है। उन्होंने AI को 10 चरणों वाली एक नकली SOP और एक सशर्त 11वां चरण दिया, और फिर उससे चरणों की सूची बनाने को कहा। यदि AI ने निर्देशों में मौजूद नहीं होने वाला कोई चरण सूचीबद्ध किया, तो वह फेल हो गया।
उन्होंने पाया कि वही AI वेट्स (weights) जिन्होंने मानक "फिडेलिटी टेस्ट" में जीत हासिल की थी (यह साबित करते हुए कि वे मूल के समान दिखते हैं), वे "कैनरी टेस्ट" में हार गए (यह साबित करते हुए कि वे कदम आविष्कार कर रहे हैं)। यह एक "डिसोसिएशन" (dissociation) है: मानक परीक्षण इस विशिष्ट प्रकार की विफलता के प्रति अंधे हैं।
लेकिन लेखक केवल समस्या खोजने तक ही नहीं रुके; उन्होंने इसे तैनाती से पहले पकड़ने के लिए एक डेटा-फ्री डिटेक्टर (data-free detector) बनाया। उन्होंने महसूस किया कि वे बिना किसी नए डेटा के दो चीजों को माप सकते हैं:
- कोहेरेंट फ्रैक्शन (Coherent Fraction): त्रुटि कितनी "स्मूथ" और संरचित है?
- एरर रेट (Error Rate): कुल मिलाकर त्रुटि कितनी बड़ी है?
उन्होंने एक सरल "गेट" (पास/फेल चेक) बनाया:
- यदि Coherent Fraction > 0.007 और Error Rate > 0.01 है, तो मॉडल FAIL है।
- यदि यह दोनों शर्तों को पूरा नहीं करता है, तो यह PASS है।
इस गेट ने उनके टेस्ट में सभी फेल होने वाले मॉडल्स की सही पहचान की। उदाहरण के लिए, वह Mistral मॉडल जिसने कदम आविष्कार किए थे, उसका कोहेरेंट फ्रैक्शन 0.0080 और एरर रेट 0.0159 था, जिसने अलार्म बजा दिया। सुरक्षित प्रूनिंग मॉडल का कोहेरेंट फ्रैक्शन 0.0054 था, जो "कोहेरेंस" चेक से बच गया और पास हो गया।
मुख्य निष्कर्ष (The Takeaway)
पेपर यह निष्कर्ष निकालता है कि परप्लेक्सिटी, MMLU, और डेटा-फ्री फिडेलिटी चेक यह प्रमाणित करने के लिए पर्याप्त नहीं हैं कि एक AI एजेंटिक कार्यों (एजेंट के रूप में कार्य करना) के लिए सुरक्षित है। सिर्फ इसलिए कि एक AI ने "स्कूल की परीक्षाओं" में पास कर लिया है, इसका मतलब यह नहीं है कि वह काम के दौरान नियम नहीं बनाएगा।
लेखक सुझाव देते हैं कि किसी भी कंप्रेस्ड AI को एजेंट के रूप में तैनात करने से पहले, हमें यह नया "कोहेरेंस स्क्रीन" चलाना चाहिए। यदि कोई मॉडल "लो-रैंक मेथड्स" (SVD) का उपयोग करके "जेंटली कंप्रेस्ड" किया गया है और वह इस नए गेट को ट्रिगर करता है, तो इसकी पूरी संभावना है कि वह कदम आविष्कार करेगा और निर्देशों का पालन करने में विफल रहेगा, भले ही वह अन्य सभी परीक्षणों में एकदम सही दिखे।
संक्षेप में: AI पर सिर्फ इसलिए भरोसा न करें क्योंकि उसने टेस्ट पास कर लिया है। यह जाँच लें कि क्या वह "स्मूथली" टूटा हुआ है, क्योंकि तभी वह चीजें बनाना शुरू करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।