💻 computer science

The Illusion of Reasoning: Exposing Evasive Data Contamination in LLMs via Zero-CoT Truncation

यह शोध पत्र ज़ीरो-सीओटी प्रोब (ZCP) को प्रस्तुत करता है, जो एक नवीन ब्लैक-बॉक्स डिटेक्शन विधि है जो लेटेंट मेमोराइजेशन (latent memorization) को प्रकट करने के लिए चेन-ऑफ-थॉट रीजनिंग को ट्रंकेट करके और आइसोमॉर्फिक परटर्बेशन (isomorphic perturbation) के माध्यम से संदूषण की गंभीरता को परिमाणित करके बड़े भाषा मॉडलों में इवेसिव डेटा कंटैमिनेशन (evasive data contamination) को उजागर करती है।

मूल लेखक: Yifan Lan, Yuanpu Cao, Hanyu Wang, Lu Lin, Jinghui Chen

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yifan Lan, Yuanpu Cao, Hanyu Wang, Lu Lin, Jinghui Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "The Illusion of Reasoning: Exposing Evasive Data Contamination in LLMs via Zero-CoT Truncation" का सरल अवधारणाओं और रचनात्मक उपमाओं में किया गया विवरण है।

बड़ी समस्या: "चीट शीट" का भ्रम (The "Cheat Sheet" Illusion)

कल्पना कीजिए कि एक छात्र एक कठिन गणित की परीक्षा दे रहा है। यदि वे वास्तव में गणित जानते हैं, तो वे समस्याओं को चरण-दर-चरण हल कर सकते हैं। लेकिन, यदि उन्होंने गुप्त रूप से परीक्षा के विशिष्ट प्रश्नों के उत्तर याद कर लिए हैं, तो वे बिना कोई गणित किए ही सटीक स्कोर प्राप्त कर सकते हैं।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इसे डेटा कंटामिनेशन (Data Contamination) कहा जाता है। यह तब होता है जब AI के प्रशिक्षण डेटा (training data) में गलती से (या जानबूझकर) वही सटीक प्रश्न शामिल हो जाते हैं जिनका उपयोग उसका परीक्षण करने के लिए किया जा रहा है। यह AI को वास्तव में जितना बुद्धिमान है, उससे कहीं अधिक स्मार्ट दिखाता है।

यह शोध पत्र एक नए, अधिक चालाक संस्करण पर प्रकाश डालता है: इवेसिव कंटामिनेशन (Evasive Contamination)।

पुराना तरीका: AI सटीक प्रश्न और उत्तर को याद कर लेता है।
नया तरीका (Evasive): AI को ऐसे प्रश्नों पर प्रशिक्षित किया जाता है जिन्हें फिर से लिखा गया है (paraphrased)। शब्द अलग हैं, लेकिन तर्क और उत्तर वही हैं।
परिणाम: पारंपरिक डिटेक्टर सटीक शब्दों के मिलान की तलाश करते हैं। चूंकि शब्द अलग हैं, इसलिए डिटेक्टर कहते हैं, "सब ठीक है!" लेकिन AI अभी भी नकल कर रहा है क्योंकि उसने केवल शब्दों को नहीं, बल्कि उस पैटर्न को याद कर लिया है।

मुख्य खोज: तर्क एक मुखौटा है (Reasoning is a Mask)

लेखकों ने कुछ आश्चर्यजनक खोजा: AI की "सोचने" (तर्क करने) की क्षमता वास्तव में इस तथ्य को छिपा देती है कि वह नकल कर रहा है।

उपमा: कल्पना कीजिए कि एक जादूगर है। जब वह बहुत सारे हाथ के मूवमेंट्स और ध्यान भटकाने वाली गतिविधियों (तर्क/reasoning) के साथ एक जटिल ट्रिक करता है, तो दर्शक प्रभावित होते हैं और मान लेते हैं कि वह कुशल है। लेकिन यदि आप उसे हाथ के मूवमेंट्स के बिना वह ट्रिक करने के लिए कहें, तो वह विफल हो सकता है—जब तक कि उसने वास्तव में रहस्य को याद न किया हो।
शोध पत्र का निष्कर्ष: जब AI को अपने तर्क के चरणों को लिखने (Chain-of-Thought) की अनुमति दी जाती है, तो ऐसा लगता है कि वह समस्या को हल कर रहा है। लेकिन यदि उसने उत्तर याद कर लिया है, तो वह तर्क केवल एक "मुखौटा" है जो इस तथ्य को छिपा देता है कि वह केवल स्मृति के आधार पर अनुमान लगा रहा है।

समाधान: "ज़ीरो-सीओटी प्रोब" (Zero-CoT Probe - ZCP)

चीटर को पकड़ने के लिए, लेखकों ने एक नया परीक्षण बनाया जिसे Zero-CoT Probe (ZCP) कहा जाता है। इसे "बिना मदद वाला" (No-Help) एग्जाम समझें।

यह कैसे काम करता है:

सोचना बंद करें: शोधकर्ता AI को सभी "सोचने के चरणों" को छोड़ने और तुरंत उत्तर देने के लिए मजबूर करते हैं। वे "चेन-ऑफ-थॉट" (Chain-of-Thought) को काट देते हैं।
"क्लीन" टेस्ट: वे मूल प्रश्नों के विरुद्ध "क्लीन" (साफ) प्रश्नों के प्रदर्शन की तुलना करते हैं।
- क्लीन प्रश्न: ये वही गणित की समस्याएं हैं, लेकिन इसमें नंबर बदल दिए गए हैं (जैसे, "5 सेब" को "7 सेब" में बदलना)। तर्क बिल्कुल समान है, लेकिन AI के पास विशिष्ट उत्तर याद नहीं हो सकता क्योंकि नंबर नए हैं।
खुलासा:
- यदि AI स्मार्ट है, तो वह मूल और "क्लीन" दोनों प्रश्नों को समान रूप से हल करेगा, भले ही वह सोचने के चरणों के बिना काम करे।
- यदि AI नकल (cheating) कर रहा है (याद कर चुका है), तो वह मूल प्रश्नों में बहुत अच्छा प्रदर्शन करेगा (क्योंकि वह शॉर्टकट जानता है) लेकिन "क्लीन" प्रश्नों पर बुरी तरह विफल हो जाएगा (क्योंकि नए नंबरों के साथ शॉर्टकट काम नहीं करता)।

"कॉन्फिडेंस स्कोर" (The Confidence Score)

शोध पत्र नकल को मापने का एक नया तरीका पेश करता है जिसे कंटामिनेशन कॉन्फिडेंस (Contamination Confidence) कहा जाता है।

केवल यह कहने के बजाय कि "हाँ, यह नकल है" या "नहीं, यह साफ है," वे 0.5 से 1.0 तक का स्कोर देते हैं।
0.5: AI क्लीन है (नकल का कोई सबूत नहीं)।
1.0: AI निश्चित रूप से नकल कर रहा है (उसने डेटा को याद कर लिया है)।
यह शोधकर्ताओं को यह समझने में मदद करता है कि कंटामिनेशन कितना बुरा है, न कि केवल एक सरल हाँ या ना।

उन्होंने क्या पाया

शोधकर्ताओं ने कई प्रसिद्ध AI मॉडल्स (जैसे Qwen और DeepSeek) पर इस पद्धति का परीक्षण किया और पाया:

यह काम करता है: इस पद्धति ने उन मॉडल्स को सफलतापूर्वक पकड़ा जो नकल कर रहे थे, भले ही नकल को छिपाने के लिए प्रश्नों को फिर से लिखा गया था।
मुखौटा असली है: जब वे AI को सामान्य रूप से "सोचने" देते हैं, तो नकल अदृश्य रहती है। जब वे "नो-हेल्प" (Zero-CoT) मोड में मजबूर करते हैं, तो नकल तुरंत उजागर हो जाती है।
वास्तविक दुनिया पर प्रभाव: उन्होंने पाया कि बाजार में मौजूद कई शीर्ष-स्तरीय मॉडल्स संभवतः उसी टेस्ट डेटा पर प्रशिक्षित किए गए हैं जिसका उपयोग उन्हें टेस्ट करने के लिए किया जाना चाहिए, जिससे उनके स्कोर कृत्रिम रूप से बढ़ गए हैं।

सारांश उपमा

कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है।

सामान्य AI: कैलकुलेटर का उपयोग करके समस्या हल करता है।
चीटिंग AI: उसके पास उत्तर कुंजी (answer key) याद है।
इवेसिव चीटिंग AI: उसके पास उत्तर कुंजी है, लेकिन शिक्षक ने प्रश्नों को फिर से लिख दिया है ताकि उत्तर कुंजी अलग दिखे।
पारंपरिक डिटेक्टर: यह जाँचता है कि क्या छात्र ने उत्तर कुंजी के समान सटीक शब्द लिखे हैं। यह विफल हो जाता है क्योंकि शब्द अलग हैं।
शोध पत्र की विधि (ZCP): शिक्षक कहता है, "कैलकुलेटर का उपयोग न करें, और अपने चरण भी न लिखें। बस मुझे तुरंत उत्तर बताएं।"
- स्मार्ट छात्र अभी भी इसे हल कर सकता है।
- चीटिंग करने वाला छात्र, जिसे केवल विशिष्ट उत्तर कुंजी पता थी, अटक जाता है और विफल हो जाता है।
- शिक्षक प्रश्न में नंबर बदल देता है। स्मार्ट छात्र अनुकूलित हो जाता है; चीटिंग करने वाला छात्र फिर से विफल हो जाता है।

यह शोध पत्र साबित करता है कि "सोचने के चरणों" को हटाकर, हम बुद्धिमत्ता के भ्रम को हटा सकते हैं और देख सकते हैं कि AI ने वास्तव में क्या याद किया है।

तकनीकी सारांश: तर्क का भ्रम: ज़ीरो-CoT ट्रंकेशन के माध्यम से LLMs में अपवित्र (Evasive) डेटा संदूषण को उजागर करना

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) ने प्रभावशाली तर्क क्षमताएं प्रदर्शित की हैं, फिर भी उनकी क्षमताओं का वस्तुनिष्ठ मूल्यांकन डेटा संदूषण (Data Contamination) द्वारा गंभीर रूप से समझौता किया गया है। यह तब होता है जब बेंचमार्क डेटा को मॉडल के प्रशिक्षण संग्रह (Training Corpus) में शामिल कर लिया जाता है, जिससे प्रदर्शन मेट्रिक्स कृत्रिम रूप से बढ़ जाते हैं। पारंपरिक पहचान विधियां सतही वर्batim ओवरलैप पर निर्भर करती हैं, लेकिन वे अपवित्र (Evasive/Indirect) डेटा संदूषण के विरुद्ध विफल रहती हैं। इस गुप्त परिदृश्य में, दुर्भावनापूर्ण प्रकाशक या अनजाने में होने वाली प्रशिक्षण प्रक्रियाएं (जैसे कि सिंथेटिक डेटा या नॉलेज डिस्टिलेशन के माध्यम से) बेंचमार्क प्रश्नों को पैराफ्रेस (Paraphrase) कर देती हैं। ये परिवर्तन सटीक टोकन-स्तर के मिलान को नष्ट कर देते हैं, जिससे n-gram ओवरलैप, एम्बेडिंग समानता, या संभावना-आधारित मेट्रिक्स (जैसे DPCC) पर आधारित मौजूदा डिटेक्टर अप्रभावी हो जाते हैं। इसके अतिरिक्त, प्री-ट्रेनिंग कॉर्पस की अपारदर्शिता प्रत्यक्ष निरीक्षण को रोकती है, जिससे मॉडल क्षमताओं के मूल्यांकन में एक महत्वपूर्ण अंध बिंदु (Blind Spot) बन जाता है।

मुख्य अंतर्दृष्टि: तर्क मेमोराइजेशन (Memorization) को छिपाता है

लेखक एक मौलिक घटना को उजागर करते हैं: मध्यवर्ती तर्क चरण (Intermediate reasoning steps) अंतर्निहित मेमोराइजेशन को सक्रिय रूप से छिपाते हैं। जब एक LLM को पूर्ण चेन-ऑफ-थॉट (CoT) उत्पन्न करने की अनुमति दी जाती है, तो उसकी तर्क क्षमता एक कन्फाउंडर (Confounder) के रूप में कार्य करती है, जिससे वास्तविक समस्या-समाधान और मेमोराइज्ड शॉर्टकट के बीच अंतर करना कठिन हो जाता है। हालांकि, यदि किसी मॉडल ने एक डेटासेट (यहाँ तक कि पैराफ्रेस्ड संस्करण भी) को मेमोराइज किया है, तो वह प्रश्न के अर्थ ( $x_i$ ) से सीधे उत्तर ( $y_i$ ) तक एक गुप्त शॉर्टकट मैपिंग (Shortcut Mapping) स्थापित करता है। यह शॉर्टकट मॉडल को बिना कठोर तर्क के सही उत्तर उत्पन्न करने की अनुमति देता है, लेकिन यह व्यवहार अक्सर तब छिप जाता है जब मॉडल को मध्यवर्ती चरणों के माध्यम से "सोचने" की अनुमति दी जाती है।

कार्यप्रणाली: ज़ीरो-CoT प्रोब (ZCP)

इस अंतर्निहित मेमोराइजेशन को उजागर करने के लिए, लेखक ज़ीरो-CoT प्रोब (ZCP) प्रस्तावित करते हैं, जो एक नवीन ब्लैक-बॉक्स डिटेक्शन फ्रेमवर्क है। यह विधि मॉडल के प्रशिक्षण डेटा या आंतरिक मापदंडों तक पहुंच प्राप्त किए बिना कार्य करती है।

1. CoT ट्रंकेशन के माध्यम से तर्क को निष्प्रभावी करना

ZCP मॉडल को तर्क प्रक्रिया को पूरी तरह से बायपास करने के लिए मजबूर करता है। CoT को ट्रंकेट करके और ज़ीरो-CoT जनरेशन सेटिंग लागू करके, यह विधि मॉडल को सीधे अंतिम उत्तर देने के लिए विवश करती है।

कार्यान्वयन: ओपन-वेट मॉडल्स के लिए, प्रॉम्प्ट को एक प्री-फिल्ड प्रिफिक्स (जैसे, "The final answer is: \boxed{") के साथ भरा जाता है। क्लोज्ड-सोर्स API मॉडल्स के लिए, उपयोगकर्ता क्वेरी के साथ सख्त निर्देश जोड़े जाते हैं ताकि बॉक्स किए गए उत्तर के अलावा किसी अन्य सामग्री को प्रतिबंधित किया जा सके।
प्रभाव: यह हस्तक्षेप "तर्क" कारक को निष्प्रभावी कर देता है। यदि कोई मॉडल मेमोराइज्ड शॉर्टकट पर निर्भर है, तो वह ज़ीरो-CoT में सफल होगा। यदि वह वास्तविक तर्क पर निर्भर है, तो मध्यवर्ती चरणों के बिना उसका प्रदर्शन काफी गिर जाना चाहिए।

2. आइसोमॉर्फिक परटर्बेशन (Isomorphic Perturbation) के माध्यम से मेमोराइजेशन को अलग करना

उच्च ज़ीरो-CoT प्रदर्शन या तो मेमोराइजेशन से उत्पन्न हो सकता है या एक अंतर्निहित "सुपरपावर" (बिना स्पष्ट तर्क के जटिल समस्याओं को हल करने की क्षमता) से। इन्हें अलग करने के लिए, ZCP आइसोमॉर्फिक परटर्बेशन के माध्यम से निर्मित एक साफ संदर्भ डेटासेट ( $\tilde{D}_{eval}$ ) पेश करता है।

प्रक्रिया: मूल बेंचमार्क प्रश्नों को संख्यात्मक मानों और टेक्स्ट कॉन्टेक्स्ट को बदलकर व्यवस्थित रूप से परिवर्तित किया जाता है, जबकि तार्किक संरचना, गणितीय गहराई और ऑर्डर ऑफ मैग्नीट्यूड को सख्ती से सुरक्षित रखा जाता है।
तर्क: वास्तविक तर्क क्षमताओं वाला मॉडल मूल और परटर्ब किए गए संदर्भ डेटा पर समान प्रदर्शन करना चाहिए। हालांकि, एक संदूषित मॉडल, जो विशिष्ट प्रश्न-उत्तर मैपिंग पर निर्भर करता है, संदर्भ डेटा पर विफल हो जाएगा क्योंकि नए वेरिएबल्स द्वारा मेमोराइज्ड शॉर्टकट टूट जाते हैं, जिससे एक सांख्यिकीय रूप से महत्वपूर्ण प्रदर्शन अंतराल पैदा होता है।

3. संदूषण आत्मविश्वास (Contamination Confidence) का निर्धारण

बाइनरी "क्लीन बनाम कंटैमिनेटेड" वर्गीकरण से आगे बढ़ते हुए, ZCP संदूषण आत्मविश्वास ( $C_{cont}$ ) पेश करता है, जो संदूषण की गंभीरता को मापने वाला एक मेट्रिक है।

सांख्यिकीय ढांचा: विधि मूल बेंचमार्क और संदर्भ डेटासेट के बीच प्रदर्शन अंतराल की गणना करती है। यह सांख्यिकीय महत्व निर्धारित करने के लिए नॉन-पैरामीट्रिक बूटस्ट्रैप टेस्ट (निरंतर मेट्रिक्स के लिए) या मैकनेमर टेस्ट (डिस्क्रीट मेट्रिक्स के लिए) का उपयोग करती है।
बेयसियन कैलिब्रेशन: परिणामी p-values को बेयस फैक्टर का उपयोग करके बेयसियन पोस्टीरियर प्रोबेबिलिटी में कैलिब्रेट किया जाता है। एक न्यूट्रल प्रायर ( $\pi = 0.5$ ) को मानते हुए, अंतिम स्कोर $C_{cont}$ 0.5 (संदूषण का कोई प्रमाण नहीं) से 1.0 (निश्चित मेमोराइजेशन) के बीच होता है।

मुख्य योगदान

मास्किंग प्रभाव की खोज: यह पेपर पहचान करता है कि तर्क श्रृंखलाएं सक्रिय रूप से डेटा संदूषण को छिपा सकती हैं, जो डिटेक्शन में एक गंभीर कन्फाउंडर के रूप में कार्य करती हैं।
ज़ीरो-CoT प्रोब (ZCP): एक मजबूत ब्लैक-बॉक्स विधि जो प्रत्यक्ष और अपवित्र (evasive) संदूषण का पता लगाने के लिए CoT ट्रंकेशन और आइसोमॉर्फिकली परटर्ब किए गए संदर्भ डेटा को जोड़ती है।
संदूषण आत्मविश्वास: एक नया सांख्यिकीय मेट्रिक जो संदूषण की गंभीरता का निरंतर माप प्रदान करता है, जो बाइनरी डिटेक्शन की सीमाओं को संबोधित करता है।
व्यवस्थित मूल्यांकन: लेखक प्रमुख क्लोज्ड-सोर्स और ओपन-सोर्स मॉडल्स में डेटा संदूषण के व्यापक अस्तित्व को प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने मौजूदा मॉडल्स और अपवित्र संदूषण को सिम्युलेट करने के लिए विशेष रूप से फाइन-ट्यून किए गए मॉडल्स पर ZCP का मूल्यांकन किया।

मौजूदा मॉडल्स: Qwen2.5-Math और DeepSeek-Math जैसे मॉडल्स पर, ZCP ने मानक बेंचमार्क्स (GSM8K, MATH) पर उच्च विश्वास ( $C_{cont} \approx 1.0$ ) के साथ संदूषण का पता लगाया। महत्वपूर्ण रूप से, यह विधि बेंचमार्क्स के पैराफ्रेस्ड संस्करणों पर भी प्रभावी रही, जहाँ पारंपरिक डिटेक्टर विफल हो जाते हैं।
फाइन-ट्यून्ड मॉडल्स: नियंत्रित प्रयोगों में जहाँ मॉडल्स को पैराफ्रेस्ड डेटासेट्स (Omni-MATH, Multi-domain data) पर फाइन-ट्यून किया गया था, ZCP ने सफलतापूर्वक संदूषण की पहचान की ( $C_{cont} \to 1.0$ ), जबकि अनकंटैमिनेटेड होल्ड-आउट डेटा को क्लीन के रूप में सही ढंग से पहचाना ( $C_{cont} \approx 0.5$ )।
रियल-वर्ल्ड ऑडिटिंग: विधि को अत्याधुनिक मॉडल्स (Qwen सीरीज़, GPT-4o, GPT-5.1) पर लागू किया गया। परिणामों ने Qwen-2.5-Math और GPT-4o में गंभीर संदूषण का संकेत दिया, जबकि GPT-5.1 ने बेसलाइन स्कोर दिखाया, जो प्रभावी डीकंटामिनेशन प्रयासों का सुझाव देता है।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि CoT ट्रंकेशन के बिना (Full-CoT सेटिंग), कंटैमिनेटेड और क्लीन डेटा के बीच का प्रदर्शन अंतराल समाप्त हो जाता है, और डिटेक्शन कॉन्फिडेंस बेसलाइन स्तर तक गिर जाता है, जो ज़ीरो-CoT दृष्टिकोण की आवश्यकता को प्रमाणित करता है।

महत्व और सीमाएं

यह पेपर तर्क देता है कि ZCP डेटा संदूषण का पता लगाने के लिए एक सिद्धांत-आधारित प्रतिमान (Paradigm) स्थापित करता है जो सतही टेक्स्ट मैचिंग से परे है। मॉडल को तर्क को बायपास करने के लिए मजबूर करके, यह मेमोराइजेशन को परिभाषित करने वाले अंतर्निहित शॉर्टकट मैपिंग को उजागर करता है। यह समुदाय के लिए महत्वपूर्ण है क्योंकि यह उन अपवित्र रणनीतियों के विरुद्ध मॉडल्स को ऑडिट करने के लिए एक विश्वसनीय उपकरण प्रदान करता है जो वर्तमान में लीडरबोर्ड को गेम (game) कर रहे हैं।

लेखक एक सीमा को स्वीकार करते हैं: जबकि ZCP डायरेक्ट टोकन हेरफेर के माध्यम से ओपन-वेट मॉडल्स में ज़ीरो-CoT लागू कर सकता है, क्लोज्ड-सोर्स API के लिए इसे लागू करना प्रॉम्प्ट इंजीनियरिंग पर निर्भर करता है। जैसे-जैसे मॉडल्स स्टेप-बाय-स्टेप रीजनिंग के लिए अनुकूलित होते जाएंगे, ऐसे प्रॉम्प्ट कम प्रभावी हो सकते हैं, जो क्लोज्ड-सोर्स सिस्टम के ऑडिटिंग के लिए एक भविष्य की चुनौती है।