Detecting Data Contamination in LLMs via In-Context Learning
यह शोधपत्र CoDeC को प्रस्तुत करता है, जो एक व्यावहारिक और स्वचालित विधि है जो यह विश्लेषण करके कि इन-कॉन्टेक्स्ट लर्निंग (in-context learning) मॉडल के आत्मविश्वास को कैसे प्रभावित करती है, बड़े भाषा मॉडलों (large language models) में प्रशिक्षण डेटा संदूषण (training data contamination) का पता लगाती है और उसे मापती है, तथा याद किए गए प्रशिक्षण डेटा और अनदेखी वितरणों (unseen distributions) के बीच अंतर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो किसी छात्र की परीक्षा का मूल्यांकन कर रहे हैं। आप यह जानना चाहते हैं: क्या इस छात्र ने वास्तव में सामग्री सीखी है, या उसने केवल लीक हुई उत्तर कुंजी (answer key) से उत्तर रट लिए हैं?
लंबे समय से, यह जांचना कि बड़े लैंग्वेज मॉडल्स (LLMs) ने अपने प्रशिक्षण (training) के दौरान उनके टेस्ट प्रश्नों को रटकर "नकल" की है या नहीं, एक घास के ढेर में सुई खोजने जैसा रहा है। पारंपरिक तरीके धीमे थे, उनके लिए मॉडल की गुप्त ट्रेनिंग फाइलों तक पहुंच की आवश्यकता होती थी, या वे भ्रमित करने वाले परिणाम देते थे।
यह पेपर एक नया, सरल टूल पेश करता है जिसे CoDeC (कॉन्टेक्स्ट के माध्यम से संदूषण का पता लगाना - Contamination Detection via Context) कहा जाता है। CoDeC को एक "संकेत के साथ सरप्राइज क्विज़" परीक्षण के रूप में समझें।
मुख्य विचार: "संकेत" परीक्षण (The "Hint" Test)
CoDeC कैसे काम करता है, इसे एक सरल उपमा (analogy) से समझते हैं:
1. "अनदेखा" परिदृश्य (ईमानदार छात्र)
कल्पना कीजिए कि आप एक छात्र से गणित का एक सवाल पूछते हैं जो उसने पहले कभी नहीं देखा है।
- बिना संकेत के: वह थोड़ा संघर्ष कर सकता है।
- संकेत के साथ: आप उसे एक समान समस्या दिखाते हैं जो उसने पहले कभी नहीं देखी है। अचानक, उसे एक "बल्ब जलने वाला क्षण" (lightbulb moment) मिलता है। संकेत उसे प्रश्न की शैली समझने में मदद करता है, और वह अधिक आत्मविश्वास के साथ उत्तर देता है।
- CoDeC का अवलोकन: जब कोई मॉडल उस डेटासेट को देखता है जिसे उसने रटा नहीं है, तो उसी डेटासेट से उदाहरण देना एक मददगार संकेत की तरह काम करता है। मॉडल स्मार्ट और अधिक आत्मविश्वासी हो जाता है।
2. "रटा हुआ" परिदृश्य (नकल करने वाला छात्र)
अब, कल्पना कीजिए कि आप एक छात्र से वह प्रश्न पूछते हैं जिसे उसने लीक हुई उत्तर कुंजी से पहले ही रट लिया है।
- बिना संकेत के: वह उत्तर को पूरी तरह से सुना देता है क्योंकि वह इसे कंठस्थ जानता है।
- संकेत के साथ: आप उसे उसी लीक हुई कुंजी से एक अन्य प्रश्न दिखाते हैं। मदद करने के बजाय, यह नई जानकारी उसे भ्रमित कर देती है। क्यों? क्योंकि उसका मस्तिष्क "रट बोलने मोड" (recitation mode) में फंस गया है। नया संकेत उसके कठोर स्मृति पैटर्न (memory pattern) को बाधित करता है, जिससे वह लड़खड़ा जाता है और कम आत्मविश्वास के साथ उत्तर देता है।
- CoDeC का अवलोकन: जब किसी मॉडल ने डेटा को रट लिया होता है, तो उसी डेटा के अधिक उदाहरण जोड़ने से उसका आत्मविश्वास कम हो जाता है क्योंकि यह उनकी रटने की लय को तोड़ देता है।
CoDeC इसे कैसे मापता है
यह विधि आश्चर्यजनक रूप से सरल और स्वचालित है:
- उस डेटासेट से एक प्रश्न लें जिसका आपको संदेह है कि वह मॉडल के प्रशिक्षण डेटा में हो सकता है।
- मॉडल को उसका उत्तर देने के लिए पूछें (इसका आत्मविश्वास मापें)।
- एक "संकेत" जोड़ें: लक्षित प्रश्न से ठीक पहले उसी डेटासेट के कुछ अन्य यादृच्छिक (random) प्रश्न रखें।
- मॉडल से फिर से पूछें: क्या इसका आत्मविश्वास बढ़ता है या घटता है?
- आत्मविश्वास बढ़ा? मॉडल संभवतः साफ (clean) है (यह कॉन्टेक्स्ट से सीख रहा है)।
- आत्मविश्वास घटा? मॉडल संभवतः संदूषित (contaminated) है (यह रट रहा है, और अतिरिक्त कॉन्टेक्स्ट इसे गड़बड़ा रहा है)।
सैकड़ों प्रश्नों के लिए ऐसा करके, CoDeC आपको एक प्रतिशत स्कोर देता है।
- 0–20%: मॉडल संभवतः ईमानदार है; वह तर्क (reasoning) कर रहा है, रट नहीं रहा है।
- 80–100%: मॉडल ने संभवतः इस डेटासेट को रट लिया है। वह "नकल" कर रहा है।
यह एक बड़ी बात क्यों है
- गुप्त कुंजियों की आवश्यकता नहीं: आपको मॉडल की प्रशिक्षण फाइलों को देखने की आवश्यकता नहीं है (जो अक्सर गुप्त होती हैं)। आपको बस मॉडल से बात करने की आवश्यकता है।
- यह हर जगह काम करता है: यह गणित के टेस्ट, कोडिंग चुनौतियों और सामान्य ज्ञान के प्रश्नों पर काम करता है।
- यह "सॉफ्ट" नकल को पकड़ता है: यह केवल सटीक प्रतियों को ही नहीं पकड़ता। यह उन मॉडल्स को भी पकड़ता है जिन्होंने बहुत समान डेटा (जैसे कि टेस्ट प्रश्न का पुनर्गठित संस्करण या बेंचमार्क का सिंथेटिक संस्करण) देखा है। यदि मॉडल ने टेस्ट के "अंदाज" (vibe) को रट लिया है, तो CoDeC उसे पकड़ लेगा।
लेखकों ने क्या पाया
शोधकर्ताओं ने दर्जनों मॉडल्स पर CoDeC का परीक्षण किया, जिनमें कुछ सार्वजनिक प्रशिक्षण डेटा वाले (जिनके बारे में वे सच जानते थे) और कुछ गुप्त प्रशिक्षण डेटा वाले मॉडल शामिल थे।
- परिणाम: CoDeC अविश्वसनीय रूप से सटीक था (देखे गए बनाम अनदेखे डेटा के बीच अंतर करने में 99.9% सटीकता)।
- बेसलाइन: पुराने तरीके (जैसे यह जांचना कि मॉडल प्रश्न को कितना "आसान" पाता है) नकल करने वालों को ईमानदार छात्रों से अलग करने में विफल रहे।
- वास्तविक दुनिया के निष्कर्ष: जब उन्होंने लोकप्रिय, हालिया मॉडल्स पर CoDeC को लागू किया, तो उन्होंने विशिष्ट बेंचमार्क पर कुछ मामलों में मॉडल्स के बहुत उच्च स्कोर प्राप्त करने के उदाहरण पाए, जिससे पता चलता है कि उन मॉडल्स ने संभवतः अपने प्रशिक्षण के दौरान टेस्ट डेटा (या उसके बहुत समान डेटा) को देखा था।
निष्कर्ष (The Takeaway)
CoDeC, AI बेंचमार्क के लिए एक झूठ पकड़ने वाले यंत्र (lie detector) की तरह है। यह केवल यह नहीं पूछता, "क्या आप उत्तर जानते हैं?" बल्कि यह पूछता है, "इस विषय को और अधिक देखना आपकी मदद करता है, या यह आपको भ्रमित करता है?" यदि यह आपको भ्रमित करता है, तो आपने संभवतः उत्तर पहले से ही रट लिया है। यह AI समुदाय को बेंचमार्क स्कोर पर अधिक भरोसा करने में मदद करता है और यह सुनिश्चित करता है कि मॉडल्स का मूल्यांकन उनकी सीखने की क्षमता पर किया जा रहा है, न कि केवल उनकी रटने की क्षमता पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।