🤖 machine learning

Probe Choice Changes Canary-Memorization Verdicts: Three Post-Hoc Disagreement Case Studies in a Text-Dominant LoRA-Tuned Autoregressive Testbed

यह शोध पत्र प्रदर्शित करता है कि फिक्स्ड प्रीफिक्स-विंडो मेमोराइजेशन प्रोब्स (fixed prefix-window memorization probes), गैर-गुप्त या ट्रंकेटेड टोकन प्रभावों के गलत आरोपण द्वारा कैनरी डेटा पर भ्रामक निर्णय दे सकते हैं, और फलस्वरूप, सटीक सीक्रेट-विशिष्टता मूल्यांकन सुनिश्चित करने के लिए फुल-स्पैन एनएलएल (full-span NLL), स्पैन-लोकलाइज्ड डीकंपोजिशन (span-localized decomposition), बिहेवियरल एक्ज़ैक्ट-रिकॉल (behavioral exact-recall), और डिकॉय प्रोब्स (decoy probes) को संयोजित करने वाले एक बहुआयामी मूल्यांकन ढांचे की सिफारिश करता है।

मूल लेखक: Zhichao Fan, Zexin Zhuang, Yanhang Li

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhichao Fan, Zexin Zhuang, Yanhang Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या किसी छात्र (एक AI मॉडल) ने गुप्त रूप से अपने प्रशिक्षण सामग्री में छिपे हुए एक विशिष्ट उत्तर कुंजी (एक "कैनरी" या गुप्त स्ट्रिंग) को याद कर लिया है, या वह वास्तव में विषय को समझ रहा है।

यह शोध पत्र चेक करने के तीन अलग-अलग तरीकों के बारे में है, और लेखकों ने पाया कि आप कौन सा टूल इस्तेमाल करते हैं, इससे फैसला बदल जाता है। कभी-क्सि टूल कहता है "दोषी!" जब छात्र वास्तव में निर्दोष होता है, और कभी-कभी यह "निर्दोष!" कहता है जब छात्र वास्तव में दोषी होता है।

यहाँ उनके अन्वेषण का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:

सेटअप: द "कैनरी" टेस्ट

शोधकर्ताओं ने एक स्मार्ट AI (Qwen2.5-VL-7B) लिया और गुप्त रूप से उसकी मेमोरी में 20 अद्वितीय "सीक्रेट कोड्स" (कैनरीज) डाल दिए। इन्हें किसी पाठ्यपुस्तक में छिपे हस्ताक्षरों की तरह समझें।

लक्ष्य: यह देखना कि क्या AI बाद में इन सटीक कोड्स को उगल सकता है।
ट्विस्ट: इसके बाद उन्होंने AI को एक "बेनाइन" (हानिरहित) नया पाठ (फाइन-ट्यूनिंग) दिया ताकि यह देखा जा सके कि क्या यह नया पाठ गलती से AI को कोड्स भुला देता है या, इसके विपरीत, इसे कोड्स को बहुत अच्छी तरह से याद रखने के लिए प्रेरित करता है (मेमोराइजेशन)।

तीन "जासूसी टूल्स" (प्रोब्स)

AI ने कोड्स को याद रखा या नहीं, इसकी जांच करने के लिए उन्होंने तीन मापने वाले डंडों का उपयोग किया:

"पहले 20 शब्द" की जांच (Mean-NLL): यह टूल गुप्त कोड के पहले 20 टोकन (शब्दों/शब्दों के हिस्सों) को देखता है और औसतन देखता है कि AI कितना हैरान (surprised) है। यदि AI पहले की तुलना में कम हैरान है, तो यह सोचता है कि AI ने इसे याद कर लिया है।
"पूरा कोड" की जांच (Full-Span NLL): यह टूल केवल पहले 20 शब्दों को नहीं, बल्कि पूरे गुप्त कोड को देखता है।
"रिकॉल" की जांच (Hit@1): यह अंतिम परीक्षण है: क्या AI ने पूछे जाने पर ठीक वही गुप्त कोड टाइप किया?

"टूल मिसमैच" के तीन मामले

लेखकों ने पाया कि ये टूल्स तीन विशिष्ट स्थितियों में एक-दूसरे से असहमत थे।

मामला 1: "ब्लाइंड स्पॉट" (फॉल्स नेगेटिव)

परिदृश्य: AI ने गुप्त कोड के बिल्कुल आखिरी कुछ अक्षरों में गलती की।
टूल्स की प्रतिक्रिया:
- टूल 1 (पहले 20 शब्द): कहता है "सब कुछ ठीक लग रहा है!" क्योंकि गलती शब्द संख्या 23 पर हुई थी, जो इसके देखने के दायरे से बाहर है।
- टूल 2 (पूरा कोड) और टूल 3 (रिकॉल): कहते हैं "रुको, AI विफल रहा! इसने आखिरी अक्षर गलत लिखे।"
उपमा: कल्पना कीजिए कि एक शिक्षक 25 प्रश्नों की परीक्षा ग्रेड कर रहा है लेकिन केवल पहले 20 उत्तरों को देख रहा है। छात्र ने आखिरी 5 गलत किए, लेकिन शिक्षक उसे A+ दे देता है क्योंकि उसने अंत में नहीं देखा।
सबक: यदि आप केवल शुरुआत देखते हैं, तो आप अंत में होने वाली विफलता को मिस कर सकते हैं।

मामला 2: "रेड हेरिंग" (फॉल्स पॉजिटिव)

परिदृश्य: AI गुप्त कोड शुरू होने से पहले के परिचय वाक्य (introductory sentence) के बारे में थोड़ा भ्रमित हो गया था, लेकिन गुप्त कोड स्वयं बिल्कुल सही था।
टूल्स की प्रतिक्रिया:
- टूल 1 (पहले 20 शब्द): कहता है "AI अजीब व्यवहार कर रहा है! यह पहले 20 शब्दों के साथ संघर्ष कर रहा है, इसलिए इसने गुप्त कोड को याद कर लिया होगा।"
- टूल 2 (पूरा कोड) और टूल 3 (रिकॉल): कहते हैं "नहीं, गुप्त कोड एकदम सही है। AI बस परिचय में लड़खड़ा गया था।"
उपमा: कल्पना कीजिए कि एक छात्र अपने निबंध के पहले वाक्य में हकलाता है लेकिन बाकी का निबंध पूरी तरह से लिखता है। एक टूल जो केवल पहले वाक्य की जांच करता है, वह सोच सकता है कि छात्र पूरे विषय को लेकर भ्रमित है, जबकि वास्तव में वह गुप्त उत्तर को पूरी तरह जानता है।
सबक: यदि AI "सेटअप" शब्दों पर भ्रमित हो जाता है, तो एक छोटा विंडो वाला टूल गलत तरीके से उस पर याद करने का आरोप लगा सकता है।

मामला 3: "अस्पष्ट गिरावट" (अंडरट्रेन्ड मिस्ट्री)

परिदृश्य: AI को शुरुआत में ही गुप्त कोड ठीक से नहीं सिखाया गया था (इसे "अंडरट्रेन्ड" कहा गया)। नए पाठ के बाद, AI कोड के पहले हिस्से में थोड़ा बेहतर हुआ, लेकिन फिर भी वह पूरे कोड को रिकॉल नहीं कर सका।
टूल्स की प्रतिक्रिया:
- टूल 1 (पहले 20 शब्द): कहता है "देखो! AI में सुधार हुआ है! इसने निश्चित रूप से गुप्त कोड सीख लिया है!"
- टूल 2 (पूरा कोड) और टूल 3 (रिकॉल): कहते हैं "नहीं, यह अभी भी पूरे कोड को रिकॉल नहीं कर पा रहा है। सुधार केवल कोड के फॉर्मेट को बेहतर बनाने के कारण हो सकता है, न कि स्वयं गुप्त जानकारी के कारण।"
उपमा: कल्पना कीजिए कि एक छात्र को गणित के सवाल का जवाब नहीं पता। पढ़ाई के बाद, वह इक्वेशन फॉर्मेट (जैसे, "माना x = ...") लिखने में बेहतर हो जाता है, लेकिन उसे अभी भी संख्या का पता नहीं है। एक टूल जो केवल फॉर्मेट की जांच करता है, वह सोच सकता है कि उसने समस्या हल कर ली है, जबकि वास्तव में उसने केवल प्रश्न लिखने का तरीका सीखा है।
सबक: कभी-कभी एक AI उत्तर के "स्टाइल" में बेहतर हो जाता है बिना वास्तविक गुप्त सामग्री को जाने।

मुख्य निष्कर्ष

यह शोध पत्र तर्क देता है कि यह तय करने के लिए कि क्या किसी AI ने गुप्त बातों को याद किया है, आप केवल एक टूल (विशेष रूप से "पहले 20 शब्दों" की जांच) पर भरोसा नहीं कर सकते।

यदि आप केवल छोटे विंडो का उपयोग करते हैं, तो आप वास्तविक विफलताओं को मिस कर सकते हैं (मामला 1)।
आप AI पर याद करने का गलत आरोप लगा सकते हैं जब वह केवल परिचय में भ्रमित हो (मामला 2)।
आप सोच सकते हैं कि AI ने एक गुप्त बात सीखी है जबकि उसने केवल एक फॉर्मेटिंग ट्रिक सीखी है (मामला 3)।

सिफारिश: सुनिश्चित करने के लिए, आपको "स्विस आर्मी नाइफ" दृष्टिकोण अपनाने की आवश्यकता है:

पूरे गुप्त स्ट्रिंग की जांच करें, न कि केवल शुरुआत की।
देखें कि क्या AI वास्तव में गुप्त बात को बोलकर बता सकता है (रिकॉल)।
स्कोर का विश्लेषण करें ताकि यह देखा जा सके कि बदलाव गुप्त भाग पर हुआ या बोरिंग इंट्रो भाग पर।
"डिकॉय" (छल) सीक्रेट्स के साथ टेस्ट करें ताकि यह सुनिश्चित हो सके कि AI केवल पैटर्न का अनुमान नहीं लगा रहा है।

लेखक इस बात पर जोर देते हैं कि ये निष्कर्ष उनके विशिष्ट टेस्ट सेटअप (एक विशिष्ट AI मॉडल और इसे प्रशिक्षित करने का एक विशिष्ट तरीका) के लिए विशिष्ट हैं, लेकिन वे एक चेतावनी के रूप में कार्य करते हैं: वह टूल जिसे आप मेमोरी को मापने के लिए चुनते हैं, वह इस कहानी को बदल सकता है कि AI "याद" कर रहा है या "सीख" रहा है।

तकनीकी सारांश: प्रोब चयन कैनरी-मेमोराइजेशन (Canary-Memorization) के निर्णय को बदल देता है

समस्या विवरण
यह शोध पत्र ऑटोरिग्रेसिव जनरेटिव मॉडल्स में मेमोराइजेशन (याद रखने की क्षमता) के मूल्यांकन में एक महत्वपूर्ण विश्वसनीयता संबंधी मुद्दे को संबोधित करता है: मूल्यांकन प्रोब (probe) का चुनाव यह निर्णय बदल सकता है कि किसी मॉडल ने विशिष्ट प्रशिक्षण डेटा (कैनरीज) को वास्तव में याद किया है या नहीं। जबकि यह क्षेत्र ट्रंकेटेड प्रिफिक्स-विंडो मीन नेगेटिव लॉग-लाइक्लीहुड (NLL), फुल-स्पैन सीक्रेट NLL, और बिहेवियरल एक्जैक्ट-रिकॉल जैसे प्रोब्स पर निर्भर करता है, यह कार्य प्रदर्शित करता है कि ये मेट्रिक्स हमेशा सुसंगत नहीं होते हैं। विशेष रूप से, लेखक यह जांचते हैं कि क्या एक मानक, आंतरिक रूप से पूर्व-निर्दिष्ट प्रोब ( $\Delta$ NLL $_{mean20}$ , एक निश्चित प्रिफिक्स विंडो $K=20$ टोकन) एक नियंत्रित LoRA-ट्यून्ड टेस्टबेड में फुल-स्पैन सीक्रेट NLL या बिहेवियरल एक्जैक्ट-रिकॉल (hit@1) के साथ सहमत है। केंद्रीय चिंता यह है कि एक एकल विंडो वाले प्रोब पर अनियंत्रित निर्भरता 'फॉल्स नेगेटिव' (मेमोराइजेशन को मिस करना) या 'फॉल्स पॉजिटिव' (गैर-सीक्रेट स्पैन को मेमोराइजेशन के रूप में attribuite करना) की ओर ले जा सकती है, जिससे जनरलाइजेशन बनाम मेमोराइजेशन के निष्कर्ष भ्रमित हो सकते हैं।

कार्यप्रणाली (Methodology)
लेखक Qwen2.5-VL-7B बैकबोन का उपयोग करके एक नियंत्रित मेमोराइजेशन-इवैल्यूएशन टेस्टबेड का निर्माण करते हैं, जिसमें एक फ्रोजन विजन टावर और एक ट्रेन करने योग्य लैंग्वेज टावर है।

कैनरी इंजेक्शन (Canary Injection): वे एक "कैनरी LoRA" ( $r=32, \alpha=64$ ) के माध्यम से मॉडल में 20 इमेज कैनरीज और 20 टेक्स्ट कैनरीज इंजेक्ट करते हैं। टेक्स्ट कैनरीज एक विशिष्ट टेम्पलेट (जैसे, TEXTCAN-{16hex}-END) का पालन करती हैं जो एक निश्चित प्लेसहोल्डर इमेज के साथ जुड़ी होती है।
बेनाइन फाइन-ट्यूनिंग (bSFT): एक दूसरा LoRA ( $r=16, \alpha=32$ ) कैनरी-मर्ज किए गए बेस के ऊपर स्टैक किया जाता है। यह bSFT चार डेटा स्रोतों (GUI, SYNTH, SAFETY, RANDOM) में से एक पर प्रशिक्षित है जो स्पष्ट रूप से कैनरी स्ट्रिंग्स को बाहर रखते हैं। यह सेटअप एक "स्टैक्ड LoRA" शासन बनाने के लिए है ताकि यह परीक्षण किया जा सके कि क्या बेनाइन फाइन-ट्यूनिंग मेमोराइजेशन को पुन: सक्रिय करती है या प्रोब सिग्नल को बदलती है।
प्रोब परिभाषाएं: अध्ययन तीन अलग-अलग प्रोब्स की तुलना करता है:
1. $\Delta$ NLL $_{mean20}$ : पहले 20 टोकन पर मीन NLL में परिवर्तन (मानक, आंतरिक रूप से पूर्व-निर्दिष्ट प्रोब)।
2. $\Delta$ NLL $_{hex}$ : पूरे 13-टोकन सीक्रेट हेक्स स्पैन पर NLL में परिवर्तन (टेल टोकन को कैप्चर करने के लिए $K=30$ फॉरवर्ड पास के साथ मूल्यांकन किया गया)।
3. बिहेवियरल hit@1: उन कैनरीज का अंश जहाँ ग्रीडी डिकोडिंग आउटपुट सटीक रूप से सीक्रेट स्ट्रिंग से मेल खाता है।
प्रायोगिक दायरा (Experimental Scope): अध्ययन 34 bSFT सेल्स (102 सीड-लेवल रन) को एकत्रित करता है और इसमें अंडरट्रेन्ड कंट्रोल्स और मैचड-नॉर्म LoRA-NOISE कंट्रोल्स शामिल हैं। विश्लेषण उन पोस्ट-हॉक केस स्टडीज पर केंद्रित है जहाँ ये प्रोब्स असहमत होते हैं।

मुख्य योगदान
यह पेपर कोई नया मेमोराइजेशन मेट्रिक प्रस्तावित नहीं करता है, बल्कि मौजूदा मेट्रिक्स का एक टेम्पलेट-विशिष्ट ऑडिट प्रदान करता है। इसके प्राथमिक योगदान हैं:

प्रोब असहमति की पहचान: लेखक तीन विशिष्ट पोस्ट-हॉक केस स्टडीज का दस्तावेजीकरण करते हैं जहाँ मानक $K=20$ मीन-NLL प्रोब, फुल-स्पैन NLL या बिहेवियरल रिकॉल के साथ विरोधाभासी वर्डिक्ट देता है।
मैकेनिस्टिक डीकंपोजिशन (Mechanistic Decomposition): वे इन असहमतियों को विशिष्ट टोकन-पोजीशन या बेसलाइन-रीजीम मैकेनिज्म को जिम्मेदार ठहराते हैं:
- विंडो ट्रंकेशन (फॉल्स नेगेटिव): $K=20$ विंडो के बाहर होने वाला नुकसान।
- नॉन-सीक्रेट स्पैन ड्रिफ्ट (फॉल्स पॉजिटिव): प्रिएम्बल (preamble) टोकन द्वारा संचालित प्रोब मूवमेंट।
- अंडरट्रेन्ड कंट्रोल एम्बिग्युटी: डिकॉय प्रोब्स के बिना अंडरट्रेन्ड बेसलाइन्स पर NLL ड्रॉप, जो सीक्रेट-विशिष्ट लर्निंग जैसा प्रतीत होता है।
इवैल्यूएशन प्रोटोकॉल सिफारिशें: यह पेपर इन खामियों से बचने के लिए एक मल्टी-मेट्रिक रिपोर्टिंग मानक का प्रस्ताव करता है।

परिणाम: तीन केस स्टडीज
ऑडिट Qwen2.5-VL-7B टेस्टबेड में तीन विशिष्ट विफलता मोड प्रकट करता है:

केस 1 (C3): विंडो ट्रंकेशन स्पार्स टेल-टोकन ब्रिटलनेस (Sparse Tail-Token Brittleness) को मिस करता है।
- अवलोकन: $\Delta$ NLL $_{mean20}$ फ्लैट (+0.0001) है, लेकिन hit@1 1.00 से गिरकर 0.88 हो जाता है, और फुल-स्पैन $\Delta$ NLL $_{hex}$ पॉजिटिव (+0.0133) है।
- मैकेनिज्म: नुकसान अंतिम हेक्स टोकन (पोजीशन 23) पर केंद्रित है, जो $K=20$ विंडो के बाहर है। मानक प्रोब इस स्पार्स, ग्रीडी-डिकोड-विशिष्ट विफलता के प्रति "अंधा" है।
- साक्ष्य: 60 में से 7 ग्रीडी फेल्योर 20 में से 3 कैनरीज पर 1-2 हेक्स कैरेक्टर्स की त्रुटियों के कारण हुए।
केस 2 (C4): नॉन-सीक्रेट स्पैन ड्रिफ्ट (फॉल्स पॉजिटिव)।
- अवलोकन: $\Delta$ NLL $_{mean20}$ एक महत्वपूर्ण पॉजिटिव शिफ्ट (+0.0150) दिखाता है, जो मेमोराइजेशन का सुझाव देता है, जबकि $\Delta$ NLL $_{hex}$ नगण्य (+0.0004) है और hit@1 1.00 बना रहता है।
- मैकेनिज्म: प्रति-स्पैन डीकंपोजिशन से पता चलता है कि प्रोब के ~99% मूवमेंट गैर-सीक्रेट प्रिएम्बल टोकन पर होते हैं। सीक्रेट स्पैन स्वयं अपरिवर्तित है।
- साक्ष्य: सिग्नल तब कोलैप्स हो जाता है जब bSFT-LoRA को बेस वेट्स में मर्ज किया जाता है, जो दर्शाता है कि ड्रिफ्ट इवैल्यूएशन-स्टैक-डिपेंडेंट है और वास्तविक सीक्रेट-स्पैन प्रभाव नहीं है।
केस 3 (C5): एम्बिग्युअस अंडरट्रेन्ड इन-विंडो NLL ड्रॉप।
- अवलोकन: एक अंडरट्रेन्ड बेसलाइन पर $\Delta$ NLL $_{mean20}$ नेगेटिव (-0.0070) है, जो व्याख्या के आधार पर "भूलने" या "पुनः सक्रियण" का सुझाव दे सकता है। हालांकि, फुल-स्पैन $\Delta$ NLL $_{hex}$ पॉजिटिव (+0.0076) है, और hit@1 0 है।
- मैकेनिज्म: इन-विंडो ड्रॉप $K=20$ के भीतर हेक्स टोकन तक सीमित है, लेकिन फुल-स्पैन सिग्नल पॉजिटिव है। डिकॉय प्रोब्स (शफल किया हुआ हेक्स या गलत सीक्रेट) के बिना, यह अंतर करना असंभव है कि यह सीक्रेट-विशिष्ट लर्निंग है या जेनेरिक फॉर्मेट-प्रायर स्मूथिंग या टेम्पलेट एडैप्टेशन।
- साक्ष्य: नेगेटिव mean20, सीक्रेट रिकवरी और नॉन-सीक्रेट स्मूथिंग दोनों के अनुरूप है; अंडरट्रेन्ड रीजीम्स में कोई वर्बेटिम hit@1 > 0 नहीं देखा गया।

महत्व और दावे
यह पेपर विनम्रता से दावा करता है कि इसके निष्कर्ष केवल परीक्षण किए गए बैकबोन (Qwen2.5-VL-7B) और कॉन्फ़िगरेशन के लिए विशिष्ट हैं, न कि एक सार्वभौमिक जनसंख्या दावा। हालांकि, यह तर्क देता है कि विफलता के मोड नाम योग्य और कार्रवाई योग्य हैं।

इवैल्यूएशन रिलायबिलिटी: लेखक का कहना है कि एक एकल ट्रंकेटेड विंडो (जैसे $K=20$ ) पर निर्भर रहना मजबूत मेमोराइजेशन ऑडिट के लिए अपर्याप्त है। एक प्रोब का चुनाव बिना किसी वास्तविक व्यवहार परिवर्तन के, वर्डिक्ट को "मेमोराइज्ड" से "नॉट मेमोराइज्ड" (या इसके विपरीत) में बदल सकता है।
प्रोटोकॉल सिफारिशें: मजबूती सुनिश्चित करने के लिए, पेपर अनुशंसा करता है कि भविष्य के ऑडिट में रिपोर्ट किया जाए:
1. फुल-स्पैन सीक्रेट NLL (विंडो ट्रंकेशन त्रुटियों से बचने के लिए)।
2. स्पैन-लोकलाइज्ड डीकंपोजिशन (प्रिएम्बल ड्रिफ्ट को सीक्रेट डैमेज से अलग करने के लिए)।
3. $k \ge 4$ पर बिहेवियरल एक्जैक्ट-रिकॉल (उन स्पार्स टेल-टोकन ब्रिटलनेस का पता लगाने के लिए जिसे ग्रीडी डिकोडिंग मिस कर देती है)।
4. डिकॉय प्रोब्स (शफल किए गए या गलत-सीक्रेट कंट्रोल्स) ताकि सीक्रेट-विशिष्टता का दावा करने से पहले फॉर्मेट-प्रायर स्मूथिंग को खारिज किया जा सके।

यह कार्य एक चेतावनी भरे ऑडिट के रूप में कार्य करता है, जो प्रदर्शित करता है कि "जनरलाइजेशन बनाम मेमोराइजेशन" के निष्कर्ष उपयोग किए जाने वाले विशिष्ट प्रोब विंडो और डीकंपोजिशन रणनीति के प्रति संवेदनशील हैं।