Cross-Context Verification: Hierarchical Detection of Benchmark Contamination through Session-Isolated Analysis
यह शोध पत्र क्रॉस-कॉन्टेक्स्ट वेरिफिकेशन (CCV) और पदानुक्रमित क्रॉस-कॉन्टेक्स्ट आर्किटेक्चर (HCCA) को प्रस्तुत करता है, जो एक ब्लैक-बॉक्स फ्रेमवर्क है जो स्वतंत्र सत्रों में समाधान विविधता को मापकर और वास्तविक तर्क एवं पूर्ण स्मरण (परफेक्ट रिकॉल) के बीच अंतर करने के लिए सूचना-प्रतिबंधित मल्टी-एजेंट विश्लेषण का उपयोग करके LLM कोडिंग कार्यों में बेंचमार्क संदूषण (कंटैमिनेशन) का पता लगाता है, जिससे मौजूदा पहचान विधियों की सीमाओं को दूर किया जा सके और पूर्व संदूषण लेबल में उच्च फाल्स पॉजिटिव दरों को उजागर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या आपके छात्रों ने वास्तव में सामग्री सीखी है या उन्होंने केवल उत्तर कुंजी (answer key) को रट लिया है।
यह शोध पत्र "चीटर्स" (वे AI मॉडल जिन्होंने बेंचमार्क उत्तर रट लिए हैं) को पकड़ने का एक नया तरीका और "ग्रेडिंग कमेटी" को व्यवस्थित करने का एक नया तरीका पेश करता है ताकि वे गलती से एक-दूसरे से सहमत न हो जाएं क्योंकि उन्होंने पहले व्यक्ति का ग्रेड देख लिया था।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
1. समस्या: "लीक हुई उत्तर कुंजी" का संकट
AI मॉडल को कोडिंग समस्याओं (जैसे SWE-bench) पर परखा जा रहा है ताकि देखा जा सके कि वे कितने स्मार्ट हैं। लेकिन एक संकट है:
- धोखाधड़ी (The Cheat): कई मॉडल वास्तव में "सोच" या "कोडिंग" नहीं कर रहे हैं। उन्होंने अपने ट्रेनिंग डेटा (इंटरनेट) में उत्तर देख लिए हैं और वे बस उन्हें दोहरा रहे हैं।
- पुराने डिटेक्टर: पिछले तरीकों ने इसे पकड़ने के लिए टेक्स्ट को देखा (जैसे, "क्या यह कोड उत्तर कुंजी के बहुत समान दिखता है?")। लेकिन यह इस बात की जांच करने जैसा है कि क्या छात्र की लिखावट उत्तर कुंजी से मेल खाती है। इसे नकली बनाना आसान है, और यह साबित नहीं करता कि छात्र ने गणित को समझा या नहीं।
- दोषपूर्ण समीक्षा: जब इंसान (या अन्य AI) काम की समीक्षा करते हैं, तो यदि वे पहले समीक्षक के नोट्स देखते हैं, तो वे अक्सर उनसे सहमत हो जाते हैं। इसे "कन्फर्मेशन बायस" (confirmation bias) कहा जाता है। यह एक जूरी की तरह है जहाँ पहला व्यक्ति कहता है "दोषी," और बाकी सभी बिना सोचे-समझे बस सिर हिला देते हैं।
2. समाधान: "क्रॉस-कॉन्टेक्स्ट वेरिफिकेशन" (CCV)
लेखकों ने एक चतुर तरीका निकाला है यह देखने के लिए कि AI याद कर रहा है (नकल कर रहा है) या तर्क कर रहा है (सोच रहा है)।
उपमा: "ब्लाइंड टेस्ट ऑफ टेस्ट" (Blind Taste Test)
कल्पना कीजिए कि आप जानना चाहते हैं कि क्या एक शेफ ने एक विशिष्ट रेसिपी रट ली है या वह एक सच्चा मास्टर शेफ है जो सुधार (improvise) कर सकता है।
- पुराना तरीका: आप सामग्री की सूची देखते हैं और उसकी तुलना रेसिपी बुक से करते हैं।
- CCV का तरीका: आप शेफ को वही सटीक व्यंजन पांच बार बनाने के लिए कहते हैं, लेकिन आप उन्हें पांच अलग-अलग, साउंडप्रूफ किचन में भेजते हैं जहाँ वे एक-दूसरे से बात नहीं कर सकते और उन्हें पिछले प्रयासों की कोई स्मृति नहीं होती।
- यदि वे नकल (Cheating) कर रहे हैं: वे हर बार बिल्कुल एक जैसा व्यंजन बनाएंगे। स्वाद, सजावट (plating) और सामग्रियां बिल्कुल समान होंगी। (शून्य विविधता)।
- यदि वे सोच (Reasoning) रहे हैं: भले ही वे एक ही व्यंजन बनाने की कोशिश कर रहे हों, एक सच्चा शेफ थोड़े बदलाव करेगा। शायद वे प्याज को थोड़ा अलग तरीके से काटेंगे, या मसालों का थोड़ा अलग मिश्रण उपयोग करेंगे। व्यंजन लक्ष्य में समान होंगे, लेकिन निष्पादन (execution) में भिन्न होंगे। (उच्च विविधता)।
परिणाम: इस पेपर ने 9 कोडिंग समस्याओं पर इसका परीक्षण किया। "चीटर्स" ने हर बार एक जैसा कोड बनाया। "थिंकर्स" ने विविध कोड बनाया। इस पद्धति ने उन्हें पूरी तरह से अलग कर दिया।
3. नया टूल: "HCCA" (एंटी-ग्रुपथिंक कमेटी)
एक बार जब उन्होंने "चीटर्स" को ढूंढ लिया, तो उन्हें परिणामों का विश्लेषण करने के लिए एक विशेष संरचना की आवश्यकता थी। उन्होंने अपने विश्लेषण दल के लिए HCCA नामक एक विशेष संरचना बनाई।
उपमा: "मौन जूरी" (The Silent Jury)
एक सामान्य बैठक में, यदि व्यक्ति A कहता है, "मुझे लगता है कि यह एक धोखा है," तो व्यक्ति B सोच सकता है, "ओह, व्यक्ति A बुद्धिमान है, मुझे लगता है कि मैं सहमत हूँ।"
- HCCA का नियम: उन्होंने टीम को परतों (layers) में विभाजित किया।
- लेयर 1: डेटा एकत्र करती है (खाना बनाने के प्रयास)।
- लेयर 2 (एनालिस्ट्स): तीन अलग-अलग लोग डेटा देखते हैं। महत्वपूर्ण रूप से, उन्हें एक-दूसरे से बात करने या एक-दूसरे के विचार देखने की अनुमति नहीं है। वे केवल कच्चे डेटा (raw data) को देखते हैं।
- लेयर 3 (इंटीग्रेटर): केवल तब तक, जब तक कि हर किसी ने अपनी स्वयं की रिपोर्ट नहीं लिख ली, एक अंतिम व्यक्ति नोट्स को जोड़ता है।
यह क्यों मायने रखता है: एक पायलट टेस्ट में, जब "वेरिफायर" ने "वर्कर" के नोट्स देखे, तो वे 100% समय सहमत हुए, भले ही वर्कर गलत था। इसे "साइकोफैंसी" (sycophancy - चापलूसी) कहा जाता है। उन्हें अलग-अलग काम करने के लिए मजबूर करके, उन्होंने एक जटिल मामला पकड़ा जिसे एक अकेला व्यक्ति मिस कर देता: एक समस्या जो दोनों थी—एक धोखा (रटा हुआ) और एक टूटा हुआ टेस्ट (उत्तर कुंजी गलत थी)।
4. मुख्य निष्कर्ष (The "Aha!" Moments)
- धोखाधड़ी बाइनरी है: यह कोई ग्रे एरिया नहीं है। AI या तो उत्तर को पूरी तरह से जानता है (और उसे तुरंत उगल देता है) या वह इसे शुरू से समझ रहा है। "कुछ हद तक" नकल करने जैसा कुछ नहीं होता।
- गति एक सुराग है: यदि AI एक कठिन समस्या को 5 सेकंड में हल करता है, तो संभावना है कि वह नकल कर रहा है। यदि इसे 20 सेकंड लगते हैं, तो संभावना है कि वह सोच रहा है।
- "33% गलत अलार्म": पेपर ने पाया कि पहले "दूषित" (contaminated) लेबल किए गए लगभग 1/3 समस्याएं वास्तव में साफ थीं! AI उन्हें वैध रूप से हल कर रहा था। पुराने तरीके बहुत संदिग्ध थे।
- सत्यापन का स्वर्ण नियम: सबसे महत्वपूर्ण बात यह नहीं है कि आपके पास कितने लोग हैं या आपका सिस्टम कितना जटिल है। यह सूचना प्रतिबंध (Information Restriction) है। यदि काम की जांच करने वाले लोग देख सकते हैं कि पिछले लोगों ने क्या निर्णय लिया था, तो वे बस सहमत हो जाएंगे। सत्य प्राप्त करने के लिए, उन्हें एक-दूसरे की राय से अनजान रहना होगा।
सारांश
यह पेपर कहता है: "AI के नकल करने का अनुमान लगाने के लिए उसके टेक्स्ट को मत देखो। इसके बजाय, AI को एक ही समस्या को अलग-अलग कमरों में हल करने के लिए कहें और देखें कि क्या उत्तर बदलते हैं। साथ ही, सुनिश्चित करें कि आपकी समीक्षा करने वाली टीम अपना काम पूरा करने से पहले एक-दूसरे से बात न करे, अन्यथा वे पहले व्यक्ति से सहमत हो जाएंगे।"
यह AI को ग्रेड करने का एक नया, अधिक ईमानदार तरीका है, जो यह सुनिश्चित करता है कि जब हम कहते हैं कि एक AI "स्मार्ट" है, तो वह वास्तव में स्मार्ट है, न कि केवल एक नकलची (parrot)।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।