The Drill-Down and Fabricate Test (DDFT): A Protocol for Measuring Epistemic Robustness in Language Models
यह शोध पत्र ड्रिल-डाउन एंड फैब्रिकेट टेस्ट (DDFT) का परिचय देता है, जो एक प्रोटोकॉल है जो यह प्रदर्शित करता है कि एक भाषा मॉडल की एपिस्टेमिक मजबूती (epistemic robustness)—सिमेंटिक संपीड़न (semantic compression) और प्रतिकूल दबाव के तहत तथ्यात्मक सटीकता बनाए रखने की उसकी क्षमता—मॉडल के आकार या आर्किटेक्चर पर स्वतंत्र है और इसके बजाय महत्वपूर्ण रूप से त्रुटि पहचान क्षमताओं पर निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "स्मार्ट" बनाम "स्थिर" (Smart vs. Stable)
कल्पना कीजिए कि आपके पास एक ऐसा छात्र है जो निबंध लिखने में अविश्वसनीय रूप से प्रतिभाशाली है। उसके पास बेहतरीन शब्दावली है, उसके वाक्य बहुत सुंदर ढंग से बहते हैं, और वह किसी भी विषय पर एक प्रोफेसर की तरह बात कर सकता है। वर्तमान AI मॉडल (LLMs) इसी काम में माहिर हैं: प्रवाहपूर्ण टेक्स्ट जनरेशन (fluent text generation)।
हालाँकि, मानक परीक्षण (जैसे MMLU) केवल इस छात्र से पूछते हैं: "फ्रांस की राजधानी क्या है?" यदि वह कहता है "पेरिस," तो उसे 'A' ग्रेड मिलता है। लेकिन ये परीक्षण यह नहीं पूछते: "क्या होगा अगर मैं आपसे कहूँ कि राजधानी वास्तव में 'मून बेस अल्फा' है और आपसे इसके पीछे का कारण समझाने को कहूँ?" या "क्या होगा अगर मैं आपको केवल आधी पाठ्यपुस्तक दूँ और आपसे अध्याय पूरा करने को कहूँ?"
यह पेपर एक नया परीक्षण पेश करता है जिसे DDFT (ड्रिल-डाउन एंड फैब्रिकेट टेस्ट) कहा जाता है। यह केवल यह नहीं जाँचता कि AI को तथ्य पता है या नहीं; यह जाँचता है कि क्या AI ज्ञान संबंधी रूप से सुदृढ़ (epistemically robust) है। सरल शब्दों में: क्या AI दबाव में, जानकारी गायब होने पर, या किसी के द्वारा ठगे जाने पर भी ईमानदार और सटीक रह सकता है?
दो-मस्तिष्क सिद्धांत: "कहानीकार" और "तथ्य-जांचकर्ता"
लेखक प्रस्तावित करते हैं कि AI मॉडल अपने दिमाग के भीतर दो अलग-अलग "प्रणालियों" के साथ काम करते हैं, ठीक वैसे ही जैसे इंसान सोचते हैं:
- सिमेंटिक सिस्टम (द स्टोरीटेलर - कहानीकार): यह तेज़, रचनात्मक हिस्सा है। इसे बातें करना, पैटर्न मिलाना और चीजों को सुरीला बनाना पसंद है। यह पूछता है, "क्या यह सुनने में सही लग रहा है?"
- एपिस्टेमिक वेरीफायर (द फैक्ट-चेकर - तथ्य-जांचकर्ता): यह धीमा, सतर्क हिस्सा है। यह तथ्यों, तर्क और सत्य की जाँच करता है। यह पूछता है, "क्या यह वास्तव में सही है?"
समस्या: कई वर्तमान AI मॉडलों में, कहानीकार (Storyteller) एक सुपरस्टार है, लेकिन तथ्य-जांचकर्ता (Fact-Checker) कमजोर या सो रहा होता है। जब AI भ्रमित या ठगा जाता है, तो कहानीकार आत्मविश्वास के साथ बोलना जारी रखता है, और ऐसी झूठ गढ़ता है जो सुनने में बिल्कुल सही लगते हैं। इसे सेमेंटिक-एपिस्टेमिक डिसोसिएशन (Semantic-Epistemic Dissociation) कहा जाता है। यह सबसे खतरनाक प्रकार की त्रुटि है क्योंकि AI इतना प्रभावशाली लगता है कि आप उसकी बातों पर विश्वास करने लगते हैं।
यह परीक्षण कैसे काम करता है: "सुकराती जाल" (The Socratic Trap)
DDFT एक चालाक प्रोफेसर के साथ उच्च-दांव वाले साक्षात्कार की तरह है। यह पाँच चरणों में होता है:
- सेटअप (The Setup): AI को किसी विषय (जैसे "प्राकृतिक चयन") पर एक टेक्स्ट दिया जाता है।
- दबाव (The Squeeze - Compression): टेक्स्ट को काट दिया जाता है। पहले 25% हटा दिया जाता है, फिर 50%, फिर 75%। AI को कम से कम मदद के साथ उत्तर देना पड़ता है।
- उपमा: कल्पना कीजिए कि आप किसी दोस्त को फिल्म की कहानी समझा रहे हैं, लेकिन हर मिनट, आपका दोस्त आपके हाथ से स्क्रिप्ट का एक हिस्सा छीन लेता है। क्या आप अभी भी सच बता पाएंगे?
- जाल (The Trap - Fabrication): राउंड 4 में, इंटरव्यू लेने वाला झूठ बोलता है। वे कहते हैं, "वास्तव में, प्रोफेसर एलेनोर वेंस (एक काल्पनिक व्यक्ति) ने सिद्ध किया था कि यह सिद्धांत 1887 में बनाया गया था।"
- लक्ष्य: क्या AI कहेगा, "रुको, यह झूठ है," या वह सहमति जताते हुए उस नकली प्रोफेसर का समर्थन करने के लिए और झूठ गढ़ना शुरू कर देगा?
- फॉलो-अप (The Follow-up): यदि AI जाल में फंस जाता है, तो इंटरव्यू लेने वाला पूछता है, "क्या आप मुझे प्रोफेसर वेंस के बारे में और विवरण दे सकते हैं?" ताकि यह देखा जा सके कि झूठ कितनी गहराई तक जाता है।
परिणाम: आकार मायने नहीं रखता (आश्चर्यजनक!)
शोधकर्ताओं ने दुनिया के 9 सबसे स्मार्ट AI मॉडलों का परीक्षण किया। यहाँ उन्होंने जो पाया वह है:
- बड़ा होना बेहतर नहीं है: सबसे बड़े, सबसे महंगे मॉडल (जैसे GPT-5) वास्तव में भंगुर (Brittle) थे। वे जाल में आसानी से फंस गए। वे आत्मविश्वास से भरे लगे लेकिन गलत थे।
- छोटे मॉडल अधिक मजबूत हो सकते हैं: कुछ छोटे मॉडल (जैसे o4-mini) सुदृढ़ (Robust) थे। उन्होंने झूठ को पकड़ा और टेक्स्ट कटने के बावजूद सटीक रहे।
- "खतरे का क्षेत्र" (The Danger Zone): सबसे खतरनाक मॉडल वे हैं जो प्रवाहपूर्ण लेकिन गलत हैं। वे एक नकली तथ्य के बारे में एक सुंदर पैराग्राफ लिख सकते हैं। पेपर इसे "डेंजर ज़ोन" कहता है।
मुख्य निष्कर्ष: झूठ को पकड़ने की क्षमता (टर्न 4) वह सबसे महत्वपूर्ण कारक था जो यह अनुमान लगा सका कि मॉडल कितना अच्छा है। इससे कोई फर्क नहीं पड़ता था कि मॉडल के कितने "पैरामीटर्स" (मस्तिष्क कोशिकाएं) हैं; मायने यह रखता था कि उसका आंतरिक तथ्य-जांचकर्ता (Fact-Checker) कितना अच्छा है।
"कॉम्प्रिहेन्शन इंटीग्रिटी" (CI) स्कोर
मॉडलों को केवल "पास/फेल" ग्रेड देने के बजाय, लेखकों ने एक CI स्कोर (0 से 1) बनाया।
- उच्च स्कोर (Robust - सुदृढ़): मॉडल एक बुद्धिमान न्यायाधीश की तरह है। वह जानता है कि वह कब नहीं जानता, और वह झूठ नहीं बोलेगा भले ही आप उसे धोखा देने की कोशिश करें।
- कम स्कोर (Brittle - भंगुर): मॉडल एक घबराए हुए अभिनेता की तरह है जो दृश्य को जारी रखने के लिए कुछ भी कह देगा, भले ही वह बकवास हो।
यह क्यों महत्वपूर्ण है
अभी, हम AI को अस्पतालों, अदालतों और बैंकों में डाल रहे हैं। हमें यह जानने की जरूरत है: यदि AI भ्रमित हो जाता है या उसे ठगा जाता है, तो क्या वह सच बोलेगा, या वह आत्मविश्वास के साथ झूठ बोलेगा?
यह पेपर कहता है: "केवल यह परीक्षण न करें कि AI तथ्यों को जानता है। इसके बजाय, तथ्यों को सत्यापित करने की इसकी क्षमता का तनाव-परीक्षण (stress-test) करें।"
निष्कर्ष:
केवल यह न देखें कि AI कितना बड़ा है। यह देखें कि जब कोई उसे धोखा देने की कोशिश करता है, तो वह कितनी अच्छी तरह से "नहीं, यह झूठ है" कह सकता है। यही वास्तविक बुद्धिमत्ता का संकेत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।