When Verification Fails: How Compositionally Infeasible Claims Escape Rejection
यह शोध पत्र प्रकट करता है कि वर्तमान वैज्ञानिक दावा सत्यापन बेंचमार्क कठोर तर्क और एक "सैलिएंट-कन्स्ट्रेंट" (प्रमुख-प्रतिबंध) शॉर्टकट के बीच अंतर करने में विफल रहते हैं क्योंकि वे केवल एकल-तत्व व्यवधानों का परीक्षण करते हैं, जिससे मॉडल लगातार उन संरचनात्मक रूप से अव्यवहार्य दावों को अत्यधिक स्वीकार कर लेते हैं जहाँ प्रमुख प्रतिबंध समर्थित होने के बावजूद गैर-प्रमुख प्रतिबंधों का उल्लंघन होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिष्ठित, उच्च-दांव वाले क्लब के बाउंसर हैं। इस क्लब का नियम सख्त है: प्रवेश पाने के लिए, अतिथि को यह साबित करना होगा कि वह सूची की हर एक आवश्यकता को पूरा करता है। यदि वे एक भी छोटी सी बारीकी चूक जाते हैं, तो उन्हें बाहर कर दिया जाता है। विज्ञान को इसी तरह काम करना चाहिए: कोई दावा तभी सत्य है जब सभी साक्ष्य उसका समर्थन करते हैं।
हालाँकि, मुक्सिन लियू और उनके सहयोगियों द्वारा निकाला गया एक नया शोध बताता है कि हमारे वर्तमान "AI बाउंसर" (लार्ज लैंग्वेज मॉडल्स) धोखाधड़ी कर रहे हैं। वे पूरी सूची की जाँच नहीं कर रहे हैं; वे बस सबसे स्पष्ट चीज़ को देखते हैं और यदि वह एक चीज़ ठीक दिखती है, तो वे लोगों को अंदर जाने देते हैं।
समस्या, प्रयोग और समाधान का विवरण, सरल उपमाओं का उपयोग करते हुए यहाँ दिया गया है।
1. बाउंसरों के दो प्रकार
यह शोध पत्र दावे की जाँच करने के दो तरीकों की तुलना करता है:
- सख्त बाउंसर (क्लोज्ड-वर्ल्ड असम्प्शन): यह बाउंसर पूरी गेस्ट लिस्ट पढ़ता है। "क्या आपके पास टिकट है? हाँ। क्या आपकी उम्र 21 से अधिक है? हाँ। क्या आपका नाम वीआईपी सूची में है? हाँ।" केवल तभी जब सभी बॉक्स चेक किए जाते हैं, अतिथि को प्रवेश मिलता है।
- आलसी बाउंसर (सेलिएंट-कन्स्ट्रेंट चेकिंग): यह बाउंसर केवल सबसे स्पष्ट चीज़ को देखता है। "क्या आपके पास टिकट है?" (हाँ)। "ठीक है, अंदर आइए!" वे उम्र या नाम को अनदेखा कर देते हैं क्योंकि टिकट "सेलिएंट" (सबसे ध्यान देने योग्य) हिस्सा था।
समस्या: वर्षों तक, हमने नकली मेहमानों के साथ जिन्हें स्पष्ट दोष थे (जैसे कि नकली टिकट पहनना), AI बाउंसरों का परीक्षण किया। AI ने उन्हें सही ढंग से खारिज कर दिया। लेकिन क्योंकि दोष बहुत स्पष्ट था, AI स्मार्ट लगा भले ही वह "आलसी" पद्धति का उपयोग कर रहा था। हमें समझ नहीं आया कि वे सूची के बाकी हिस्सों को छोड़ रहे थे।
2. "ट्रैप" टेस्ट: अदृश्य दोष
आलसी बाउंसरों को पकड़ने के लिए, शोधकर्ताओं ने एक विशेष जाल बनाया जिसे "कंपोजिशनल इनफीजिबल क्लेम" कहा जाता है।
कल्पना कीजिए कि एक अतिथि कहता है:
"मेरे पास एक वैध टिकट है, मैं 21 वर्ष से अधिक आयु का हूँ, और मैं वर्ष 3000 से एक समय-यात्रा करने वाला एलियन हूँ।"
- सेलिएंट भाग: "मेरे पास एक वैध टिकट है।" (सत्य)।
- छिपा हुआ भाग: "मैं एक समय-यात्रा करने वाला एलियन हूँ।" (असत्य, लेकिन वाक्य के बीच में छिपा हुआ है)।
परिणाम:
- सख्त बाउंसर पूरा वाक्य पढ़ता है, एलियन वाले हिस्से को देखता है, और कहता है, "नहीं, खारिज किया जाता।"
- आलसी बाउंसर टिकट देखता है, सोचता है, "दिखने में ठीक है," और कहता है, "स्वागत है!"
शोधकर्ताओं ने वैज्ञानिक डेटा (क्लिनिकल ट्रायल, चार्ट और टेबल) का उपयोग करके ऐसे हजारों "ट्रैप" दावे बनाए। उन्होंने पाया कि लगभग हर AI मॉडल, यहाँ तक कि सबसे उन्नत मॉडल भी, इस जाल में फंस गए। उन्होंने "एलियन" वाले दावों को स्वीकार कर लिया क्योंकि "टिकट" वाला हिस्सा सही दिख रहा था।
3. AI केवल "ज़्यादा गहराई से क्यों नहीं सोच" सकता?
शोधकर्ताओं ने इसे बेहतर निर्देश देकर ठीक करने की कोशिश की, जैसे कि:
- "कृपया हर एक विवरण की जाँच करें!" (क्लोज्ड-वर्ल्ड निर्देश)।
- "दावे को छोटे चरणों में तोड़ें!" (डिकम्पोज़िशन)।
उपमा: कल्पना कीजिए कि आप आलसी बाउंसर को कहते हैं, "हे, कृपया इस बार पूरी सूची की जाँच करें!" बाउंसर सिर हिलाता है और सूची की थोड़ी अधिक सावधानी से जाँच करता है, लेकिन फिर भी वह छिपे हुए एलियन वाले हिस्से को मिस कर देता है।
ये निर्देश केवल AI के थ्रेशोल्ड (सीमा) को बदलते हैं।
- यदि आप उन्हें अधिक सख्त होने के लिए कहते हैं, तो वे अधिक लोगों को खारिज कर देते हैं (जिनमें से कुछ वास्तव में हकदार होते हैं)।
- यदि आप उन्हें अधिक उदार होने के लिए कहते हैं, तो वे अधिक लोगों को अंदर जाने देते हैं (जिनमें एलियंस भी शामिल हैं)।
AI वास्तव में बिंदुओं को जोड़ने में बेहतर नहीं होता है; यह केवल यह बदल देता है कि वह कितना सतर्क है। "रीजनिंग बॉटलनेक" संरचनात्मक है: AI टिकट खोजने में अच्छा है, लेकिन यह समझने में बुरा है कि टिकट और एलियन की कहानी आपस में तार्किक रूप से मेल नहीं खाते।
4. "सेल्फ-चेक" प्रयोग
शोधकर्ताओं ने AI को अपने स्वयं के काम की जाँच करने के लिए भी कहा (जैसे कि एक छात्र अपने स्वयं के होमवर्क को ग्रेड करता है)।
- परिणाम: AI अपने स्वयं की गलतियों को पकड़ने में उतना ही बुरा था जितना कि दूसरों की गलतियों को पकड़ने में। वह एक गलत उत्तर लिखता, उसे देखता, और कहता, "हाँ, यह सही लग रहा है," क्योंकि वह केवल अपने तर्क के स्पष्ट हिस्सों पर ध्यान केंद्रित करता था।
5. मुख्य निष्कर्ष
"शॉर्टकट" डिफ़ॉल्ट है:
AI मॉडल को भारी मात्रा में डेटा पर प्रशिक्षित किया गया है जहाँ "स्पष्ट" हिस्सा आमतौर पर पूरी कहानी बता देता है। उन्होंने सीखा कि "टिकट" की जाँच करना आमतौर पर पर्याप्त होता है। उन्होंने कभी नहीं सीखा कि कभी-कभी, "टिकet" असली होता है, लेकिन "एलियन" वाला हिस्सा पूरे दावे को झूठा बना देता है।
वर्तमान बेंचमार्क त्रुटिपूर्ण हैं:
AI को ग्रेड करने के लिए हम जो परीक्षण उपयोग करते हैं, वे बहुत आसान हैं। वे केवल यह परीक्षण करते हैं कि क्या AI "नकली टिकट" को पहचान सकता है। वे यह परीक्षण नहीं करते कि क्या AI "नकली एलियन" को पहचान सकता है।
भविष्य:
AI को विज्ञान और चिकित्सा के लिए वास्तव में विश्वसनीय बनाने के लिए, हम केवल उन्हें "अधिक सावधान रहने" के लिए नहीं कह सकते। हमें उन्हें मौलिक रूप से यह समझने के लिए फिर से प्रशिक्षित करना होगा कि सत्य के लिए हर एक संबंध की जाँच करना आवश्यक है, न कि केवल सबसे स्पष्ट एक की। तब तक, हमें AI पर भरोसा करने में बहुत सावधान रहना होगा जब जटिल विवरण मायने रखते हों।
एक वाक्य में सारांश
AI मॉडल वर्तमान में उन बाउंसरों की तरह हैं जो केवल आपका आईडी कार्ड देखते हैं और आपकी उम्र को अनदेखा कर देते हैं; शोधकर्ताओं ने एक ऐसा परीक्षण बनाया जहाँ आईडी असली है लेकिन उम्र नकली है, जिससे यह साबित हुआ कि सबसे स्मार्ट AI भी सूक्ष्म विवरणों की जाँच करने में अभी भी "आलसी" हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।