Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity
यह शोध पत्र यह मूल्यांकन करने के लिए एक टोकन-स्तरीय परप्लेक्सिटी (perplexity) ढांचे को प्रस्तुत करता है कि क्या एलएलएम (LLMs) भाषाई रूप से प्रासंगिक संकेतों पर निर्भर करते हैं, जो यह प्रकट करता है कि हालांकि महत्वपूर्ण टोकन व्यवहार को प्रभावित करते हैं, मॉडल अंततः अपेक्षित भाषाई तंत्रों से परे ह्यूरिस्टिक्स (heuristics) पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान तोता है। यह तोता वाक्यों को दोहरा सकता है, सवालों के जवाब दे सकता है, और यहाँ तक कि ऐसे सटीक कविताएँ भी लिख सकता है जो एकदम सही लगती हैं। यदि आप उससे पूछते हैं, "क्या यह वाक्य व्याकरण की दृष्टि से सही है?" और वह कहता है "हाँ," तो आप मान सकते हैं कि तोता वास्तव में व्याकरण को समझता है।
लेकिन क्या होगा अगर तोता केवल पैटर्न पहचानने में माहिर है? क्या होगा अगर वह "हाँ" इसलिए नहीं कह रहा क्योंकि वह भाषा के नियमों को जानता है, बल्कि इसलिए कह रहा है क्योंकि उसने पहले ही उन शब्दों के उस विशिष्ट संयोजन को लाखों बार सुना है?
यह वह समस्या है जिसे शोधकर्ता ज़ोए प्रिंस (Zoë Prins) और उनकी टीम अपने शोध पत्र में सुलझाने की कोशिश कर रहे हैं। वे जानना चाहते हैं: क्या AI "परप्लेक्सिटी" (उलझन/हैरानी) का अनुभव सही कारणों से कर रहा है?
यहाँ उनके अध्ययन का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।
1. समस्या: "चाइनीज रूम" वाला तोता
लेखकों का तर्क है कि AI के वर्तमान परीक्षण किसी छात्र को केवल उसकी अंतिम परीक्षा के स्कोर के आधार पर ग्रेड देने जैसा है। यदि छात्र को "A" ग्रेड मिलता है, तो हम मान लेते हैं कि उसने विषय सीख लिया है। लेकिन हो सकता है कि उसने गणित समझे बिना केवल उत्तर कुंजी (answer key) को रट लिया हो।
AI की दुनिया में, इसे कन्फर्मेशन बायस (पुष्टि पूर्वाग्रह) कहा जाता है। हम देखते हैं कि AI सही उत्तर दे रहा है, और हम यह मानने के लिए उत्सुक होते हैं कि वह इंसान की तरह सोच रहा है। लेकिन यह केवल सतही ट्रिक्स (heuristics) के आधार पर अनुमान लगा रहा हो सकता है।
2. समाधान: "स्पॉटलाइट" विधि
यह देखने के लिए कि क्या AI वास्तव में सोच रहा है, शोधकर्ताओं ने एक नए प्रकार की टॉर्च बनाई है। पूरे वाक्य को देखने के बजाय, वे व्यक्तिगत शब्दों (टोकन) को देखते हैं।
वे परप्लेक्सिटी (Perplexity) नामक एक अवधारणा का उपयोग करते हैं। परप्लेक्सिटी को "आश्चर्य" के माप के रूप रूप में समझें।
- लो परप्लेक्सिटी (कम आश्चर्य): AI हैरान नहीं है। उसे इस शब्द की उम्मीद थी। (जैसे, "बिल्ली चटाई पर... बैठी है")।
- हाई परप्लेक्सिटी (उच्च आश्चर्य): AI बहुत हैरान है। उसे इस शब्द की उम्मीद नहीं थी। (जैसे, "बिल्ली टोस्टर पर... बैठी है")।
3. प्रयोग: "मिनिमल पेयर" गेम
शोधकर्ताओं ने मिनिमल पेयर्स (Minimal Pairs) का उपयोग करके एक खेल तैयार किया। ये ऐसे दो वाक्य हैं जो केवल एक या दो महत्वपूर्ण शब्दों (महत्वपूर्ण शब्द) के कारण अलग होते हैं।
सेटअप:
- वाक्य A (सही): "पेड़ गिर गया... मुझे इसे हटाने की ज़रूरत है।" (स्पष्ट अर्थ)।
- वाक्य B (भ्रमित करने वाला): "पेड़ गिरे... मुझे उन्हें हटाने की ज़रूरत है।" (स्पष्ट अर्थ)।
- ट्रिक: वे यह देखने के लिए प्रॉम्प्ट में वाक्यों को आपस में बदलते हैं कि क्या AI भ्रमित होता है।
परिकल्पना (Hypothesis):
यदि AI वास्तव में "पेड़" और "पेड़ों" (एकवचन बनाम बहुवचन) के बीच के अंतर को समझता है, तो उसका "सरप्राइज मीटर" (परप्लेक्सिटी) केवल तब बढ़ेगा जब वह गलत शब्द ("उन्हें" के बजाय "इसे") देखेगा।
यदि AI केवल अनुमान लगा रहा है, तो उसका सरप्राइज मीटर हर जगह बढ़ सकता है, या वह गलत कारण से सही उत्तर दे सकता है।
4. निष्कर्ष: तोता धोखाधड़ी कर रहा है
शोधकर्ताओं ने चार लोकप्रिय AI मॉडल (जैसे Llama और Mistral) पर इसका परीक्षण किया। यहाँ उन्हें क्या मिला:
- अच्छी खबर: मॉडल अधिकांश समय सही उत्तर देने के लिए पर्याप्त स्मार्ट हैं।
- बुरी खबर: वे "सही कारण से परप्लेक्सिटी (उलझन)" महसूस नहीं कर रहे हैं।
उपमा (Analogy):
कल्पना कीजिए कि आप एक ऐसी परीक्षा दे रहे हैं जहाँ आपको एक नकली पेंटिंग की पहचान करनी है।
- आदर्श AI: ब्रश के स्ट्रोक, कैनवास की बनावट और हस्ताक्षर को देखता है। वह बारीकियों के कारण नकली को पहचान लेता है।
- वास्तविक AI: फ्रेम को देखता है। वह जानता है कि "नकली पेंटिंग में आमतौर पर सुनहरे फ्रेम होते हैं।" इसलिए, वह "नकली!" का अनुमान लगा लेता है, भले ही पेंटिंग अंदर से एकदम सही हो।
अध्ययन में, भले ही AI ने सही उत्तर दिया, लेकिन उसका "सरप्राइज मीटर" ठीक वहीं नहीं बढ़ा जहाँ उसे बढ़ना चाहिए था। महत्वपूर्ण शब्द (जैसे "पेड़" बनाम "पेड़ों") AI की उलझन के केवल 50% का कारण थे। बाकी 50% का कारण यादृच्छिक शब्द, विराम चिह्न, या AI द्वारा अजीब पैटर्न के आधार पर लगाया गया अनुमान था।
5. यह क्यों मायने रखता है
यह एक चेतावनी है। सिर्फ इसलिए कि एक AI टेस्ट पास कर लेता है, इसका मतलब यह नहीं है कि वह भाषा को समझता है।
- वर्तमान बेंचमार्क: यह तोते को एक वाक्यांश दोहराने के लिए कहने जैसा है। यदि वह सही लगता है, तो हम उसे गोल्ड स्टार दे देते हैं।
- यह नई विधि: यह तोते से यह पूछने जैसा है कि उसने वह शब्द क्यों चुना।
शोधकर्ता निष्कर्ष निकालते हैं कि हमें AI को टेस्ट करने के बेहतर तरीकों की आवश्यकता है। हम केवल अंतिम स्कोर को नहीं देख सकते; हमें "सरप्राइज मीटर" को देखना होगा ताकि यह पता चल सके कि क्या AI वास्तव में वाक्य के महत्वपूर्ण हिस्सों पर ध्यान दे रहा है, या वह केवल सतह को छू रहा है।
सारांश
यह शोध पत्र प्रकट करता है कि हालांकि लार्ज लैंग्वेज मॉडल्स मानव बातचीत की नकल करने में अविश्वसनीय रूप से अच्छे हैं, लेकिन वे अक्सर गहरे ज्ञान के बजाय शॉर्टकट और ट्रिक्स पर निर्भर करते हैं। वे सही उत्तर दे सकते हैं, लेकिन वे अक्सर गलत चीजों से उलझन (perplexed) में होते हैं। यह एक याद दिलाने वाली बात है कि AI के युग में, सही उत्तर पाने का मतलब सवाल को समझना नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।