Don't Judge a Book by its Cover: Testing LLMs' Robustness Under Logical Obfuscation
यह शोधपत्र Logifus और LogiQAte बेंचमार्क को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि अत्याधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) के प्रदर्शन में तब महत्वपूर्ण गिरावट आती है जब तार्किक तर्क कार्यों को अस्पष्ट लेकिन समतुल्य स्वरूपों में प्रस्तुत किया जाता है, जो गहरे अर्थपूर्ण बोध के बजाय उनकी सतही पैटर्न पर निर्भरता को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Don't Judge a Book by its Cover" नामक शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: "ट्रिक क्वेश्चन" (धोखा देने वाला प्रश्न) टेस्ट
कल्प Imagine कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जो गणित की परीक्षा में तब तो अव्वल आता है जब प्रश्न स्पष्ट रूप से लिखे हों। लेकिन जैसे ही आप उसी गणित के सवाल को फैंसी, भ्रमित करने वाले शब्दों या किसी अलग फॉन्ट (font) का उपयोग करके फिर से लिखते हैं, छात्र अटक जाता है और फेल हो जाता है।
यह शोध पत्र तर्क देता है कि आज के सबसे उन्नत AI मॉडल (लार्ज लैंग्वेज मॉडल्स, या LLMs) बिल्कुल उस छात्र की तरह हैं। वे उन पैटर्न्स को पहचानने में उत्कृष्ट हैं जिन्हें उन्होंने पहले देखा है, लेकिन वे तब संघर्ष करते हैं जब कोई समस्या तार्किक रूप से समान (logically the same) होती है लेकिन दिखने में अलग (looks different) होती है।
शोधकर्ताओं ने यह देखना चाहा कि क्या ये AI वास्तव में तर्क (logic) को "समझते" हैं या वे केवल इस बात को याद रखते हैं कि प्रश्न आमतौर पर कैसे दिखते हैं। इसका परीक्षण करने के लिए, उन्होंने LogiQAte नामक एक नया खेल बनाया।
टूल: "Logifus" (जादुई रूप बदलने वाला)
अपना परीक्षण चलाने के लिए, लेखकों ने Logifus नामक एक टूल बनाया। Logifus को एक जादुई अनुवादक (translator) के रूप में समझें जो एक साधारण प्रश्न लेता है और उसे इस तरह से फिर से लिखता है कि वह:
- तार्किक रूप से समान हो: उत्तर बिल्कुल नहीं बदला है।
- देखने में भ्रमित करने वाला हो: शब्द, संरचना या प्रतीक पूरी तरह से अलग हैं।
उपमा (Analogy):
कल्पना कीजिए कि एक रेसिपी कहती है, "2 कप मैदा और 1 कप चीनी मिलाएं।"
- मूल (Original): "2 कप मैदा और 1 कप चीनी मिलाएं।"
- भ्रमित संस्करण (Obfuscated Version): "पहले बैग से सफेद पाउडर (जो दो मानक माप रखता है) को दूसरे बैग के मीठे क्रिस्टल (जो एक मानक माप रखता है) के साथ मिलाएं।"
दोनों निर्देश बिल्कुल एक ही मिश्रण तैयार करते हैं। एक मानव शेफ समझ जाएगा कि वे समान हैं। शोधकर्ता यह देखना चाहते थे कि क्या AI यह समझ पाएगा कि वे समान हैं, या वह नई शब्दावली से भ्रमित हो जाएगा।
चार चुनौतियाँ (Obfuscated कार्य)
शोधकर्ताओं ने AI का परीक्षण चार प्रकार की पहेलियों पर किया, प्रत्येक को एक "ट्रिक" संस्करण में बदलकर:
लॉजिक पजल्स (Obfus FOL):
- सामान्य: "यदि बारिश होती है, तो ज़मीन गीली हो जाती है।"
- ट्रिक: "यह गलत है कि जब भी बारिश होती है, ज़मीन सूखी रहती है।"
- परीक्षण: क्या AI देख सकता है कि ये दोनों वाक्य वास्तव में एक ही बात का अर्थ देते हैं?
फैमिली ट्री (Obfus Blood Relation):
- सामान्य: "D, C की पत्नी है, और C, F का पिता है। D का F से क्या संबंध है?" (उत्तर: माँ)।
- ट्रिक: "D, C की पत्नी है, और C, F के दादा का इकलौता बेटा है। D का F से क्या संबंध है?"
- परीक्षण: AI को एक सीधा लिंक खोजने के बजाय एक लंबी, घुमावदार पारिवारिक श्रृंखला को सुलझाना होगा।
नंबर पैटर्न (Obfus Number Series):
- सामान्य: "2, 4, 6, 8, ?" (उत्तर: 10)।
- ट्रिक: उन्होंने संख्याओं को ग्रहों के नाम (शुक्र, मंगल, बृहस्पति, शनि) या यहाँ तक कि रैंडम दिखने वाले कोड (जैसे "a87ff...") से बदल दिया।
- परीक्षण: क्या AI पैटर्न (2 जोड़ना) को पहचान सकता है, भले ही संख्याएँ प्रतीकों या कोड के पीछे छिपी हों?
दिशा बोध (Obfus Direction Sense):
- सामान्य: "5 मील उत्तर की ओर चलें, फिर 3 मील पूर्व की ओर चलें।"
- ट्रिक: "6 मील उत्तर की ओर चलें, 4 मील पूर्व की ओर चलें, 6 मील दक्षिण की ओर चलें, 3 मील पूर्व की ओर चलें, 4 मील पश्चिम की ओर चलें, और अंत में 5 मील उत्तर की ओर चलें।"
- परीक्षण: अतिरिक्त कदम एक-दूसरे को काट देते हैं (उत्तर फिर दक्षिण = 0), जिससे अंतिम गंतव्य वही रहता है। AI को वास्तविक पथ खोजने के लिए "शोर" (noise) को अनदेखा करना होगा।
क्या हुआ? (परिणाम)
परिणाम एक चेतावनी की तरह थे। जब प्रश्न "भ्रमित" (obfuscated) किए गए थे, तो AI का प्रदर्शन बुरी तरह गिर गया।
- गिरावट: यहाँ तक कि GPT-4o और GPT-5 जैसे सबसे स्मार्ट मॉडल्स के प्रदर्शन में भी भारी गिरावट देखी गई। औसतन, उनके स्कोर में 27% से 47% की कमी आई।
- "रीजनिंग फेलियर ज़ोन" (तर्क विफलता क्षेत्र): शोधकर्ताओं ने उत्तर देते समय AI के "मस्तिष्क" (इसके न्यूरल लेयर्स) के अंदर झाँका। उन्होंने पाया कि जब प्रश्न कठिन था, तो नेटवर्क के गहरे स्तरों (deeper layers) में अपने स्वयं के उत्तरों पर AI का आत्मविश्वास तेजी से गिर गया। यह उस छात्र की तरह था जो परीक्षा के बीच में घबरा जाता है क्योंकि शब्दावली वैसी नहीं है जैसी उसने याद की थी।
- याद रखना बनाम समझना (Memorization vs. Understanding): अध्ययन ने दिखाया कि इन ट्रिक प्रश्नों का सामना करते समय, AI वास्तव में तर्क पर विचार करने के बजाय अपने प्रशिक्षण डेटा से याद किए गए पैटर्न्स पर बहुत अधिक निर्भर था। वह यह अनुमान लगाने की कोशिश कर रहा था कि प्रश्न कैसा दिखता है, न कि इसका अर्थ क्या है।
निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI मॉडल पैटर्न मैचिंग (pattern matching) में तो बेहतरीन हैं, लेकिन अभी तक गहन तर्क (deep reasoning) में सक्षम नहीं हैं।
अंतिम रूपक (Metaphor):
इन AI मॉडल्स को उन अभिनेताओं के रूप में सोचें जिन्होंने एक स्क्रिप्ट को पूरी तरह से रट लिया है। यदि आप उन्हें स्क्रिप्ट ठीक वैसी ही देते हैं जैसी लिखी गई है, तो वे शानदार प्रदर्शन करते हैं। लेकिन यदि आप उन्हें वही स्क्रिप्ट थोड़े बदले हुए शब्दों या बदली हुई स्टेज डायरेक्शंस के साथ देते हैं (भले ही कहानी वही हो), तो वे अपनी लाइनें भूल जाते हैं। उन्होंने कहानी नहीं सीखी है; उन्होंने केवल स्क्रिप्ट सीखी है।
शोधकर्ता कहते हैं कि हमें ऐसे मॉडल बनाने की आवश्यकता है जो केवल शब्दों को ही नहीं, बल्कि शब्दों के पीछे के अर्थ को भी समझते हों, ताकि वे बिना विफल हुए इन "ट्रिक प्रश्नों" को संभाल सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।