Beyond Single Character: Evaluating MLLMs for Sentence-Level Oracle Bone Inscription Understanding
यह शोध पत्र S-OBI प्रस्तुत करता है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (Multimodal Large Language Models) का मूल्यांकन करने के लिए स्पष्ट, मानकीकृत वाक्य-स्तरीय ओरकल बोन इनस्क्रिप्शन (Oracle Bone Inscription) उदाहरणों को संश्लेषित करने वाला एक नवीन बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल वर्ण-स्तर की पहचान और दृश्य धारणा संबंधी त्रुटियों के प्रसार पर अत्यधिक निर्भरता के कारण संरचित शिलालेख समझ में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को प्राचीन चीनी इतिहास पढ़ना सिखाने की कोशिश कर रहे हैं। लंबे समय से, शोधकर्ता इन रोबोटों को व्यक्तिगत प्राचीन प्रतीकों को पहचानना सिखा रहे हैं, जैसे कि किसी बच्चे को अकेले अक्षर "A" या संख्या "1" को पहचानना सिखाना। वे कछुए के खोल पर खुदे हुए एक एकल प्रतीक की ओर इशारा कर सकते हैं और कह सकते हैं, "यह एक 'घोड़ा' है।"
लेकिन वास्तविक इतिहास केवल यादृच्छिक अक्षरों का ढेर नहीं है; यह वाक्यों, कहानियों, तारीखों और विशिष्ट अर्थों से भरा होता है। यह शोध पत्र, जिसका शीर्षक "Beyond Single Character" (एकल वर्ण से परे) है, यह तर्क देता है कि सिर्फ इसलिए कि एक रोबक अक्षरों को पहचान सकता है, इसका मतलब यह नहीं है कि वह कहानी को पढ़ सकता है।
यहाँ एक सरल विवरण दिया गया है कि शोधकर्ताओं ने क्या किया और उन्हें क्या मिला:
समस्या: "लेगो" बनाम "महल"
सोचिए कि ओरेकल बोन इनस्क्रिप्शन (प्राचीन लेखन) लेगो ईंटों से बना एक महल है।
- पिछले अध्ययन केवल यह परीक्षण करते थे कि क्या रोबोट एक एकल लाल ईंट या एक एकल नीली ईंट की पहचान कर सकता है।
- यह शोध पत्र पूछता है: "क्या रोबोट पूरे महल को देख सकता है और आपको बता सकता है कि इसे किसने बनाया, क्यों बनाया, और इसकी कहानी क्या है?"
शोधकर्ताओं ने पाया कि वर्तमान AI मॉडल (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स या MLLMs कहा जाता है) व्यक्तिगत ईंटों को पहचानने में तो माहिर हैं लेकिन महल को समझने में बहुत खराब हैं। वे जान सकते हैं कि "घोड़ा" का प्रतीक कैसा दिखता है, लेकिन वे यह नहीं समझ सकते कि वाक्य राजा के शिकार करने के बारे में है या घोड़े के भाग जाने के बारे में।
समाधान: एक "स्वच्छ" परीक्षण बनाना (S-OBI)
प्राचीन रिकॉर्ड पुराने, दरार वाले और गंदे होते हैं (जैसे कि एक कीचड़ भरी, फटी हुई तस्वीर)। AI का निष्पक्ष परीक्षण करने के लिए, शोधकर्ताओं ने एक नया बेंचमार्क बनाया जिसे S-OBI कहा जाता है।
मूल मैसे हुए/असली फोटो का उपयोग करने के बजाय, उन्होंने डिजिटल संरक्षकों (digital restorers) की तरह काम किया:
- उन्होंने 95 प्राचीन वाक्यों को लिया जिनका विशेषज्ञों द्वारा पहले ही अनुवाद और समझ लिया गया था।
- उन्होंने प्राचीन नक्काशी के मैसे, धुंधले हिस्सों को लिया और उन्हें उन्हीं प्रतीकों के क्रिस्टल-क्लियर, पूर्ण डिजिटल संस्करणों से बदल दिया।
- उन्होंने वाक्य संरचना को बिल्कुल वैसा ही रखा लेकिन विजुअल इनपुट को "स्वच्छ" बना दिया।
यह एक 1800 के दशक के कीचड़ भरे, फटे हुए पत्र को स्कैन करने और फिर उसे एक साफ कागज पर एकदम सही फॉन्ट के साथ फिर से टाइप करने जैसा है, ताकि AI गंदगी से विचलित न हो और केवल वाक्य के अर्थ को समझने पर ध्यान केंद्रित कर सके।
परीक्षण: कठिनाई के तीन स्तर
उन्होंने यह देखने के लिए तीन प्रकार की पहेलियाँ बनाईं कि AI वास्तव में कितना स्मार्ट है:
- "सार" परीक्षण (सिमेंटिक मैचिंग): "यह एक प्राचीन वाक्य है। इनमें से कौन सा आधुनिक सारांश इसका सबसे अच्छा वर्णन करता है?"
- परिणाम: AI इसमें ठीक था। वह सामान्य भाव का अनुमान लगा सकता था।
- "संरचना" का परीक्षण (स्लॉट एक्सट्रैक्शन): "यहाँ एक वाक्य है। कृपया एक फॉर्म भरें जिसमें तारीख, व्यक्ति, क्रिया और वस्तु दी गई हो।"
- परिणाम: AI संघर्ष करता रहा। वह जानकारी को सही ढंग से व्यवस्थित नहीं कर सका।
- "जासूस" का परीक्षण (कॉन्टेक्स्टुअल रीजनिंग): "यहाँ एक वाक्य है जहाँ हमने एक शब्द मिटा दिया है। अन्य शब्दों के आधार पर, लुप्त शब्द क्या था?" या "यहाँ एक वाक्य है जहाँ हमने शब्दों को इधर-उधर कर दिया है। उन्हें सही क्रम में वापस रखें।"
- परिणाम: AI बुरी तरह विफल रहा। वह लापता हिस्से का पता लगाने के लिए आसपास के सुरागों का उपयोग नहीं कर सका।
बड़ी खोज
सबसे आश्चर्यजनक खोज यह है कि AI अभी भी "एकल वर्ण" के स्तर पर अटका हुआ है।
शोधकर्ताओं ने पाया कि यदि AI एक छोटे से प्रतीक को पहचानने में छोटी सी गलती करता है, तो वह त्रुटि पूरे वाक्य में फैल जाती है, जिससे AI पूरी कहानी का गलत अर्थ निकाल लेता है। यह ऐसा है जैसे यदि आप एक वाक्य में एक शब्द को गलत पढ़ लेते हैं, तो आप पूरे पैराग्राफ को गलत समझ सकते हैं।
परीक्षण किए गए सबसे स्मार्ट AI मॉडल (जैसे GPT-4o और Qwen) भी कुल मिलाकर बहुत कम स्कोर (लगभग 33% सही) करते हैं। वे कभी-कभी शब्दों का सही क्रम (जैसे कि यह जानना कि वाक्य एक तारीख से शुरू होता है) का अनुमान लगा सकते हैं, लेकिन वे वास्तव में उस कहानी को नहीं समझ सकते जो वाक्य सुना रहा है।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हालांकि AI प्राचीन प्रतीकों को पहचानने में बेहतर हो रहा है, लेकिन उसने अभी तक उन्हें एक सुसंगत भाषा के रूप में "पढ़ना" नहीं सीखा है। यह एक डिक्शनरी होने के समान है लेकिन कविता लिखना न जानना। इन प्राचीन अभिलेखों को वास्तव में समझने के लिए, AI को केवल व्यक्तिगत ईंटों की पहचान करने से आगे बढ़ना होगा और पूरे महल को बनाने (और समझने) का तरीका सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।