Reading or Guessing? Visual Grounding Failures of Vision-Language Models for OCR in Ancient Greek Editions
यह शोध पत्र प्रदर्शित करता है कि प्राचीन ग्रीक ग्रंथों पर OCR करने वाले विजन-लैंग्वेज मॉडल्स (VLMs) अक्सर प्रवाहपूर्ण लेकिन दृश्य रूप से अग्राउंडेड (visually ungrounded) त्रुटियाँ उत्पन्न करने के लिए भाषाई पूर्वग्रहों (language priors) पर निर्भर करते हैं, जो एक ऐसा विफलता मोड है जो डिकोड-टाइम हस्तक्षेपों के साथ भी बना रहता है और पारंपरिक OCR प्रणालियों के शोर पैटर्न से काफी भिन्न है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत पुराने, हाथ से लिखे गए प्राचीन ग्रीक (Ancient Greek) पत्र को पढ़ने की कोशिश कर रहे हैं। स्याही फीकी पड़ गई है, अक्षर अजीब हैं, और पन्ने के किनारों पर बहुत सारे बिखरे हुए नोट्स हैं। इस पत्र को आपके लिए पढ़ने के लिए आपके पास दो सहायक हैं:
"ओल्ड-स्कूल स्कैनर" (पारंपरिक OCR): यह एक सख्त, शाब्दिक रोबोट की तरह है। यह पन्ने पर मौजूद स्याही को देखता है और कहता है, "मुझे एक टेढ़ा-मेढ़ा निशान दिख रहा है जो 'A' जैसा दिखता है, इसलिए मैं 'A' लिखूँगा।" यदि स्याही बहुत धुंधली है, तो यह एक रैंडम प्रतीक या टाइपो (typo) लिख सकता है। यह अंदाज़ा नहीं लगाता; यह बस वही रिपोर्ट करता है जो यह देखता है, भले ही परिणाम अव्यवस्थित दिखे।
"स्मार्ट एआई असिस्टेंट" (विज़न-लैंग्वेज मॉडल): यह एक बहुत ही बुद्धिमान छात्र की तरह है जो प्राचीन ग्रीक में माहिर है, लेकिन पन्ने को बारीकी से देखने में थोड़ा आलसी है। जब वह किसी धुंधले हिस्से को देखता है, तो वह सोचता है, "हम्म, अब तक के वाक्य के आधार पर, अगला शब्द 'राजा' (king) होना चाहिए।" इसलिए, वह "राजा" लिख देता है, भले ही पन्ने पर लिखी स्याही "कुत्ता" (dog) जैसी दिख रही हो।
यह शोध पत्र, जिसका शीर्षक "रीडिंग और गेसिंग? प्राचीन ग्रीक संस्करणों के लिए विज़न-लैंग्वेज मॉडल्स के विज़ुअल ग्राउंडिंग फेलियर्स" है, इस बात की जांच करता है कि ये दो सहायक कठिन, कम-संसाधन वाले प्राचीन ग्रीक ग्रंथों को पढ़ने की कोशिश करते समय कैसा व्यवहार करते हैं।
शोधकर्ताओं ने सरल उपमाओं का उपयोग करते हुए जो पाया, वह यहाँ दिया गया है:
1. "प्रवाहपूर्ण झूठ" बनाम "अव्यवस्थित सत्य"
जब ओल्ड-स्कूल स्कैनर गलती करता है, तो यह आमतौर पर एक टाइपो या अक्षरों के समूह जैसा दिखता है (जैसे, "kng")। यह स्पष्ट होता है कि कुछ गलत हुआ है।
हालाँकि, जब स्मार्ट एआई असिस्टेंट गलती करता है, तो वह अक्सर एक बिल्कुल वास्तविक, प्रवाहपूर्ण प्राचीन ग्रीक शब्द लिखता है जो पन्ने पर लिखे शब्द से अलग होता है।
- उपमा: कल्पना कीजिए कि एआई एक रेसिपी (विधि) पढ़ रहा है। यदि सामग्री की सूची धुंधली है और उसमें "मैदा" लिखा है, लेकिन एआई जानता है कि इस रेसिपी में आमतौर पर "चीनी" का उपयोग किया जाता है, तो वह आत्मविश्वास से "चीनी" लिख देगा। पहली नज़र में वाक्य एकदम सही लगेगा। लेकिन यह एक झूठ है। एआई इस बात पर निर्भर है कि रेसिपी में आमतौर पर क्या होता है (उसका "लैंग्वेज प्रायर"), न कि उस विशिष्ट कागज पर जो उसके सामने है।
2. "जादुई स्याही" का परीक्षण
यह साबित करने के लिए, शोधकर्ताओं ने एक चाल चली। उन्होंने टेक्स्ट लिया, शब्दों के अंदर के अक्षरों को उलट-पुलट कर दिया (शब्दों को असली शब्दों से बदलकर निरर्थक बड़बड़ाहट में बदल दिया), और फिर यह बड़बड़ाहट सहायकों को दिखाई।
- ओल्ड-स्कूल स्कैनर: इसने उस निरर्थक टेक्स्ट को देखा और उसे वैसा ही लिख दिया। यह दृश्य साक्ष्य के प्रति वफादार रहा, भले ही परिणाम बेकार था।
- स्मार्ट एआई असिस्टेंट: इसने निरर्थक टेक्स्ट को देखा, भ्रमित हुआ, और फिर इसे "ठीक" कर दिया। इसने बड़बड़ाहट को वापस वास्तविक, प्रवाहपूर्ण ग्रीक शब्दों में बदल दिया। इसने दृश्य साक्ष्य (उलट-पुलट किए गए अक्षरों) को अनदेखा कर दिया और पूरी तरह से अपने आंतरिक ज्ञान पर भरोसा किया।
3. सभी "स्मार्ट" एआई एक जैसे नहीं होते
शोधकर्ताओं ने पाया कि सभी एआई असिस्टेंट एक जैसा व्यवहार नहीं करते हैं।
- जनरलिस्ट एआई (Generalist AI): ये बड़े, प्रसिद्ध मॉडल हैं जिनका उपयोग कई कार्यों के लिए किया जाता है। जब वे गलत भी होते थे, तब भी वे चित्र को "देख" रहे होते थे। वे स्याही को पढ़ने की कोशिश कर रहे थे, लेकिन उनका दिमाग सही शब्द का अनुमान लगाने के लिए बहुत उत्सुक था।
- स्पेशलिस्ट एआई (Specialist AI): एक मॉडल था जिसे विशेष रूप से दस्तावेज़ पढ़ने के लिए बनाया गया था (जिसे OlmOCR कहा जाता है)। यह सबसे बुरा अपराधी था। जब यह गलती करता था, तो ऐसा लगता था जैसे इसने चित्र को देखा ही नहीं। यह पूरी तरह से इस आधार पर अनुमान लगा रहा था कि टेक्स्ट को क्या कहना चाहिए। यह बिल्कुल वैसा ही था जैसे कोई छात्र अपनी आँखें बंद करके अपनी याददाश्त से पाठ सुना रहा हो, जबकि वह वास्तव में परीक्षा के पेपर को अनदेखा कर रहा हो।
4. क्या हम एआई को ठीक कर सकते हैं?
शोधकर्ताओं ने एआई को चित्र देखने के लिए मजबूर करने हेतु कई "पैच" (सुधार) आज़माए:
- "वोकैबुलरी फेंस" (शब्दावली की बाड़): उन्होंने एआई को बताने की कोशिश की, "आप केवल ग्रीक अक्षर ही लिख सकते हैं।" परिणाम: इससे चीजें और भी खराब हो गईं। एआई भ्रमित हो गया और बड़बड़ाहट लिखने लगा क्योंकि वह अपने सामान्य तरीकों का उपयोग नहीं कर सका।
- "कॉन्ट्रास्ट टेस्ट" (विपरीत परीक्षण): उन्होंने एआई को चित्र और चित्र का एक धुंधला संस्करण एक साथ दिखाने की कोशिश की ताकि वह विवरणों पर ध्यान केंद्रित करने के लिए मजबूर हो सके। परिणाम: इसने कुछ मॉडलों के लिए थोड़ा सुधार किया, लेकिन स्पेशलिस्ट मॉडल के लिए यह काम नहीं आया।
- "पोस्ट-गेम एडिट" (खेल के बाद संपादन): उन्होंने एआई को पहले अपना उत्तर लिखने दिया, और फिर दूसरे एआई (एक टेक्स्ट-ओनली एडिटर) से गलतियों को ठीक करवाया। परिणाम: इसने टेक्स्ट को साफ करने के लिए अच्छा काम किया, लेकिन यह मूल समस्या को ठीक नहीं कर सका। पहला एआई अभी भी चित्र को अनदेखा कर रहा था; दूसरा एआई केवल उस झूठ को ठीक कर रहा था जो बोला गया था।
मुख्य निष्कर्ष
मुख्य सबक यह है कि सिर्फ इसलिए कि एक एआई का उत्तर एकदम सही और प्रवाहपूर्ण सुनाई देता है, इसका मतलब यह नहीं है कि उसने वास्तव में दस्तावेज़ को पढ़ा है।
प्राचीन इतिहास और दुर्लभ दस्तावेजों की दुनिया में, यह खतरनाक है। यदि कोई डिजिटल लाइब्रेरी इन एआई मॉडल्स का उपयोग करके पुरानी ग्रीक किताबों को स्कैन करती है, तो एआई चुपचाप एक दुर्लभ, अस्पष्ट शब्द को एक सामान्य, "तर्कसंगत" शब्द से बदल सकता है। एक इतिहासकार डिजिटल संस्करण को पढ़ते समय कभी जान नहीं पाएगा कि बदलाव हुआ है क्योंकि वाक्य व्याकरण की दृष्टि से अभी भी एकदम सही लगेगा।
शोध पत्र निष्कर्ष निकालता है कि हमें नए तरीकों से एआई का परीक्षण करने की आवश्यकता है, न कि केवल यह जाँचने के लिए कि अंतिम स्कोर कितना अधिक है, बल्कि यह जाँचने के लिए कि क्या एआई वास्तव में दृश्य साक्ष्य में "ग्राउंडेड" (जुड़ा हुआ) है, या वह केवल इस आधार पर अनुमान लगा रहा है कि वहां क्या होना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।