Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models
यह शोध पत्र FaithC4 बेंचमार्क प्रस्तुत करता है जो यह प्रदर्शित करता है कि विजन-लैंग्वेज मॉडल अक्सर अपूर्ण टेक्स्ट को निष्ठापूर्वक ट्रांसक्राइब करने के बजाय उसे विश्वसनीय रूपों में फिर से लिख देते हैं, जिससे मॉडल प्रकारों के बीच विशिष्ट क्षरण पैटर्न का पता चलता है और उन विशिष्ट लेयर रिप्रेजेंटेशन और शब्द लंबाई की पहचान होती है जो इस रीराइटिंग व्यवहार को ट्रिगर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को अपनी दादी के हाथ से लिखे एक नोट को पढ़ना सिखा रहे हैं। आप उम्मीद करते हैं कि रोबोट एक अत्यंत सटीक फोटोकॉपी मशीन की तरह व्यवहार करेगा, जो हर टेढ़ी-मेढ़ी रेखा, धब्बे और गलत वर्तनी वाले शब्द को ठीक वैसा ही पकड़े जैसा वे दिखाई दे रहे हैं। यह ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) का काम है, एक ऐसी तकनीक जो दशकों से टेक्स्ट की छवियों को डिजिटल शब्दों में बदलने के लिए मौजूद है। लेकिन हाल ही में, एक नए प्रकार का रोबोट आया है: विजन-लैंग्वेज मॉडल (VLM)। इन्हें ऐसे रोबोट के रूप में सोचें जो केवल अक्षरों को "देखते" नहीं हैं, बल्कि यह भी "सोचते" हैं कि वाक्य का अर्थ क्या होना चाहिए, जो एक कैमरे को पूरे इंटरनेट पर प्रशिक्षित एक बहुत ही बुद्धिमान मस्तिष्क के साथ जोड़ देते हैं।
बड़ा सवाल यह है कि जब ये स्मार्ट रोबोट एक बिखरे हुए शब्द को देखते हैं, तो क्या वे उसे वफादारी से कॉपी करते हैं, या वे उसे "ठीक" करने की कोशिश करते हैं? यह थोड़ा "टाइपोलगिमिया" (typoglycemia) प्रभाव जैसा है जिसका इंसान अनुभव करते हैं, जहाँ हम अभी भी एक वाक्य को पढ़ सकते हैं भले ही शब्दों के बीच के अक्षर बिखरे हुए हों, क्योंकि हमारा मस्तिष्क इच्छित शब्द का अनुमान लगा लेता है। हालांकि यह मनुष्यों के लिए सहायक है, लेकिन यदि आपको किसी कानूनी अनुबंध या ऐतिहासिक पत्र की एक सटीक, शाब्दिक प्रति की आवश्यकता है, तो यह एक रोबोट के लिए आपदा हो सकती है। यदि रोबोट उस गलती को "सुधार" देता है जो वास्तव में मूल दस्तावेज़ का हिस्सा थी, तो उसने इतिहास को रिकॉर्ड करने के बजाय उसे फिर से लिख दिया है। यह शोध पत्र इस बात की जांच करता है कि क्या ये नए AI रोबोट वफादार लेखक हैं या अति-उत्साही संपादक।
क्या VLMs पढ़ते हैं या फिर से लिखते हैं?
इस अध्ययन में, अमेज़न के शोधकर्ताओं ने इन विजन-लैंग्वेज मॉडल्स (VLMs) की एक विशिष्ट आदत का परीक्षण करने का निर्णय लिया: जब वे एक ऐसा शब्द देखते हैं जो थोड़ा अजीब दिखता है, तो क्या वे इसे बिल्कुल वैसा ही पढ़ते हैं जैसा वह है, या वे इसे चुपके से कुछ ऐसे रूप में फिर से लिखते हैं जो अधिक समझ में आए?
यह जानने के लिए, टीम ने FaithC4 नामक एक विशेष खेल का मैदान बनाया। कल्पना कीजिए कि उन्होंने अंग्रेजी, चीनी और कोरियाई के हजारों साफ, सामान्य टेक्स्ट पेज लिए। फिर, उन्हें छवियों में बदलने से पहले, उन्होंने शब्दों के साथ "टेलीफोन" का एक खेल खेला। उन्होंने पात्र शब्दों के 8% को लिया और उन्हें तीन रचनात्मक तरीकों से बिगाड़ दिया:
- स्कैम्बल (Scramble): उन्होंने अंदर के अक्षरों को आपस में बदल दिया (जैसे "standard" को "sdanartd" में बदलना)।
- रैंडम (Random): उन्होंने अक्षरों को पूरी तरह से यादृच्छिक (random) अक्षरों से बदल दिया (जैसे "xkpmewqi")।
- विजुअल (Visual): उन्होंने अक्षरों को ऐसे अक्षरों से बदल दिया जो लगभग समान दिखते हैं (जैसे 'a' को 'c' में या 'o' को '0' में बदलना)।
फिर उन्होंने इन "टूटे हुए" चित्रों को 15 अलग-अलग सिस्टम को दिखाया। ये सिस्टम तीन समूहों में आते थे:
- द ओल्ड गार्ड (The Old Guard): पारंपरिक OCR उपकरण (जैसे Tesseract) जो केवल पिक्सेल को देखते हैं और कहते हैं "यह एक 'a' जैसा दिखता है।"
- द स्पेशलिस्ट्स (The Specialists): विशेष रूप से दस्तावेज़ पढ़ने के लिए प्रशिक्षित VLMs।
- द जनरलिस्ट्स (The Generalists): बड़े, शक्तिशाली VLMs (जैसे Qwen, GPT-4V, और Gemini) जो गणित से लेकर कविता तक सब कुछ करने में कुशल हैं।
परिणाम: "स्मार्ट" रोबोट बहुत अधिक स्मार्ट हैं
निष्कर्ष आश्चर्यजनक और उन लोगों के लिए थोड़े चिंताजनक थे जिन्हें सटीक प्रतियों की आवश्यकता होती है। शोधकर्ताओं ने पाया कि रोबोट जितना "स्मार्ट" होता, उसके टेक्स्ट को फिर से लिखने की संभावना उतनी ही अधिक होती थी।
- द ओल्ड गार्ड (पारंपरिक OCR): ये सबसे वफादार थे। जब टेक्स्ट को बिगाड़ा गया, तो उन्होंने अपना उत्तर लगभग नहीं बदला। उनकी त्रुटि दर 0.6 प्रतिशत अंक से भी कम बढ़ी। उन्होंने बस उस गड़बड़ी को देखा और गड़बड़ी को ही कॉपी किया।
- द स्पेशलिस्ट्स: ये जनरलिस्ट्स की तुलना में थोड़ा बेहतर थे लेकिन फिर भी कुछ बदलाव करते थे। उनकी त्रुटियां 0.2 से 2 प्रतिशत अंक तक बढ़ गईं।
- द जनरलिस्ट्स: वफादार होने के मामले में ये सबसे खराब थे। जब टेक्स्ट को स्कैम्बल या विजुअल रूप से बदला गया, तो उनकी त्रुटि दर 4.5 प्रतिशत अंक तक बढ़ गई।
ऐसा क्यों हुआ? क्योंकि ये सामान्य-उद्देश्य वाले मॉडल यह भविष्यवाणी करने में इतने अच्छे हैं कि एक वाक्य को कैसा दिखना चाहिए, इसलिए वे अक्सर उस चीज़ को अनदेखा कर देते हैं जो वास्तव में लिखा गया है। यदि वे "prbolem" देखते हैं, तो वे आत्मविश्वास के साथ "problem" आउटपुट करते हैं, भले ही छवि स्पष्ट रूप से "prbolem" कह रही हो। यह एक ऐसे छात्र की तरह है जो गणित की समस्या का उत्तर इतनी अच्छी तरह जानता है कि वह बोर्ड पर शिक्षक की लिखी हुई गलती को अनदेखा कर देता है और बस सही उत्तर लिख देता है।
छिपा हुआ तंत्र: पुनर्लेखन कब होता है?
यह समझने के लिए कि यह क्यों होता है, शोधकर्ताओं ने इनमें से एक मॉडल, Qwen3-VL-4B के मस्तिष्क के भीतर, परत दर परत, देखा। वे यह देखना चाहते थे कि क्या रोबोट त्रुटि के प्रति "अंधा" था या उसने इसे अनदेखा करने का चुनाव किया।
उन्होंने एक दिलचस्प नियम की खोज की: रोबोट शब्द को तभी फिर से लिखता है जब वह अभी भी "सोचता" है कि शब्द परिचित लग रहा है।
- यदि स्कैम्बल किए गए शब्द का आंतरिक प्रतिनिधित्व मूल शब्द के बहुत करीब रहता है (जैसे एक धुंधली फोटो जो अभी भी बिल्ली जैसी दिखती है), तो रोबोट कहता है, "ओह, यह निश्चित रूप से 'बिल्ली' है!" और उसे फिर से लिख देता है।
- लेकिन यदि स्कैम्बल इतना बुरा है कि आंतरिक प्रतिनिधित्व मूल से बहुत दूर चला जाता है (फोटो अब केवल एक धब्बा है), तो रोबोट अनुमान लगाना बंद कर देता है और अंततः जो देखता है उसे ही लिख देता है।
यही कारण है कि शब्द की लंबाई बहुत मायने रखती है। छोटे शब्द (4 से 6 अक्षर) 10% तक फिर से लिखे जाते हैं क्योंकि रोबोट के लिए मूल का अनुमान लगाना आसान है। लेकिन एक बार जब शब्द 8 वर्णों या उससे अधिक का हो जाता है, तो पुनर्लेखन गिरकर 0% हो जाता है। स्कैम्बल इतना बड़ा होता है कि रोबोट का "अनुमान लगाने वाला मस्तिष्क" मूल को पुनः प्राप्त नहीं कर पाता, इसलिए वह हार मान लेता है और वफादारी से ट्रांसक्राइब करता है।
प्रभाव की लहर (The Ripple Effect)
यहाँ सबसे आश्चर्यजनक बात है: केवल कुछ शब्दों को बिगाड़ने से केवल उन विशिष्ट शब्दों को ही नुकसान नहीं पहुँचता है। शोधकर्ताओं ने पाया कि दस्तावेज़ के केवल 5% शब्दों को खराब करने से जनरल्स-पर्पस मॉडल्स के लिए पूर्ण, अछूते शब्दों पर त्रुटियां 5 से 10 गुना बढ़ गईं।
यह ऐसा है जैसे रोबोट उस एक टाइपो से इतना भ्रमित हो जाता है कि वह अपने आस-पास के पूरे पैराग्राफ को गलत पढ़ने लगता है। पारंपरिक OCR सिस्टमों में यह समस्या नहीं थी; वे अराजकता के बीच भी शांत और सटीक रहे।
इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि जबकि ये शानदार नए AI मॉडल दस्तावेज़ों को समझने और प्रश्नों के उत्तर देने में अद्भुत हैं, वे उन कार्यों के लिए विश्वसनीय नहीं हैं जिनमें एक शाब्दिक, पूर्ण प्रति की आवश्यकता होती है। यदि आप एक ऐतिहासिक पांडुलिपि का डिजिटलीकरण कर रहे हैं, किसी कानूनी अनुबंध की जाँच कर रहे हैं, या चिकित्सा रिकॉर्ड का विश्लेषण कर रहे हैं जहाँ हर टाइपो मायने रखता है, तो आपको पारंपरिक OCR या विशेष उपकरणों का उपयोग करना चाहिए। सामान्य-उद्देश्य वाले VLMs चीजों को "ठीक" करके "मदद" करने के लिए बहुत अधिक उत्सुक हैं।
शोधकर्ता सुझाव देते हैं कि हमें इन मॉडल्स के उपयोग के बारे में सावधान रहने की आवश्यकता है। केवल इसलिए कि एक मॉडल एक दस्तावेज़ को पढ़ सकता है, इसका मतलब यह नहीं है कि वह इसे वफादारी से पढ़ेगा। फिलहाल, यदि आपको सच्चाई वैसी ही चाहिए जैसी लिखी गई थी, तो पुराने स्कूल के रोबोट अभी भी सबसे ईमानदार लेखक हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।