Shape vs. Context: Examining Human--AI Gaps in Ambiguous Japanese Character Recognition

यहाँ शोध पत्र "Shape vs. Context: Examining Human–AI Gaps in Ambiguous Japanese Character Recognition" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि GPT और Gemini जैसे विज़न-लैंग्वेज मॉडल्स (VLMs) टेक्स्ट रिकग्निशन कार्यों में उच्च सटीकता प्रदर्शित करते हैं, उच्च प्रदर्शन यह गारंटी नहीं देता कि ये मॉडल मनुष्यों के समान निर्णय लेने की प्रक्रियाओं का उपयोग करते हैं। विशेष रूप से, यह स्पष्ट नहीं है कि क्या VLMs दृश्य अस्पष्टता (visual ambiguity) को हल करने के लिए संदर्भ (context) का उपयोग करने में मनुष्यों की तरह लचीलापन दिखाते हैं।

मानव संज्ञान (human cognition) में, पहचान (recognition) दृश्य आकार की जानकारी (कैटेगोरिकल परसेप्शन) और प्रासंगिक बाधाओं (इंटरैक्टिव एक्टिवेशन) के बीच एक गतिशील अंतर्संबंध शामिल है। जब दृश्य साक्ष्य अनिश्चित होते हैं, तो मनुष्य इनपुट को स्पष्ट करने के लिए संदर्भ पर लचीले ढंग से भरोसा कर सकते हैं। हालाँकि, VLMs अलग, संभावित रूप से पक्षपाती निर्णय पैटर्न का पालन कर सकते हैं जो मानक सटीकता बेंचमार्क द्वारा नहीं पकड़े जाते हैं। यह शोध पत्र जापानी पात्रों में अस्पष्टता को हल करने के दौरान मानव और VLMs के बीच व्यवहार संबंधी अंतर (behavioral gap) की जांच करता है, और इस पर ध्यान केंद्रित करता है कि क्या VLMs परिवर्तनशील दृश्य और प्रासंगिक अनिश्चितता के तहत मानव निर्णयों के साथ संरेखित होते हैं।

2. कार्यप्रणाली (Methodology)

उद्दीपन पीढ़ी ($\beta$-VAE)

दृश्य अस्पष्टता के लिए एक नियंत्रित परीक्षण आधार बनाने के लिए, लेखकों ने स्थिर डेटासेट से आगे बढ़कर एक $\beta$-वेरिएशनल ऑटोएनकोडर ($\beta$-VAE) का उपयोग किया।

• लक्ष्य पात्र (Target Characters): अध्ययन ने दृष्टिगत रूप से समान जापानी काटाकाना पात्रों 'ソ' (so) और 'ン' (n) पर ध्यान केंद्रित किया, जो मुख्य रूप से स्ट्रोक के कोण (stroke angle) में भिन्न होते हैं।
• इंटरपोलेशन (Interpolation): $\beta$-VAE को प्रशिक्षित करने के लिए 364 फोंट (जापानी और लैटिन लिपियों को कवर करते हुए) के डेटासेट का उपयोग किया गया। 'so' और 'n' के लेटेंट रिप्रेजेंटेशन को निकाला गया और लेटेंट स्पेस में रैखिक रूप से इंटरपोलेट किया गया ($z_{inter} = (1-\alpha)z_{so} + \alpha z_{n}$)।
• उद्दीपन (Stimuli): निरंतरता ($\alpha \in [0, 1]$) के साथ 15 असतत (discrete) चित्र उत्पन्न किए गए, जिससे निर्णय सीमाओं का सूक्ष्म स्कैनिंग संभव हो सका।

प्रयोगात्मक डिजाइन (Experimental Design)

अध्ययन ने दो प्रयोगात्मक स्थितियों के माध्यम से दो अनुसंधान प्रश्नों (RQs) को संबोधित किया:

• RQ1: आकार-मात्र कार्य (Single Character Recognition)

  • लक्ष्य: अलग-थलग आकार (isolated shapes) को प्रोसेस करते समय मनुष्यों बनाम VLMs के निर्णय सीमाओं की तुलना करना।
  • प्रक्रिया:
    • मनुष्य: 30 प्रतिभागियों ने 150 ट्रायल (10 फोंट $\times$ 15 $\alpha$ स्तर) देखे और 'so' या 'n' का चयन किया।
    • VLMs: GPT-5.1 और Gemini-2.5-Flash को एक ही बाइनरी चॉइस के लिए 10 बार क्वेरी किया गया (तापमान/temperature 1.0)।

• RQ2: संदर्भ-में-आकार कार्य (Word-Level Recognition)

  • लक्ष्य: यह मूल्यांकन करना कि क्या VLM की प्रतिक्रियाएँ मानव निर्णयों के साथ संरेखित होती हैं जब अस्पष्ट पात्र को एक शब्द में समाहित किया जाता है।
  • उद्दीपन: 24 प्रासंगिक शब्द स्थितियाँ बनाई गईं, जहाँ एक शब्द के भीतर एक पात्र को अस्पष्ट ग्लिफ $X$ से बदल दिया गया (जिसे $\alpha \approx 0.429$ पर चुना गया, जहाँ मानव पहचान ~50/50 है)।
  • स्थितियाँ:
    1. एकल-उपस्थिति (Sole-Occurrence): शब्द में 'so' या 'n' का कोई अन्य उदाहरण नहीं है (लेक्सिकल बाधाओं पर निर्भर)।
    2. सह-उपस्थिति (Co-Occurrence): शब्द में अन्य स्थानों पर अतिरिक्त स्पष्ट 'so' या 'n' पात्र मौजूद हैं (शब्द के भीतर पात्र संकेत प्रदान करते हैं)।
  • प्रक्रिया:
    • मनुष्य: ~390 प्रतिभागियों ने बहुविकल्पीय विकल्पों से पूरे शब्द के इच्छित पठन का चयन किया।
    • VLMs: समान मॉडल्स को समान शब्द-स्तरीय विकल्पों के साथ क्वेरी किया गया।

3. प्रमुख योगदान (Key Contributions)

1. पद्धतिगत नवाचार: निरंतर दृश्य अस्पष्टता उत्पन्न करने के लिए एक $\beta$-VAE-आधारित इंटरपोलेशन फ्रेमवर्क की शुरुआत, जो केवल "कठिन" स्थिर डेटासेट से आगे बढ़कर क्रमिक निर्णय सीमाओं की जांच करता है।
2. व्यवहार अंतराल मैपिंग: नियंत्रित, न्यूनतम-संदर्भ सेटिंग में मानव और VLM निर्णय सीमाओं की पहली प्रत्यक्ष तुलना, जो यह प्रकट करती है कि उच्च सटीकता मानव-समान निर्णय पैटर्न के समान नहीं है।
3. प्रासंगिक संरेखण विश्लेषण: इस बात का व्यवस्थित मूल्यांकन कि संदर्भ (लेक्सिकल बनाम पात्र-स्तरीय संकेत) VLM व्यवहार को कैसे बदलता है, जो दर्शाता है कि संरेखण सशर्त है और सभी मॉडलों में समान नहीं है।

4. परिणाम (Results)

RQ1: आकार-मात्र निर्णय सीमाएँ

• मानव व्यवहार: $\alpha$ बढ़ने के साथ 'n' वोटों में एक सुचारू, मोनोटोनिक वृद्धि देखी गई, जो स्पष्ट एंडपॉइंट ($\alpha=1.0$) पर लगभग सीलिंग (ceiling) प्रदर्शन तक पहुँच गई।
• VLM व्यवहार:
  • Gemini: सामान्य प्रवृत्ति का पालन किया लेकिन मनुष्यों से नीचे संतृप्त (saturated) हो गया, $\alpha=1.0$ पर भी सीलिंग 'n' वोटिंग तक पहुँचने में विफल रहा।
  • GPT: एक गैर-मोनोटोनिक पैटर्न दिखाया, जो $\alpha=1.0$ (वह बिंदु जो दृश्य रूप से 'n' के सबसे करीब है) पर वापस 'so' की ओर झुक गया।
• निष्कर्ष: VLM निर्णय सीमाएँ मनुष्यों से काफी भिन्न हैं। दोनों मॉडलों ने $\alpha=1.0$ पर भी 'so' की ओर एक अवशिष्ट पूर्वाग्रह (residual bias) दिखाया, जो अलगाव में मानव-समान कैटेगोरिकल परसेप्शन की कमी का सुझाव देता है।

RQ2: संदर्भ-में-आकार संरेखण

• एकल-उपस्थिति संदर्भ:
  • Gemini: 'so'-पक्षपाती संदर्भों में मनुष्यों के साथ संरेखित हुआ लेकिन 'n'-पक्षपाती संदर्भों में विचलित हुआ (इसमें 'n' की ओर गहरा पूर्वाग्रह दिखा)।
  • GPT: 'so'-पक्षपाती संदर्भों में मनुष्यों से विचलित हुआ लेकिन 'n'-पक्षपाती संदर्भों में संरेखित हुआ।
  • अवलोकन: शब्द-स्तरीय प्रस्तुति ने VLMs को प्रभावित किया, लेकिन मॉडल-विशिष्ट पूर्वाग्रह बने रहे।
• सह-उपस्थिति संदर्भ:
  • संरेखण में सुधार: अतिरिक्त स्पष्ट पात्रों (सह-उपस्थिति संकेतों) की उपस्थिति ने आम तौर पर VLMs और मनुष्यों के बीच संरेखण में सुधार किया।
  • GPT: एकल-उपस्थिति स्थिति की तुलना में 'so'-पक्षपाती संदर्भों में काफी अधिक मानव-संरेखित हो गया।
  • Gemini: 'n'-पक्षपाती संदर्भों में 'n' की ओर अत्यधिक पूर्वाग्रही बना रहा, भले ही मानव-समान संकेत मौजूद थे, हालांकि यह 'so'-पक्षपाती संदर्भों में अच्छी तरह संरेखित हुआ।
• निष्कर्ष: संदर्भ VLM व्यवहार को मानव निर्णयों की ओर मोड़ सकता है, लेकिन संरेखण की डिग्री इस बात पर निर्भर करती है कि संकेत का प्रकार (लेक्सिकल बनाम पात्र-स्तरीय) क्या है और विशिष्ट मॉडल आर्किटेक्चर क्या है।

5. महत्व और निहितार्थ (Significance and Implications)

• सटीकता से परे: अध्ययन प्रदर्शित करता है कि मानक सटीकता बेंचमार्क मानव-AI संरेखण का आकलन करने के लिए अपर्याप्त हैं। मॉडल कुल मिलाकर "सही" हो सकते हैं जबकि मानव निर्णय लेने की प्रक्रिया को दोहराने में विफल रहते हैं।
• न्यूनतम संदर्भ का नैदानिक मूल्य: न्यूनतम-संदर्भ इनपुट (आकार-मात्र कार्य) एक महत्वपूर्ण नैदानिक उपकरण के रूप में कार्य करते हैं। वे अंतर्निहित मॉडल पूर्वाग्रहों को प्रकट करते हैं जो अक्सर समृद्ध-संदर्भ, उच्च-सटीकता वाले परिदृश्यों में छिप जाते हैं।
• बेंचमार्क डिज़ाइन: मानव-VLM संरेखण के लिए भविष्य के बेंचमार्क को केवल संदर्भित कार्यों पर निर्भर नहीं होना चाहिए। एक मजबूत मूल्यांकन ढांचे में निर्णय सीमा मिसअलाइनमेंट का पता लगाने के लिए जानबूझकर न्यूनतम-संदर्भ स्थितियाँ और लचीलेपन का परीक्षण करने के लिए संदर्भित स्थितियाँ शामिल होनी चाहिए।
• विश्वास और सुरक्षा: AI अस्पष्टता को कैसे हल करता है, इसे समझना वास्तविक दुनिया के अनुप्रयोगों के लिए महत्वपूर्ण है जहाँ गलत व्याख्या विश्वास और डाउनस्ट्रीम निर्णयों को प्रभावित कर सकती है। निष्कर्ष बताते हैं कि VLMs अप्रत्याशित व्यवहार कर सकते हैं जब दृश्य साक्ष्य कमजोर होते हैं, भले ही वे मानक डेटासेट पर अच्छा प्रदर्शन करते हों।

6. भविष्य का कार्य (Future Work)

लेखक शब्द-अर्थ प्रभाव (word-meaning effects) को सरल सह-उपस्थिति संकेतों (simple co-occurrence cues) से अलग करने का प्रस्ताव करते हैं, जिसके लिए छद्म-शब्दों (pseudo-words) या पात्र-क्रमित स्ट्रिंग्स का परीक्षण किया जाएगा। यह स्पष्ट करेगा कि क्या VLMs अस्पष्टता को हल करने के लिए सिमेंटिक समझ से प्रेरित हैं या स्थानीय दृश्य सांख्यिकी (local visual statistics) से।