Assessing Y-Axis Influence: Bias in Multimodal Language Models on Chart-to-Table Translation

यहाँ शोध पत्र "Assessing Y-Axis Influence: Bias in Multimodal Language Models on Chart-to-Table Translation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लैंग्वेज मॉडल्स (MLMs) का उपयोग चार्ट छवियों को संरचित सारणीबद्ध डेटा (Chart-to-Table translation) में अनुवाद करने के लिए तेजी से किया जा रहा है। जबकि पिछले शोधों ने चार्ट की जटिलता, रंग योजनाओं और फ़ॉन्ट आकार से संबंधित MLMs में पूर्वाग्रहों (biases) की जांच की है, y-अक्ष (y-axis) विशिष्ट जानकारी मॉडल के प्रदर्शन को कैसे प्रभावित करती है, इसे समझने में एक महत्वपूर्ण कमी है।

लेखक पहचानते हैं कि सार्वजनिक डेटासेट (जैसे PlotQA, ChartQA) y-अक्ष की विशेषताओं के संबंध में गंभीर असंतुलन (imbalances) से ग्रस्त हैं, जैसे:

• अंकों की लंबाई (Digit length): अधिकतम y-अक्ष मान के पूर्णांक भाग में अंकों की संख्या।
• टिक विन्यास (Tick configurations): मेजर टिक्स (major ticks) की संख्या और मानों की सीमा।
• मान प्रारूप (Value formats): संक्षिप्त रूपों (K, M, B) का उपयोग, वैज्ञानिक संकेतन (scientific notation), या कॉमा (commas) का उपयोग।

ये असंतुलन अनपेक्षित पूर्वाग्रहों की ओर ले जाते हैं जहाँ मॉडल विशिष्ट y-अक्ष विन्यासों पर अच्छा प्रदर्शन करते हैं लेकिन अन्य पर विफल हो जाते हैं। इसके अलावा, मौजूदा मूल्यांकन मेट्रिक्स (जैसे RMSF1) अक्सर दृश्य रूप से महत्वपूर्ण त्रुटियों को पकड़ने में विफल रहते हैं, जैसे कि लघु टिक अंतराल (minor tick interval) से अधिक विचलन, जिससे अविश्वसनीय मूल्यांकन होता है।

2. कार्यप्रणाली: FairChart2Table फ्रेमवर्क

इन कमियों को दूर करने के लिए, लेखक एक नया बेंचमार्क डेटासेट और नवीन मूल्यांकन मेट्रिक्स वाला एक पूर्वाग्रह-नियंत्रित फ्रेमवर्क, FairChart2Table प्रस्तावित करते हैं।

A. बेंचमार्क निर्माण (Benchmark Construction)

यह फ्रेमवर्क चरों (variables) पर सख्त नियंत्रण सुनिश्चित करने के लिए 'बोकेह' (Bokeh) प्लॉटिंग लाइब्रेरी का उपयोग करके एक सिंथेटिक डेटासेट उत्पन्न करता है। डेटासेट को चार उपसमूहों (भाग A–D) में विभाजित किया गया है ताकि विशिष्ट पूर्वाग्रहों को अलग किया जा सके:

• भाग A (अंकों की लंबाई): y-अक्ष मानों की अंक लंबाई (0–16) और संस्थाओं (entities) की संख्या (1–6) को बदलते हुए 3,060 चित्र उत्पन्न करता है।
• भाग B (मेजर टिक्स): 3, 6, और 11 मेजर टिक्स के साथ प्रदर्शन की तुलना करता है।
• भाग C (मान सीमा/Value Range): तीन रेंज परिदृश्यों का परीक्षण करता है:
  • पॉजिटिव (Pos): मूल बिंदु (origin) ऊपर की ओर स्थानांतरित (सभी मान धनात्मक)।
  • नेगेटिव (Neg): मूल बिंदु नीचे की ओर स्थानांतरित (सभी मान ऋणात्मक)।
  • एक्सटेंडेड (Ext): डेटा रेंज दोगुनी, जिससे मान नीचे की ओर धकेल दिए गए।
• भाग D (संख्या प्रारूप): सादे नंबर, कॉमा, संक्षिप्त नाम (K, M, B, T), और वैज्ञानिक संकेतन का परीक्षण करता है।

अन्य सभी दृश्य तत्वों (शीर्षक, फ़ॉन्ट, रंग, x-अक्ष) को कन्फाउंडिंग कारकों (confounding factors) को रोकने के लिए मानकीकृत किया गया है।

B. नए मूल्यांकन मेट्रिक्स (New Evaluation Metrics)

लेखक मानक RMSF1 मेट्रिक की आलोचना करते हैं क्योंकि यह दृश्य रूप से ध्यान देने योग्य त्रुटियों को पर्याप्त रूप से दंडित नहीं करता है। वे टिक-आधारित त्रुटि (Tick-Based Error - TBE) मेट्रिक्स का प्रस्ताव करते हैं:

1. **$DTBE$(टिक-आधारित दूरी):** वास्तविक मान के बजाय लघु टिक अंतराल ($t$) द्वारा पूर्ण त्रुटि ($|g - p|$) को सामान्यीकृत करता है।
   $$DTBE(g, p) = \min\left(1, \frac{|g - p|}{t}\right)$$
2. $RMSTBE_{F1}$: संख्यात्मक संरेखण के लिए $DTBE$ का उपयोग करने वाला एक F1-स्कोर वेरिएंट, जो डेटा सटीकता पर ध्यान केंद्रित करने के लिए हेडर दंडों को हटा देता है।
3. $RMSTBE_{F1}$-Sig: केवल उन "महत्वपूर्ण" विचलनों पर ध्यान केंद्रित करता है जहाँ त्रुटि लघु टिक अंतराल से अधिक होती है।
4. SES (स्वैपिंग एरर स्कोर): उन संरचनात्मक त्रुटियों को मापता है जहाँ मानों को सही ढंग से निकाला गया है लेकिन गलत संस्था को सौंपा गया है (जो रेखाओं के क्रॉस होने पर सामान्य है), इसकी गणना न्यूनतम लागत मिलान स्कोर और मानक $RMSTBE_{F1}$ के बीच के अंतर द्वारा की जाती है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

इस फ्रेमवर्क का उपयोग पाँच अत्याधुनिक मॉडलों के मूल्यांकन के लिए किया गया था:

• क्लोज्ड-सोर्स (Closed-Source): GPT-4o, Gemini-2.0-flash।
• ओपन-सोर्स (Open-Source): Pixtral-12B।
• विशेषज्ञ/सुपरवाइज्ड (Specialized/Supervised): DePlot (चार्ट-टू-टेबल विशिष्ट), ChartGemma, और TinyChart (सामान्य चार्ट समझ)।

प्रयोगों में विभिन्न पूर्वाग्रह विन्यासों में प्रदर्शन की तुलना करने के लिए युग्मित सांख्यिकीय परीक्षणों (Wilcoxon signed-rank) का उपयोग किया गया।

4. मुख्य परिणाम और निष्कर्ष (Key Results and Findings)

RQ1: Y-अक्ष सूचना का प्रभाव

• अंकों की लंबाई: जैसे-जैसे अंकों की लंबाई बढ़ती है, प्रदर्शन आम तौर पर घटता जाता है।
  • DePlot और TinyChart उच्च अंक लंबाई (जैसे 11, 15, 16) पर महत्वपूर्ण गिरावट दिखाते हैं।
  • GPT-4o समग्र रूप से सबसे खराब प्रदर्शन करता है और उच्च अंक लंबाई के प्रति मजबूत पूर्वाग्रह प्रदर्शित करता है।
  • Gemini सबसे सुदृढ़ (robust) है लेकिन फिर भी नीचे की ओर जाने वाला रुझान दिखाता है।
• मेजर टिक्स: सभी मॉडल 3 मेजर टिक्स के साथ सबसे खराब प्रदर्शन करते हैं। क्लोज्ड-सोर्स मॉडल (Gemini, GPT-4o) 11 टिक्स के साथ बेहतर होते हैं, जबकि ओपन-सोर्स मॉडल कोई समान रुझान नहीं दिखाते।
• मान सीमा (Value Range):
  • DePlot नेगेटिव ओरिजिन और एक्सटेंडेड रेंज के साथ संघर्ष करता है।
  • TinyChart तब उत्कृष्ट होता है जब अक्ष शून्य पर क्रॉस करता है, लेकिन विस्थापित ओरिजिन के साथ विफल हो जाता है।
  • Gemini अधिकांश श्रेणियों में सुसंगत रहता है लेकिन एक्सटेंडेड रेंज के साथ काफी गिर जाता है।
• संख्या प्रारूप:
  • संक्षिप्त नाम (K, M, B, T) लगभग सभी मॉडलों के लिए नाटकीय गिरावट का कारण बनते हैं (उदाहरण के लिए, TinyChart ~80% से गिरकर ~26% हो जाता है)।
  • वैज्ञानिक संकेतन भी कई मॉडलों को नकारात्मक रूप से प्रभावित करता है, हालांकि DePlot और TinyChart संक्षिप्त नामों की तुलना में इसे बेहतर तरीके से संभालते हैं।

RQ2: अन्य कारक (संस्थाएं और चार्ट प्रकार)

• संस्थाओं की संख्या: जैसे-जैसे संस्थाओं की संख्या (1–6) बढ़ती है, प्रदर्शन आम तौर पर घटता है क्योंकि रेखाओं के क्रॉस होने की संभावना बढ़ जाती है।
  • SES स्कोर: DePlot और TinyChart जैसे मॉडल 5–6 संस्थाओं के साथ उच्च स्वैपिंग त्रुटियां (entities को भ्रमित करना) दिखाते हैं।
  • Gemini और Pixtral संस्थाओं की संख्या बढ़ने के विरुद्ध अधिक सुदृढ़ हैं।
• चार्ट प्रकार: जब अंतर्निहित डेटा समान होता है, तो Line, Dot, और Bar चार्ट के बीच प्रदर्शन के अंतर सांख्यिकीय रूप से महत्वपूर्ण होते हैं लेकिन y-अक्ष पूर्वाग्रहों की तुलना में कम स्पष्ट होते हैं।

RQ3: Y-अक्ष संकेतों के साथ प्रॉम्प्टिंग का प्रभाव

• प्रॉम्प्ट के हिस्से के रूप में स्पष्ट y-अक्ष टिक मान प्रदान करने से कुछ मॉडलों के प्रदर्शन में उल्लेखनीय सुधार होता है।
• Pixtral ने 0.94% से 26.60% तक की वृद्धि देखी।
• Gemini ने विशेष रूप से संक्षिप्त (abbreviated) प्रारूपों को संभालने के लिए नाटकीय सुधार दिखाया (46.54% से 61.32% तक), जो बताता है कि संकेत गैर-मानक प्रारूपों को डिकोड करने में मदद करता है।

5. महत्व और योगदान (Significance and Contributions)

1. छिपे हुए पूर्वाग्रहों की पहचान: यह शोध पत्र व्यवस्थित रूप से प्रकट करता है कि y-अक्ष की विशेषताएं (अंकों की लंबाई, टिक संख्या, प्रारूप) MLMs में प्रमुख, पहले से अनछुए पूर्वाग्रह के स्रोत हैं।
2. FairChart2Table फ्रेमवर्क: एक पुनरुत्पादक (reproducible) बेंचमार्क और पद्धति जो पूर्वाग्रह-नियंत्रित डेटासेट उत्पन्न करती है, जिससे शोधकर्ता विशिष्ट चरों को अलग कर सकते हैं।
3. बेहतर मेट्रिक्स: TBE-आधारित मेट्रिक्स ($RMSTBE_{F1}$) का परिचय पारंपरिक टेक्स्ट-आधारित मेट्रिक्स की तुलना में चार्ट-टू-टेबल अनुवाद त्रुटियों का अधिक दृश्य रूप से सटीक मूल्यांकन प्रदान करता है।
4. व्यावहारिक अंतर्दृष्टि: यह अध्ययन प्रदर्शित करता है कि प्रॉम्प्ट इंजीनियरिंग (y-अक्ष संकेत प्रदान करना) विशिष्ट पूर्वाग्रहों को कम कर सकता है, विशेष रूप से संक्षिप्त रूपों और जटिल अंक लंबाई को संभालने के लिए।

6. सीमाएं (Limitations)

• डेटासेट सिंथेटिक है (बोकेह के माध्यम से उत्पन्न) और इसमें वास्तविक दुनिया के, शोर वाले (noisy) चार्ट चित्र शामिल नहीं हैं।
• सभी टेक्स्ट (चार्ट और लीजेंड) अंग्रेजी में हैं।
• यह अध्ययन विशेष रूप से y-अक्ष के पूर्वाग्रहों पर केंद्रित है, अन्य चार्ट तत्वों पर नहीं।

निष्कर्ष (Conclusion)

लेखक निष्कर्ष निकालते हैं कि वर्तमान MLMs y-अक्ष विन्यासों के प्रति अत्यधिक संवेदनशील हैं, और अक्सर उच्च अंक लंबाई या गैर-मानक प्रारूपों वाले डेटा पर विफल हो जाते हैं। FairChart2Table फ्रेमवर्क चार्ट समझ के लिए अधिक सुदृढ़, निष्पक्ष मॉडल विकसित करने के लिए एक आवश्यक उपकरण प्रदान करता है, और यह सुझाव देता है कि स्पष्ट y-अक्ष संदर्भ मॉडल की सटीकता में सुधार के लिए एक शक्तिशाली साधन हो सकता है।