💬 NLP

Beyond Pixels: Introspective and Interactive Grounding for Visualization Agents

यह शोध पत्र 'इंट्रोस्पेक्टिव एंड इंटरएक्टिव विजुअल ग्राउंडिंग' (IVG) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो स्पेसिफिकेशन-आधारित इंट्रोस्पेक्शन और इंटरएक्टिव व्यू मैनिपुलेशन को जोड़कर पिक्सेल-ओनली विजन-लैंग्वेज मॉडल्स की सीमाओं को दूर करता है ताकि नए iPlotBench बेंचमार्क द्वारा प्रमाणित, इंटरएक्टिव चार्ट्स में अस्पष्टताओं को सटीक रूप से व्याख्यायित और हल किया जा सके।

मूल लेखक: Yiyang Lu, Woong Shin, Ahmad Maroof Karimi, Feiyi Wang, Jie Ren, Evgenia Smirni

प्रकाशित 2026-04-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yiyang Lu, Woong Shin, Ahmad Maroof Karimi, Feiyi Wang, Jie Ren, Evgenia Smirni

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने फोन पर एक जटिल मौसम का नक्शा देख रहे हैं। आप एक शहर के ऊपर एक लाल धब्बा देखते हैं और अपने AI असिस्टेंट से पूछते हैं, "क्या यहाँ उस नीले क्षेत्र की तुलना में अधिक बारिश हुई या उसके बगल वाले नीले क्षेत्र में?"

यदि AI एक पारंपरिक विज़न-लैंग्वेज मॉडल (VLM) की तरह है, तो यह उस नक्शे की कम रिज़ॉल्यूशन वाली फोटो को घूरने वाले व्यक्ति की तरह है। उसे रंगों के आकार के आधार पर नंबरों का अनुमान लगाना पड़ता है। वह कह सकता है, "लाल क्षेत्र बड़ा लग रहा है, इसलिए शायद अधिक बारिश हुई होगी।" लेकिन वह गलत हो सकता है। हो सकता है कि लाल क्षेत्र केवल एक मोटी रेखा हो, या फोटो धुंधली हो। वह "पिक्सेल-ओनली बॉटलनेक" (Pixel-Only Bottleneck) में फंसा हुआ है: वह केवल चित्र देख सकता है, उसके पीछे का डेटा नहीं।

यह पेपर एक नया फ्रेमवर्क पेश करता है जिसे IVG (इंट्रोस्पेक्टिव एंड इंटरैक्टिव विजुअल ग्राउंडिंग) कहा जाता है, जो AI एजेंटों को उस बॉटलनेक से बाहर निकलने के लिए सुपरपावर देता है। इसे केवल आँखों के बजाय AI को एक रिमोट कंट्रोल और एक गुप्त बहीखाता (सीक्रेट लेजर) देने के रूप में समझें।

यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. दो सुपरपावर्स

यह फ्रेमवर्क AI को दो विशिष्ट उपकरण देता है:

सुपरपावर A: "गुप्त बहीखाता" (स्पेक-ग्राउंडेड इंट्रोस्पेक्शन - Spec-Grounded Introspection)
- उपमा: कल्पना कीजिए कि आप एक रेस्तरां में हैं। प्लेट देखकर यह अनुमान लगाने के बजाय कि आपके भोजन की कीमत कितनी थी, आप वेटर से रसीद मांगते हैं।
- यह कैसे काम करता है: चार्ट वास्तव में कोड (एक "स्पेसिफिकेशन") से बने होते हैं जिसमें सटीक नंबर होते हैं। IVG को इस कोड को सीधे पढ़ने की अनुमति देता है। यह यह अनुमान नहीं लगाता कि एक बार (bar) "लगभग 50" है; यह कोड पढ़ता है और जानता है कि यह बिल्कुल 50.34 है। यह AI को तथ्य बनाने (हैलुसिनेशन करने) से रोकता है।
सुपरपावर B: "जादुई रिमोट" (व्यू-ग्राउंडेड इंटरैक्शन - View-Grounded Interaction)
- उपमा: कल्पना कीजिए कि आप एक छोटे से कीहोल (keyhole) के माध्यम से एक भीड़भाड़ वाले कमरे को देख रहे हैं। आप नहीं देख सकते कि कौन किससे बात कर रहा है। लेकिन यदि आपके पास एक जादुई रिमोट हो जो आपको एक विशिष्ट समूह पर ज़ूम इन (zoom in) करने या उन लोगों की लाइटें बंद करने की अनुमति दे जिनके बारे में आप परवाह नहीं करते, तो आप अंततः सच्चाई देख पाएंगे।
- यह कैसे काम करता है: कभी-कभी, डेटा इतना अस्त-व्यस्त होता है कि "गुप्त बहीखाते" के साथ भी उसे पढ़ना मुश्किल होता है क्योंकि बहुत सारी रेखाएं एक-दूसरे के ऊपर आ रही होती हैं। AI एक विशिष्ट क्षेत्र पर ज़ूम करने, भ्रमित करने वाली रेखाओं को छिपाने या एक विशिष्ट बिंदु चुनने के लिए "जादुई रिमोट" का उपयोग करता है। यह AI को पूछने के लिए एक स्पष्ट "फोकस पॉइंट" देता है।

2. वे मिलकर कैसे काम करते हैं

यह पेपर दिखाता है कि ये दोनों उपकरण तब सबसे अच्छे होते हैं जब वे एक साथ उपयोग किए जाते हैं, जैसे एक आवर्धक लेंस (magnifying glass) और एक डेटाबेस के साथ एक जासूस।

समस्या: आप पूछते हैं, "क्या ये दो रेखाएं आपस में टकराती हैं?"
पुराना तरीका (केवल पिक्सेल): AI धुंधली छवि को देखता है और अनुमान लगाता है, "शायद? वे करीब लग रही हैं।" (गलत)।
IVG का तरीका:
1. इंटरैक्शन: AI कहता है, "मैं इस विस्तृत दृश्य से यह नहीं बता सकता। मुझे उस स्थान पर ज़ूम इन करने दें जहाँ वे करीब लग रही हैं।" (यह जादुई रिमोट का उपयोग करता है)।
2. इंट्रोस्पेक्शन: अब जब वह ज़ूम इन कर चुका है, तो वह गुप्त बहीखाते से पूछता है, "इस स्थान पर इन दो रेखाओं के सटीक निर्देशांक (coordinates) क्या हैं?"
3. उत्तर: बहीखाता कहता है, "रेखा A 45.2 पर है, रेखा B 45.8 पर है।"
4. निष्कर्ष: "नहीं, वे नहीं टकरातीं।"

3. नया टेस्ट (iPlotBench)

यह साबित करने के लिए कि यह काम करता है, शोधकर्ताओं ने iPlotBench नामक एक नया टेस्ट बनाया।

पुराने टेस्ट: वे किसी इंसान को चार्ट की फोटो दिखाने और सवाल पूछने की तरह थे। यदि इंसान (या AI) फोटो को गलत पढ़ लेता, तो वह विफल हो जाता।
नया टेस्ट: शोधकर्ताओं ने 500 इंटरैक्टिव चार्ट बनाए और AI को उनका सोर्स कोड दिया। AI को वह चार्ट फिर से बनाना था और सवालों के जवाब देने थे। क्योंकि इस टेस्ट में "सही उत्तर" कोड में छिपा हुआ है, हम निश्चित रूप से जानते हैं कि AI सही है या केवल अनुमान लगा रहा है।

4. वास्तविक जीवन में इसका महत्व

यह पेपर दिखाता है कि यह केवल एक गणितीय ट्रिक नहीं है; यह AI के हमारे काम करने के तरीके को बदल देता है:

रियल-टाइम सहयोग: कल्पना कीजिए कि आप एक दोस्त के साथ स्टॉक चार्ट देख रहे हैं। आप एक गिरावट की ओर इशारा करते हैं और पूछते हैं, "यह यहाँ क्यों गिरा?" AI ठीक उसी जगह को देखता है जहाँ आपने इशारा किया (इंटरैक्शन टूल की मदद से), सटीक डेटा खोजता है (बहीखाते की मदद से), और समझाता है, "आह, कीमत इसलिए गिरी क्योंकि दोपहर 2 बजे ट्रेडिंग वॉल्यूम बढ़ गया था।" अब कोई अस्पष्ट अनुमान नहीं।
स्वायत्त अन्वेषण (Autonomous Exploration): एक AI अब एक विशाल डेटासेट को खुद से एक्सप्लोर कर सकता है। वह कह सकता है, "मुझे लगता है कि ये दो समूह अलग हैं," एक चार्ट बना सकता है, जांच करने के लिए ज़ूम इन कर सकता है, सटीक नंबर पढ़ सकता है, और यदि नंबर मेल नहीं खाते हैं, तो वह कहता है, "मेरी गलती, मैं गलत था," और एक नया सिद्धांत आज़माता है। यह एक स्व-सुधार करने वाला वैज्ञानिक बन जाता है।
सर्वश्रेष्ठ समाधान खोजना: AI मॉडल को प्रशिक्षित करने जैसे जटिल कार्यों में, हजारों विकल्प होते हैं। AI IVG का उपयोग करके "उम्मीद करने वाले" विकल्पों पर ज़ूम इन कर सकता है और उनके सटीक स्कोर की जांच कर सकता है, खराब विकल्पों को अनदेखा कर सकता है, जो एक इंसान की तुलना में बहुत तेज़ी से किया जा सकता है।

निचोड़ (The Bottom Line)

वर्तमान AI एक धुंधली फोटोकॉपी को घूरकर किताब पढ़ने की कोशिश करने वाले व्यक्ति की तरह है। यह पेपर AI को मूल पुस्तक (डेटा स्पेसिफिकेशन) और एक बुकमार्क (इंटरैक्शन टूल्स) देता है ताकि वह ठीक वही ढूंढ सके जिसकी उसे आवश्यकता है।

सोर्स कोड को पढ़ने और दृश्य (view) को नियंत्रित करने को मिलाकर, AI एजेंट अनुमान लगाना बंद कर देते हैं और जानना शुरू कर देते हैं। वे निष्क्रिय पर्यवेक्षकों से, जो जो देखते हैं उसके बारे में झूठ बोल सकते हैं, सक्रिय खोजकर्ताओं में बदल जाते हैं जो यह साबित कर सकते हैं कि वास्तव में क्या सत्य है।

1. समस्या विवरण: पिक्सेल-ओनली बॉटलनेक (Pixel-Only Bottleneck)

वर्तमान विज़न-लैंग्वेज मॉडल्स (VLMs), जिनका उपयोग चार्ट विश्लेषण के लिए किया जाता है, एक मौलिक सीमा से जूझते हैं जिसे पिक्सेल-ओनली बॉटलनेक कहा जाता है।

समस्या: एजेंट इंटरैक्टिव चार्ट्स को स्थिर छवियों (static images) के रूप में देखते हैं, जो पूरी तरह से पिक्सेल व्याख्या पर निर्भर करते हैं। इससे "परसेप्चुअल हैलुसिनेशन" (perceptual hallucinations) जैसी स्थितियाँ उत्पन्न होती हैं, जैसे कि संख्यात्मक मानों को गलत पढ़ना, ओवरलैपिंग डेटा पॉइंट्स में भ्रमित होना, और सूक्ष्म रुझानों (subtle trends) का पता लगाने में विफल रहना।
मूल कारण: आधुनिक विज़ुअलाइज़ेशन लाइब्रेरीज़ (जैसे Plotly, Vega-Lite) चार्ट्स को एक संरचित विनिर्देश (structured specification - JSON) से जनरेट करती हैं, जिसमें सटीक डेटा मान, अक्ष सीमाएँ (axis ranges) और ट्रेस डेफिनिशन होते हैं। हालाँकि, वर्तमान एजेंट इस संरचित 'सत्य के स्रोत' (source of truth) को त्याग देते हैं और केवल पिक्सेल डेटा से मानों का अनुमान लगाने का प्रयास करते हैं, जो कि अपूर्ण और अनुमानित होता है।
परिणाम: उच्च-दांव वाले डोमेन जैसे डेटा विश्लेषण में, ये त्रुटियाँ तर्क की श्रृंखला (chain of reasoning) को तोड़ देती हैं, जिससे गलत निष्कर्ष निकलते हैं। फोटोग्राफ्स के विपरीत, चार्ट्स का एक नियत (deterministic) ग्राउंड ट्रुथ (विनिर्देश) होता है जो वर्तमान में एजेंटों के लिए अप्राप्य है।

2. कार्यप्रणाली: इंट्रोस्पेक्टिव और इंटरैक्टिव विज़ुअल ग्राउंडिंग (IVG)

लेखक IVG का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो एजेंट के तर्क को संभाव्य पिक्सेल निरीक्षण (probabilistic pixel inspection) से हटाकर नियत, संरचित एक्सेस (deterministic, structured access) की ओर ले जाता है। IVG दो पूरक तंत्रों के माध्यम से कार्य करता है:

A. स्पेक-ग्राउंडेड इंट्रोस्पेक्शन (Spec-Grounded Introspection)

तंत्र: एजेंट सीधे चार्ट के अंतर्निहित JSON विनिर्देश (specification) को क्वेरी करते हैं।
कार्य: पिक्सेल से मानों का अनुमान लगाने के बजाय, एजेंट सटीक डेटा एरेज़, ट्रेस डेफिनिशन और एट्रिब्यूट्स को निकालता है।
लाभ: यह संख्यात्मक मानों और डेटा संबंधों के संबंध में होने वाली अनुमान संबंधी त्रुटियों और हैलुसिनेशन को समाप्त करता है।

B. व्यू-ग्राउंडेड इंटरैक्शन (View-Grounded Interaction)

तंत्र: एजेंट ज़ूमिंग, पैनिंग, ट्रेसेस को टॉगल करने (लेजेंड क्लिक), और क्षेत्रों का चयन करने जैसे टूल्स का उपयोग करके रेंडर किए गए दृश्य (view) में हेरफेर करते हैं।
कार्य: ये क्रियाएं फोकल कॉन्टेक्स्ट (Focal Context) उत्पन्न करती हैं (जैसे विशिष्ट अक्ष सीमाएं, ट्रेस इंडेक्स, या चयनित डेटा पॉइंट्स)।
लाभ: इंटरैक्शन विनिर्देश के भीतर खोज के दायरे को सीमित करता है। उदाहरण के लिए, ओवरलैपिंग क्षेत्र में ज़ूम करने से एजेंट को केवल प्रासंगिक डेटा पॉइंट्स तक सीमित करने में मदद मिलती है, जिससे उस दृश्य अस्पष्टता को हल किया जा सके जिसे केवल इंट्रोस्पेक्शन अकेले संबोधित नहीं कर सकता।

C. कार्यान्वयन: विज़ुअलाइज़ेशन स्टेट API (Visualization State API)

इस फ्रेमवर्क को मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) टूल्स का उपयोग करके लागू किया गया है। यह API प्रदान करता है:

बेस टूल्स: show_plot, get_plot_image|
इंट्रोस्पेक्शन टूल्स: get_plot_json (पूर्ण विनिर्देश लौटाता है)।
इंटरैक्शन टूल्स: relayout (ज़ूम/पैन), legendclick (ट्रेस टॉगल करना), selected (क्षेत्र में मौजूद पॉइंट्स प्राप्त करना)।
वर्कफ़्लो: एजेंट पर्याप्त साक्ष्य जुटाने तक इंटरैक्शन (फोकस परिभाषित करने के लिए) और इंट्रोस्पेक्शन (सटीक डेटा प्राप्त करने के लिए) के बीच चक्र में कार्य करता है।

3. मुख्य योगदान

A. IVG टूलकिट

MCP टूल्स का एक सेट जो एजेंटों को चार्ट विनिर्देशों तक पहुँचने और दृश्यों में हेरफेर करने में सक्षम बनाता है, जिससे एजेंट अपने स्वयं के विज़ुअलाइज़ेशन के निष्क्रिय पर्यवेक्षक से सक्रिय खोजकर्ता बन जाते हैं।

B. iPlotBench (बेंचमार्क)

एक नया मूल्यांकन बेंचमार्क जो मौजूदा स्टैटिक-इमेज बेंचमार्क (जैसे ChartQA) की सीमाओं को दूर करने के लिए डिज़ाइन किया गया है।

डेटासेट: 5 प्रकार के चार्ट (Line, Dot-Line, Vertical/Horizontal Bar, Pie) में 500 इंटरैक्टिव Plotly आकृतियाँ।
पैमाना: 6,706 बाइनरी (हाँ/नहीं) प्रश्न जिनके पास ग्राउंड-ट्रुथ विनिर्देश हैं।
मूल्यांकन मीट्रिक: सिमेंटिक स्ट्रक्चरल सिमिलैरिटी (SSS)। VLM-आधारित स्कोरिंग या पिक्सेल-स्तरीय मेट्रिक्स के विपरीत, SSS एजेंट द्वारा जनरेट किए गए Plotly JSON की तुलना ग्राउंड-ट्रुथ विनिर्देश के साथ नियत रूप से करता है। इसमें शामिल हैं:
- ट्रेस टाइप ( $S_{Type}$ )
- डेटा सटीकता ( $S_{Data}$ ): पॉइंट क्लाउड्स पर Chamfer distance का उपयोग करता है।
- टेक्स्ट शुद्धता ( $S_{Text}$ ): रोल-अवेयर फजी मैचिंग।
- विज़ुअल स्टाइल ( $S_{Style}$ ): रंग और एट्रिब्यूट मिलान।

C. परिनियोजन परिदृश्य (Deployment Scenarios)

लेखक तीन वास्तविक दुनिया के वर्कफ़्लो में IVG का प्रदर्शन करते हैं:

रियल-टाइम सहयोग: उपयोगकर्ता चार्ट क्षेत्रों की ओर संकेत करते हैं; IVG इसे फोकल कॉन्टेक्स्ट के रूप में कैप्चर करता है, जिससे एजेंट बिना मौखिक विवरण के "यह यहाँ क्यों गिरा?" जैसे प्रश्नों का उत्तर दे पाता है।
स्वायत्त अन्वेषण (Autonomous Exploration): एजेंट साक्ष्य-आधारित रिपोर्ट तैयार करते हैं, जो निष्कर्षों को अंतिम रूप देने से पहले सटीक मानों को प्राप्त करके दावों को सत्यापित करते हैं।
ML सॉल्यूशन सर्च: एजेंट ओवरलैपिंग प्लॉट्स से सटीक मेट्रिक्स प्राप्त करके उम्मीदवार मशीन लर्निंग समाधानों (जैसे ट्रेनिंग कर्व्स) की तुलना करने के लिए IVG का उपयोग करते हैं, जिससे खोज को आशाजनक शाखाओं की ओर निर्देशित किया जाता है।

4. प्रयोगात्मक परिणाम

अध्ययन ने iPlotBench पर चार कॉन्फ़िगरेशन में एजेंटों (Claude Haiku 4.5 और Qwen-VL परिवार) का मूल्यांकन किया: विज़न (कोई टूल नहीं), +Inter (केवल इंटरैक्शन), +Intro (केवल इंट्रोस्पेक्शन), और Full (दोनों)।

चार्ट पुनर्रचना (कार्य 1):
- इंट्रोस्पेक्शन (+Intro) ने डेटा फिडेलिटी ( $S_{Data}$ : 0.8847 $\to$ 0.9016) और ट्रेस टाइपिंग में उच्चतम लाभ दिया।
- केवल इंटरैक्शन ने सीमित संरचनात्मक लाभ प्रदान किया।
- अंतर्दृष्टि: इंट्रोस्पेक्शन में इंटरैक्शन जोड़ने से कभी-कभी एजेंट विनिर्देश-स्तर के सुधारों से विचलित हो जाते हैं, जिससे Full कॉन्फ़िगरेशन में $S_{Data}$ थोड़ा कम हो जाता है।
विज़ुअल QA (कार्य 2):
- Full कॉन्फ़िगरेशन ने उच्चतम समग्र सटीकता (0.8062) प्राप्त की।
- सिनर्जी (Synergy): इंटरैक्शन ने Line और Dot-Line चार्ट्स पर सबसे अधिक लाभ (+6.7%) दिया जहाँ ओवरलैप मौजूद है। Bar और Pie चार्ट्स के लिए, जहाँ ज्यामिति स्पष्ट है, इंट्रोस्पेक्शन अकेला पर्याप्त था।
- प्रश्न के प्रकार: इंट्रोस्पेक्शन तुलना (Comparison) वाले प्रश्नों में उत्कृष्ट रहा; Full कॉन्फ़िगरेशन टोपोलॉजी (Topology) प्रश्नों (जैसे इंटरसेक्शन) में उत्कृष्ट रहा जहाँ स्थानिक संदर्भ (spatial context) की आवश्यकता थी।
मॉडल स्केलिंग:
- लाभ मॉडल की क्षमता के साथ बढ़ते हैं। $\ge$ 20B एक्टिव पैरामीटर्स वाले मॉडल (जैसे Qwen3-VL-235B) IVG के साथ लगातार बेहतर प्रदर्शन करते हैं।
- छोटे मॉडल (जैसे Qwen3-VL-30B) टूल्स को प्रभावी ढंग से संचालित करने में संघर्ष करते हैं, और कभी-कभी टूल्स के बिना बेहतर प्रदर्शन करते हैं।
टूल उपयोग:
- एजेंटों ने तंत्रों को संतुलित करना सीखा। जब इंट्रोस्पेक्शन उपलब्ध था, तो इंटरैक्शन कॉल्स में 71% की कमी आई, जो दर्शाता है कि एजेंटों ने संभव होने पर व्यू मैनिपुलेशन के बजाय सीधे स्पेक क्वेरी को प्राथमिकता दी।

5. महत्व और प्रभाव

प्रतिमान परिवर्तन (Paradigm Shift): IVG क्षेत्र को "पिक्सेल की व्याख्या करने" से "विनिर्देशों को क्वेरी करने" की ओर ले जाता है, जो चार्ट विश्लेषण में हैलुसिनेशन के मूल कारण को संबोधित करता है।
नियत मूल्यांकन (Deterministic Evaluation): iPlotBench और सिमेंटिक स्ट्रक्चरल सिमिलैरिटी पेश करके, यह पत्र VLM-आधारित स्कोरिंग की आवश्यकता को दरकिनार करते हुए, एजेंट प्रदर्शन के मूल्यांकन के लिए एक कठोर, गैर-हैलुसिनेटरी तरीका प्रदान करता है।
मानव-एजेंट सहयोग: यह फ्रेमवर्क एक साझा संचार चैनल को सक्षम बनाता है जहाँ मानवीय इंटरैक्शन (ज़ूम, सिलेक्शन) एजेंटों को सटीक संदर्भ प्रदान करते हैं, जिससे मौखिक विवरण का घर्षण कम होता है।
सामान्यीकरण (Generalizability): हालांकि यह Plotly पर प्रदर्शित किया गया है, IVG का मूल सिद्धांत (विनिर्देश को रेंडरिंग से अलग करना) किसी भी ग्रामर-आधारित विज़ुअलाइज़ेशन लाइब्रेरी (Vega-Lite, ECharts) पर लागू होता है, जो भविष्य के टूल डिज़ाइन के लिए एक ब्लूप्रिंट प्रदान करता है।

निष्कर्षतः, यह पत्र तर्क देता है कि डेटा विश्लेषण में एजेंटों के भरोसेमंद होने के लिए, उन्हें पिक्सेल से अनुमान लगाना बंद करना होगा और विज़ुअलाइज़ेशन के सोर्स कोड को पढ़ना शुरू करना होगा। IVG इसे संभव बनाने के लिए आवश्यक उपकरण और ढांचा प्रदान करता है।