Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models

यहाँ शोध पत्र "Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज विज़न-लैंग्वेज मॉडल्स (LVLMs) ने सामान्य आरेख (diagram) समझ के बेंचमार्क पर मजबूत प्रदर्शन प्रदर्शित किया है। हालाँकि, वे संबंधात्मक समझ (relational understanding) में लगातार संघर्ष करते हैं, विशेष रूप से निर्देशित किनारों (directed edges - तीरों और रेखाओं) द्वारा परिभाषित संबंधों की व्याख्या करने में, जैसे कि किनारे की दिशा, कनेक्टिविटी और मल्टी-हॉप पाथ। जबकि मॉडल अक्सर व्यक्तिगत नोड्स (जैसे रंग, आकार) को पहचान सकते हैं, वे उनके बीच के कनेक्शनों के बारे में विश्वसनीय रूप से तर्क करने में विफल रहते हैं।

यह शोध पत्र इस बात पर केंद्रित है कि LVLMs विभिन्न प्रकार की दृश्य जानकारी (नोड्स बनाम किनारे) को आंतरिक रूप से कैसे प्रदर्शित करते हैं और मॉडल के प्रोसेसिंग पाइपलाइन के किस चरण में ये प्रतिनिधित्व सुलभ होते हैं। पिछला कार्य प्राकृतिक छवियों पर केंद्रित था; यह शोध पत्र आरेखों की प्रतीकात्मक और संरचनात्मक प्रकृति को लक्षित करता है।

2. कार्यप्रणाली (Methodology)

लेखक LVLMs के आंतरिक प्रतिनिधित्व का विश्लेषण करने के लिए सिंथेटिक डेटा जनरेशन, लीनियर प्रोबिंग (linear probing), और कॉज़ल इंटरवेंशन (causal intervention) के संयोजन का उपयोग करते हैं।

A. सिंथेटिक डेटासेट निर्माण (Synthetic Dataset Construction)

प्राकृतिक छवियों और भाषा से होने वाले पूर्वाग्रहों को समाप्त करने के लिए, लेखकों ने निर्देशित ग्राफ (directed graphs) पर आधारित एक नियंत्रित सिंथेटिक डेटासेट बनाया:

• संरचना (Structure): आरेखों में 5 नोड्स और निर्देशित किनारे (directed edges) होते हैं।
• विशेषताएँ (Attributes): नोड्स के विशिष्ट रंग (8 विकल्प) और आकार (5 विकल्प) होते हैं। किनारों के रंग, शैलियाँ (ठोस/डैश वाली) और दिशाएँ होती हैं।
• विविधताएँ (Variants):
  • $D_{rand}$: फिक्स्ड पोजीशन के आधार पर मॉडल द्वारा शॉर्टकट सीखने को रोकने के लिए रैंडम नोड लेआउट।
  • $D_{fix}$: स्थानिक निरंतरता (spatial consistency) का विश्लेषण करने के लिए फिक्स्ड नोड लेआउट।
  • $D_{\perp}$: ऐसे आरेख जहाँ लक्षित नोड/किनारा मौजूद नहीं है, जो मॉडल को विशेषताओं की भविष्यवाणी करने से पहले अस्तित्व को सत्यापित करने के लिए मजबूर करता है (शॉर्टकट लर्निंग को रोकने के लिए)।
• मूल्यांकन पहलू (Evaluation Aspects): 11 पहलू जिन्हें निम्नलिखित श्रेणियों में विभाजित किया गया है:
  • सिंगल (Single): एक नोड तक सीमित (जैसे, नोड का रंग, आकार)।
  • मल्टीपल (Multiple): दो नोड्स को जोड़ने की आवश्यकता (जैसे, किनारे का रंग, दिशा, अस्तित्व)।
  • ग्लोबल (Global): वैश्विक संदर्भ की आवश्यकता (जैसे, नोड की संख्या, मल्टी-हॉप पाथ)।

B. प्रोबिंग प्रयोग (Probing Experiments)

लेखक यह निर्धारित करने के लिए कि क्या विशिष्ट जानकारी विभिन्न परतों और स्थितियों में रैखिक रूप से अलग (linearly separable) (स्पष्ट रूप से एनकोडेड) है, LVLM की हिडन स्टेट्स पर लीनियर क्लासिफायर (प्रोब्स) प्रशिक्षित करते हैं।

• लक्षित मॉडल (Target Models): मुख्य रूप से Qwen3-VL-8B, Qwen2.5-VL, LLaVA1.5, और Gemma3 पर अतिरिक्त परीक्षण।
• प्रोबिंग स्थान (Probing Locations):
  1. विज़न एनकोडर (Vision Encoder): इमेज पैचेस के हिडन स्टेट्स।
  2. लैंग्वेज मॉडल (इमेज इनपुट): प्रोजेक्शन के बाद इमेज टोकन्स के अनुरूप हिडन स्टेट्स।
  3. लैंग्वेज मॉडल (टेक्स्ट इनपुट): प्रश्न टोकन्स के अनुरूप हिडन स्टेट्स।

C. कॉज़ल इंटरवेंशन (Causal Intervention)

यह सत्यापित करने के लिए कि क्या रैखिक रूप से अलग प्रतिनिधित्व तर्क (reasoning) के लिए कारणस्वरूप (causally) उपयोग किए जाते हैं (केवल उपस्थित होने के बजाय), लेखक एक्टिवेशन पैचिंग (activation patching) करते हैं:

• वे उन पैच/टोकन की पहचान करते हैं जहाँ प्रोबिंग सटीकता एक थ्रेशोल्ड से अधिक होती है।
• वे इन हिडन स्टेट्स को गैर-लक्षित पैच के माध्य वेक्टर (mean vector) से बदल देते हैं (विशिष्ट जानकारी को दूषित करना)।
• वे VQA सटीकता में गिरावट को मापते हैं। एक महत्वपूर्ण गिरावट पुष्टि करती कि दूषित जानकारी मॉडल की भविष्यवाणी के लिए कारणस्वरूप आवश्यक थी।

3. मुख्य निष्कर्ष और परिणाम (Key Findings & Results)

A. विसंगत एनकोडिंग चरण: "नोड्स जल्दी, किनारे देर से" (Divergent Encoding Stages: "Nodes Early, Edges Late")

सबसे महत्वपूर्ण निष्कर्ष सूचना को एनकोड करने के तरीके में टेम्पोरल और स्पेशियल विचलन है:

• नोड और ग्लोबल जानकारी: नोड विशेषताओं (रंग, आकार) और वैश्विक संरचना (नोड की संख्या) के संबंध में जानकारी विज़न एनकोडर में जल्दी रैखिक रूप से अलग हो जाती है। विशेष रूप से, यह नोड स्थानों के अनुरूप एकल इमेज पैचेस में या बैकग्राउंड पैचेस में वितरित होती है।
• किनारे की जानकारी (Edge Information): किनारे की विशेषताएँ (रंग, शैली) और संबंध संबंधी जानकारी (दिशा, अस्तित्व) विज़न एनकोडर में रैखिक रूप से अलग नहीं होती हैं। वे केवल पाइपलाइन में देर से, विशेष रूप से लैंग्वेज मॉडल के टेक्स्ट टोकन के भीतर (प्रश्न पर आधारित) डिकोडेबल होती हैं।

B. पोजीशनल विश्लेषण (Positional Analysis)

• सिंगल/ग्लोबल: विज़न एनकोडर में, नोड की जानकारी नोड वाले पैच तक स्थानीयकृत होती है। वैश्विक जानकारी (जैसे नोड की संख्या) बैकग्राउंड पैचेस में व्यापक रूप से वितरित होती है, जो यह सुझाव देती है कि एनकोडर बैकग्राउंड क्षेत्रों का उपयोग एकत्रीकरण बिंदुओं (aggregation points) के रूप में करता है।
• मल्टीपल (किनारे): विज़न एनकोडर में, किनारे की जानकारी गैर-रैखिक रूप से अलग रहती है। लैंग्वेज मॉडल में, किनारे से संबंधित कार्यों के लिए सटीकता केवल उन विशिष्ट टेक्स्ट टोकन पर स्पाइक होती है जो किनारे का उल्लेख करते हैं (जैसे, "A और B के बीच का किनारा"), जो यह दर्शाता है कि मॉडल विज़ुअल जानकारी को टेक्स्ट टोकन में तभी एकत्रित करता है जब स्पष्ट रूप से प्रॉम्प्ट दिया जाता है।

C. कॉज़ल सत्यापन (Causal Verification)

• नोड/ग्लोबल: विज़न एनकोडर में रैखिक रूप से एनकोडेड रिप्रेजेंटेशन को दूषित करने से (जैसे, नोड कलर पैचेस) VQA सटीकता में भारी गिरावट आती है। यह सिद्ध करता है कि मॉडल इन शुरुआती विज़ुअल रिप्रेजेंटेशन पर कारणस्वरूप निर्भर करता है।
• किनारे/दिशा (Edge/Direction): विज़न एनकोडर को दूषित करने का किनारे से संबंधित कार्यों पर नगण्य प्रभाव पड़ता है। यह सुझाव देता है कि मॉडल गैर-रैखिक प्रतिनिधित्व पर निर्भर करता है या इन संबंधों को पूरी तरह से लैंग्वेज मॉडल के रीजनिंग लेयर्स के भीतर प्रोसेस करता है, जो रैखिक रूप से प्रोब करना कठिन है।

D. मॉडल निरंतरता (Model Consistency)

ये रुझान Qwen3-VL, Qwen2.5-VL, LLaVA1.5, और Gemma3 में लगातार देखे गए, जो यह सुझाव देते हैं कि यह एक मौलिक आर्किटेक्चरल विशेषता है न कि केवल किसी विशिष्ट मॉडल की विशेषता।

4. मुख्य योगदान (Key Contributions)

1. सिंथेटिक डायग्राम डेटासेट: डायग्राम के तत्वों (नोड्स, किनारे, वैश्विक संरचना) के प्रतिनिधित्व को अलग करने और मूल्यांकन करने के लिए विशेष रूप से डिज़ाइन किया गया एक नियंत्रणीय, बायस-मुक्त डेटासेट ($D_{rand}$, $D_{fix}$, $D_{\perp}$) पेश किया गया।
2. रिप्रेजेंटेशन लेटेंसी की खोज: इस बात का अनुभवजन्य प्रमाण प्रदान किया कि LVLMs "नोड" जानकारी को जल्दी (विज़न एनकोडर में) प्रोसेस करते हैं लेकिन "किनारे" के संबंध संबंधी प्रसंस्करण को लैंग्वेज मॉडल स्टेज तक विलंबित करते हैं। यह बताता है कि मॉडल संबंधात्मक तर्क (relational reasoning) में क्यों संघर्ष करते हैं।
3. कॉज़ल वैलिडेशन: कोरिलेशन से आगे बढ़कर कॉज़ल इंटरवेंशन का उपयोग करके यह सिद्ध किया कि विज़न एनकोडर में पाए गए रैखिक रूप से अलग प्रतिनिधित्व, नोड-आधारित प्रश्नों के उत्तर देने के लिए मॉडल की क्षमता के लिए कारणस्वरूप जिम्मेदार हैं।
4. भविष्य के सिस्टम के लिए मार्गदर्शन: यह सुझाव देता है कि डायग्राम की समझ में सुधार के लिए विज़न एनकोडर के भीतर संबंधात्मक (किनारे) जानकारी के प्रारंभिक एकीकरण की सुविधा देने वाले आर्किटेक्चरल परिवर्तनों की आवश्यकता है, न कि केवल लैंग्वेज मॉडल पर इन संबंधों को देर से संश्लेषित करने के लिए निर्भर रहने की।

5. महत्व (Significance)

यह शोध पत्र डायग्राम विश्लेषण में LVLM की सीमाओं की समझ को मौलिक रूप से बदल देता है। यह दोष को "डेटा की कमी" या "अपर्याप्त प्रशिक्षण" से हटाकर सूचना एकीकरण में आर्किटेक्चरल बाधाओं (architectural bottlenecks) पर केंद्रित करता है।

यह निष्कर्ष कि "किनारे देर से आते हैं" (edges are late) यह संकेत देता है कि वर्तमान LVLMs डायग्राम को प्राकृतिक छवियों के समान मानते हैं (स्थानीय विशेषताओं पर ध्यान केंद्रित करते हैं) और केवल भाषा-आधारित तर्क के माध्यम से ग्राफ संरचना को पुनर्गठित करने का प्रयास करते हैं। यह "लेट फ्यूजन" (late fusion) दृष्टिकोण सटीक संरचनात्मक तर्क (जैसे फ्लोचार्ट, सर्किट डायग्राम) के लिए आवश्यक कार्यों में विफलता का मूल कारण है। यह कार्य भविष्य के LVLM डिजाइनों के लिए एक नैदानिक ढांचा (diagnostic framework) प्रदान करता है, जो सुझाव देता है कि वास्तविक डायग्रामेटिक रीजनिंग प्राप्त करने के लिए विज़न एनकोडर के भीतर संबंधात्मक बाधाओं के प्रारंभिक एकीकरण की आवश्यकता है।