More Accurate, Less Human: Gestalt Grouping in Vision Models

तकनीकी सारांश: अधिक सटीक, कम मानवीय: विजन मॉडल्स में गेस्टाल्ट ग्रुपिंग (Gestalt Grouping)

समस्या विवरण
विज़न-लैंग्वेज मॉडल्स (VLMs) को चार्ट की व्याख्या करने, डिज़ाइनों का मूल्यांकन करने और मानव दर्शकों के प्रतिनिधि के रूप में कार्य करने के लिए विज़ुअलाइज़ेशन पाइपलाइनों में तेजी से तैनात किया जा रहा है। हालाँकि ये सिस्टम कार्य पूरा करने (task completion) के उच्च बेंचमार्क सटीकता प्रदर्शित करते हैं, लेकिन यह अभी भी अपुष्ट है कि क्या वे सूचना को उसी प्रकार व्यवस्थित करते हैं जैसे मानव दृष्टि द्वारा संचालित होने वाले 'परसेप्चुअल रेगुलैरिटीज़' (perceptual regularities) होते हैं। पारंपरिक मूल्यांकन क्षमता (जैसे, विज़ुअलाइज़ेशन साक्षरता स्कोर) को मापते हैं, लेकिन वे मानव-समान 'परसेप्चुअल ग्रुपिंग' से प्राप्त सही उत्तरों और मौलिक रूप से भिन्न, गैर-मानवीय तंत्रों से प्राप्त उत्तरों के बीच अंतर करने में विफल रहते हैं। यह शोध पत्र तर्क देता है कि उच्च सटीकता "मानव-समानता" (human-likeness) स्थापित नहीं करती है, जिसके लिए कार्य-प्रदर्शन मेट्रिक्स से हटकर संज्ञानात्मक मनोविज्ञान (cognitive psychology) के साथ व्यवहार संबंधी संरेखण (behavioral alignment) की ओर बढ़ने की आवश्यकता है।

कार्यप्रणाली (Methodology)
लेखक गेस्टाल्ट मनोविज्ञान (Gestalt psychology) पर आधारित एक व्यवहारिक मूल्यांकन बैटरी पेश करते हैं, जो विशेष रूप से क्लोजर (Closure) (अपूर्ण संरचनाओं का पूर्ण होना) और सिमिलैरिटी (Similarity) (साझा गुणों द्वारा समूहीकरण) के सिद्धांतों का परीक्षण करती है। नया मानव डेटा एकत्र करने के बजाय, कार्यप्रणाली पूर्व धारणा अध्ययनों से उत्तेजनाओं (stimuli) और प्रकाशित मानव व्यवहार संबंधी डेटा का पुन: उपयोग करती है।

यह बैटरी दो ट्रैक्स (चार्ट-आधारित और नेचुरल-इमेज कंट्रोल) के माध्यम से चार कार्यों से बनी है:

1. सिलुएट रिकग्निशन (Closure): भरे हुए सिलुएट्स (silhouettes) पर एक 16-वे फोर्स्ड-चॉइस टास्क, जहाँ बनावट (texture) और आंतरिक विवरण हटा दिए गए हैं। यहाँ मानव एंकर दस पर्यवेक्षकों की 'मोडल रिस्पॉन्स' (modal response) है।
2. मार्क-कलर ऑड-वन-आउट (Similarity): रंग के आधार पर मार्क्स के बीच बाहरी तत्व (outlier) की पहचान करना, जिसे क्राउडसोर्स्ड 'परसेप्चुअल कर्नेल' के विरुद्ध स्कोर किया जाता है।
3. कलर-सीरीज़ काउंटिंग (Similarity): एक चार्ट में विशिष्ट रंग श्रृंखलाओं की गिनती करना, जिसे प्रकाशित मानव क्षमता बैंड (6–12 श्रेणियाँ) के विरुद्ध स्कोर किया जाता है।
4. ऑब्जेक्ट ऑड-वन-आउट (Similarity): प्राकृतिक छवियों में सिमेंटिक आउटलायर की पहचान करना, जिसे THINGS डेटासेट के टेस्ट-रीटेस्ट सीलिंग के विरुद्ध स्कोर किया जाता है।

अध्ययन 5 प्रशिक्षण परिवारों के तहत 45 मॉडल्स का मूल्यांकन करता है: सुपरवाइज्ड एनकोडर, सेल्फ-सुपरवाइज्ड एनकोडर, कॉन्ट्रास्टिव विज़न-लैंग्वेज एनकोडर, ओपन-वेट VLMs, और क्लोज्ड फाउंडेशन मॉडल्स।

मेट्रिक्स
तीन पूरक मेट्रिक्स व्यवहारिक संरेखण को मात्रात्मक रूप से मापते हैं:

• व्यवहारिक सहमति (Behavioral Agreement - $B$): वह दर जिस पर मॉडल की प्रतिक्रिया मानव लक्ष्य (मोडल चॉइस या क्षमता बैंड) से मेल खाती है। यह केवल कौशल को नहीं, बल्कि 'मानव-समानता' को मापता है।
• व्यवहारिक त्रुटि निरंतरता (Behavioral Error Consistency - $\kappa$): यह मापने का एक तरीका कि क्या मॉडल उन्हीं विशिष्ट वस्तुओं पर त्रुटियां करता है जो मनुष्य करते हैं, उनकी संबंधित सटीकता के आधार पर संयोग से होने वाली त्रुटियों से परे। इसकी तुलना मानव-मानव निरंतरता सीलिंग से की जाती है।
• व्यवहारिक प्रभाव प्रतिकृति (Behavioral Effect Replication - $a(k)$): क्या विभिन्न श्रृंखला गणनाओं के माध्यम से मॉडल की सटीकता प्रोफाइल, मानव क्षमता वक्र (capacity curve) के आकार की नकल करती है।

मुख्य परिणाम

• सटीकता और मानव-समानता का पृथक्करण (Dissociation): उच्च बेंचमार्क सटीकता मानव-समान धारणात्मक संगठन के साथ संरेखण की गारंटी नहीं देती है। मॉडल विशिष्ट समूहीकरण कार्यों (जैसे, रंग समानता में शीर्ष प्रदर्शन करने वाला मॉडल रंग समानता कार्य में औसत हो सकता है) के आधार पर रैंकिंग में स्थान बदल सकते हैं।
• त्रुटि निरंतरता भिन्नता (Error Consistency Variance): जबकि 34/45 मॉडल्स ने मानव सटीकता को पार कर लिया, केवल चार मॉडल्स ने मानव-मानव सीलिंग ($\kappa$) के बराबर या उससे ऊपर की त्रुटि निरंतरता प्राप्त की। कई मॉडल्स, जिनमें कुछ क्लोज्ड फाउंडेशन मॉडल्स भी शामिल हैं, उच्च सटीकता प्रदर्शित करते हैं लेकिन मानव त्रुटि पैटर्न को दोहराने में विफल रहते हैं।
• परिवार-विशिष्ट गुण:
  • ओपन-वेट VLMs: आम तौर पर खराब प्रदर्शन किया, अधिकांश सिमेंटिक कार्यों में 'पोजीशन-गेसिंग फ्लोर' को पार करने में विफल रहे, जो यह दर्शाता है कि उनके द्वारा उत्पन्न उत्तर उनके अंतर्निहित विज़न टावर्स की ग्रुपिंग क्षमताओं को प्रतिबिंबित नहीं करते हैं।
  • क्लोज्ड फाउंडेशन मॉडल्स: मानव-समान ग्रुपिंग की ओर एक ब्लॉक-लेवल शिफ्ट दिखाया, जिसमें कई मॉडल्स (जैसे, Claude-Opus-4.6) ने मानव-स्तर की त्रुटि निरंतरता के साथ-साथ मानव-स्तर की सटीकता भी प्राप्त की। हालांकि, यह संरेखण पूरे टियर में समान नहीं है।
  • प्रशिक्षण उद्देश्य (Training Objectives): मॉडल किस प्रकार का ग्रुपिंग प्रदर्शित करता है, यह उसके आर्किटेक्चर के बजाय उसके प्रशिक्षण उद्देश्य (training objective) पर निर्भर करता है। सेल्फ-सुपरवाइज्ड ट्रेनिंग ने कलर सिमिलैरिटी में बढ़त दिखाई, जबकि कॉन्ट्रास्टिव विज़न-लैंग्वेज ट्रेनिंग ने सिमेंटिक ग्रुपिंग और शेप (आकार) में बढ़त दिखाई।
• कार्य विशिष्टता (Task Specificity): मानव-समान ग्रुपिंग एक वैश्विक गुण नहीं है; एक मॉडल जो एक कार्य पर मनुष्यों के साथ संरेखित होता है, वह दूसरे पर स्पष्ट रूप से भिन्न हो सकता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह विज़ुअलाइज़ेशन पाइपलाइनों में प्रवेश करने वाले विज़न मॉडल्स के ऑडिट के लिए एक पुन: प्रयोज्य, सिद्धांत-आधारित पैमाना (yardstick) प्रदान करता है। मौजूदा साइकोफिजिक्स डेटा का लाभ उठाकर, यह कार्यप्रणाली शोधकर्ताओं को यह निर्धारित करने की अनुमति देती है कि क्या कोई मॉडल चार्ट को उसी तरह "देखता" है जैसे कि मानव दर्शक देखते हैं, बिना नए उपयोगकर्ता अध्ययन किए।

लेखक का कहना है कि:

1. व्यवहार संबंधी ग्राउंडिंग मापने योग्य है: यह संभव है कि मॉडल मानव-समान गेस्टाल्ट सिद्धांतों के माध्यम से दृश्य सामग्री को कैसे व्यवस्थित करते हैं, इसका परिमाण निर्धारित किया जाए।
2. सटीकता अपर्याप्त है: पारंपरिक मेट्रिक्स धारणात्मक संगठन में महत्वपूर्ण अंतरों को छोड़ देते हैं; एक मॉडल "अधिक सटीक" हो सकता है फिर भी अपने ग्रुपिंग लॉजिक में "कम मानवीय" हो सकता है।
3. कार्य-सूचकांक मूल्यांकन (Task-indexed evaluation) आवश्यक है: कोई भी एकल स्कोर मॉडल को मानव प्रॉक्सी के रूप में प्रमाणित नहीं करता है। ऑडिट को कार्य के प्रति विशिष्ट (जैसे, मार्क्स को ग्रुप करना बनाम आकारों को पहचानना) और प्रशिक्षण परिवार के प्रति विशिष्ट होना चाहिए।
4. वर्तमान सीमाएँ: यह अध्ययन आइसोलेटेड मार्क्स और ऑब्जेक्ट्स (चार्ट के निर्माण खंड) पर केंद्रित है, न कि पूर्ण चार्ट संदर्भों (अक्ष, लीजेंड) पर, और इसमें केवल दो गेस्टाल्ट सिद्धांतों (क्लोजर और सिमिलैरिटी) को कवर किया गया है।

कार्य इस निष्कर्ष पर पहुँचता है कि हालांकि कुछ क्लोज्ड फाउंडेशन मॉडल्स ने मानव प्रॉक्सी के रूप में विशिष्ट कार्यों के लिए व्यवहारिक संरेखण का स्तर प्राप्त कर लिया है, लेकिन यह क्षमता केवल स्केल (पैमाने) के बजाय विशिष्ट प्रशिक्षण विधियों (training recipes) के माध्यम से अर्जित की गई है, और यह कार्य-निर्भर (task-dependent) बनी हुई है।