💻 computer science

Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models

यह शोध पत्र एक साइकोफिजिक्स-आधारित ढांचे को प्रस्तुत करता है जो यह प्रदर्शित करता है कि विजन फाउंडेशन मॉडल्स (vision foundation models) निरंतर सुपरवाइज्ड समकक्षों की तुलना में कम मानव-व्याख्या योग्य (human-interpretable) हैं, जो यह प्रकट करता है कि व्याख्यात्मकता (interpretability) समग्र मॉडल क्षमता के बजाय फीचर लोकैलिटी (feature locality) और मोटे तौर पर सिमेंटिक संरेखण (coarse-grained semantic alignment) द्वारा संचालित एक स्वतंत्र आयाम है।

मूल लेखक: Julien Colin, Lore Goetschalckx, Nuria Oliver, Thomas Serre

प्रकाशित 2026-05-21

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Julien Colin, Lore Goetschalckx, Nuria Oliver, Thomas Serre

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ा सवाल: क्या हम AI के "दिमाग" को समझ सकते हैं?

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो अविश्वसनीय सटीकता के साथ बिल्ली, कार या ट्रैफिक लाइट की पहचान कर सकता है। वह अपने काम में इतना अच्छा है कि उसका उपयोग कार चलाने और डॉक्टरों को बीमारियों का निदान करने में मदद करने के लिए किया जा रहा है। लेकिन समस्या यह है: वह वास्तव में दुनिया को कैसे "देखता" है?

यदि आप रोबोट से पूछें, "इस तस्वीर के किस हिस्से ने तुम्हें सोचने पर मजबूर किया कि यह एक बिल्ली है?" तो उसके पास कोई आवाज़ नहीं है। उसके पास केवल आंतरिक संकेत (फीचर्स) हैं जो चमकते हैं। यह शोध पत्र जो बड़ा सवाल पूछता है वह यह है: क्या एक साधारण इंसान उन संकेतों को देखकर समझ सकता है कि उनका क्या अर्थ है?

लेखक इसे इंटरप्रिटेबिलिटी (Interpretability - व्याख्यात्मकता) कहते हैं। यह इस बारे में नहीं है कि रोबोट कितना स्मार्ट है (उसकी क्षमता); यह इस बारे में है कि उसकी सोच हमारे लिए कितनी स्पष्ट है।

पुराना तरीका बनाम नया तरीका

पुराना तरीका ("बहुविकल्पीय" जाल):
पिछले परीक्षणों में यह देखने की कोशिश की जाती थी कि क्या इंसान AI फीचर्स को समझते हैं, इसके लिए उन्हें तस्वीरें दिखाई जाती थीं और पूछा जाता था, "इन दो तस्वीरों में से कौन सी तस्वीर AI के संकेत से मेल खाती है?"

दोष: लेखकों ने पाया कि इस पद्धति में एक चाल थी। इंसान अक्सर सही उत्तर केवल यह जानकर भी दे देते थे कि वह फीचर क्या नहीं था।
- उदाहरण: कल्पना कीजिए कि मैं आपको एक मक्के के खेत की तस्वीर दिखाता हूँ और एक समुद्र तट की तस्वीर दिखाता हूँ, और मैं कहता हूँ, "यह AI संकेत मक्के के बारे में नहीं है।" आप आसानी से समुद्र तट को चुन सकते हैं, भले ही आपको पता न हो कि वह संकेत वास्तव में क्या है। आप केवल गलत उत्तर को हटा रहे हैं, न कि वास्तव में संकेत को समझ रहे हैं। इसने परीक्षण को अनुचित और अविश्वसनीय बना दिया।

नया तरीका ("जासूस" ढांचा):
लेखकों ने एक नया, अधिक निष्पक्ष परीक्षण बनाया जिसमें दो भाग हैं, जैसे एक जासूस रहस्य सुलझाने की कोशिश कर रहा हो:

लोकलाइज़ेबिलिटी (Localizability - "कहाँ" का खेल):
- सेटअप: आपको एक "रहस्यमय संकेत" दिखाया जाता है और साथ में उन चीज़ों के कुछ उदाहरण दिखाए जाते हैं जो उसे ट्रिगर करते हैं (जैसे, एक टायर की तस्वीर, या एक हीटमैप जो दिखाता है कि संकेत कहाँ चमक रहा है)।
- कार्य: आपको एक नई तस्वीर दिखाई जाती है और आपसे पूछा जाता है कि क्लिक करें कि आपके अनुसार वह संकेत कहाँ चमकेगा।
- लक्ष्य: क्या आप छवि के उस विशिष्ट भाग (जैसे टायर) की ओर इशारा कर सकते हैं जो संकेत से मेल खाता है?
नेमेबिलिटी (Nameability - "क्या" का खेल):
- सेटअप: ऊपर दिए गए विजुअल संकेतों की तरह ही।
- कार्य: आपको उस चीज़ का छोटा विवरण लिखना होगा कि वह संकेत क्या दर्शाता है।
- लक्ष्य: क्या आप इसे शब्दों में वर्णित कर सकते हैं? (जैसे, "यह एक कार का पहिया है" या "यह एक लाल ट्रैफिक लाइट है")।

यह सुनिश्चित करने के लिए कि वे केवल शुद्ध "फीचर्स" का परीक्षण कर रहे हैं और न कि उलझे हुए, मिले-जुले न्यूरॉन्स का, उन्होंने एक विशेष टूल (एक स्पार्स ऑटोएनकोडर) का उपयोग किया ताकि एकल, स्पष्ट अवधारणाओं को अलग किया जा सके, जैसे स्मूदी से अलग-अलग सामग्रियों को अलग करना।

चौंकाने वाली खोज: स्मार्ट होने का मतलब स्पष्ट होना नहीं है

शोधकर्ताओं ने छह अलग-अलग AI मॉडल का परीक्षण किया:

2 पुराने मॉडल: पारंपरिक, सुपर्वाइज्ड तरीके से प्रशिक्षित (एक शिक्षक के साथ छात्र की तरह)।
4 "फाउंडेशन" मॉडल: नए, विशाल, सुपर-शक्तिशाली मॉडल (जैसे DINO, CLIP) जो पूरे इंटरनेट पर प्रशिक्षित हैं और लगभग सब कुछ कर सकते हैं।

परिणाम:
"फाउंडेशन" मॉडल पुराने, सरल मॉडलों की तुलना में कम व्याख्या योग्य (less interpretable) थे।

उपमा: कल्पना कीजिए कि पुराने मॉडल एक ऐसे छात्र की तरह हैं जिसने पाठ्यपुस्तक रटकर सीखी है। आप आसानी से उनसे पूछ सकते हैं, "आपने वह उत्तर क्यों चुना?" और वे एक स्पष्ट कारण देते हैं।
नए फाउंडेशन मॉडल एक ऐसे जीनियस की तरह हैं जिसने मानव ज्ञान के पूरे पुस्तकालय को पढ़कर सीखा है। वे स्मार्ट हैं और कठिन समस्याओं को हल कर सकते हैं, लेकिन यदि आप उनसे उनके तर्क को समझाने के लिए कहते हैं, तो वे आपको एक अस्पष्ट, भ्रमित करने वाला उत्तर देते हैं। उनके आंतरिक "विचार" मनुष्यों के लिए पकड़ में आना कठिन हैं।

महत्वपूर्ण बात: "स्मार्ट" होना मददगार साबित नहीं हुआ। शोध पत्र में पाया गया कि मॉडल के प्रदर्शन (जैसे वस्तुओं की पहचान करना) और मनुष्यों द्वारा उसके फीचर्स को समझने की आसानी के बीच कोई संबंध नहीं था। एक बेहतर ड्राइवर होने का मतलब यह नहीं है कि आपका दिमाग पढ़ना आसान है।

कौन सा फीचर समझने में आसान बनाता है?

लेखकों ने दो विशिष्ट चीजें पाईं जो AI के "विचारों" को समझने में आसान बनाती हैं:

लोकैलिटी (Locality - "स्पॉटलाइट" प्रभाव):
- यदि कोई फीचर एक छोटे, विशिष्ट स्थान पर चमकता है (जैसे कार का केवल टायर), तो इंसान उसे आसानी से समझ सकते हैं।
- यदि कोई फीचर एक साथ हर जगह चमकता है (जैसे पूरी कार और सड़क और आसमान), तो इंसान भ्रमित हो जाते हैं। नए फाउंडेशन मॉडलों में ऐसे "डिफ्यूज" (फैले हुए) संकेत होते हैं जो बहुत बड़े क्षेत्र को कवर करते हैं।
- उपमा: भीड़ में किसी व्यक्ति को ढूंढना आसान है यदि उसने एक चमकीली लाल टोपी (लोकल) पहनी हो, बजाय इसके कि वह बस भीड़ के "सामान्य माहौल" (डिफ्यूज) का हिस्सा हो।
कोर्स-ग्रेन्ड अलाइनमेंट (Coarse-Grained Alignment - "बड़ी तस्वीर" का मिलान):
- इंसान दुनिया को व्यापक श्रेणियों (जैसे, "जानवर," "वाहन") में समझते हैं। यदि AI अपने फीचर्स को इन बड़ी श्रेणियों के साथ व्यवस्थित करता है, तो इंसान उसे बेहतर समझते हैं।
- यदि AI बहुत सूक्ष्म, अति-विशिष्ट विवरणों (जैसे एक तितली के पंख की सटीक बनावट बनाम दूसरी तितली की बनावट) पर ध्यान केंद्रित करता है, तो इंसान को इसे समझना वास्तव में कठिन लगता है।
- उपमा: यदि मैं मुझे "उत्तरी अमेरिका" और "दक्षिणी अमेरिका" दिखाकर एक नक्शा समझाता हूँ (कोर्स), तो यह किसी शहर की हर एक गली के विशिष्ट आकार को समझाने की तुलना में आसान है (फाइन-ग्रेन्ड)।

एक उज्ज्वल बिंदु: DINOv3

वहाँ एक अपवाद था। DINOv3 नामक एक मॉडल था जो बहुत सक्षम भी था और बहुत व्याख्या योग्य भी। क्यों? क्योंकि इसे बनाने वालों ने विशेष रूप से इसे "लोकल" फीचर्स (ऐसी चीजें जो विशिष्ट स्थानों पर चमकती हैं) खोजने के लिए प्रोग्राम किया था। यह साबित करता है कि हम स्मार्ट मॉडल भी बना सकते हैं जो समझने में आसान भी हों, लेकिन हमें इस लक्ष्य के साथ उन्हें डिजाइन करना होगा।

सारांश

क्षमता $\neq$ व्याख्यात्मकता (Capability $\neq$ Interpretability): सिर्फ इसलिए कि एक AI बहुत स्मार्ट है, इसका मतलब यह नहीं है कि हम समझ सकते हैं कि वह कैसे सोचता है। वास्तव में, नवीनतम, सबसे स्मार्ट मॉडल अक्सर समझने में सबसे कठिन होते हैं।
अंतराल (The Gap): "काम को अच्छी तरह करने" और "काम को स्पष्ट रूप से समझाने" के बीच एक अंतर है।
समाधान: AI को पारदर्शी बनाने के लिए, हमें उन्हें विशिष्ट, स्थानीय विवरणों पर ध्यान केंद्रित करने और अपने ज्ञान को व्यापक, मानव-समान श्रेणियों में व्यवस्थित करने के लिए प्रशिक्षित करने की आवश्यकता है, न कि केवल उन्हें बड़ा और अधिक शक्तिशाली बनाने की।

शोध पत्र निष्कर्ष निकालता है कि हम यह मान नहीं सकते कि जैसे-जैसे AI स्मार्ट होता जाएगा, वह स्वाभाविक रूप से अधिक समझने योग्य भी हो जाएगा। हमें स्पष्टता को शुरुआत से ही इसमें शामिल करना होगा।

तकनीकी सारांश: क्षमता $\neq$ व्याख्यात्मकता: विजन फाउंडेशन मॉडल्स की मानवीय व्याख्यात्मकता

समस्या विवरण

जैसे-जैसे विजन फाउंडेशन मॉडल्स (जैसे, CLIP, DINOv2, SigLIP) अनुसंधान बेंचमार्क से उच्च-जोखिम वाले अनुप्रयोगों (नैदानिक निर्णय सहायता, स्वायत्त ड्राइविंग) की ओर बढ़ रहे हैं, उनकी आंतरिक प्रस्तुतियों (internal representations) को समझना महत्वपूर्ण हो जाता है। हालाँकि, मौजूदा मूल्यांकन प्रोटोकॉल विभिन्न मॉडलों के बीच मानवीय व्याख्यात्मकता (human interpretability) को विश्वसनीय रूप से मापने और तुलना करने में विफल रहते हैं। पूर्ववर्ती विधियाँ दो मुख्य सीमाओं से ग्रस्त हैं:

बहु-अर्थीता (Polysemanticity): वे अक्सर व्यक्तिगत न्यूरॉन्स पर निर्भर करती हैं, जो कई अवधारणाओं (superposition) को कूटबद्ध करते हैं, जिससे एकल विशेषताओं को अलग करना जटिल हो जाता है।
पद्धतिगत आर्टिफैक्ट्स (Methodological Artifacts): पिछले साइकोफिजिक्स प्रोटोकॉल (जैसे, फोर्स्ड-चॉइस कार्य) प्रतिभागियों को यह पहचानकर कार्य हल करने की अनुमति देते हैं कि कोई विशेषता क्या नहीं है (उन्मूलन की प्रक्रिया), बजाय इसके कि वह क्या है। यह मॉडल-विशिष्ट चांस-लेवल बेसलाइन की ओर ले जाता है जो विभिन्न आर्किटेक्चरों के बीच कच्चे सटीकता स्कोर को तुलनीय नहीं बनाता है।

परिणामस्वरूप, यह एक खुला प्रश्न बना हुआ है कि क्या फाउंडेशन मॉडल्स की श्रेष्ठ क्षमता उनके फीचर्स के मनुष्यों के लिए अधिक व्याख्या योग्य होने के साथ सह-संबंधित है।

कार्यप्रणाली

लेखक दो पूरक साइकोफिजिक्स प्रोटोकॉल का उपयोग करके मानवीय व्याख्यात्मकता को मापने के लिए एक ढांचा पेश करते हैं, जिसे छह विजन ट्रांसफॉर्मर (दो सुपरवाइज्ड ViTs और चार फाउंडेशन मॉडल्स: DINOv2, DINOv3, CLIP, SigLIP) पर लागू किया गया है।

1. फीचर निष्कर्षण और चयन (Feature Extraction & Selection):

मोनोसेमेंटिक आधार (Monosemantic Basis): कच्चे न्यूरॉन्स का विश्लेषण करने के बजाय, लेखक ImageNet एक्टिवेशन पर प्रशिक्षित स्पार्स ऑटोएनकोडर्स (SAEs) का उपयोग करते हैं ताकि मोनोसेमेंटिक दिशाओं का एक डिक्शनरी प्राप्त की जा सके। यह सुनिश्चित करता है कि प्रत्येक परीक्षण की गई इकाई एक एकल अवधारणा के अनुरूप हो।
प्रासंगिकता फ़िल्टरिंग (Relevance Filtering): विशेषताओं का चयन ImageNet पर प्रशिक्षित एक लीनियर प्रोब (Gradient $\times$ Input का उपयोग करके) में उनके योगदान के आधार पर किया जाता है। घने (dense) फीचर्स (जो अधिकांश इनपुट पर सक्रिय होते हैं) को बाहर रखा जाता है।
मानकीकृत एंकरिंग (Standardized Anchoring): निष्पक्ष तुलना सुनिश्चित करने के लिए, फीचर चयन रैंडम सैंपलिंग के बजाय साझा इनपुट छवियों पर एंकर किया गया है, और स्कोर को एक सामान्य चांस लेवल के विरुद्ध कैलिब्रेट किया गया है।

2. साइकोफिजिक्स प्रोटोकॉल (Psychophysics Protocols):
प्रतिभागियों (377 वैध विषय, 13,400 प्रतिक्रियाएं) को एक फीचर के दृश्य स्पष्टीकरण (सिंथेटिक विज़ुअलाइज़ेशन, अत्यधिक सक्रिय प्राकृतिक चित्र, और RISE हीटमैप) के साथ प्रस्तुत किया गया था और उनसे दो कार्यों में से एक करने के लिए कहा गया था:

स्थानीयकरण (कहाँ) (Localizability - Where): प्रतिभागी एक नवीन छवि पर क्लिक करते हैं जहाँ उन्हें विश्वास है कि वह फीचर सक्रिय होता है। हीटमैप के अनुभवजन्य संचयी वितरण (empirical cumulative distribution) के आधार पर स्कोर को एक चांस-एंकर्ड स्केल ( $s=0.5$ ) पर मैप किया जाता है, जो स्पार्स बनाम विसरित (diffuse) सक्रियणों के लिए सामान्यीकरण करता है।
नामकरण (क्या) (Nameability - What): प्रतिभागी फीचर का मुक्त-पाठ (free-text) विवरण प्रदान करते हैं। विवरणों को फीचर के पीक एक्टिवेशन पर केंद्रित क्रॉप्स के टेक्स्ट एम्बेडिंग और CLIP इमेज एम्बेडिंग्स के बीच औसत कोसाइन समानता (mean cosine similarity) की गणना करके स्कोर किया जाता है।

3. विश्लेषण (Analysis):
अध्ययन व्याख्यात्मकता स्कोर और निम्नलिखित के बीच संबंध का विश्लेषण करता है:

डाउनस्ट्रीम टास्क प्रदर्शन (ImageNet वर्गीकरण, सिमेंटिक सेगमेंटेशन, पर्सेप्टुअल ग्रुपिंग)।
प्रतिनिधि गुण (Representational properties): लोकैलिटी (एक्टिवेशंस की Hoyer sparsity) और मानवीय संरेखण (दृश्य रणनीतियाँ, मोटे-दानेदार बनाम सूक्ष्म-दानेदार सिमेंटिक समानता निर्णय)।

मुख्य परिणाम

1. फाउंडेशन मॉडल्स कम व्याख्या योग्य हैं:
इस धारणा के विपरीत कि बड़े, अधिक सक्षम मॉडल अधिक पारदर्शी होते हैं, परीक्षण किए गए प्रत्येक फाउंडेशन मॉडल ने अपने सुपरवाइज्ड समकक्षों (ViT-S और ViT-B) की तुलना में कम व्याख्या योग्य फीचर्स उत्पन्न किए। यह अंतर विजन-ओनली सेल्फ-सुपरवाइज्ड मॉडल्स (DINOv2, DINOv3) और विजन-लैंग्वेज मॉडल्स (CLIP, SigLIP) दोनों के लिए बना हुआ है।

नोट: DINOv2 ने उच्चतम प्रतिभागी आत्मविश्वास उत्पन्न किया लेकिन सबसे कम व्याख्या योग्य मॉडलों में से एक रहा, जो इस बात पर प्रकाश डालता है कि "महसूस" करना व्याख्या योग्य होने के बराबर नहीं है।

2. व्याख्यात्मकता क्षमता के लंबवत (Orthogonal) है:
एक मॉडल के डाउनस्ट्रीम टास्क प्रदर्शन (वर्गीकरण, सेगमेंटेशन, ग्रुपिंग) और उसके मानवीय व्याख्यात्मकता स्कोर के बीच कोई महत्वपूर्ण सहसंबंध नहीं है। उच्च क्षमता उच्च व्याख्यात्मकता की गारंटी नहीं देती है, और न ही यह अनिवार्य रूप से इसके विरुद्ध ट्रेड-ऑफ करती है; वे प्रतिनिधित्व गुणवत्ता के स्वतंत्र आयाम प्रतीत होते हैं।

3. व्याख्यात्मकता के भविष्यवक्ता (Predictors of Interpretability):
दो प्रतिनिधि गुण व्याख्यात्मकता की भविष्यवाणी करते हैं:

लोकैलिटी (Locality): फोकल, स्थानिक रूप से सीमित सक्रियण (उच्च Hoyer sparsity) वाले फीचर्स, विसरित (diffuse) फीचर्स की तुलना में काफी अधिक व्याख्या योग्य होते हैं। DINOv3, जो अपने प्रशिक्षण उद्देश्य में स्पष्ट रूप से स्थानीय फीचर्स को बढ़ावा देता है, एक काउंटर-एग्जांपल के रूप में कार्य करता है, जो फाउंडेशन मॉडल्स के बीच उच्च व्याख्यात्मकता दिखाता है।
मोटे-दानेदार सिमेंटिक संरेखण (Coarse-Grained Semantic Alignment): मोटे-दानेदार मानवीय समानता निर्णयों (व्यापक श्रेणी संरचना) के साथ संरेखण, व्याख्यात्मकता के साथ सह-संबंधित है। इसके विपरीत, सूक्ष्म-दानेदार (fine-grained) संवेदी संरेखण (श्रेणी के भीतर अंतर) और मानवीय दृश्य रणनीतियों (अटेंशन मैप्स) के साथ संरेखण व्याख्यात्मकता की भविष्यवाणी नहीं करते हैं।

महत्व और दावे

यह शोध पत्र स्थापित करता है कि केवल क्षमता फाउंडेशन मॉडल्स और सुपरवाइज्ड बेसलाइन्स के बीच की व्याख्यात्मकता की खाई को पाट नहीं सकती है। लेखक दावा करते हैं कि:

व्याख्यात्मकता एक विशिष्ट, मापने योग्य आयाम है: यह पैमाने या डाउनस्ट्रीम प्रदर्शन का उप-उत्पाद नहीं है।
"फाउंडेशन मॉडल गैप" वास्तविक है: बेंचमार्क पर सुपरवाइज्ड मॉडल्स को पछाड़ते हुए भी, फाउंडेशन मॉडल्स ऐसे प्रतिनिधित्व सीखते हैं जो मनुष्यों के लिए कम पठनीय होते हैं।
डिज़ाइन निहितार्थ: अधिक व्याख्या योग्य मॉडल बनाने के लिए, प्रशिक्षण उद्देश्यों को स्पष्ट रूप से स्थानीय फीचर सक्रियणों को बढ़ावा देना चाहिए और प्रतिनिधित्व को मोटे-दानेदार मानवीय सिमेंटिक संरचनाओं के साथ संरेखित करना चाहिए, न कि केवल पैमाने या सूक्ष्म-दानेदार संवेदी संरेखण पर निर्भर रहना चाहिए।

अध्ययन निष्कर्ष निकालता है कि जबकि फाउंडेशन मॉडल्स बेहतर सामान्यीकरण (generalization) प्रदान करते हैं, उनके आंतरिक फीचर्स अक्सर "सुपरह्यूमन" होते हैं जो मानवीय समझ को धुंधला कर देते हैं, जिसके लिए उच्च-जोखिम वाले अनुप्रयोगों में व्याख्यात्मकता को पुनः प्राप्त करने के लिए स्पष्ट डिज़ाइन विकल्पों की आवश्यकता होती है।