Structural Graph Probing of Vision-Language Models
यह शोध पत्र परतों को सहसंबंध ग्राफ़ (correlation graphs) के रूप में निरूपित करके विजन-लैंग्वेज मॉडल्स का विश्लेषण करने के लिए स्ट्रक्चरल ग्राफ़ प्रोबिंग प्रस्तुत करता है, जो यह प्रकट करता है कि आवर्ती हब न्यूरॉन्स (recurrent hub neurons) का एक संक्षिप्त सेट एक व्यवहारिक रूप से सार्थक टोपोलॉजी बनाता है जो विभिन्न मोडैलिटीज़ और गहराई के बीच संचित होता है, जिससे स्थानीय एट्रिब्यूशन (local attribution) और पूर्ण सर्किट रिकवरी के बीच व्याख्यात्मकता के लिए एक सुलभ मध्यवर्ती पैमाना प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विजन-लैंग्वेज मॉडल (VLM) जैसे कि InternVL या LLaVA की कल्पना एक विशाल, हलचल भरे शहर के रूप में करें।
आमतौर पर, जब हम यह समझने की कोशिश करते हैं कि ये AI मॉडल कैसे काम करते हैं, तो हम व्यक्तिगत नागरिकों (न्यूरॉन्स) को देखने वाले व्यक्तिगत शहर निरीक्षकों की तरह व्यवहार करते हैं। हम पूछते हैं: "क्या इस विशिष्ट न्यूरॉन ने तब सक्रियता दिखाई जब AI ने एक बिल्ली देखी?" या "क्या इस न्यूरॉन ने AI को 'डॉग' शब्द लिखने में मदद की?"
लेकिन यह शोध पत्र तर्क देता है कि व्यक्तिगत नागरिकों को देखना बड़े चित्र को समझने से चूक जाता है। यह वैसा ही है जैसे ट्रैफिक जाम को समझने के लिए केवल एक कार को देखने के बजाय, यातायात के प्रवाह, चौराहों और मुख्य राजमार्गों को देखना।
लेखक इन AI मॉडलों को देखने का एक नया तरीका प्रस्तावित करते हैं: न्यूरल टोपोलॉजी (Neural Topology)। व्यक्तिगत न्यूरॉन्स को गिनने के बजाय, वे उनके बीच के संबंधों का मानचित्रण करते हैं। वे AI की प्रत्येक परत (layer) को एक सोशल नेटवर्क ग्राफ के रूप रूप में देखते हैं, जहाँ "दोस्त" वे न्यूरॉन्स हैं जो एक साथ सक्रिय होते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं के साथ विवरण दिया गया है:
1. "सोशल नेटवर्क" का मानचित्र
कल्पना कीजिए कि आप एक बड़ी पार्टी में हैं (AI एक छवि और एक प्रश्न को प्रोसेस कर रहा है)।
- पुराना तरीका: आप एक व्यक्ति (न्यूरॉन) को देखते हैं और नोट करते हैं कि उसने क्या कहा।
- नया तरीका (यह शोध पत्र): आप एक नक्शा बनाते हैं कि कौन किससे बात कर रहा है। आप देखते हैं कि जबकि व्यक्ति A और व्यक्ति B अलग-अलग खड़े हैं, वे वास्तव में बिल्कुल एक ही समय में एक ही रहस्य फुसफुसा रहे हैं।
शोधकर्ताओं ने AI की प्रत्येक परत के लिए ये "दोस्ती के नक्शे" बनाए। उन्होंने पाया कि इन नक्शों में एक छिपा हुआ कोड है जो भविष्यवाणी करता है कि AI आगे क्या करेगा। यदि आप दोस्ती के नेटवर्क के आकार को जानते हैं, तो आप अनुमान लगा सकते हैं कि AI सही उत्तर देगा या गलती (hallucination) करेगा।
2. "हब" पड़ोसी
किसी भी सोशल नेटवर्क में, हमेशा कुछ "सुपर-कनेक्टर्स" होते हैं—ऐसे लोग जो सभी को जानते हैं और बातचीत के केंद्र में होते हैं। AI में, इन्हें हब न्यूरॉन्स (Hub Neurons) कहा जाता है।
- खोज: शोधकर्ताओं ने पाया कि ये हब न्यूरॉन्स अविश्वसनीय रूप से स्थिर हैं। आप AI को चाहे कोई भी छवि या प्रश्न दें, वही कुछ न्यूरॉन्स हमेशा कमरे के बीच में "लोकप्रिय बच्चों" की तरह बने रहते हैं।
- परीक्षण: उन्होंने इन हब्स को "चुप" कराने की कोशिश की (जैसे लोकप्रिय बच्चों को पार्टी छोड़ने के लिए कहना)।
- परिणाम: AI का प्रदर्शन गिर गया। वह भ्रमित हो गया, गलत गिनती करने लगा, या ऐसी चीजों का वर्णन करने लगा जो वहाँ थीं ही नहीं।
- सीख: ये हब्स संरचनात्मक स्तंभ हैं जो AI के तर्क (reasoning) को थामे रखते हैं। यदि आप उन्हें हटा देते हैं, तो पूरी इमारत हिल जाती है।
3. "शहर की भाषा"
इस शोध पत्र ने यह भी देखा कि AI विज़न (छवियों) और लैंग्वेज (टेक्स्ट) को कैसे संभालता है।
- प्रारंभिक परतें (Early Layers): AI के निचले स्तर पर (प्रारंभिक परतों में), "विज़न के लोग" और "टेक्स्ट के लोग" ज्यादातर अपने अलग-अलग समूहों में, अपने स्वयं के घेरों के भीतर बातचीत कर रहे होते हैं।
- गहरी परतें (Deep Layers): जैसे-जैसे आप AI में ऊपर जाते हैं (गहरी परतों में), ये दो समूह आपस में मिलने लगते हैं। "विज़न के लोग" और "टेक्स्ट के लोग" हाथ मिलाने लगते हैं और एक एकीकृत समूह बनाने लगते हैं।
- अंतर्दृष्टि: AI केवल एक तस्वीर नहीं देखता और फिर एक वाक्य नहीं पढ़ता; जैसे-जैसे जानकारी परतों के माध्यम से आगे बढ़ती है, यह दोनों को एक एकल, जटिल टेपेस्ट्री (तंतुकी रचना) में बुनता जाता है। "हब न्यूरॉन्स" ही वे हैं जो बुनाई का काम कर रहे हैं।
4. यह क्यों महत्वपूर्ण है
AI को एक जटिल मशीन के रूप में सोचें।
- पुरानी व्याख्यात्मकता (Interpretability): "यह गियर (न्यूरॉन) तब घूमता है जब हम एक लाल गेंद देखते हैं।" (बहुत विशिष्ट, बड़े चित्र को छोड़ देता है)।
- इस शोध पत्र का दृष्टिकोण: "पूरा ट्रांसमिशन सिस्टम (टोपोलॉजी) एक केंद्रीय धुरी (हब) के चारों ओर व्यवस्थित है। यदि हम धुरी को गलत दिशा में घुमाते हैं, तो कार पीछे चली जाएगी।"
मुख्य निष्कर्ष:
इन AI मॉडलों के सोचने के तरीके को वास्तव में समझने के लिए, हमें केवल भागों की सूची नहीं बनानी चाहिए। हमें भागों के बीच के संबंधों की संरचना को समझने की आवश्यकता है। AI के भीतर बातचीत का "आकार" किसी भी एकल न्यूरॉन के शब्दों की तुलना में उसकी बुद्धिमत्ता के बारे में अधिक बताता है।
इन सोशल नेटवर्क्स का मानचित्रण करके, शोधकर्ताओं ने AI को समझने के लिए एक "स्वीट स्पॉट" (उपयुक्त बिंदु) खोजा है: यह केवल इनपुट को देखने की तुलना में अधिक विस्तृत है, लेकिन मशीन के हर एक तार को ट्रेस करने की तुलना में विश्लेषण करने में बहुत आसान है। यह समझने जैसा है कि संगीत को समझने के लिए आपको केवल वायलिन को नहीं सुनना है; आपको यह सुनना है कि वायलिन सेक्शन ड्रम के साथ कैसे सामंजस्य बिठाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।