🤖 machine learning

Descriptive Collision in Sparse Autoencoder Auto-Interpretability: When One Explanation Describes Many Features

यह शोध पत्र "डिस्क्रिप्टिव कोलिजन" (descriptive collision) को पहचानता और औपचारिक रूप देता है, जो स्पार्स ऑटोएन्कोडर व्याख्यात्मकता (sparse autoencoder interpretability) में एक पूर्व में अनदेखा किया गया विफलता मोड है जहाँ विशिष्ट विशेषताएं समान प्राकृतिक-भाषा स्पष्टीकरण साझा करती हैं, और ऐसे गैर-विभेदक एनोटेशन को दंडित करने के लिए नए मेट्रिक्स प्रस्तावित करता है जो कृत्रिम रूप से रिपोर्ट की गई व्याख्यात्मकता को बढ़ाते हैं।

मूल लेखक: Jordan F. McCann

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jordan F. McCann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास लाखों अनूठी किताबों वाला एक विशाल पुस्तकालय है (ये एक स्मार्ट कंप्यूटर प्रोग्राम के अंदर के "फीचर्स" हैं)। इस पुस्तकालय को समझने के लिए, आप लाइब्रेरियन की एक टीम को काम पर रखते हैं जो हर एक किताब के लिए एक संक्षिप्त, एक-वाक्य का सारांश लिखेगी।

लक्ष्य यह है कि यदि आप सारांश पढ़ें, तो आप उस सटीक किताब को ढूंढ सकें और कोई दूसरी नहीं।

हालाँकि, यह शोध पत्र इस बात पर एक बड़ी समस्या उजागर करता है कि वर्तमान में ये सारांश कैसे लिखे जा रहे हैं। लेखक इसे "डिस्क्रिप्टिव कोलिजन" (Descriptive Collision) कहता है।

समस्या और प्रस्तावित समाधान का विवरण यहाँ दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: बहुत अधिक किताबें, बहुत कम लेबल

कल्पना कीजिए कि आपके पुस्तकालय में 1,000 अलग-अलग किताबें हैं। लाइब्रेरियन से प्रत्येक के लिए एक छोटा लेबल लिखने को कहा गया है।

वास्तविकता: 1,000 अलग-अलग विवरण लिखने के बजाय, लाइब्रेरियन बार-बार उन्हीं कुछ वाक्यांशों का पुन: उपयोग कर रहे हैं।
उदाहरण: वाक्यांश "Plural Nouns" (बहुवचन संज्ञा) का उपयोग 101 अलग-अलग किताबों के लेबल के रूप में किया गया है।
परिणाम: यदि आप "Plural Nouns" लेबल वाली किताब देखते हैं, तो आपको पता ही नहीं चलेगा कि आप वास्तव में उन 101 विशिष्ट किताबों में से कौन सी देख रहे हैं। यह बिल्कुल वैसा ही है जैसे एक कमरे में 101 अलग-अलग लोग हों और उन सभी ने एक ही नाम का टैग पहना हो जिस पर "John" लिखा हो। यदि आप "John" को पुकारते हैं, तो 101 के 101 लोग मुड़कर देखेंगे। आपने किसी विशिष्ट व्यक्ति की पहचान नहीं की है; आपने केवल एक समूह की पहचान की है।

इस पेपर ने 722 फीचर्स के एक वास्तविक डेटासेट का विश्लेषण किया और पाया कि उनमें से 82% अपने लेबल को किसी अन्य फीचर के साथ साझा करते हैं। वास्तव में, सबसे सामान्य लेबल ("plural nouns") को कंप्यूटर मॉडल के विभिन्न हिस्सों में 101 विशिष्ट फीचर्स द्वारा साझा किया गया था।

2. वर्तमान परीक्षण इसे क्यों नहीं पकड़ पाते

वर्तमान में, शोधकर्ता यह परीक्षण करने के लिए कि क्या एक लेबल "अच्छा" है, यह पूछते हैं: "क्या यह लेबल सटीक रूप से बताता है कि क्या होता है जब यह फीचर सक्रिय होता है?"

दोष: पेपर का तर्क है कि यह परीक्षण कोलिजन (टकराव) की समस्या के प्रति अंधा है।
उपमा: कल्पना कीजिए कि आप यह परीक्षण कर रहे हैं कि क्या "John" नाम का टैग एक विशिष्ट व्यक्ति के लिए एक अच्छा विवरण है। आप पूछते हैं, "क्या यह व्यक्ति 'John' के नाम पर प्रतिक्रिया देता है?" उत्तर है "हाँ।" इसलिए, परीक्षण कहता है कि लेबल एकदम सही है।
वास्तविकता: परीक्षण यह नहीं पूछता कि "क्या केवल यही व्यक्ति 'John' पर प्रतिक्रिया देता है?" क्योंकि अन्य 100 लोग भी "John" पर प्रतिक्रिया देते हैं, इसलिए लेबल इस विशिष्ट व्यक्ति की पहचान करने में विफल रहता, भले ही वह तकनीकी रूप से सभी के लिए "सत्य" हो।

पेपर गणितीय रूप से सिद्ध करता है कि जब तक कोई लेबल फीचर का सही वर्णन करता है, वर्तमान स्कोरिंग सिस्टम उसे उच्च स्कोर देंगे, भले ही वह लेबल दर्जनों अन्य फीचर्स के साथ साझा किया गया हो।

3. प्रस्तावित समाधान: "डिस्टिंग्विशर" (Distinguisher) टेस्ट

लेखक का सुझाव है कि हमें इन लेबल्स को ग्रेड करने का एक नया तरीका चाहिए। केवल यह पूछने के बजाय कि "क्या यह लेबल सत्य है?", हमें पूछना चाहिए, "क्या यह लेबल इस फीचर को उसके पड़ोसियों से अलग कर सकता है?"

वे दो नई विधियाँ प्रस्तावित करते हैं:

डिस्क्रिमिनेशन स्कोरिंग (Discrimination Scoring): यह "अंतर पहचानें" (spot the difference) खेल की तरह है। आप एक फीचर और उसका लेबल लेते हैं, और उसकी तुलना एक "पड़ोसी" फीचर से करते हैं जो बहुत समान है।
- परीक्षण: "यहाँ एक वाक्य है। क्या 'Plural Nouns' लेबल हमें बताता है कि फीचर A सक्रिय है, या फीचर B (जो संज्ञाओं के बारे में भी है) सक्रिय है?"
- लक्ष्य: एक अच्छा लेबल यह कहने में सक्षम होना चाहिए कि, "यह वाक्य फीचर A को सक्रिय करता है, लेकिन फीचर B को नहीं।" यदि लेबल केवल एक सामान्य "Plural Nouns" है जो दोनों के लिए उपयुक्त है, तो यह कम स्कोर प्राप्त करेगा क्योंकि यह उन्हें अलग करने में विफल रहता है।
कोलिजन-एडजस्टेड डिटेक्शन (Collision-Adjusted Detection): यह एक सरल, सस्ता समाधान है। यह वर्तमान स्कोर लेता है और उसे उन कितने फीचर्स की संख्या से विभाजित करता है जो उस लेबल को साझा करते हैं।
- गणित: यदि एक लेबल 100 फीचर्स द्वारा साझा किया जाता है, तो उसके "अच्छाई" के स्कोर को 100 से विभाजित किया जाता है। एक लेबल जिसे केवल 1 फीचर द्वारा साझा किया जाता है, वह अपना पूरा स्कोर बनाए रखता है। यह बहुत व्यापक और सामान्य लेबल्स को दंडित करता है।

4. यह क्यों होता है (मूल कारण)

पेपर गुडहार्ट्स लॉ (Goodhart's Law) का उपयोग करके इसे समझाता है। यह नियम कहता है: "जब कोई माप (measure) एक लक्ष्य (target) बन जाता है, तो वह एक अच्छा माप नहीं रह जाता।"

जाल: शोधकर्ता "डिटेक्शन" (क्या लेबल फीचर की भविष्यवाणी करता है?) पर उच्च स्कोर प्राप्त करने की कोशिश कर रहे हैं।
परिणाम: सिस्टम (या लेबल लिखने वाला AI) यह सीख जाता है कि उच्च स्कोर प्राप्त करने का सबसे आसान तरीका "Plural Nouns" या "He" जैसे व्यापक, सुरक्षित और सामान्य वाक्यांशों का उपयोग करना है जो कई चीजों के लिए सत्य हैं।
स्पेस की समस्या: लाखों फीचर्स (इनपुट स्पेस) हैं, लेकिन संक्षिप्त, सरल अंग्रेजी वाक्यांशों (डिस्क्रिप्शन स्पेस) की संख्या सीमित है। आप लाखों चीजों को अनूठा, छोटा नाम दिए बिना शब्दों की कमी के बिना या शब्दों को दोहराए बिना नहीं दे सकते।

सारांश

पेपर का दावा है कि AI फीचर्स को समझाने के तरीके वर्तमान में अति-आत्मविश्वासी (overconfident) हैं। वे हमें बताते हैं कि एक लेबल "सटीक" है जबकि वास्तव में वह केवल अस्पष्ट (vague) है।

पुराना तरीका: "यह लेबल 95% सटीक है!" (क्योंकि यह फीचर का सही वर्णन करता है)।
नया तरीका: "यह लेबल 95% सटीक है, लेकिन इसे 100 अन्य फीचर्स द्वारा साझा किया जाता है, इसलिए यह इस विशिष्ट फीचर को केवल 1% बार पहचान पाता है।"

लेखक का निष्कर्ष है कि हमें केवल यह जांचना बंद करना होगा कि लेबल सत्य है या नहीं, और यह जांचना शुरू करना होगा कि क्या वह लाखों अन्यों के बीच उस विशिष्ट फीचर को खोजने के लिए पर्याप्त अनूठा है।

तकनीकी सारांश: स्पार्स ऑटोएन्कोडर ऑटो-इंटरप्रिटेबिलिटी में डिस्क्रिप्टिव कोलिजन (Descriptive Collision)

1. समस्या की परिभाषा

यह शोध पत्र वर्तमान स्पार्स ऑटोएन्कोडर (SAE) ऑटो-इंटरप्रिटेबिलिटी पाइपलाइनों में एक संरचनात्मक विफलता की पहचान करता है जिसे डिस्क्रिप्टिव कोलिजन (descriptive collision) कहा गया है। जबकि मौजूदा आलोचनाएं पॉलीसेमैटिसिटी (एक फीचर के कई अर्थ होना) या स्पष्टीकरणों की भविष्य कहने वाली सटीकता पर केंद्रित हैं, यह कार्य इसके विपरीत समस्या को उजागर करता है: कई अलग-अलग SAE फीचर्स एक ही प्राकृतिक भाषा के स्पष्टीकरण को स्वीकार करते हैं।

मुख्य समस्या इसलिए उत्पन्न होती है क्योंकि संभावित लघु प्राकृतिक-भाषा विवरणों का स्थान (अर्थात "डिस्क्रिप्टिव स्पेस") SAE फीचर्स के स्थान (अर्थात "फीचर स्पेस") की तुलना में संरचनात्मक रूप से छोटा है। फलस्वरूप, एक एकल एनोटेशन स्ट्रिंग अक्सर कई अलग-अलग फीचर्स को एक ही समूह (cluster) में मैप कर देती है। लेखक तर्क देते हैं कि वर्तमान मूल्यांकन प्रतिमान इसे पकड़ने में विफल रहते हैं क्योंकि वे फीचर को एक स्थिर इकाई मानते हैं और यह पूछते हैं कि क्या स्पष्टीकरण उसका वर्णन करता है, बजाय इसके कि क्या वह स्पष्टीकरण उस फीचर को उसके साथियों के बीच विशिष्ट रूप से पहचानता है।

2. कार्यप्रणाली और परिभाषाएँ

औपचारिक ढांचा (Formal Framework)

लेखक सूचना सिद्धांत (information theory) का उपयोग करके इस समस्या को औपचारिक रूप देते हैं:

कोलिजन क्लस्टर ( $C_E(f)$ ): एक फीचर $f$ और स्पष्टीकरण फलन $E$ के लिए, उन सभी फीचर्स $g$ का सेट जहाँ $E(g) = E(f)$ है।
डिस्क्रिप्टिव रेजोल्यूशन (Descriptive Resolution): इसे रैंडम वेरिएबल $F$ $F$ (एक फीचर को समान रूप से चुनना) और $A = E(F)$ $A = E (F)$ (एनोटेशन) के बीच म्यूचुअल इंफॉर्मेशन $I(F; A)$ $I (F; A)$ के रूप में परिभाषित किया गया है।
- अधिकतम रेजोल्यूशन ( $\log_2 N$ बिट्स) तब होता है जब स्पष्टीकरण इनजेक्टिव (प्रत्येक फीचर के लिए अद्वितीय) हो।
- रेजोल्यूशन को कोलिजन क्लस्टर्स की एंट्रॉपी द्वारा कम किया जाता है।

अनुभवजन्य विश्लेषण (Empirical Analysis)

लेखकों ने मानव-एनोटेटेड SAE फीचर्स के सबसे बड़े सार्वजनिक रूप से उपलब्ध डेटासेट (मार्क्स एट अल. [21]) का पुन: विश्लेषण किया, जिसमें Gemma 2 2B और Pythia 70M मॉडलों के 722 फीचर्स शामिल हैं।

डेटा स्रोत: मानव-एनोटेटेड फीचर्स जिन्हें लघु प्राकृतिक-भाषा स्ट्रिंग्स के रूप में लिया गया है, जो स्वचालित स्पष्टीकरणों के लिए एक उच्च-गुणवत्ता वाले प्रॉक्सी के रूप में कार्य करते हैं।
मेट्रिक: क्लस्टर आकार, म्यूचुअल इंफॉर्मेशन और एनोटेशन पुन: उपयोग के वितरण की गणना।

सैद्धांतिक प्रमाण

शोध पत्र सिद्ध करता है कि प्रपोजिशन 1 (Proposition 1): डिटेक्शन-शैली के ऑटो-इंटरप्रिटेबिलिटी स्कोर किसी कोलिजन क्लस्टर के भीतर किसी भी फीचर के प्रतिस्थापन के तहत अपरिवर्तनीय (invariant) होते हैं। यदि दो फीचर्स एक ही स्पष्टीकरण साझा करते हैं और उनके सक्रियण वितरण (activation distributions) समान हैं, तो एक मानक डिटेक्शन स्कोर (जो यह मापता है कि क्या स्पष्टीकरण फीचर के सक्रिय होने की भविष्यवाणी करता है) दोनों के लिए समान होगा। इसलिए, उच्च स्कोर यह प्रमाणित नहीं कर सकते कि एक स्पष्टीकरण एक विशिष्ट फीचर की पहचान करता है, बल्कि यह कि वह उस क्लस्टर के गुणों का वर्णन करता है जिसे वे साझा करते हैं।

3. मुख्य परिणाम

अनुभवजन्य निष्कर्ष

व्यापकता (Pervasiveness): 82.1% फीचर्स अपने एनोटेशन को कम से कम एक अन्य फीचर के साथ साझा करते हैं।
क्लस्टर आकार: औसत एनोटेशन स्ट्रिंग को 3.07 फीचर्स के लिए पुन: उपयोग किया जाता है। सबसे बड़ा क्लस्टर, जिसे "plural nouns" लेबल किया गया है, इसमें 101 विशिष्ट फीचर्स शामिल हैं जो 18 लेयर्स और चार मॉडल कंपोनेंट्स में फैले हुए हैं।
सूचना की हानि (Information Loss): औसत एनोटेशन केवल फीचर की पहचान के 70% हिस्से को हल (resolve) करता है। अवशिष्ट एंट्रॉपी ( $H(F|A)$ ) 2.85 बिट्स है, जिसका अर्थ है कि एनोटेशन पढ़ने के बाद भी, अपेक्षित फीचर पहचान $\approx 7.2$ फीचर्स के प्रभावी वर्णमाला (alphabet) पर अनिश्चित बनी रहती है।
क्रॉस-लेयर कोलिजन: 56.6% पुन: उपयोग किए गए एनोटेशन स्ट्रिंग्स कम से कम दो अलग-अलग लेयर्स में फैले हुए हैं, जो पुष्टि करता है कि ये कोलिजन विशिष्ट यांत्रिक संस्थाओं (mechanistic entities) का प्रतिनिधित्व करते हैं, न कि केवल एक ही अवधारणा के रेडंडेंट निरूपण का।
मानवीय हिजिंग (Human Hedging): लेखक नोट्स वाले 55.7% फीचर्स ने हिजिंग भाषा (जैसे, "mostly," "sometimes") का उपयोग किया, जो यह दर्शाता है कि विशेषज्ञ मानव एनोटेटर्स ने भी यह पहचाना कि उनके लघु लेबल फीचर को कम स्पष्ट (under-specify) कर रहे हैं।

स्कोरिंग इनवेरिएंस (Scoring Invariance)

अध्ययन दर्शाता है कि मानक डिटेक्शन स्कोर (सटीकता, F1, AUC) कोलिजन के प्रति अंधे हैं। एक स्पष्टीकरण जैसे "plural nouns" एक विशिष्ट फीचर के लिए उच्च स्कोर (जैसे, 0.95) प्राप्त कर सकता है, लेकिन यह स्कोर उस फीचर को अन्य 100 फीचर्स से अलग नहीं करता जो उसी लेबल को साझा करते हैं। स्कोरिंग तंत्र क्लस्टर के भीतर जेनेरिक सत्य के लिए अनुकूलित होता है, न कि विशिष्ट पहचान के लिए।

4. प्रस्तावित समाधान

शोध पत्र दो पूरक सुधारात्मक मेट्रिक्स का प्रस्ताव करता है जो स्पष्ट रूप से उन स्पष्टीकरणों को दंडित करते हैं जो फीचर को उसके पड़ोसियों से अलग करने में विफल रहते हैं:

डिस्क्रिमिनेशन स्कोरिंग ( $S_{disc}$ ):
- तंत्र: एक फीचर $f$ के लिए, सक्रियण समानता (जैसे, जैकार्ड समानता) के आधार पर "डिस्क्रिमिनेशन फीचर्स" ( $D(f)$ ) का एक सेट चुना जाता है। स्कोर यह मापता है कि स्पष्टीकरण एक जज को उन टेक्स्ट्स के बीच अंतर करने में कितनी मदद करता है जहाँ $f$ सक्रिय होता है और जहाँ उसका पड़ोसी $g \in D(f)$ सक्रिय होता है।
- व्यवहार: एक स्पष्टीकरण जो $f$ और $g$ दोनों के लिए सत्य है (जैसे, "plural nouns"), एक समान पड़ोसी के साथ जोड़े जाने पर 0.5 (रैंडम गेसिंग) के करीब स्कोर देगा, जबकि एक अद्वितीय स्पष्टीकरण उच्च स्कोर देगा।
- लागत: प्रति फीचर $O(km)$ जज कॉल की आवश्यकता होती है, जो मानक डिटेक्शन की तुलना में काफी अधिक है।
कोलिजन-एडजस्टेड डिटेक्शन ( $S_{adj}$ ):
- तंत्र: एक कम्प्यूटेशनल रूप से सस्ता ह्यूरिस्टिक जो मानक डिटेक्शन स्कोर को कोलिजन क्लस्टर के आकार से दंडित करता है: $S_{adj} = S_{det} \cdot \frac{1}{|C_E(f)|}$ ।
- प्रभाव: यह व्यापक स्पष्टीकरणों (जैसे, "plural nouns") की दृश्यित गुणवत्ता को देखे गए डेटासेट में 101 के कारक से कम कर देता है, जिसके लिए नए जज कॉल की आवश्यकता नहीं होती है।

5. महत्व और दावे

यह शोध पत्र कोलिजन को एक जेनेरिक विफलता मोड (generic failure mode) के रूप में स्थापित करता है, जो किसी भी ऐसे स्पष्टीकरण-स्कोरिंग योजना की विशेषता है जहाँ लक्ष्य स्थान (स्पष्टीकरण) लक्ष्य स्थान (फीचर्स) की तुलना में बहुत छोटा है, जो गुडहार्ट के नियम (Goodhart's Law) का आह्वान करता है।

विशिष्टता: लेखक इस बात पर जोर देते हैं कि कोलिजन, पॉलीसेमैटिसिटी, रिकॉल बायस और रैंडम-बेसलाइन समस्याओं से संरचनात्मक रूप से भिन्न है। यह लेबल स्पेस का गुण है, न कि फीचर डिक्शनरी का।
व्याख्यात्मकता पर प्रभाव: कोलिजन को अनदेखा करने से रिपोर्ट की गई फीचर व्याख्यात्मकता को लगभग एक फीचर की पहचान करने के लिए आवश्यक बिट्स के एक-तिहाई तक बढ़ा दिया जाता है।
डाउनस्ट्रीम निहितार्थ: वैज्ञानिक अनुप्रयोगों (जैसे, फीचर सर्किट्स, स्टीयरिंग वेक्टर्स) के लिए, किसी लेबल से निकाले गए निष्कर्षों को पूरे कोलिजन क्लस्टर ( $|C_E|$ फीचर्स) पर लागू माना जाना चाहिए, न कि केवल एक सिंगल फीचर पर। "plural nouns" लेबल के लिए, यह दावों के दायरे को दो आदेशों (two orders of magnitude) तक विस्तृत कर देता है।
रूढ़िवादी अनुमान: लेखक तर्क देते हैं कि मानव-एनोटेटेड डेटा में देखा गया कोलिजन एक लोअर बाउंड (lower bound) है। स्वचालित पाइपलाइनें, जो अधिक सख्त बजट और संकीर्ण वर्णमाला के साथ काम करती हैं, और भी गंभीर कोलिजन से ग्रस्त होने की संभावना है।

शोध पत्र निष्कर्ष निकालता है कि क्षेत्र को डिटेक्शन स्कोर के साथ कोलिजन सांख्यिकी को नियमित रूप से रिपोर्ट करना चाहिए और ऐसे लेबलिंग स्कीम्स विकसित करना चाहिए जिनका मूल्यांकन केवल वर्णन करने की उनकी क्षमता से नहीं, बल्कि फीचर्स को अलग करने (distinguish) की उनकी शक्ति से किया जाए।