Unveiling Decision-Making in LLMs for Text Classification : Extraction of influential and interpretable concepts with Sparse Autoencoders

यहाँ शोध पत्र "Unveiling Decision-Making in LLMs for Text Classification: Extraction of influential and interpretable concepts with Sparse Autoencoders" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने टेक्स्ट वर्गीकरण (text classification) में अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन उनकी आंतरिक निर्णय लेने की प्रक्रिया अपारदर्शी ("ब्लैक बॉक्स") बनी हुई है। हालांकि पारंपरिक व्याख्यात्मकता विधियाँ (जैसे कि ग्रेडिएंट-आधारित एट्रिब्यूशन) मौजूद हैं, वे अक्सर अर्थपूर्ण सुसंगतता या स्थिरता की कमी दर्शाती हैं।

कॉन्सेप्ट-आधारित व्याख्यात्मकता (Concept-based interpretability) का लक्ष्य मॉडल के लेटेंट स्पेस (latent space) से उच्च-स्तरीय, मानव-समझने योग्य विशेषताओं (concepts) को निकालना है। हालाँकि, मौजूदा दृष्टिकोण टेक्स्ट वर्गीकरण के संदर्भ में तीन मुख्य चुनौतियों का सामना करते हैं:

1. पूर्णता (Completeness): निकाले गए कॉन्सेप्ट्स को मॉडल के मूल पूर्वानुमान को पुनर्गठित करने के लिए पर्याप्त होना चाहिए।
2. कारणता (Causality): किसी कॉन्सेप्ट को सक्रिय या विलोपित (ablate) करने से मॉडल की आउटपुट प्रोबेबिलिटी में महत्वपूर्ण बदलाव आना चाहिए।
3. व्याख्यात्मकता (Interpretability): कॉन्सेप्ट्स "मोनोसेमेंटिक" (एक स्पष्ट विचार का प्रतिनिधित्व करने वाले) होने चाहिए और मानवीय धारणाओं के अनुरूप होने चाहिए।
4. दक्षता (Efficiency): वर्तमान अत्याधुनिक विधियाँ (जैसे HI-Concept) कम्प्यूटेशनल रूप से महंगी हैं और अक्सर प्रशिक्षण के दौरान पूरे LLM को बार-बार चलाने की आवश्यकता होती है।

इसके अलावा, अधिकांश स्पार्स ऑटोएन्कोडर (SAE) अनुसंधान जनरेटिव कार्यों या प्री-ट्रेन्ड मॉडल्स पर केंद्रित है, जिससे विशेष रूप से वाक्य-स्तर के वर्गीकरण (sentence-level classification) में SAEs को लागू करने में एक अंतराल रह जाता है, जहाँ लक्ष्य कार्य-प्रासंगिक विशेषताओं को अलग करना होता है।

2. कार्यप्रणाली: ClassifSAE

लेखक ClassifSAE का प्रस्ताव करते हैं, जो टेक्स्ट वर्गीकरण के लिए विशेष रूप से तैयार किया गया एक सुपरवाइज्ड वेरिएंट है। मानक SAEs के विपरीत, जो विशाल और विविध कॉर्पोरा पर प्रशिक्षित होते हैं, ClassifSAE सीधे विशिष्ट वर्गीकरण डेटासेट पर प्रशिक्षित होता है ताकि उस कार्य से संबंधित कॉन्सेप्ट्स को खोजा जा सके।

आर्किटेक्चर (Architecture)

• इनपुट (Input): एक विशिष्ट टोकन ($h_\ell$) का हिडन स्टेट (एक डिकोडर-ओनली मॉडल के लिए लेबल से ठीक पहले वाला टोकन, या एनकोडर-ओनली मॉडल के लिए [CLS] टोकन)। यह टोकन वाक्य-स्तरीय जानकारी को संकलित करता है।
• एनकोडर-डिकोडर (Encoder-Decoder): SAE $h_\ell$ का एक स्पार्स रिप्रजेंटेशन $z$ सीखता है।
  • $z = \sigma(W_{enc}h + b_{enc})$
  • $\hat{h} = W_{dec}z + b_{dec}$
• जॉइंट क्लासिफायर (Joint Classifier): एक प्रमुख नवाचार एक हल्का क्लासिफायर हेड ($g_\theta$) है जिसे SAE के साथ संयुक्त रूप से (jointly) प्रशिक्षित किया जाता है। यह क्लासिफायर SAE फीचर्स के एक उपसमुच्चय ($z_{class} \subset z$) को लेता है और LLM के अनुमानित लेबल को पुनरुत्पादित करने का प्रयास करता है।
  • यह SAE को एक विशिष्ट सबस्पेस ($z_{class}$) में कार्य-प्रासंगिक जानकारी को केंद्रित करने के लिए मजबूर करता है, जबकि शेष फीचर्स पुनर्गठन (reconstruction) को संभालते हैं।

प्रशिक्षण हानि (Training Loss)

कुल लॉस फंक्शन तीन घटकों को जोड़ता है:
$$L = \lambda_1 L_{TopK}^{SAE} + \lambda_2 L_{class} + \lambda_3 L_{sparse}^{feature}$$

1. पुनर्गठन हानि ($L_{TopK}^{SAE}$): मूल हिडन स्टेट और पुनर्गठित स्टेट के बीच त्रुटि को कम करता है, जो स्पर्सिटी (प्रति इनपुट सक्रिय कॉन्सेप्ट्स की संख्या को स्थिर करना) लागू करने के लिए एक TopK एक्टिवेशन फंक्शन का उपयोग करता है।
2. वर्गीकरण हानि ($L_{class}$): जॉइंट क्लासिफायर के अनुमान और LLM के अनुमानित लेबल के बीच क्रॉस-एन्ट्रॉपी लॉस। यह विभेदक (discriminative) फीचर्स के चयन को प्रेरित करता है।
3. एक्टिवेशन रेट स्पर्सिटी लॉस ($L_{sparse}^{feature}$): एक नवीन तंत्र जो "फीचर कोलैप्स" (जहाँ कुछ फीचर्स लगभग सभी इनपुट्स पर सक्रिय हो जाते हैं) को रोकने के लिए बनाया गया है। यह उन फीचर्स को दंडित करता है जो बैच के एक निश्चित प्रतिशत ($\gamma$) से अधिक इनपुट पर सक्रिय होते हैं, जिससे फीचर्स के बीच सक्रियण का संतुलित वितरण सुनिश्चित होता है।

3. मुख्य योगदान

A. व्याख्यात्मकता के लिए नवीन मेट्रिक्स

लेखक दो मेट्रिक्स पेश करते हैं जो मानव एनोटेटर्स या LLM-as-a-judge (जो अस्थिर हो सकते हैं) पर निर्भर रहने के बजाय कॉन्सेप्ट की व्याख्यात्मकता को मापने के लिए उपयोग किए जाते हैं:

1. ConceptSim: एक एकल कॉन्सेप्ट की अर्थपूर्ण सुसंगतता (semantic coherence) को मापता है। यह एक विशिष्ट फीचर को सक्रिय करने वाले वाक्यों को क्लस्टर करता है और उनके सेंटेंस एम्बेडिंग्स (Sentence-BERT के माध्यम से) के औसत पेयरवाइज कोसाइन सिमिलरिटी की गणना करता है। उच्च स्कोर इंगित करता है कि कॉन्सेप्ट मोनोसेमेटिक है।
2. SentenceSim: समान टॉप-एक्टिवेटेड कॉन्सेप्ट्स साझा करने वाले वाक्यों की निरंतरता को मापता है। यह मूल्यांकन करता है कि ओवरलैपिंग कॉन्सेप्ट सेट्स वाले वाक्य एम्बेडिंग स्पेस में अर्थपूर्ण रूप से कितने करीब हैं।

B. मूल्यांकन ढांचा (Evaluation Framework)

लेखक ClassifSAE का चार बेसलाइन्स के विरुद्ध बेंचमार्क करते हैं:

• TopK-SAE: मानक अनसुपरवाइज्ड SAE।
• ICA (Independent Component Analysis): एक क्लासिक लीनियर अनमिक्सिंग तकनीक।
• ConceptSHAP: पूर्णता (completeness) के लिए कॉन्सेप्ट योगदान को अधिकतम करने वाली विधि।
• HI-Concept: एक अत्याधुनिक विधि जो स्पष्ट रूप से कॉज़ल इम्पैक्ट (causal impact) के लिए अनुकूलित है।

मूल्यांकन 7 बैकबोन LLMs (BERT, DeBERTa, Pythia, GPT-J, Mistral, LLaMA सहित) और 4 डेटासेट्स (AG News, IMDB, TweetEval Offensive, TweetEval Sentiment) को कवर करता है।

4. परिणाम

प्रदर्शन मेट्रिक्स (Performance Metrics)

• व्याख्यात्मकता (ConceptSim): ClassifSAE सभी मॉडल्स और डेटासेट्स में लगातार उच्चतम ConceptSim स्कोर प्राप्त करता है, जो सभी बेसलाइन्स की तुलना में बेहतर मोनोसेमेंटिसिटी और अर्थपूर्ण सुसंगतता को दर्शाता है।
• कारणता ($\Delta f_{cond}$): ClassifSAE दूसरा सबसे अच्छा कारणता स्कोर प्राप्त करता है, जो केवल HI-Concept से पीछे है। हालाँकि, HI-Concept कम व्याख्यात्मकता की कीमत पर यह प्राप्त करता है। ClassifSAE एक बेहतर संतुलन प्रदर्शित करता है, जो उच्च व्याख्यात्मकता बनाए रखते हुए मजबूत कॉज़ल प्रभाव प्रदान करता है।
• पूर्णता (RAcc): ClassifSAE उच्च रिकवरी एक्यूरेसी (अक्सर >95%) बनाए रखता है, जो यह सिद्ध करता है कि निकाले गए कॉन्सेप्ट्स मॉडल के निर्णय को पुनर्गठित करने के लिए पर्याप्त जानकारी रखते हैं।

दक्षता (Efficiency)

• प्रशिक्षण समय (Training Time): ClassifSAE काफी कुशल है। सबसे बड़े मॉडल (LLaMA 3.1 8B) पर, इसे HI-Concept की तुलना में 83% कम और ConceptSHAP की तुलना में 69% कम प्रशिक्षण समय की आवश्यकता होती है।
• कारण: बेसलाइन्स के विपरीत, जिन्हें कॉज़ल प्रॉक्सी की गणना के लिए पूरे डाउनस्ट्रीम LLM के बार-बार फॉरवर्ड पास की आवश्यकता होती है, ClassifSAE केवल हिडन स्टेट्स पर एक ऑटोएन्कोडर और एक हल्का क्लासिफायर प्रशिक्षित करता है, जिससे प्रशिक्षण के दौरान पूर्ण LLM को लोड करने की आवश्यकता नहीं होती।

गुणात्मक विश्लेषण (Qualitative Analysis)

विज़ुअलाइज़ेशन (PCA प्रोजेक्शन और वर्ड क्लाउड) दिखाते हैं कि ClassifSAE ब्रॉड कैटेगरी लेबल्स में सभी फीचर्स को समाहित करने के बजाय सूक्ष्म-स्तरीय (fine-grained) कॉन्सेप्ट्स (जैसे "Business" श्रेणी के भीतर "Airlines" और "Currency" के बीच अंतर करना) की खोज करता है।

5. महत्व और निष्कर्ष

यह शोध पत्र टेक्स्ट वर्गीकरण के लिए मैकेनिस्टिक इंटरप्रिटेबिलिटी के एक महत्वपूर्ण अंतर को संबोधित करता है। एक सुपरवाइज्ड क्लासिफायर और स्पर्सिटी मैकेनिज्म को SAE फ्रेमवर्क में एकीकृत करके, ClassifSAE सफलतापूर्वक ऐसे फीचर्स निकालता है जो:

1. कार्य-प्रासंगिक (Task-Relevant) हैं: विशेष रूप से वर्गीकरण उद्देश्य के लिए ट्यून किए गए।
2. व्याख्यात्मक (Interpretable) हैं: अत्यधिक मोनोसेमेटिक और अर्थपूर्ण रूप से सुसंगत।
3. कारणता (Causal) युक्त हैं: मॉडल के भविष्यवाणियों को महत्वपूर्ण रूप से प्रभावित करने में सक्षम।
4. कुशल (Efficient) हैं: बड़े मॉडल्स के लिए कम्प्यूटेशनल रूप से व्यवहार्य।

यह कार्य सुझाव देता है कि जबकि स्पष्ट कॉज़ल ऑप्टिमाइज़ेशन (जैसा कि HI-Concept में है) उच्च कॉज़लिटी स्कोर देता है, एक जॉइंट ट्रेनिंग दृष्टिकोण स्पर्सिटी कंस्ट्रेंट्स के साथ, अधिक संतुलित और व्यावहारिक समाधान प्रदान करता है। प्रस्तावित मेट्रिक्स (ConceptSim, SentenceSim) कॉन्सेप्ट की गुणवत्ता का मूल्यांकन करने के लिए एक पुनरुत्पादक, स्वचालित तरीका प्रदान करते हैं, जिससे क्षेत्र गुणात्मक मानवीय निरीक्षण से आगे बढ़ता है।