💬 NLP

Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects

यह शोध पत्र फीचर-इफेक्ट ज्योमेट्री एनालिसिस (FEGA) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि जबकि स्पार्स ऑटोएनकोडर फीचर्स (sparse autoencoder features) कार्यतः प्रासंगिक हो सकते हैं, वे शायद ही कभी स्थिर स्टीयरिंग दिशाओं के रूप में कार्य करते हैं, बल्कि वे विशिष्ट ज्यामितीय पैटर्न प्रदर्शित करते हैं जहाँ "वैल्यू-लाइक" (value-like) फीचर्स संरचित प्रभाव उत्पन्न करते हैं और "पॉइंटर-लाइक" (pointer-like) फीचर्स विसरित, संदर्भ-निर्भर परिवर्तन उत्पन्न करते हैं।

मूल लेखक: Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

प्रकाशित 2026-07-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जादुई पुस्तकालय को समझने की कोशिश कर रहे हैं जहाँ किताबें खुद को लिखती हैं। यह पुस्तकालय एक "लार्ज लैंग्वेज मॉडल" (Large Language Model) है, जो कृत्रिम बुद्धिमत्ता (AI) का एक प्रकार है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है और वाक्य में अगले शब्द की भविष्यवाणी करना सीख लिया है। इस पुस्तकालय के भीतर, लाखों छोटे, अदृश्य स्विच हैं जिन्हें "न्यूरॉन्स" कहा जाता है जो तब चमक उठते हैं जब मॉडल किसी चीज़ के बारे में सोचता है। लंबे समय तक, वैज्ञानिकों ने मॉडल को केवल यह देखकर समझने की कोशिश की कि कौन से स्विच चमक रहे हैं। उन्होंने सोचा, "यदि 'पेरिस' के बारे में बात करते समय एक स्विच चमकता है, तो उस स्विच का मतलब है कि वह 'पेरिस स्विच' है।"

लेकिन यहाँ एक पेचीदा बात है: सिर्फ इसलिए कि एक स्विच चमक रहा है, इसका मतलब यह नहीं है कि वह वास्तव में काम कर रहा है। यह जानने के लिए कि एक स्विच वास्तव में क्या करता है, आपको अंदर पहुँचकर, उसे बंद करना होगा और देखना होगा कि क्या कहानी बदल जाती है। इसे "हस्तक्षेप" (intervention) कहा जाता है। हाल ही में, वैज्ञानिकों ने एक विशेष उपकरण बनाया जिसे "स्पार्स ऑटोएनकोडर" (Sparse Autoencoder या SAE) कहा जाता है ताकि इन स्विचों को खोजने में मदद मिल सके। सोचिए कि एक SAE एक सुपर-व्यवस्थित फाइलिंग कैबिनेट की तरह है जो बिखरे हुए, चमकते हुए स्विचों को साफ, लेबल वाले फोल्डरों में छाँट देता है। उम्मीद यह थी कि यदि हमें "पेरिस" लेबल वाला फोल्डर मिल जाता है, तो हम बस उस फोल्डर को चालू या बंद कर सकते हैं ताकि मॉडल पेरिस के बारे में बात करे या पेरिस के बारे में बात करना बंद कर दे। इस विचार को "स्टीयरिंग" (steering) कहा जाता है।

हालाँकि, एक अनसुलझा संदेह बना हुआ था। कभी-कभी, जब वैज्ञानिकों ने एक "पेरिस" फोल्डर को चालू किया, तो मॉडल ने पेरिस के बारे में बिल्कुल बात नहीं की। कभी-कभी इसने फ्रांस के बारे में बात की, कभी यह भ्रमित हो गया, और कभी-कभी इसने बिल्कुल उसके विपरीत परिणाम दिया जिसकी उम्मीद की गई थी। यह एक रिमोट कंट्रोल जैसा था जहाँ "वॉल्यूम अप" बटन दबाने पर कभी टीवी बंद हो जाता, तो कभी चैनल बदल जाता। बड़ा सवाल यह था: क्यों ऐसा होता है? क्या रिमोट खराब है, या हमारी बटनों के काम करने के तरीके की समझ गलत है?

यह शोध पत्र, जिसका शीर्षक है "Sparse Autoencoders Encode Both Concepts and Functions" है, इस रहस्य को सुलझाने के लिए एक जासूसी मिशन पर निकलता है। लेखकों ने, जो जर्मनी और भारत के शोधकर्ताओं की एक टीम है, केवल फोल्डरों पर लगे लेबल को देखना बंद करने और यह देखने का निर्णय लिया कि स्विच को पलटने के बाद कहानी में क्या होता है। उन्होंने एक नई विधि विकसित की जिसे "फीचर-इफेक्ट ज्योमेट्री एनालिसिस" (FEGA) कहा जाता है। कल्पना कीजिए कि FEGA एक उच्च-तकनीकी कैमरा है जो हर बार स्विच पलटने पर पुस्तकालय का एक स्नैपशॉट लेता है, केवल एक बार नहीं, बल्कि हजारों अलग-अलग कहानियों में। वे फिर उन सभी स्नैपशॉट्स के "बादल" (cloud) को देखते हैं ताकि यह देख सकें कि क्या स्विच हमेशा कहानी को एक ही दिशा में धकेलता है।

उन्होंने जो पाया वह एक आश्चर्य था। उन्होंने खोजा कि मॉडल के भीतर के स्विच दो बहुत अलग श्रेणियों में आते हैं, जिन्हें उन्होंने "वैल्यू-लाइक" (Value-like) और "पॉइंटर-लाइक" (Pointer-like) नाम दिया।

सबसे पहले, वैल्यू-लाइक (Value-like) स्विच हैं। ये पुस्तकालय के "तथ्यों" की तरह हैं। यदि एक स्विच इस तथ्य से जुड़ा है कि "पेरिस फ्रांस में है," तो यह एक स्थिर जानकारी की तरह कार्य करता है। जब आप इस स्विच को चालू करते हैं, तो मॉडल का आउटपुट एक व्यवस्थित तरीके से बदलता है, जैसे कि लोगों का एक समूह ढीली संरचना में चल रहा हो। यह एक एकल सीधी रेखा नहीं है, लेकिन यह पूरी तरह से अव्यवस्थित भी नहीं है। ये स्विच विशिष्ट तथ्यों को रखने के लिए विश्वसनीय हैं।

फिर, पॉइंटर-लाइक (Pointer-like) स्विच हैं। ये "रिमोट कंट्रोल" वाले विचार के लिए असली समस्या पैदा करने वाले हैं। ये स्विच कोई विशिष्ट तथ्य नहीं रखते; बल्कि, वे एक काम या एक कार्य (function) रखते हैं। इन्हें कीबोर्ड पर "कॉपी" बटन की तरह समझें। एक "कॉपी" बटन को इस बात की परवाह नहीं होती कि आप क्या कॉपी कर रहे हैं; वह बस कॉपी करने का काम करता है। मॉडल में, एक पॉइंटर-लाइक स्विच "वाक्य में पहले आए शब्द को कॉपी करने" के लिए जिम्मेदार हो सकता है। यदि वाक्य कहता है "बिल्ली बड़ी है," तो वह "बड़ी" को कॉपी करेगा। यदि वाक्य कहता है "बिल्ली छोटी है," तो वह "छोटी" को कॉपी करेगा। क्योंकि काम जो भी वहाँ है उसे कॉपी करना है, इसलिए इस स्विच को चालू करने से कहानी एक ही दिशा में नहीं बढ़ती। इसके बजाय, प्रभाव हर जगह बिखर जाता है, जैसे धूल का बादल।

यह पत्र दिखाता है कि इन "पॉइंटर-लाइक" स्विचों के लिए, "स्टीयरिंग" का पुराना विचार काफी हद तक गलत है। आप केवल एक "कॉपी" स्विच चालू करके यह उम्मीद नहीं कर सकते कि मॉडल हमेशा "कॉपी" कहेगा। प्रभाव पूरी तरह से इस बात पर निर्भर करता है कि मॉडल उस सटीक क्षण में क्या देख रहा है। लेखकों ने पाया कि जबकि कुछ स्विचों (वैल्यू-लाइक वाले) का प्रभाव कुछ हद तक संरचित होता है, अधिकांश दिलचस्प, कार्यात्मक स्विच (पॉइंटर-लाइक वाले) एक "विस्तृत" (diffuse) प्रभाव पैदा करते हैं। वे मॉडल के काम करने के लिए आवश्यक हैं—यही कारण है कि मॉडल नियमों का पालन कर पाता है या शब्दों को कॉपी कर पाता है—लेकिन वे एक ही दिशा में इशारा नहीं करते।

संक्षेप में, यह पत्र सुझाव देता है कि हमें इन AI स्विचों के बारे में अपनी सोच बदलने की आवश्यकता है। हम उन सभी को विशिष्ट विषयों के सरल ऑन/ऑफ बटन के रूप में नहीं मान सकते। कुछ तथ्य रखने वाले फाइलिंग कैबिनेट की तरह हैं, लेकिन अन्य गतिशील उपकरण हैं जो स्थिति के आधार पर अपना प्रभाव बदलते हैं। यदि हम भविष्य में इन AI मॉडलों को नियंत्रित करना चाहते हैं, तो हम केवल एक एकल "पेरिस" बटन या एक एकल "कॉपी" बटन की तलाश करके यह उम्मीद नहीं कर सकते कि यह हर बार एक ही तरह से काम करेगा। हमें यह समझना होगा कि इनमें से कई उपकरणों के लिए, प्रभाव एक जटिल बादल है जो कहानी के आधार पर अपना आकार बदलता रहता है। लेखक यह दावा नहीं करते कि उन्होंने अभी तक समस्या को हल कर दिया है, लेकिन उन्होंने एक नया मानचित्र प्रदान किया है जो हमें ठीक से दिखाता है कि भ्रम कहाँ स्थित है, यह साबित करते हुए कि AI के लिए "रिमोट कंट्रोल" हमारी सोच से कहीं अधिक जटिल है।

तकनीकी सारांश: स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders) अवधारणाओं और कार्यों दोनों को एनकोड करते हैं: फीचर प्रभावों का डाउनस्ट्रीम ज्योमेट्री (The Downstream Geometry of Feature Effects)

1. समस्या विवरण (Problem Statement)

मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) के लिए स्पार्स ऑटोएनकोडर्स (SAEs) का व्यापक उपयोग वर्तमान में SAE फीचर्स और मॉडल व्यवहार के बीच एक असंगत संबंध के कारण सीमित है। हालांकि फीचर्स अक्सर स्पष्ट सक्रियण विवरण (जैसे, "Paris" या "copying") रखते हैं, लेकिन उनके कारणत्मक प्रभाव (causal effects) अक्सर अस्थिर होते हैं। पूर्व के कार्यों ने प्रदर्शित किया है कि स्टीयरिंग प्रभाव (steering effects) प्रॉम्प्ट्स के बीच भिन्न हो सकते हैं, इच्छित दिशाओं का विरोध कर सकते हैं, या मजबूत सक्रियण के बावजूद वांछित आउटपुट परिवर्तन उत्पन्न करने में विफल हो सकते हैं।

मौजूदा इंटरप्रिटेबिलिटी वर्कफ़्लो सक्रियण साक्ष्य (उच्च-सक्रियण उदाहरण, स्वचालित विवरण, डिकोडर रीडआउट) पर निर्भर करते हैं ताकि फीचर्स को अवधारणाओं (concepts) के साथ जोड़ा जा सके। हालांकि, केवल सक्रियण से कारणत्मक योगदान (causal contribution) स्थापित नहीं होता है। फीचर्स द्वारा किए गए हस्तक्षेप (interventions) के कारण लॉजिट्स (logits) में होने वाले परिवर्तनों की ज्यामिति (geometry of changes) को समझने में एक महत्वपूर्ण अंतर मौजूद है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या किसी फीचर का डाउनस्ट्रीम प्रभाव एक स्थिर, पुन: प्रयोज्य दिशा (एक "स्टीयरिंग वेक्टर") है या यदि यह जटिल, संदर्भ-निर्भर ज्यामितीय संरचनाएं प्रदर्शित करता है। यह शोध पत्र इस प्रश्न को संबोधित करता है: विभिन्न संदर्भों में हस्तक्षेप किए जाने पर एक फीचर के डाउनस्ट्रीम प्रभाव कितने तुलनीय हैं?

2. कार्यप्रणाली (Methodology)

2.1 फीचर-इफेक्ट ज्योमेट्री एनालिसिस (FEGA)

लेखक फीचर-इफेक्ट ज्योमेट्री एनालिसिस (FEGA) पेश करते हैं, जो एक अनसुपरवाइज्ड, ऑफलाइन फ्रेमवर्क है जिसे फीचर एब्लेशन (ablation) के परिणामस्वरूप होने वाले डाउनस्ट्रीम लॉजिट परिवर्तनों की ज्यामिति को मापने और वर्गीकृत करने के लिए डिज़ाइन किया गया है।

हस्तक्षेप प्रोटोकॉल (Intervention Protocol):

रिकंस्ट्रक्शन-रिलेटिव बेसलाइन: एक विशिष्ट फीचर $j$ $j$ के प्रभाव को SAE रिकंस्ट्रक्शन एरर से अलग करने के लिए, विधि दो पथों की तुलना करती है:
- बेसलाइन: SAE रिकंस्ट्रक्शन $\bar{h}^{(c)}_\ell = D(E(h^{(c)}_\ell))$ ।
- हस्तक्षेप (Intervention): फीचर $j$ को शून्य करने वाला रिकंस्ट्रक्शन: $\hat{h}^{(c)}_{\ell,j\downarrow} = D(z^{(c)} - z^{(c)}_j e_j)$ ।
डाउनस्ट्रीम प्रोपेगेशन: दोनों पथों को फ्रोजन मॉडल टेल (बाद के लेयर्स) के माध्यम से अंतिम लॉजिट रीडआउट $\phi(\cdot)$ तक प्रसारित किया जाता है।
इफेक्ट क्लाउड (Effect Cloud): लॉजिट अंतर $\Delta^{(c)}_j = \phi(\hat{h}^{(c)}_{\ell,j\downarrow}) - \phi(\bar{h}^{(c)}_\ell)$ को वैध संदर्भों $C$ के सेट के लिए कंप्यूट किया जाता है। इन अंतरों का संग्रह फीचर-इफेक्ट क्लाउड $E_j$ बनाता है।

ज्यामितीय डायग्नोस्टिक्स (Geometric Diagnostics):
FEGA, नॉर्मलाइज्ड डायरेक्शन वेक्टर्स $v^{(i)}_j$ के आधार पर लॉजिट स्पेस में $E_j$ के आकार का विश्लेषण करता है:

डायरेक्टेड-रे कॉन्सेन्ट्रेशन ( $C_{ray}$ ): यह परीक्षण करता है कि क्या सभी प्रभाव एक ही हस्ताक्षरित (signed) दिशा में संकेत करते हैं।
एक्सिस या एंटीपोडल स्ट्रक्चर ( $B_{axis}$ ): यह परीक्षण करता है कि क्या प्रभाव एक एकल अक्ष के साथ संरेखित होते हैं लेकिन धनात्मक और ऋणात्मक संकेतों के बीच विभाजित होते हैं (जैसे, $u$ और $-u$ )।
डायरेक्शनल मिक्सचर: कई अलग-अलग, सुसंगत दिशात्मक मोड का पता लगाने के लिए von Mises-Fisher मिश्रण मॉडल का उपयोग करता है।
ग्लोबल स्पैन स्पेक्ट्रम: यह निर्धारित करने के लिए कि क्या प्रभाव एक निम्न-आयामी सबस्पेस (जैसे, 2D या 3D) में स्थित हैं, कर्नेल मैट्रिक्स पर PCA का उपयोग करता है।
सेंटर्ड रेसिडुअल स्पेक्ट्रम: निम्न-आयामी विचलन का पता लगाने के लिए औसत दिशा के आसपास के उतार-चढ़ाव का विश्लेषण करता है।

फ्रेमवर्क डायग्नोस्टिक्स के आधार पर एक प्राथमिक ज्यामिति लेबल (जैसे, "Directed Ray," "Axis," "Diffuse") और माध्यमिक फ्लैग्स (जैसे, मैग्नीट्यूड हेटेरोजेनिटी) असाइन करता है।

2.2 प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल: Gemma-2-2B।
SAE वेरिएंट्स: ReLU, TopK, और Matryoshka Batch TopK (चौड़ाई $\approx$ 65k) जो पोस्ट-लेयर-12 रेसिडुअल स्ट्रीम पर लागू किए गए हैं।
टास्क स्पेक्ट्रम:
- वैल्यू-लाइक (तथ्यात्मक): RAVEL (सिटी-कंट्री एट्रिब्यूट डिसेंटैंगलमेंट)। यहाँ फीचर्स स्थिर जानकारी (जैसे, "Paris is in France") का प्रतिनिधित्व करते हैं।
- पॉइंटर-लाइक (ऑपरेशनल): लिटरल सीक्वेंस कॉपीइंग (LSC), वर्ड कंटेंट (WC), PrOntoQA (नियम पालन), और टोकन ट्रांसलेशन (TT)। इन कार्यों के लिए संदर्भ-निर्भर ऑपरेशन्स (कॉपी करना, बाइंडिंग, नियम अनुप्रयोग) की आवश्यकता होती है जिसमें निश्चित टोकन अर्थ नहीं होते।
फीचर आइसोलेशन:
- वैल्यू-लाइक: एट्रिब्यूट कंट्रोल के लिए SAEBench के डिफरेंशियल बाइनरी मास्किंग के माध्यम से चुना गया।
- पॉइंटर-लाइक: ICL कार्यों में प्रॉम्प्ट-लोकल ऑपरेशन्स के लिए उच्च सक्रियण आवृत्ति के आधार पर चुना गया, जिसके बाद कारणत्मक योगदान को सत्यापित करने के लिए एब्लेशन किया गया।

3. मुख्य परिणाम (Key Results)

3.1 फीचर इफेक्ट्स शायद ही कभी सिंगल डायरेक्शंस होते हैं

सभी SAE वेरिएंट्स और कार्यों में, डाउनस्ट्रीम फीचर इफेक्ट्स शायद ही कभी एक एकल, संदर्भ-अपरिवर्तनीय लॉजिट वेक्टर में सिमटते हैं। यह परिकल्पना कि फीचर्स पुन: प्रयोज्य स्टीयरिंग दिशाओं के रूप में कार्य करते हैं, अपवाद है न कि नियम। अधिकांश इफेक्ट क्लाउड्स उच्च डायरेक्टेड-रे कॉन्सेन्ट्रेशन प्रदर्शित नहीं करते हैं।

3.2 वैल्यू-लाइक और पॉइंटर-लाइक फीचर्स के बीच अंतर

यह शोध पत्र दो कार्यात्मक भूमिकाओं को अलग करता है जिनके विशिष्ट ज्यामितीय गुण हैं:

पॉइंटर-लाइक फीचर्स: प्रॉम्प्ट-लोकल ऑपरेशन्स (कॉपी करना, नियम पालन) से जुड़े होते हैं।
- रिकरेंस (Recurrence): फीचर्स का एक छोटा, कॉम्पैक्ट सेट विभिन्न ICL कार्यों (जैसे, LSC, WC, PrOntoQA) में बार-बार आता है, विशेष रूप से TopK और Matryoshka Batch TopK आर्किटेक्चर में।
- ज्यामिति: ये फीचर्स मुख्य रूप से डिफ्यूज (diffuse) प्रभावों को प्रदर्शित करते हैं। भले ही वे कार्यों के बीच पुनरावृत्ति करते हों, वे पुन: प्रयोज्य लॉजिट दिशाओं के रूप में कार्य नहीं करते हैं; उनके प्रभाव आउटपुट स्पेस में बिखर जाते हैं, जो कि कॉपी या अनुवाद किए जाने वाले विशिष्ट मान के आधार पर लक्ष्य के बदलने के अनुरूप है।
- कारणत्मकता (Causality): इन चयनित सेट्स का संयुक्त एब्लेशन महत्वपूर्ण सटीकता गिरावट का कारण बनता है, जो स्थिर ज्यामितीय दिशा के अभाव के बावजूद उनके कारणत्मक योगदान की पुष्टि करता है।
वैल्यू-लाइक फीचर्स: स्थिर तथ्यात्मक गुणों (जैसे, RAVEL City-Country) से जुड़े होते हैं।
- ज्यामिति: पॉइंटर-लाइक फीचर्स की तुलना में ये फीचर्स अधिक स्ट्रक्चर्ड, लो-डायमेंशनल प्रभावों को प्रदर्शित करते हैं।
- संरचना: हालांकि, ये स्ट्रक्चर्ड प्रभाव भी आमतौर पर एक एकल स्टीयरिंग वेक्टर के बजाय कई आउटपुट दिशाओं में फैले होते हैं।

3.3 विजातीय फीचर सेट्स (Disjoint Feature Sets)

पॉइंटर-लाइक कार्यों (ICL) और वैल्यू-लाइक कार्यों (RAVEL) के लिए पहचाने गए फीचर सेट्स विजातीय (disjoint) हैं। ICL कार्यों के लिए चुने गए कोई भी फीचर्स RAVEL तथ्यात्मक-एट्रिब्यूट सेट्स में दिखाई नहीं देते हैं, जो यह सुझाव देता है कि SAE डिक्शनरी इन कार्यात्मक भूमिकाओं को अलग करती है, भले ही उनकी ज्यामितीय अभिव्यक्ति जटिल हो।

4. योगदान और महत्व (Contributions and Significance)

प्राथमिक योगदान:
यह पेपर FEGA पेश करता है, जो एक ऐसा फ्रेमवर्क है जो इंटरप्रिटेबिलिटी के फोकस को एक्टिवेशन डिस्क्रिप्शन से बदलकर इंटरवेंशन इफेक्ट ज्योमेट्री पर ले जाता है। यह एक गणना योग्य डायग्नोस्टिक प्रदान करता है कि फीचर इफेक्ट्स कैसे व्यवस्थित हैं, जो पुन: प्रयोज्य दिशाओं, स्ट्रक्चर्ड लो-डायमेंशनल स्पेस और डिफ्यूज क्लाउड्स के बीच अंतर करता है।

महत्व के दावे:

स्टीयरिंग धारणा को चुनौती देना: परिणाम उस सामान्य धारणा को चुनौती देते हैं कि एक स्पष्ट विवरण और कारणत्मक प्रभाव वाला फीचर एक विश्वसनीय, एकल-वेक्टर नियंत्रण चर के रूप में कार्य कर सकता है। एक फीचर व्याख्या योग्य (interpretable) और कारणत्मक रूप से महत्वपूर्ण हो सकता है, बिना एक स्थिर स्टीयरिंग दिशा प्रदान किए।
फीचर भूमिकाओं को परिष्कृत करना: "वैल्यू-लाइक" (स्थिर सूचना) और "पॉफ्टर-लाइक" (संदर्भ-निर्भर ऑपरेशन्स) फीचर्स के बीच अंतर करके, यह पेपर समझाता है कि स्टीयरिंग व्यवहार क्यों भिन्न होता है। पॉइंटर-लाइक फीचर्स, जो स्थिर अवधारणाओं के बजाय ऑपरेशन्स का समर्थन करते हैं, स्वाभाविक रूप से डिफ्यूज, संदर्भ-निर्भर प्रभाव उत्पन्न करते हैं।
मेथोडोलॉजिकल शिफ्ट: यह कार्य तर्क देता है कि फीचर-लेवल इंटरप्रिटेबिलिटी को तीन पहलुओं के बीच अंतर करना चाहिए: एक फीचर क्या डिटेक्ट करता है, क्या यह कारणत्मक रूप से मायने रखता है, और इसके प्रभाव विभिन्न संदर्भों में कैसे बदलते हैं। FEGA तीसरे पहलू का मूल्यांकन करने के लिए आवश्यक "इफेक्ट-साइड ऑडिट" प्रदान करता है।

दावों की विनम्रता:
लेखक स्पष्ट रूप से कहते हैं कि उनके निष्कर्ष बताते हैं कि लॉजिट-स्पेस दिशा में स्थिरता "अक्सर सीमित" होती है। वे यह दावा नहीं करते कि SAE फीचर्स स्टीयरिंग के लिए बेकार हैं, बल्कि वे यह कहते हैं कि एक एकल, पुन: प्रयोज्य स्टीयरिंग वेक्टर की अपेक्षा अक्सर गलत होती है। यह पेपर नए स्टीयरिंग एल्गोरिदम का प्रस्ताव नहीं करता है, बल्कि वर्तमान स्टीयरिंग दृष्टिकोणों की सीमाओं को समझने के लिए एक डायग्नोस्टिक टूल प्रदान करता है। ज्यामितीय लेबल (जैसे, "Diffuse," "Axis") को प्रभाव क्लाउड के वर्णनात्मक सारांश के रूप में वर्णित किया गया है, न कि अंतर्निहित न्यूरल कंप्यूटेशन के यांत्रिक स्पष्टीकरण के रूप में।