💻 computer science

Uncovering Model Processing Strategies with Non-Negative Per-Example Fisher Factorization

यह शोध पत्र NPEFF को प्रस्तुत करता है, जो एक नवीन व्याख्यात्मकता (interpretability) विधि है जो विभिन्न कार्यों में भाषा मॉडलों द्वारा नियोजित विशिष्ट प्रसंस्करण रणनीतियों को उजागर करने और चुनिंदा रूप से हेरफेर करने के लिए प्रति-उदाहरण फिशर मैट्रिसेस (per-example Fisher matrices) को धनात्मक अर्ध-निश्चित (positive semi-definite) घटकों में विघटित करता है।

मूल लेखक: Michael Matena, Colin Raffel

प्रकाशित 2026-06-05

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michael Matena, Colin Raffel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: हमें इसकी आवश्यकता क्यों है?

कल्पना कीजिए कि एक विशाल, अत्यंत बुद्धिमान रोबोट (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिख सकता है, प्रश्नों के उत्तर दे सकता है और समस्याओं को हल कर सकता है। हम जानते हैं कि यह काम करता है, लेकिन हमें वास्तव में यह नहीं पता कि यह तय कैसे करता है कि आगे क्या कहना है। यह एक ब्लैक बॉक्स की तरह है: आप एक प्रश्न डालते हैं, और एक उत्तर बाहर आता है, लेकिन इसके अंदर के गियर छिपे हुए होते हैं।

शोधकर्ताओं ने पहले इसमें झाँकने की कोशिश की है। एक सामान्य तरीका एक विशिष्ट प्रश्न के लिए रोबोट की "विचार प्रक्रिया" (जिसे 'ग्रेडिएंट' कहा जाता है) के एक एकल स्नैपशॉट को देखने और समान स्नैपशॉट को एक साथ समूहबद्ध करने जैसा है।

समस्या: इस पुराने तरीके में दो बड़ी खामियां हैं:

यह केवल एक कोण देखता है: यह रोबोट की केवल एक संभावित उत्तर के प्रति प्रतिक्रिया को देखता है, उन अन्य विकल्पों को अनदेखा कर देता है जिन पर उसने विचार किया था।
यह एक एकल पहचान थोपता है: यह मानता है कि रोबोट हर प्रश्न के लिए केवल एक ही सरल ट्रिक का उपयोग करता है। लेकिन वास्तव में, रोबोट अक्सर एक साथ कई अलग-अलग ट्रिक्स के मिश्रण का उपयोग करता है (जैसे कि मंजिल तक पहुँचने के लिए मानचित्र, दिशा-सूचक यंत्र और इलाके की स्मृति का एक साथ उपयोग करना)।

समाधान: NPEFF ("बहु-स्तरीय एक्स-रे")

लेखक एक नया टूल पेश करते हैं जिसे NPEFF (नॉन-नेगेटिव पर-एग्जांपल फिशर फैक्टराइजेशन) कहा जाता है। NPEFF को एक हाई-टेक, बहु-स्तरीय एक्स-रे मशीन के रूप में समझें जो केवल एक स्लाइस के बजाय, एक एकल वाक्य के लिए रोबोट की पूरी विचार प्रक्रिया को देख सकती है।

यह इस प्रकार काम करता है, चरण-दर-चरण:

1. "फिशर मैट्रिक्स" (पूर्ण संवेदनशीलता मानचित्र)

केवल इस बात को देखने के बजाय कि रोबोट ने चुने गए उत्तर पर कैसी प्रतिक्रिया दी, NPEFF इस बात को देखता है कि यदि कोई भी संभावित उत्तर चुना जाता, तो रोबोट की आंतरिक सेटिंग्स कैसे बदल जातीं।

उपमा: कल्पना कीजिए कि रोबोट एक विशाल ऑर्केस्ट्रा है। पुराने तरीके केवल तब वायलिन सेक्शन को सुनते हैं जब गाना समाप्त हो जाता है। NPEFF यह सुनता है कि यदि कंडक्टर लय (टेम्पो), की (key), या वॉल्यूम को बदल दे, तो पूरा ऑर्केस्ट्रा (वायलिन, ड्रम, ट्रम्पेट आदि) कैसे प्रतिक्रिया देगा। यह पूरे सिस्टम की "संवेदनशीलता" को कैप्चर करता है।

2. "फैक्टराइजेशन" (गांठ को सुलझाना)

इस "संवेदनशीलता मानचित्र" से प्राप्त डेटा बहुत बड़ा और अस्त-व्यस्त होता है। NPEFF इस उलझन को सुलझाने के लिए एक विशेष गणितीय ट्रिक का उपयोग करता है। यह जटिल मानचित्र को कंपोनेंट्स (घटकों) नामक सरल, बिल्डिंग-ब्लॉक पैटर्न के एक सेट में तोड़ देता है।

उपमा: कल्पना कीजिए कि स्ट्रॉबेरी, केला और पालक से बना एक स्मूदी है। पुराने तरीके शायद केवल यह कहेंगे, "यह एक फ्रूट स्मूदी है।" NPEFF उस मशीन की तरह है जो स्मूदी को उसके अलग-अलग अवयवों में वापस अलग कर सकती है: "यहाँ स्ट्रॉबेरी वाला हिस्सा है, यहाँ केला वाला हिस्सा है, और यहाँ पालक वाला हिस्सा है।"
"पॉलीजेनिक" लाभ: क्योंकि NPEFF इन अवयवों को अलग करता है, यह देख सकता है कि एक एकल वाक्य को एक साथ "स्ट्रॉबेरी" (एक विशिष्ट व्याकरण नियम) और एक "केले" (एक विशिष्ट स्वर या टोन) का उपयोग करके प्रोसेस किया जा सकता है। यही वह चीज़ है जिसे पेपर में पॉलीजेनिक व्यवहार (कई कारकों से प्रभावित) कहा गया है।

3. "नॉन-नेगेटिव" नियम

गणित यह सुनिश्चित करता है कि ये "अवयव" हमेशा सकारात्मक रहें। आप "नेगेटिव स्ट्रॉबेरी" नहीं रख सकते।

यह क्यों मायने रखता है: यह परिणामों को मनुष्यों के लिए समझने में आसान बनाता है। इसका अर्थ है कि एक कंपोनेंट एक विशिष्ट "रणनीति" या "ह्यूरिस्टिक" का प्रतिनिधित्व करता है जिसे रोबोट उपयोग करता है, न कि सकारात्मक और नकारात्मक संख्याओं के एक भ्रमित मिश्रण का।

उन्होंने क्या पाया?

शोधकर्ताओं ने विभिन्न कार्यों पर NPEFF का परीक्षण किया, जैसे सेंटीमेंट एनालिसिस (क्या यह समीक्षा अच्छी है या बुरी?) और टॉपिक आइडेंटिफिकेशन (यह प्रश्न किस बारे में है?)।

इसे स्पष्ट विषय मिले: जब उन्होंने एक विशिष्ट कंपोनेंट के लिए "टॉप उदाहरणों" को देखा, तो उन्हें स्पष्ट पैटर्न मिले। उदाहरण के लिए, एक कंपोनेंट केवल तभी सक्रिय हुआ जब रोबोट "तेजी से वजन घटाने" से संबंधित प्रश्न पढ़ रहा था। दूसरा केवल "फिल्म निर्देशकों" के बारे में प्रश्नों के लिए सक्रिय हुआ।
यह प्रतियोगिता को हरा देता है: उन्होंने NPEFF की तुलना पुराने तरीकों (जैसे ग्रेडिएंट क्लस्टरिंग और स्पार्स ऑटोएनकोडर्स) से की।
- पुराने तरीके मुख्य रूप से "मोनोजेनिक" व्यवहार (प्रति प्रश्न एक ट्रिक) पाते थे।
- NPEFF ने "पॉलीजेनिक" व्यवहार (ट्रिक्स का मिश्रण) खोजे। यह उन सूक्ष्म, जटिल रणनीतियों को खोजने में बहुत बेहतर था जिनका उपयोग रोबोट तब करता है जब कई संभावित उत्तर मौजूद होते हैं।
यह विभिन्न मॉडलों पर काम करता है: उन्होंने विभिन्न आकार के रोबोटों (SmolLM2 और GPT-2) पर NPEFF का परीक्षण किया और यह उन सभी पर अच्छी तरह से काम करता है।

"मैजिक वांड" टेस्ट (परटर्बेशन्स)

यह साबित करने के लिए कि ये कंपोनेंट्स वास्तविक थे और केवल गणितीय चालें नहीं थे, शोधकर्ताओं ने एक "तनाव परीक्षण" (stress test) किया।

प्रयोग: उन्होंने एक विशिष्ट कंपोनेंट (जैसे, "फिल्म निर्देशक" रणनीति) की गणितीय "दिशा" ली और उस दिशा में रोब सहित रोबोट की आंतरिक सेटिंग्स में थोड़ा बदलाव किया।
परिणाम: जब उन्होंने ऐसा किया, तो रोबोट का व्यवहार विशेष रूप से उन प्रश्नों के लिए बदल गया जो उस कंपोनेंट से मेल खाते थे। यदि उन्होंने "फिल्म निर्देशक" सेटिंग्स में बदलाव किया, तो रोबोट विशेष रूप से फिल्म वाले प्रश्नों पर भ्रमित हो गया, लेकिन गणित के प्रश्नों पर नहीं।
निष्कर्ष: यह साबित करता है कि NPEFF केवल अनुमान नहीं लगा रहा है; इसने वास्तव में रोबोट के अंदर वास्तविक, भौतिक "स्विच" खोज लिए हैं जो विशिष्ट व्यवहारों को नियंत्रित करते हैं।

एक सस्ता संस्करण: G-NPEFF

पूर्ण "संवेदनशीलता मानचित्र" (फिशर मैट्रिक्स) की गणना करना बहुत महंगा और धीमा है, जैसे रेत के कणों को गिनने के लिए सुपरकंप्यूटर का उपयोग करना।

शॉर्टकट: लेखकों ने एक सस्ता संस्करण बनाया जिसे G-NPEFF कहा जाता है। यह एक सरल, तेज़ गणना (केवल अनुमानित उत्तर का ग्रेडिएंट) का उपयोग करता है, न कि पूर्ण मानचित्र का।
समझौता (Trade-off): यदि रोबोट बहुत आश्वस्त है (लो एंट्रॉपी, कम विकल्प), तो सस्ता संस्करण लगभग उतना ही अच्छा काम करता है जितना कि महंगा संस्करण। लेकिन यदि रोबोट अनिश्चित है और उसके पास कई संभावित उत्तर हैं (हाई एंट्रॉपी, कई विकल्प), तो सस्ता संस्करण जटिल "रणनीतियों के मिश्रण" को नहीं देख पाता है और केवल प्रमुख रणनीति को ही देख पाता है।

सारांश

NPEFF AI के दिमाग के अंदर देखने का एक नया तरीका है।

पुराना तरीका: एक स्नैपशॉट देखें, एक सरल कारण मान लें।
NPEFF का तरीका: पूरी तस्वीर देखें, कारणों के मिश्रण को सुलझाएं, और उन विशिष्ट "रणनीतियों" को खोजें जिनका उपयोग AI करता है।
प्रमाण: वे इन निष्कर्षों का उपयोग करके AI के मस्तिष्क को भौतिक रूप से बदलकर विशिष्ट रणनीतियों को चालू या बंद कर सकते हैं, जो यह साबित करता है कि उन्होंने मशीन के वास्तविक "गियर्स" को खोज लिया है।

यह हमें यह समझने में मदद करता है कि एक AI निर्णय क्यों लेता है, जो AI को सुरक्षित और अधिक विश्वसनीय बनाने की दिशा में एक महत्वपूर्ण कदम है।

तकनीकी सारांश: नॉन-नेगेटिव पर-एग्जांपल फिशर फैक्टराइजेशन के साथ लैंग्वेज मॉडल प्रोसेसिंग रणनीतियों को उजागर करना

समस्या का विवरण

लैंग्वेज मॉडल के व्यवहार को गठित करने वाले ह्यूरिस्टिक्स और एल्गोरिदम को समझना सुरक्षित और विश्वसनीय तैनाती के लिए महत्वपूर्ण है। जबकि ट्रांसफॉर्मर सर्किट पर पिछले कार्यों ने विशिष्ट, पूर्व-निर्धारित व्यवहारों (जैसे, इनडायरेक्ट ऑब्जेक्ट आइडेंटिफिकेशन) के लिए व्याख्या योग्य कम्प्यूटेशनल ग्राफों की सफलतापूर्वक पहचान की है, इन दृष्टिकोणों के लिए शोधकर्ताओं को वांछित व्यवहारों को पहले से परिभाषित करने की आवश्यकता होती है, जो पूर्वाग्रह (bias) पेश करता है और अनपेक्षित मॉडल रणनीतियों को छोड़ने का जोखिम पैदा करता है।

हाल के अनसुपरवाइज्ड तरीके, जैसे कि ग्रेडिएंट क्लस्टरिंग, मॉडल मापदंडों (parameters) के सापेक्ष लॉस के ग्रेडिएंट्स के आधार पर उदाहरणों को समूहीकृत करके मॉडल व्यवहारों की खोज करने का प्रयास करते हैं। हालाँकि, ये विधियाँ दो प्राथमिक सीमाओं से ग्रस्त हैं:

मोनोजेनिक धारणा (Monogenic Assumption): वे इस धारणा के तहत कार्य करते हैं कि प्रत्येक उदाहरण के लिए एक एकल आंतरिक मॉड्यूल व्यवहार को संचालित करता है। वास्तव में, मॉडल व्यवहार अक्सर "पॉलीजेनिक" होते हैं, जिसका अर्थ है कि वे एक साथ कई कारकों से प्रभावित होते हैं (उदाहरण के लिए, कई संभावित निरंतरता वाले संदिग्ध संदर्भ)। ग्रेडिएंट क्लस्टरिंग एक एकल कारक असाइनमेंट को लागू करती है, जो इस जटिलता को पकड़ने में विफल रहती है।
ग्रेडिएंट्स का सीमित दायरा: एक एकल लॉग-प्रोबेबिलिटी (या लॉस) का ग्रेडिएंट मॉडल के प्रेडिक्टिव डिस्ट्रीब्यूशन के केवल एक संकीर्ण हिस्से को कैप्चर करता है। यह विशिष्ट क्लास के प्रति पक्षपाती होता है जिसे प्रेडिक्ट किया जा रहा है, जिससे यह उन कारकों को पकड़ने के लिए कम उपयुक्त हो जाता है जो विभिन्न क्लासेस में भविष्यवाणियों को प्रभावित करते हैं, विशेष रूप से उच्च-एन्ट्रॉपी या मल्टी-क्लास परिदृश्यों में।

कार्यप्रणाली: NPEFF

लेखक NPEFF (नॉन-नेगेटिव पर-एग्जांपल फिशर फैक्टराइजेशन) पेश करते हैं, जो एक व्याख्यात्मकता (interpretability) विधि है जिसे पूर्व-निर्धारित किए बिना पॉलीजेनिक व्यवहार संबंधी कारकों को उजागर करने के लिए डिज़ाइन किया गया है।

1. पर-एग्जांपल फिशर (PEF) मैट्रिसेस

लॉस ग्रेडिएंट्स के बजाय, NPEFF पर-एग्जांपल फिशर (PEF) मैट्रिक्स, $F(x)$ का उपयोग करता है, जिसे इस प्रकार परिभाषित किया गया है:
$F(x) = \mathbb{E}_{y \sim p_\theta(y|x)} [\nabla_\theta \log p_\theta(y|x) \nabla_\theta \log p_\theta(y|x)^T]$
PEF एक पॉजिटिव सेमी-डेफिनिट (PSD) मैट्रिक्स है जो पैरामीटर परिवर्तनों को मॉडल के संपूर्ण प्रेडिक्टिव डिस्ट्रीब्यूशन में बदलाव से जोड़ता है। ग्रेडिएंट्स के विपरीत, जो एक एकल परिणाम पर ध्यान केंद्रित करते हैं, PEF सभी संभावित भविष्यवाणियों में संवेदनशीलता को कैप्चर करता है, जो इसे उन पॉलीजेनिक व्यवहारों के विश्लेषण के लिए उपयुक्त बनाता है जहाँ कई कारक वितरण को प्रभावित करते हैं।

2. रैंडम प्रोजेक्शन के माध्यम से कुशल गणना

आधुनिक मॉडलों के लिए PEF मैट्रिसेस उनके आकार के कारण कम्प्यूटेशनल रूप से अव्यवहार्य (intractable) हैं (क्विंटिलियंस प्रविष्टियाँ)। इसे संबोधित करने के लिए, लेखक PEF को अनुमानित करने के लिए रैंडम प्रोजेक्शन (Achlioptas, 2003) का उपयोग करते हैं। वे एक लो-रैंक मैट्रिक्स प्रतिनिधित्व (LRM-PEF) का निर्माण करते हैं और आयाम (dimensionality) को कम करने के लिए रैंडम प्रोजेक्शन लागू करते हैं। महत्वपूर्ण रूप से, वे प्रदर्शित करते हैं कि इन प्रोजेक्शन को कंप्रेस्ड सेंसिंग तकनीकों (Donoho, 2006) का उपयोग करके "उल्टा" (reverse) किया जा सकता है ताकि स्पार्स पैरामीटर-स्पेस वेक्टर्स को रिकवर किया जा सके, जिससे व्यवहार संबंधी कारकों के अनुरूप विशिष्ट मॉडल दिशाओं की पहचान की जा सके।

3. नॉन-नेगेटिव डिकम्पोजिशन

NPEFF का मूल एक डिकम्पोजिशन एल्गोरिदम है जो PEFs के सेट को रैंक-1 PSD मैट्रिसेस के नॉन-नेगेटिव संयोजन के रूप में अनुमानित करता है:
$\min \sum_{i=1}^m \| G_i^T G_i - \sum_{j=1}^C W_{ij} h_j h_j^T \|_F^2 \quad \text{subject to} \quad W_{ij} \geq 0$
यहाँ, $h_j h_j^T$ घटक $j$ के "स्यूडो-फिशर" (pseudo-Fisher) को दर्शाता है, और $W_{ij}$ नॉन-नेगेटिव गुणांक हैं। यह फॉर्मूलेशन प्रत्येक उदाहरण को कई कारकों के भारित संयोजन (weighted combination) द्वारा समझाया जा सकता है, जो सीधे पॉलीजेनिसिटी को मॉडल करता है। एल्गोरिदम गुणांकों को अपडेट करने (NMF के समान मल्टीप्लिकेटिव अपडेट का उपयोग करके) और स्यूडो-फिशर वेक्टर्स को अपडेट करने (ग्रेडिएंट डिसेंट का उपयोग करके) के बीच बारी-बारी से कार्य करता है।

4. G-NPEFF वेरिएंट

कम्प्यूटेशनल लागत को कम करने के लिए, लेखक G-NPEFF प्रस्तावित करते हैं, जो प्रेडिक्टेड क्लास/टोकन के लॉग-प्रोबेबिलिटी के ग्रेडिएंट से निर्मित रैंक-1 मैट्रिसेस पर समान डिकम्पोजिशन एल्गोरिदम लागू करता है। हालांकि यह सस्ता है, लेकिन दिखाया गया है कि G-NPEFF पॉलीजेनिक कारकों को कैप्चर करने में कम प्रभावी है क्योंकि जैसे-जैसे क्लासेस की संख्या बढ़ती है, यह प्रमुख प्रेडिक्टेड क्लास की ओर पक्षपाती रहता है।

मुख्य योगदान और परिणाम

1. व्याख्या योग्य पॉलीजेनिक कारकों की खोज

SST2 (सेंटिमेंट एनालिसिस), Yahoo Answers Topics (विषय पहचान), और CLINC150 (इंटेंट क्लासिफिकेशन) जैसे कार्यों पर मानव और LLM मूल्यांकन के माध्यम से, लेखक प्रदर्शित करते हैं कि NPEFF घटक व्याख्या योग्य विषयों (जैसे, "तेजी से वजन घटाने के बारे में प्रश्न" या "अभिनेताओं के सकारात्मक विवरण") के अनुरूप हैं।

पॉलीजेनिसिटी (Polygenicity): ग्रेडिएंट क्लस्टरिंग के विपरीत, जो लगभग विशेष रूप से "मोनोजेनिक" (एकल-कारक) व्यवहारों को रिकवर करता है, NPEFF सफलतापूर्वक एक महत्वपूर्ण हिस्सा पॉलीजेनिक कारकों को रिकवर करता है। यह इस तथ्य से प्रमाणित होता है कि एक उच्च प्रतिशत घटक ग्राउंड-ट्रुथ लेबल्स के प्रति ट्यून किए गए हैं लेकिन मॉडल के विशिष्ट भविष्यवाणियों के प्रति नहीं (LnP-tuned), जो दर्शाता है कि वे शीर्ष भविष्यवाणी से परे वितरण को प्रभावित करने वाले कारकों को कैप्चर करते हैं।
तुलना: NPEFF इन सूक्ष्म, बहु-कारक व्यवहारों की पहचान करने में ग्रेडिएंट क्लस्टरिंग, एक्टिवेशन स्पार्स ऑटोएनकोडर (SAEs), और ग्रेडिएंट्स/एक्टिवेशंस पर SVD सहित बेसलाइन से बेहतर प्रदर्शन करता है।

2. पैरामीटर परटर्बेशन के माध्यम से कॉज़ल वैलिडेशन

लेखक कंप्रेस्ड सेंसिंग का उपयोग करके प्रोजेक्टेड स्यूडो-फिशर्स से पैरामीटर-स्पेस वेक्टर्स को पुनर्गठित करके NPEFF घटकों के कॉज़ल महत्व को मान्य करते हैं। वे इन दिशाओं के साथ परटर्बेशन (perturbations) लागू करते हैं और देखते हैं कि:

परटर्बेशन उन उदाहरणों पर मॉडल की भविष्यवाणियों को महत्वपूर्ण रूप से बाधित करते हैं जहाँ घटक का गुणांक (coefficient) उच्च होता है।
व्यवधान चयनात्मक (selective) है, जो रैंडम उदाहरणों की तुलना में लक्षित उदाहरणों को बहुत अधिक प्रभावित करता है।
यह पुष्टि करता है कि NPEFF द्वारा खोजी गई दिशाएँ विशिष्ट व्यवहार संबंधी कारकों के मॉडल प्रसंस्करण से कॉज़ली जुड़ी हुई हैं।

3. इन-कॉन्टेक्स्ट लर्निंग (ICL) का विश्लेषण

लेखक ICL का विश्लेषण करने के लिए NPEFF लागू करते हैं। वे ज़ीरो-शॉट NPEFF घटक ट्यूनिंग्स पर आधारित एक लीनियर क्लासिफायर का निर्माण करते हैं। यह क्लासिफायर 6-शॉट ICL के समान सटीकता प्राप्त करता है और अत्यधिक समान भविष्यवाणियाँ करता है।

निष्कर्ष: यह सुझाव देता है कि ICL से प्राप्त प्रदर्शन का अधिकांश हिस्सा मॉडल द्वारा नए व्यवहार सीखने के बजाय, कार्य संरचना के अनुकूल होने के लिए अपने मौजूदा ज़ीरो-शॉट व्यवहार संबंधी कारकों को पुन: भारित (re-weighting) करने से आता है।

4. दक्षता और स्केलेबिलिटी

G-NPEFF: पेपर दिखाता है कि कम क्लासेस वाले कार्यों के लिए, G-NPEFF पूर्ण NPEFF के समान प्रदर्शन करता है, जो एक लागत प्रभावी विकल्प प्रदान करता है।
एब्लेशन (Ablations): रैंडम प्रोजेक्शन साइज और घटक गणनाओं पर प्रयोग दर्शाते हैं कि विधि मजबूत (robust) है। आक्रामक आयामी कमी (dimensionality reduction) के बावजूद, डिकम्पोजिशन मॉडल व्यवहार के बारे में महत्वपूर्ण जानकारी बनाए रखता है।

महत्व और दावे

पेपर दावा करता है कि NPEFF पॉलीजेनिक मॉडल व्यवहारों के कारकों को उजागर करने के लिए एक नया और सुव्यवस्थित तरीका है, जो ग्रेडिएंट-आधारित क्लस्टरिंग विधियों द्वारा छोड़ी गई एक महत्वपूर्ण कमी को संबोधित करता है।

मेथोडोलॉजिकल नवीनता: पर-एग्जेंडर फिशर मैट्रिसेस और रैंक-1 PSD मैट्रिसेस पर एक नॉन-नेगेटिव डिकम्पोजिशन का उपयोग करके, NPEFF एक ऐसा ढांचा प्रदान करता है जो बहु-कारक प्रकृति का सम्मान करता है।
कॉज़ल इंटरप्रिटेबिलिटी: घटक को पैरामीटर-स्पेस दिशाओं में मैप करने और उन्हें चुनिलेक्टिव रूप से बाधित करने की क्षमता यह मजबूत कॉज़ल प्रमाण प्रदान करती है कि ये घटक वास्तविक प्रसंस्करण रणनीतियों का प्रतिनिधित्व करते हैं।
व्यावहारिक उपयोगिता: यह विधि जटिल व्यवहारों (जैसे ICL) को उनके घटक कारकों में विच्छेदित करने में सक्षम बनाती है, जो अधिक लक्षित मॉडल संशोधन और सुरक्षा हस्तक्षेपों की ओर एक मार्ग प्रदान करती है।

लेखक अपने कार्य के दायरे के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि जबकि NPEFF पैरामीटर स्पेस में उन दिशाओं की पहचान करता है जो विशिष्ट व्यवहारों के लिए महत्वपूर्ण हैं, उन दिशाओं के अनुरूप स्पष्ट एल्गोरिदम या कम्प्यूटेशनल सर्किट का निर्माण भविष्य के ट्रांसफॉर्मर सर्किट अनुसंधान का विषय है। वे यह भी चेतावनी देते हैं कि हालांकि उनका परटर्बेशन कोड व्यवधान की अनुमति देता है, बड़े पैमाने पर मॉडल व्यवहार के परिष्कृत संशोधन में दुर्लभ लेकिन प्रासंगिक व्यवहारों को अनजाने में हटाने का जोखिम शामिल है।