💻 computer science

SSA: Improving Performance With a Better Scoring Function

यह शोध पत्र स्केल्ड साइन्ड एवरेजिंग (SSA) का प्रस्ताव करता है, जो एक नवीन अटेंशन स्कोरिंग फंक्शन है जो इन-कॉन्टेक्स्ट लर्निंग में वितरण बदलावों (distribution shifts) के तहत सामान्यीकरण विफलताओं को संबोधित करने के लिए सॉफ्टमैक्स (Softmax) को प्रतिस्थापित करता है, और विभिन्न एनएलपी (NLP) बेंचमार्क और आर्किटेक्चर पर महत्वपूर्ण प्रदर्शन सुधार प्रदर्शित करता है।

मूल लेखक: Omar Naim, Swarnadeep Bhar, Jérôme Bolte, Nicholas Asher

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Omar Naim, Swarnadeep Bhar, Jérôme Bolte, Nicholas Asher

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "SSA: एक बेहतर स्कोरिंग फंक्शन के साथ प्रदर्शन में सुधार" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "ज़ोर से चिल्लाने वाला प्रभाव" (The "Loud Voice" Effect)

एक कक्षा की कल्पना करें जहाँ एक शिक्षक (AI) बोर्ड पर लिखे गए उदाहरणों को देखकर एक नियम सीखने की कोशिश कर रहा है। आमतौर पर, शिक्षक पैटर्न को समझने के लिए सभी उदाहरणों पर समान रूप से ध्यान देता है।

हालाँकि, शोध बताते हैं कि ये AI मॉडल वर्तमान में जिस तरह से "ध्यान देते" (pay attention) हैं, उसमें एक बड़ी खामी है। वे Softmax नामक एक स्कोरिंग सिस्टम का उपयोग करते हैं। आप Softmax को एक बहुत ही संवेदनशील वॉल्यूम नॉब (आवाज़ नियंत्रित करने वाला बटन) की तरह समझ सकते हैं। यदि कमरे में कोई एक छात्र अचानक चिल्लाने लगे (एक ऐसी संख्या जो दूसरों की तुलना में बहुत बड़ी या छोटी हो), तो वॉल्यूम नॉब इतनी तेज़ी से ऊपर चला जाता है कि शिक्षक केवल उसी एक चिल्लाते हुए छात्र को सुन पाता है। शिक्षक शांत छात्रों को पूरी तरह से अनदेखा कर देता है, भले ही उन शांत छात्रों के पास पहेली सुलझाने के लिए ज़रूरी सुराग हों।

शोधकर्ताओं ने पाया कि जब AI मॉडल ऐसे डेटा का सामना करते हैं जो उनके प्रशिक्षण (training) से थोड़ा अलग है (जैसे कि एक असामान्य रूप से बड़ी संख्या), तो यह "चिल्लाने" वाला प्रभाव उन्हें विफल कर देता है। वे पूरी तस्वीर देखना बंद कर देते हैं और एक ही सबसे तेज़ संख्या पर जुनूनी होकर ध्यान केंद्रित करने लगते हैं, जिससे गलत उत्तर मिलते हैं।

समाधान: एक नया वॉल्यूम नॉब (SSA)

इसे ठीक करने के लिए, लेखकों ने Scaled Signed Averaging (SSA) नामक एक नया स्कोरिंग फंक्शन बनाया।

यदि Softmax एक संवेदनशील वॉल्यूम नॉब है जो चिल्लाने से बिगड़ जाता है, तो SSA एक स्मार्ट साउंड इंजीनियर की तरह है।

जब कोई "चिल्लाने वाली" संख्या आती है, तो SSA वॉल्यूम को 100% तक नहीं बढ़ाता है। इसके बजाय, यह कहता है, "ठीक है, वह संख्या बड़ी है, लेकिन आइए हम दूसरों को अनदेखा न करें।"
यह वॉल्यूम को संतुलित रखता है। यह AI को तेज़ संख्या और शांत संख्याएं, दोनों को एक साथ सुनने की अनुमति देता है।
यह AI को एक आउटलायर (outlier) से विचलित होने के बजाय पूरे संदर्भ से जानकारी को जोड़ने में मदद करता है।

उन्होंने इसका परीक्षण कैसे किया

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने यह देखने के लिए कि क्या उनका नया तरीका पुराने से बेहतर काम करता है, दो विशिष्ट "परीक्षाएँ" आयोजित कीं।

"हर कोई बनाम कुछ" टेस्ट (The "Every vs. Some" Test):
- कार्य: AI को संख्याओं की एक सूची देखनी थी और यह तय करना था कि क्या हर संख्या धनात्मक (positive) है, या कुछ संख्याएँ धनात्मक हैं।
- जाल (The Trap): उन्होंने AI को सामान्य संख्याओं वाली सूचियाँ दीं, और फिर एक विशाल संख्या (जैसे 70) वाली सूचियाँ दीं जो छोटी संख्याओं के बीच मिली हुई थी।
- परिणाम: पुराने AI (Softmax) ने उस 70 को देखा, विचलित हो गया, और कहा, "सब कुछ धनात्मक है!" क्योंकि वह केवल 70 को सुन रहा था। नए AI (SSA) ने पूरी सूची को देखा, ऋणात्मक (negative) संख्याओं को देखा, और सही उत्तर दिया।
"गणितीय पैटर्न" टेस्ट (The "Math Pattern" Test):
- कार्य: AI को कुछ उदाहरणों के आधार पर एक गणितीय समीकरण (जैसे $y = 2x + 1$ ) के पीछे के नियम का अनुमान लगाना था।
- **जाल (The Trap):ately, उन्होंने AI का परीक्षण उन संख्याओं के साथ किया जिन्हें उसने पहले कभी नहीं देखा था (बहुत बड़ी या बहुत छोटी संख्याएँ)।
- परिणाम: पुराना AI अजीब संख्याओं से भ्रमित हो गया और पैटर्न खोजने में विफल रहा। नए AI (SSA) ने अजीब संख्याओं को कुशलता से संभाला और सही पैटर्न ढूंढना जारी रखा।

क्या यह वास्तविक भाषा पर काम करता है?

शोधकर्ताओं ने केवल गणितीय पहेलियों तक ही खुद को सीमित नहीं रखा। उन्होंने यह देखने के लिए कि क्या यह नया "साउंड इंजीनियर" भाषा के साथ मदद करता है, वास्तविक टेक्स्ट (जैसे किताबें और वेबसाइटें) पर AI मॉडल को प्रशिक्षित किया।

डिकोडर मॉडल (कहानियाँ सुनाने वाले - Decoder Models): उन्होंने एक मॉडल बनाया जो टेक्स्ट लिखता है। नया मॉडल (SSA) पुराने मॉडल की तुलना में कम गलतियाँ करता था और कठिन या असामान्य वाक्यों को पढ़ते समय टेक्स्ट को बेहतर समझता था।
एनकोडर मॉडल (समझने वाले - Encoder Models): उन्होंने व्याकरण (grammar) को समझने के लिए डिज़ाइन किए गए एक मॉडल का परीक्षण किया (जैसे होमवर्क चेक करने वाला छात्र)। नया मॉडल पुराने मॉडल की तुलना में व्याकरण के नियमों को पहचानने में बेहतर था, जैसे कि कर्ता (subject) को क्रिया (verb) के साथ मिलाना या सर्वनाम (pronoun) को समझना।

निचोड़ (The Bottom Line)

पेपर का दावा है कि AI में वर्तमान "अटेंशन" मैकेनिज्म (Softmax) चरम मानों (extreme values) से बहुत आसानी से विचलित हो जाता है, जिससे असामान्य होने पर AI विफल हो जाता है। इस मैकेनिज्म को अपने नए SSA तरीके से बदलकर, AI बहुत अधिक मजबूत (robust) हो जाता है। यह अपने ध्यान को संतुलित करना सीखता है, सूचना के पूरे समूह को देखता है, न कि केवल एक सबसे तेज़ हिस्से पर ध्यान केंद्रित करता है।

मुख्य बात: पेपर यह साबित करता है कि AI के काम करने के तरीके (स्कोरिंग फंक्शन) को बदलना ही उसे स्मार्ट और अधिक विश्वसनीय बनाने के लिए पर्याप्त है, बिना AI को बड़ा बनाए या उसे अधिक डेटा पर प्रशिक्षित किए। यह एक सॉफ्टवेयर अपग्रेड है, हार्डवेयर नहीं।

तकनीकी सारांश: SSA: एक बेहतर स्कोरिंग फंक्शन के साथ प्रदर्शन में सुधार

समस्या विवरण

जबकि ट्रांसफॉर्मर मॉडल मजबूत इन-कॉन्टेक्स्ट लर्निंग (ICL) क्षमताएं प्रदर्शित करते हैं, वे वितरण बदलावों (distribution shifts)—उन परिदृश्यों में जहाँ परीक्षण-समय इनपुट या एल्गोरिथम संरचनाएँ प्रशिक्षण वितरण से भिन्न होती हैं—के दौरान व्यवस्थित विफलताओं का प्रदर्शन करते हैं। हालिया साहित्य ने पहचान की है कि लार्ज लैंग्वेज मॉडल्स (LLMs) "कम-संभाव्यता सेटिंग्स" (low-probability settings) में संघर्ष करते हैं, और तब भी सामान्यीकरण करने में विफल रहते हैं जब अंतर्निहित नियम अपरिवर्तित रहते हैं।

लेखक नियंत्रित ICL कार्यों का उपयोग करके इन विफलताओं के वास्तुशिल्प (architectural) मूलों की जांच करते हैं। वे अटेंशन मैकेनिज्म के भीतर Softmax स्कोरिंग फंक्शन को इन सामान्यीकरण विफलताओं के प्राथमिक योगदानकर्ता के रूप में पहचानते हैं। विशेष रूप से, वे देखते हैं कि जब इनपुट अनुक्रमों में प्रशिक्षण के दौरान देखे गए मानों की तुलना में काफी बड़े परिमाण (magnitudes) वाले मान होते हैं, तो Softmax अटेंशन सैचुरेशन (attention saturation) का कारण बनता है। यह घटना अटेंशन वेट्स को लगभग पूरी तरह से उस एकल टोकन पर केंद्रित कर देती है जिसका मान अधिकतम होता है, जिससे कार्य के लिए महत्वपूर्ण अन्य सभी कॉन्टेक्स्ट टोकन प्रभावी रूप से अनदेखे रह जाते हैं। यह "अटेंशन कोलैप्स" (attention collapse) अनुक्रम में सूचना को एकीकृत करने से रोकता है, जिससे तार्किक एकत्रीकरण या कार्यात्मक अनुमान (functional inference) जैसे कार्यों में व्यवस्थित त्रुटियां होती हैं।

कार्यप्रणाली

नियंत्रित प्रयोगात्मक सेटअप

आर्किटेक्चरल प्रभावों को प्री-ट्रेनिंग आर्टिफैक्ट्स से अलग करने के लिए, लेखकों ने दो सिंथेटिक ICL कार्यों पर स्क्रैच से ट्रांसफॉर्मर मॉडल को प्रशिक्षित किया:

क्वांटिफिकेशन टास्क (Quantification Task): संख्याओं के अनुक्रमों पर तार्किक क्वांटिफायर ("Every" और "Some") की व्याख्या करने की मॉडल की क्षमता का मूल्यांकन करना।
लीनियर फंक्शन टास्क (Linear Function Task): इन-कॉन्टेक्स्ट उदाहरणों से एक एफ़ाइन फंक्शन $f(x) = ax + b$ का अनुमान लगाने की मॉडल की क्षमता का मूल्यांकन करना।

मॉडल्स को मानक सामान्य वितरण $N(0, 1)$ से प्राप्त डेटा पर प्रशिक्षित किया गया था और उच्च विचरण (variance) वाले वितरणों ( $N(0, \sigma)$ जहाँ $\sigma \ge 1$ ) के साथ लंबे अनुक्रम लंबाई सहित वितरण बदलावों के तहत परीक्षण किया गया था।

प्रस्तावित समाधान: स्केल्ड साइन्ड एवरेजिंग (SSA)

लेखक Softmax के एक प्रशिक्षित विकल्प के रूप में स्केल्ड साइन्ड एवरेजिंग (SSA) का प्रस्ताव करते हैं। SSA एक्सपोनेंशियल स्कोरिंग फंक्शन को एक पैरामीट्रिक फंक्शन से बदल देता है जिसे एलिमेंट-वाइज लागू किया जाता है:
$x \mapsto (1 + b|x|)^{\text{sgn}(x)n}$
जहाँ $b > 0$ और $n \ge 1$ प्रशिक्षित स्केलर पैरामीटर हैं।

प्रमुख सैद्धांतिक गुण:

पॉलीनोमियल बनाम एक्सपोनेंशियल ग्रोथ: Softmax के विपरीत, जो एक्सपोनेंशियल रूप से बढ़ता है और लॉजिट अंतर बढ़ने पर तेजी से "हार्डमैक्स" (Hardmax) वितरण में संतृप्त हो जाता है, SSA पॉलीनोमियल रूप से बढ़ता है।
माध्यम से, लेखक सिद्ध करते हैं कि ग्लोबल लॉजिट मैग्निफिकेशन या इनर डिसप्रोपोरशन (जहाँ एक टोकन का स्कोर अन्य की तुलना में बहुत अधिक होता है) के तहत, Softmax वेट्स विजेता के लिए 1 और अन्य के लिए 0 की ओर तेजी से अभिसरित (converge) होते हैं। इसके विपरीत, SSA केवल पॉलीनोमियल रूप से अभिसरित होता है, जिससे माध्यमिक टोकन के लिए एक गैर-शून्य "कॉन्टेक्स्टुअल मास" (contextual mass) बना रहता है। यह मॉडल को चरम मानों की उपस्थिति में भी संदर्भ का संतुलित दृश्य बनाए रखने की अनुमति देता है।

मूल्यांकन का दायरा

अध्ययन SSA का तीन अलग-अलग सेटिंग्स में मूल्यांकन करता है:

नियंत्रित ICL कार्य: स्क्रैच से प्रशिक्षित छोटे ट्रांसफॉर्मर (12 लेयर्स, 8 हेड्स)।
डिकोडर-ओनली बेंचमार्क्स: FineWeb कॉर्पस पर स्क्रैच से प्रशिक्षित एक 114M पैरामीटर वाला नेमोट्रॉन-शैली का मॉडल।
एनकोडर-ओनली आर्किटेक्चर: चाइल्ड-डायरेक्टेड स्पीच (AO-CHILDES कॉर्पस) पर प्रशिक्षित बेबी-बर्टा (BabyBERTa) के वेरिएंट और एक व्याकरणिक प्रोबिंग सुइट पर उनका मूल्यांकन।

लेखकों ने Sparsemax, Entmax, टेम्परेचर-स्केलड Softmax, CosFormer, और SA-Softmax सहित मौजूदा विकल्पों का भी व्यवस्थित रूप से परीक्षण किया, और पाया कि उनमें से कोई भी उनके विशिष्ट कार्यों पर मानक Softmax की तुलना में निरंतर सुधार प्रदान नहीं करता है।

मुख्य परिणाम

1. नियंत्रित ICL कार्य

शिफ्ट के तहत सामान्यीकरण: SSA, आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डेटा पर परीक्षण किए जाने पर, क्वांटिफिकेशन और लीनियर फंक्शन दोनों कार्यों में Softmax की तुलना में काफी बेहतर प्रदर्शन करता है।
परिमाण के प्रति मजबूती: क्वांटिफिकेशन कार्य में, Softmax मॉडल विफल हो जाते हैं जब अनुक्रम में एक बड़ा मान दिखाई देता है, जिससे वे केवल उस मान के आधार पर भविष्यवाणी करते हैं। SSA मॉडल पूरे अनुक्रम में सूचना को सही ढंग से एकत्रित करते हैं, और चरम इनपुट मानों के साथ भी निम्न त्रुटि दर बनाए रखते हैं।
लीनियर फंक्शन इन्फरेंस: SSA मॉडल शिफ्टेड डिस्ट्रीब्यूशन से प्राप्त गुणांकों (coefficients) वाले फंक्शन का अनुमान लगाने में Softmax बेसलाइन की तुलना में काफी कम मीन स्क्वेर्ड एरर (MSE) प्राप्त करते हैं।

2. डिकोडर-ओनली बेंचमार्क्स

NLP प्रदर्शन: SSA के साथ प्रशिक्षित एक 114M पैरामीटर वाला डिकोडर-ओनली मॉडल ने इन-डिस्ट्रीब्यूशन (FineWeb) और आउट-ऑफ-डिस्ट्रीब्यूशन (Wikipedia) टेक्स्ट दोनों पर अपने Softmax समकक्ष की तुलना में कम पर्प्लेक्सिटी (perplexity) प्राप्त की।
बेंचमार्क लाभ: मानक NLP बेंचमार्क्स (जैसे ARC, BoolQ, HellaSwag) पर, SSA-आधारित मॉडल ने ज़ीरो-शॉट मूल्यांकन के माध्यम से Softmax बेसलाइन की तुलना में लगातार बेहतर प्रदर्शन किया, जिसमें arc_easy और boolq जैसे कार्यों पर उल्लेखनीय सुधार देखा गया।

3. एनकोडर-ओनली मॉडल्स

ग्रामैटिकल प्रोबिंग: SSA-आधारित बेबी-बर्टा मॉडल्स ने Softmax-आधारित मॉडल्स की तुलना में कई व्याकरणिक प्रोबिंग कार्यों (जैसे सब्जेक्ट-वर्ब एग्रीमेंट, आर्गुमेंट स्ट्रक्चर) पर बेहतर प्रदर्शन दिखाया, जो यह दर्शाता है कि लाभ मास्क लैंग्वेज मॉडलिंग आर्किटेक्चर तक भी विस्तृत हैं।

महत्व और दावे

पेपर का दावा है कि Softmax सैचुरेशन एक मौलिक वास्तुशिल्प सीमा है जो अटेंशन मैकेनिज्म को बड़े-परिमाण वाले इनपुट के सामने सिंगल टोकन पर केंद्रित होने के कारण विफल कर देती है, चाहे वे टोकन कार्य के लिए प्रासंगिक हों या नहीं। इस विफलता मोड को ICL में वितरण बदलावों के तहत खराब सामान्यीकरण के एक प्राथमिक चालक के रूप में पहचाना गया है।

इस कार्य का महत्व निम्नलिखित में निहित है:

एक ठोस तंत्र की पहचान: विशिष्ट ICL परिदृश्यों में सामान्यीकरण विफलता के प्राथमिक चालक के रूप में मॉडल स्केल या डेटा जटिलता के बजाय Softmax स्कोरिंग फंक्शन को चिन्हित करना।
एक सरल, प्रभावी विकल्प: SSA को Softmax के एक "ड्रॉप-इन" विकल्प के रूप में पेश करना, जिसके लिए प्रति अटेंशन हेड केवल दो अतिरिक्त स्केलर पैरामीटर की आवश्यकता होती है।
व्यापक प्रयोज्यता: यह प्रदर्शित करना कि SSA डिकोडर-ओनली और एनकोडर-ओनली दोनों आर्किटेक्चर के साथ-साथ सिंथेटिक और वास्तविक दुनिया के NLP कार्यों पर प्रदर्शन में सुधार करता है।

लेखक एक विनम्र रुख बनाए रखते हैं, यह स्वीकार करते हुए कि जबकि SSA, Softmax की अनम्यता (inflexibility) से होने वाली विफलताओं को कम करता है, यह सभी सामान्यीकरण चुनौतियों को हल नहीं करता है, विशेष रूप से उन चरम वितरण बदलावों के मामले में जहाँ इनपुट और फंक्शन दोनों ही प्रशिक्षण से काफी भिन्न होते हैं। वे निष्कर्ष निकालते हैं कि अटेंशन की अंतर्निहित गणितीय संरचना, जो टोकन के परिमाण को प्रासंगिकता के साथ मिला देती है, भविष्य के अनुसंधान के लिए एक खुला क्षेत्र बनी हुई है।