🤖 machine learning

LLM REgression with a Latent Iterative State Head

RELISH एक हल्का, पैरामीटर-कुशल आर्किटेक्चर है जो फ्रोजन (frozen) LLM रिप्रजेंटेशन्स से सीधे स्केलर मानों की भविष्यवाणी करने के लिए एक पुनरावृत्ति लेटेंट स्टेट रिफाइनमेंट प्रक्रिया के माध्यम से टेक्स्ट रिग्रेशन के लिए मौजूदा तरीकों से बेहतर प्रदर्शन करता है, जिसमें केवल अतिरिक्त ट्रेन करने योग्य पैरामीटर्स का एक नगण्य अंश आवश्यक होता है।

मूल लेखक: Yiheng Su, Matthew Lease

प्रकाशित 2026-04-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yiheng Su, Matthew Lease

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल, या LLM) है जिसने अस्तित्व की हर किताब पढ़ रखी है। यह लाइब्रेरियन कहानियों को समझने, कविताएँ लिखने और पूर्ण वाक्यों में उत्तर देने में अद्भुत है।

लेकिन अब, आपको उनके लिए एक अलग काम है: आपको उन्हें एक एकल संख्या (single number) देनी है।

शायद आप जानना चाहते हैं:

ये दो वाक्य कितने समान हैं? (स्कोर: 0 से 5)
यह मशीन अनुवाद कितना अच्छा है? (स्कोर: 0 से 100)
इस फिल्म के हिट होने की कितनी संभावना है? (स्कोर: 0 से 10)

समस्या: "शब्दों वाली" लाइब्रेरियन

समस्या यह है कि हमारा लाइब्रेरियन शब्दों में बोलने के लिए प्रशिक्षित है, न कि संख्याओं के लिए। यदि आप उनसे पूछेंगे, "इन वाक्यों में कितनी समानता है?", तो वे शायद एक संख्या को लिखने की कोशिश करेंगे जैसे कि "4.5"।

यह वैसा ही है जैसे किसी शेफ से नमक को लिखने के लिए कहने के बजाय कि वह कागज पर "नमक" शब्द लिख दे, बल्कि उसे सही मात्रा में चुटकी भर नमक लेने के लिए कहना। यह अक्षम है और इसमें गलतियों की संभावना अधिक होती है।

"शब्दों वाला" दृष्टिकोण (ऑटोरेग्रेसिव डिकोडिंग): लाइब्रेरियन "4.5" लिखता है। लेकिन क्या होगा अगर उन्होंने "4.49" या "4.500" लिखा हो? कंप्यूटर के लिए, ये पूरी तरह से अलग शब्द हैं, भले ही उनका अर्थ लगभग समान हो। लाइब्रेरियन फॉर्मेटिंग को लेकर भ्रमित हो जाता है।
"मतदान" दृष्टिकोण (रिग्रेशन-अवेयर इन्फरेंस): आप लाइब्रेरियन को 16 अलग-अलग अनुमान ("4.5", "4.6", "4.4"...) लिखने के लिए कहते हैं, और फिर आप उनका औसत लेते हैं। यह सटीक तो है, लेकिन यह धीमा और थकाऊ है।
"सरल सारांश" दृष्टिकोण (प्रेडिक्टिव हेड्स): आप लाइब्रेरियन से कहते हैं, "कुछ भी मत लिखो। बस किताब को देखो और उस छिपे हुए स्विच की ओर इशारा करो जो संख्या को नियंत्रित करता है।" पिछले तरीकों ने एक बहुत ही सरल स्विच (जैसे एक सिंगल लाइटबल्ब) का उपयोग किया था जो पूरी किताब का सारांश एक चमक (glow) में करने की कोशिश करता था। यह अक्सर सूक्ष्म विवरणों को चूक जाता था।

समाधान: RELISH (द "इटरेटिव रिफाइनर")

लेखकों ने एक नया टूल बनाया है जिसे RELISH कहा जाता है। RELISH को एक विशेषज्ञ, उच्च-तकनीकी आवर्धक लेंस (magnifying glass) के रूप में समझें जो लाइब्रेरियन के मस्तिष्क के ऊपर स्थित है।

यह इस प्रकार कार्य करता है, एक सरल उपमा का उपयोग करते हुए:

1. "मौन पर्यवेक्षक" (फ्रोजन बैकबोन)

लाइब्रेरियन (LLM) बिल्कुल वैसा ही रहता है। हम उन्हें फिर से प्रशिक्षित नहीं करते या उनके व्यक्तित्व को नहीं बदलते। वे "फ्रोजन" (स्थिर) हैं क्योंकि वे पहले से ही भाषा के बारे में सब कुछ जानते हैं।

2. "पुनरावृत्ति जासूस" (लेटेंट इटरेटिव स्टेट)

लाइब्रेरियन को संख्या लिखने के लिए कहने के बजाय, RELISH लाइब्रेरियन के मन में एक मौन जासूस (एक "लेटेंट स्टेट") भेजता है।

राउंड 1: जासूस वाक्य के पहले कुछ शब्दों को देखता है और एक मोटा अनुमान बनाता है।
राउंड 2: जासूस वापस जाता है, पूरे वाक्य को फिर से देखता है, और पूछता है, "रुको, क्या मैंने बीच में कुछ छोड़ दिया? मुझे अपने अनुमान को समायोजित करने दें।"
राउंड 3: जासूस एक और बार गुजरता है, और अपने अनुमान को अंतिम बार परिष्कृत (refine) करता है।

यही "इटरेटिव" (पुनरावृत्ति) वाला हिस्सा है। पिछले तरीकों के विपरीत जो केवल एक त्वरित, एक नज़र वाले सारांश (जैसे पेंटिंग को घूरना) को लेते थे, RELISH तीन सावधानीपूर्वक, केंद्रित दृश्यों को लेता है, हर पास के साथ अपनी समझ को परिष्कृत करता है।

3. "अनुवादक" (लीनियर रिग्रेसर)

एक बार जब जासूस के पास एक पूर्ण, परिष्कृत आंतरिक समझ हो जाती है, तो वह उस समझ को एक साधारण कैलकुलेटर (एक लीनियर रिग्रेसर) को सौंप देता है जो तुरंत उस "एहसास" को एक सटीक संख्या (जैसे 4.7) में बदल देता है।

RELISH एक गेम चेंजर क्यों है?

1. यह गति का सौदागर है (दक्षता)

प्रतिद्वंद्वी: "मतदान" विधि ऐसी है जैसे एक संख्या प्राप्त करने के लिए लाइब्रेरियन को 16 निबंध लिखने के लिए कहना। यह धीमा है और बहुत ऊर्जा खर्च करता है।
RELISH: यह एक एकल, केंद्रित बातचीत की तरह है। यह एक ही पास में होता है। यह अविश्वसनीय रूप से तेज़ है।

2. यह एक हल्का चैंपियन है (पैरामीटर दक्षता)

प्रतिद्वंद्वी: "मतदान" विधि को बेहतर बनाने के लिए, आपको अक्सर लाइब्रेरियन को नए करतब सिखाने पड़ते हैं, जिसके लिए उनके मस्तिष्क में बहुत अधिक नई मेमोरी (पैरामीटर्स) जोड़ने की आवश्यकता होती है। यदि लाइब्रेरियन विशाल (32 बिलियन पैरामीटर्स) है, तो आपको गणित करने के लिए उनके मस्तिष्क का 0.4% हिस्सा जोड़ने की आवश्यकता हो सकती है।
RELISH: यह केवल एक बहुत ही छोटा "एड-ऑन" जोड़ता है (मस्तिष्क के आकार का लगभग 0.01% से 0.04%)। यह एक विशाल रोबोट को एक विशेष जोड़ी चश्मे लगाने जैसा है। यह इतना छोटा है कि इसका वजन लगभग कुछ भी नहीं है, फिर भी यह रोबोट को संख्याएं पूरी तरह से देखने में सक्षम बनाता है।

3. यह दिखने में जितना है उससे कहीं अधिक स्मार्ट है (प्रदर्शन)
पेपर के परीक्षणों में, RELISH ने हर अन्य विधि को पछाड़ दिया।

यह वाक्यों की "समानता" का अनुमान लगाने में बेहतर था।
यह अनुवाद की गुणवत्ता को आंकने में बेहतर था।
इसने विभिन्न आकारों के लाइब्रेरियन (छोटे 8B मॉडल से लेकर विशाल 32B मॉडल तक) में यह प्रदर्शन किया।

निचोड़ (The Bottom Line)

कल्पना कीजिए कि आपको सूप का तापमान मापने की आवश्यकता है।

पुराना तरीका 1: शेफ से तापमान को शब्दों में वर्णित करने के लिए कहें ("गर्म," "बहुत गर्म," "उबलता हुआ") और अनुमान लगाएं। (अचूक नहीं)।
पुराना तरीका 2: शेफ को 16 बार स्वाद लेने और परिणामों का औसत निकालने के लिए कहें। (धीमा)।
पुराना तरीका 3: सूप में एक साधारण थर्मामीटर लगा दें जो केवल "गर्म" या "ठंडा" पढ़ता है। (बहुत साधारण)।
RELISH: आप एक हाई-टेक प्रोब का उपयोग करते हैं जो अंदर जाता है, गर्मी की जांच करता है, अपने सेंसर को समायोजित करता है, फिर से जांच करता है, और एक सेकंड में आपको सटीक तापमान देता है।

RELISH वही हाई-टेक प्रोब है। यह हमें दुनिया के सबसे स्मार्ट AI मॉडल का उपयोग सटीक संख्या-गणना कार्यों के लिए करने देता है, बिना उन्हें धीमा किए या उनके मस्तिष्क को फिर से बनाए बिना। यह तेज़, सस्ता और आश्चर्यजनक रूप से सटीक है।

यहाँ शोध पत्र "LLM Regression with a Latent Iterative State Head (RELISH)" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र प्राकृतिक भाषा प्रतिगमन कार्यों (natural language regression tasks) के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को अनुकूलित करने की चुनौती को संबोधित करता है (जैसे कि टेक्स्ट से निरंतर स्केलर मानों (continuous scalar values) की भविष्यवाणी करना), जैसे कि सिमेंटिक टेक्स्टुअल सिमिलरिटी (STS) और मशीन ट्रांसलेशन क्वालिटी एस्टिमेशन (MTQE)।

वर्तमान दृष्टिकोणों में LLMs के टेक्स्ट-टू-टेक्स्ट प्रतिमान (text-to-text paradigm) और प्रतिगमन लक्ष्यों की निरंतर प्रकृति (continuous nature) के बीच एक मौलिक बेमेल (mismatch) होता है:

ऑटोरेग्रेसिव डिकोडिंग (ARD): यह संख्याओं को टेक्स्ट टोकन के रूप में मानता है। यह उप-इष्टतम (suboptimal) है क्योंकि लैंग्वेज मॉडलिंग ऑब्जेक्टिव (क्रॉस-एन्ट्रॉपी) संख्यात्मक निकटता (numerical proximity) के बजाय टोकन मिसमैच को दंडित करता है (उदाहरण के लिए, "1.0" के लक्ष्य के लिए "0.1" बनाम "0.9" की भविष्यवाणी करना एक छोटे संख्यात्मक अंतर के बजाय एक असतत त्रुटि (discrete error) के रूप में माना जाता है)।
रिग्रेशन-अवेयर इन्फरेंस (RAIL): यह बायेस-ऑप्टिमल निर्णय नियमों (जैसे, पोस्टीरियर मीन) का उपयोग करके ARD को ठीक करने का प्रयास करता है। हालाँकि, इसके लिए कई आउटपुट या उम्मीदवारों को सूचीबद्ध करने की आवश्यकता होती है, जिससे इन्फरेंस लागत बढ़ जाती है।
प्रेडिक्टिव हेड्स (Predictive Heads): ये एक लीनियर लेयर या MLP के माध्यम से LLM हिडन स्टेट्स को सीधे संख्याओं में मैप करते हैं। हालांकि यह कुशल है, मौजूदा विधियाँ स्टैटिक पूलिंग (जैसे, मीन पूलिंग) पर निर्भर करती हैं, जो अक्सर अनुक्रम (sequence) में वितरित सूक्ष्म, प्रतिगमन-प्रासंगिक संकेतों को निकालने में विफल रहती हैं।

2. कार्यप्रणाली: RELISH

लेखक RELISH (REgression with a Latent Iterative State Head) प्रस्तावित करते हैं, जो एक हल्का आर्किटेक्चर है जो बिना टेक्स्ट जेनरेट किए फ्रोजन LLM रिप्रेजेंटेशन्स से सीधे स्केलर मानों की भविष्यवाणी करता है।

मुख्य आर्किटेक्चर:

फ्रोजन बैकबोन (Frozen Backbone): LLM बैकबोन फ्रोजन रहता है। इनपुट टेक्स्ट $x$ को टोकन-लेवल हिडन स्टेट्स $H(x) \in \mathbb{R}^{S \times d}$ प्राप्त करने के लिए LLM के माध्यम से पास किया जाता है।
प्रोजेक्शन (Projection): हिडन स्टेट्स को एक हेड डायमेंशन $d_h$ में प्रोजेक्ट किया जाता है ताकि टोकन-लेवल मेमोरी $X(x)$ बनाई जा सके।
लेटेंट इटरेटिव स्टेट (Latent Iterative State): अनुक्रम को तुरंत एक सिंगल वेक्टर में कोलैप्स करने के बजाय, RELISH एक सीखने योग्य (learnable) लेटेंट टास्क स्टेट $r^{(0)}$ बनाए रखता है।
इटरेटिव रिफाइनमेंट (Iterative Refinement): लेटेंट स्टेट को टोकन रिप्रेजेंटेशन्स पर क्रॉस-अटेंशन के माध्यम से $L$ $L$ बार अपडेट किया जाता है:
- $r^{(i)} = \text{Refine}(r^{(i-1)}, X(x))$
- रिफाइनमेंट ब्लॉक एक ट्रांसफॉर्मर-शैली के रेसिडुअल स्ट्रक्चर का उपयोग करता है जिसमें मल्टी-हेड अटेंशन (MHA) है, जहाँ लेटेंट स्टेट क्वेरी (query) के रूप में कार्य करता है, और टोकन रिप्रेजेंटेशन्स कीज़ (keys) और वैल्यूज (values) के रूप में कार्य करते हैं।
- यह मॉडल को प्रतिगमन-प्रासंगिक जानकारी को निकालने के लिए इनपुट सीक्वेंस के विशिष्ट हिस्सों पर इटरेटिव रूप से "अटेंड" करने की अनुमति देता है।
प्रेडिक्शन (Prediction): अंतिम रिफाइंड स्टेट $r^{(L)}$ को एक लीनियर रिग्रेसर के माध्यम से स्केलर प्रेडिक्शन में मैप किया जाता है: $\hat{y} = w^\top r^{(L)} + b$ ।

ट्रेनिंग:

LLM बैकबोन फ्रोजन रहता है।
केवल प्रोजेक्शन मैट्रिक्स, प्रारंभिक लेटेंट स्टेट, रिफाइनमेंट ब्लॉक्स (MHA, FFN, LayerNorm), और अंतिम लीनियर वेट्स को प्रशिक्षित किया जाता है।
ऑब्जेक्टिव स्टैंडर्डाइज्ड टारगेट्स पर हुबर लॉस (Huber loss) है (संख्यात्मक स्थिरता और आउटलेयर्स को संभालने के लिए)।

3. मुख्य योगदान

नया आर्किटेक्चर: RELISH का परिचय, जो स्टैटिक पूलिंग ह्यूरिस्टिक्स को क्रॉस-अटेंशन का उपयोग करने वाले एक इटरेटिव लेटेंट स्टेट रिफाइनमेंट मैकेनिज्म से बदल देता है। यह स्केलर प्रेडिक्शन के लिए टोकन-लेवल रिप्रेजेंटेशन्स के अधिक मजबूत सारांश की अनुमति देता है।
एकीकृत अनुभवजन्य तुलना (Unified Empirical Comparison): पांच डेटासेट्स (STS-B, SICK-R, और तीन WMT क्वालिटी एस्टिमेशन टास्क), चार LLM बैकबोन्स (Llama 3.1 8B, Qwen3 8B/32B, Gemma 3 27B), और दो ट्रेनिंग रिजीम (फ्रोजन और LoRA फाइन-ट्यून) में एक व्यापक मूल्यांकन।
पैरामीटर दक्षता: RELISH, LoRA-आधारित विकल्पों की तुलना में काफी छोटे ट्रेन करने योग्य फुटप्रिंट के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।
- RELISH: ~3.4–3.7M ट्रेन करने योग्य पैरामीटर्स (0.01–0.04% मॉडल का)।
- LoRA/RAFT: ~21–134M पैरामीटर्स (0.26–0.42% मॉडल का), जो मॉडल के आकार के साथ स्केल होते हैं।
प्रदर्शन लाभ: RELISH तीनों प्रमुख प्रतिगमन परिवारों (ऑटोरेग्रेसिव, रिग्रेशन-अवेयर, और प्रेडिक्टिव हेड्स) के बेसलाइन्स से लगातार बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

प्रेडिक्टिव प्रदर्शन: RELISH ने सभी मेट्रिक्स (पियर्सन कोरिलेशन, स्पीयरमैन कोरिलेशन, और रेंज-नॉर्मलाइज्ड RMSE) में उच्चतम स्कोर प्राप्त किया।
- दूसरे सर्वश्रेष्ठ मेथड (RAFT) की तुलना में, RELISH ने पियर्सन कोरिलेशन में 6.7%, स्पीयरमैन में 7.2%, और NRMSE में 19.9% का सुधार किया।
- इसने ऑटोरेग्रेसिव प्रॉम्प्टिंग (ज़ीरो-शॉट और मेनी-शॉट) और रिग्रेशन-अवेयर इन्फरेंस (RAIL/RAFT) को लगातार पछाड़ दिया, भले ही उन बेसलाइन्स ने LoRA फाइन-ट्यूनिंग का उपयोग किया हो।
दक्षता:
- RELISH सिंगल-पास इन्फरेंस बनाए रखता है (RAIL/RAFT के विपरीत, जिन्हें सैंपलिंग की आवश्यकता होती है)।
- इसका पैरामीटर काउंट बैकबोन के आकार के प्रति अपरिवर्तनीय (invariant) है (केवल हिडन डायमेंशन $d_h$ के साथ स्केल होता है), जबकि LoRA पैरामीटर्स कुल मॉडल आकार के साथ रैखिक रूप से बढ़ते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- इटरेटिव रिफाइनमेंट: सिंगल-स्टेप अटेंशन पूलिंग ( $L=1$ ) की तुलना में रिफाइनमेंट स्टेप्स ( $L > 1$ ) बढ़ाने से प्रदर्शन में काफी सुधार होता है, जो इटरेटिव स्टेट अपडेट के महत्व की पुष्टि करता है।
- लॉस फंक्शन: लाभ मुख्य रूप से आर्किटेक्चरल हैं; RELISH दोनों Huber और MSE लॉस के साथ अच्छा प्रदर्शन करता है, हालांकि Huber थोड़ी स्थिरता प्रदान करता है।
- टास्क सेंसिटिविटी: RELISH ने STS (जो वैश्विक अर्थशास्त्र/semantics पर अधिक निर्भर है) की तुलना में मशीन ट्रांसलेशन क्वालिटी एस्टिमेशन (WMT) पर सबसे बड़े लाभ दिखाए, जहाँ सूक्ष्म, स्थानीयकृत त्रुटियाँ महत्वपूर्ण होती हैं।

5. महत्व और निहितार्थ

अंतराल को पाटना: RELISH सफलतापूर्वक प्रेडिक्टिव हेड्स की दक्षता और रिग्रेशन-अवेयर इन्फरेंस की सटीकता के बीच के अंतर को पाटता है, बिना सैंपलिंग की कम्प्यूटेशनल ओवरहेड के।
स्केलेबिलिटी: जैसे-जैसे LLMs बड़े होते जा रहे हैं, LoRA-आधारित प्रतिगमन तेजी से महंगा होता जा रहा है। RELISH एक स्केलेबल समाधान प्रदान करता है जहाँ अनुकूलन की लागत बेस मॉडल के आकार के बावजूद कम रहती है।
व्यापक अनुप्रयोग: यह आर्किटेक्चर टेक्स्ट से स्केलर आउटपुट की आवश्यकता वाले विभिन्न कार्यों के लिए लागू करने योग्य है, जिनमें शामिल हैं:
- रिवॉर्ड मॉडलिंग (RM): RLHF के लिए स्केलर रिवॉर्ड सीखना।
- LLM-as-a-Judge: मूल्यांकन के लिए रूब्रिक-आधारित स्कोर जेनरेट करना।
- कॉन्फिडेंस एस्टिमेशन: मॉडल अनिश्चितता स्कोर की भविष्यवाणी करना।
LLM रिप्रेजेंटेशन्स में अंतर्दृष्टि: RELISH की सफलता यह सुझाव देती है कि LLM हिडन स्टेट्स पहले से ही समृद्ध संख्यात्मक और प्रतिगमन-प्रासंगिक संकेत एनकोड करते हैं। पिछले तरीकों में बाधा ज्ञान की कमी नहीं थी, बल्कि स्टैटिक पूलिंग या ऑटोरेग्रेसिव जनरेशन द्वारा इन संकेतों को प्रभावी ढंग से निकालने और रिफाइन करने में असमर्थता थी।

निष्कर्षतः, RELISH LLM-आधारित प्रतिगमन में एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है, जो यह प्रदर्शित करता है कि फ्रोजन रिप्रेजेंटेशन्स का इटरेटिव, अटेंशन-आधारित सारांशीकरण निरंतर मान भविष्यवाणी के लिए टेक्स्ट जनरेशन और स्टैटिक पूलिंग दोनों की तुलना में एक बेहतर रणनीति है, जो एक अत्यधिक कुशल और सटीक समाधान प्रदान करता है।