🤖 machine learning

Task-Awareness Improves LLM Generations and Uncertainty

यह शोध पत्र एक निर्णय-सैद्धांतिक ढांचे का प्रस्ताव करता है जो बेयस-इष्टतम (Bayes-optimal) प्रतिक्रियाओं को संश्लेषित करने और जोखिम को मापने के लिए आउटपुट को कार्य-निर्भर गुप्त संरचना (task-dependent latent structure) में मॉडल करके LLM जनरेशन और अनिश्चितता अनुमान में सुधार करता है, जिससे यह मानक भाषा-स्थान डिकोडिंग विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Tim Tomov, Dominik Fuchsgruber, Stephan Günnemann

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tim Tomov, Dominik Fuchsgruber, Stephan Günnemann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बातूनी रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो आपके सवालों के जवाब देता है। आमतौर पर, जब आप इससे कुछ पूछते हैं, तो यह एक लंबा वाक्य या पैराग्राफ उगल देता है। लेकिन अक्सर, जो आप वास्तव में चाहते हैं वह एक पैराग्राफ नहीं होता; आप एक विशिष्ट संख्या, वस्तुओं की एक सूची, एक ग्राफ़, या एक शब्द चाहते हैं।

यह शोध पत्र तर्क देता है कि हम वर्तमान में इस रोबोट से गलत "भाषा" में काम करने के लिए कह रहे हैं। हम इसके कच्चे शब्दों को सुन रहे हैं, लेकिन हमें उन शब्दों के पीछे की संरचना (structure) को सुनना चाहिए।

यहाँ उनके विचार का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: सिग्नल नहीं, शोर को सुनना

कल्पना कीजिए कि आप रोबोट से पूछ रहे हैं, "अमेरिका की सीमा किन महासागरों से लगती है?"

पुराना तरीका: रोबोट कह सकता है, "खैर, प्रशांत महासागर पश्चिम में है, और अटलांटिक पूर्व में है, लेकिन शायद हिंद महासागर दूर है..." या यह सिर्फ "प्रशांत" का अनुमान लगा सकता है।
समस्या: रोबोट टेक्स्ट जेनरेट कर रहा है। लेकिन आपके प्रश्न में वास्तव में एक छिपा हुआ ढांचा है: यह महासागरों के एक सेट (set) के लिए पूछ रहा है।
शोध पत्र का अंतर्दृष्टि (Insight): रोबोट के उत्तर को शब्दों की एक स्ट्रिंग के रूप में मानने के बजाय, हमें इसके "कंकाल" या "ब्लूप्रिंट" में तुरंत अनुवाद करना चाहिए। इस मामले में, ब्लूप्रिंट एक सूची है: {प्रशांत, अटलांटिक}।

2. समाधान: "मास्टर शेफ" की उपमा

लेखक एक नया तरीका प्रस्तावित करते हैं जिससे सबसे अच्छा उत्तर प्राप्त किया जा सके, जिसे वे टास्क-अवेयरनेस (Task-Awareness) कहते हैं।

कल्पना कीजिए कि आप एक मास्टर शेफ (नया फ्रेमवर्क) हैं और रोबोट एक लाइन कुक (line cook) है जो बार-बार आपके पास सूप के अलग-अलग संस्करण लाता रहता है।

रोबोट (लाइन कुक): वह आपके पास सूप के 20 अलग-अलग कटोरे लाता है। कुछ में बहुत अधिक नमक है, कुछ में गाजर नहीं है, कुछ में शोरबा (broth) कम है।
पुराना तरीका (बीम सर्च): आप उन 20 कटोरों में से वह एक कटोरा चुनते हैं जो सबसे अच्छा दिखता है और उसे परोस देते हैं। यदि सबसे अच्छे कटोरे का स्वाद भी अजीब है, तो आप वही अजीब स्वाद परोसते हैं।
नया तरीका (बेयज़-ऑप्टिमल सिंथेसिस): आप केवल एक कटोरा नहीं चुनते। आप उन 20 कटोरों को एक विशाल मिक्सिंग पॉट में डालते हैं और औसत (average) स्वाद चखते हैं।
- यदि 15 कटोरों में गाजर थी और 5 में नहीं थी, तो आपके "औसत" सूप में निश्चित रूप से गाजर होगी।
- यदि 10 कटोरों में नमक था और 10 में नहीं था, तो आपके "औसत" सूप में बिल्कुल सही मात्रा में नमक होगा।
- जादू: यह "औसत सूप" शायद वह कटोरा नहीं है जो रोबोट ने वास्तव में बनाया था। यह एक नया, संश्लेषित व्यंजन (synthesized dish) है जो रोबोट के सभी अनुमानों के सर्वोत्तम हिस्सों को मिलाकर बनाया गया है।

गणित में, यह "मिक्सिंग पॉट" कच्चे टेक्स्ट की दुनिया के बजाय एक लेटेंट स्पेस (Latent Space - एक संरचित मानचित्र) में होता है।

3. वे इसे कैसे करते हैं (मानचित्र और पैमाना)

इसे काम करने के योग्य बनाने के लिए, लेखक दो चीजें करते हैं:

मानचित्र (Latent Structure): वे कार्य के लिए एक विशिष्ट मानचित्र परिभाषित करते हैं।
- यदि कार्य "एक शहर चुनें" है, तो मानचित्र शहरों की एक सूची है।
- यदि कार्य "एक निबंध को रेट करें" है, तो यह 0 से 10 तक की एक संख्या रेखा है।
- यदि कार्य "महासागरों की सूची दें" है, तो यह महासागरों के नामों का एक सेट है।
पैमाना (Dissimilarity Measure): वे एक नियम परिभाषित करते हैं कि एक उत्तर कितना "गलत" है।
- शहरों के लिए, एक अक्षर की गलती भी बुरी है।
- संख्याओं के लिए, 5 अंक कम या ज्यादा होना बुरा है।
- सेट्स (sets) के लिए, एक महासागर को छोड़ देना एक विशिष्ट प्रकार की त्रुटि है।

इस मानचित्र और पैमाने का उपयोग करके, वे बेयज़-ऑप्टिमल रिस्पॉन्स (Bayes-Optimal Response) की गणना करते हैं। यह गणितीय रूप से "परफेक्ट" उत्तर है जो सभी अनुमानों के आधार पर गलत होने की संभावना को कम करता है।

4. "अनिश्चितता" (Uncertainty) मीटर

शोध पत्र यह भी दावा करता है कि यह तरीका यह बताने में बेहतर है कि रोबोट कब भ्रमित है।

पुराना तरीका: रोबोट एक पूरी तरह से गलत उत्तर देते हुए भी कह सकता है कि "मैं 90% निश्चित हूँ।" या वह पांच अलग-अलग उत्तर दे सकता है, और हम बस यह गिनते हैं कि उसने कितने अलग-अलग शब्दों का उपयोग किया।
नया तरीका: लेखक देखते हैं कि "ब्लूप्रिंट्स" कितने फैले हुए हैं।
- यदि रोबोट के 20 अनुमान मानचित्र पर {प्रशांत} के रूप में मैप होते हैं, तो "फैलाव" बहुत कम है। रोबोट आश्वस्त है।
- यदि रोबोट के अनुमान {प्रशांत}, {अटलांटिक}, {हिंद}, और {आर्कटिक} के रूप में मैप होते हैं, तो "फैलाव" बहुत बड़ा है।
- शोध पत्र इस फैलाव को बेयज़ रिस्क (Bayes Risk) कहता है। यह एक संख्या है जो बताती है: "हे, रोबलेट भ्रमित है क्योंकि इसका आंतरिक मानचित्र हर जगह बिखरा हुआ है।" यह संख्या पिछले तरीकों की तुलना में यह भविष्यवाणी करने में बहुत अधिक सटीक है कि अंतिम उत्तर सही होगा या नहीं।

5. परिणाम

लेखकों ने कई कार्यों पर इनका परीक्षण किया:

प्रश्न उत्तर (Question Answering): सही शहर या वस्तुओं की सूची प्राप्त करना।
सारांशीकरण (Summarization): एक लंबे टेक्स्ट को मुख्य तथ्यों के ग्राफ़ में बदलना।
अनुवाद (Translation): टेक्स्ट को एक भाषा से दूसरी भाषा में बदलना।

लगभग हर मामले में, उनका "मास्टर शेफ" तरीका (संरचना से उत्तर को संश्लेषित करना) केवल रोबोट द्वारा लिखे गए एकल वाक्य को चुनने की तुलना में बेहतर उत्तर प्रदान करता है। यह एक बेहतर चेतावनी प्रणाली (अनिश्चितता स्कोर) भी देता है कि रोबोट कब गलत होने की संभावना रखता है।

सारांश

शोध पत्र कहता है: AI के उत्तरों को कविता की तरह मानना बंद करें। उन्हें डेटा की तरह मानें।

AI के शब्दों को तुरंत एक संरचित प्रारूप (एक सूची, एक संख्या, एक ग्राफ़) में अनुवादित करें।
केवल एक सबसे अच्छे अनुमान को न चुनें; सभी अनुमानों को गणितीय रूप से संयोजित करके एक "परफेक्ट औसत" उत्तर बनाएं।
यह जानने के लिए कि आपको उत्तर पर कितना भरोसा करना चाहिए, उन अनुमानों की "अव्यवस्था" का उपयोग करें।

ऐसा करके, AI अधिक विश्वसनीय हो जाता है और उसकी गलतियों को पहचानना आसान हो जाता है।

तकनीकी सारांश: कार्य-जागरूकता (Task-Awareness) LLM जनरेशन और अनिश्चितता में सुधार करती है

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को उन अनुप्रयोगों में तेजी से तैनात किया जा रहा है जहाँ आउटपुट केवल मुक्त रूप (free-form) वाला टेक्स्ट नहीं है, बल्कि उसमें एक अंतर्निहित कार्य-विशिष्ट संरचना होती है, जैसे कि असतत लेबल (discrete labels), संख्यात्मक मान, संस्थाओं के सेट (sets of entities), या ग्राफ। मौजूदा डिकोडिंग रणनीतियाँ (जैसे, बीम सर्च, ग्रीडी डिकोडिंग) और अनिश्चितता अनुमान विधियाँ मुख्य रूप से कच्चे भाषा स्थान ( $V^\infty$ ) में कार्य करती हैं। ये विधियाँ कार्य-विशिष्ट संरचना से जुड़ी जानकारी की उपेक्षा करती हैं। फलस्वरूप, वे अक्सर ऐसे इष्टतम उत्तरों को संश्लेषित करने में विफल रहती हैं जो मॉडल के पूर्ण आउटपुट वितरण से जानकारी को संयोजित करते हैं, और ऐसे अनिश्चितता अनुमान प्रदान करती हैं जो कार्य-विशिष्ट शुद्धता और गुणवत्ता के सिद्धांतों के साथ मेल नहीं खाते।

कार्यप्रणाली

लेखक एक निर्णय-सैद्धांतिक ढांचे (decision-theoretic framework) का प्रस्ताव करते हैं जो LLM जनरेशन और अनिश्चितता परिमाणीकरण को कच्चे भाषा स्थान से एक कार्य-निर्भर लेटेंट स्ट्रक्चर ( $\mathcal{L}$ ) में स्थानांतरित करता है।

1. लेटेंट स्पेस मैपिंग

यह ढांचा एक एनकोडिंग फंक्शन $g_T: V^\infty \to \mathcal{L}$ को परिभाषित करता है जो मुक्त-रूप LLM प्रतिक्रियाओं $s$ को एक लेटेंट प्रतिनिधित्व $\ell$ में मैप करता है। यह लेटेंट स्पेस विशिष्ट कार्य के लिए अनुकूलित है:

वर्गीकरण (Classification): वर्गों का एक असतत सेट $[K]$ ।
बहु-उत्तर QA (Multi-Answer QA): वर्गों का पावर सेट (बाइनरी वेक्टर्स के रूप में प्रतिनिधित्व)।
सिमेंटिक एम्बेडिंग्स (Semantic Embeddings): यूनिट स्फीयर पर वेक्टर्स।
नॉलेज ग्राफ्स (Knowledge Graphs): किनारों/संबंधों (edges/relations) के सेट।
संभाव्यतात्मक आउटपुट (Probabilistic Outputs): संभाव्यता सिम्प्लेक्स (एलेयटोरिक अनिश्चितता के लिए)।

यह मैपिंग लेटेंट स्पेस पर एक पुश-फॉरवर्ड वितरण $p(\ell|x)$ को प्रेरित करती है, जो मॉडल के प्रेडिक्टिव वितरण $p(s|x)$ से प्राप्त होता है।

2. स्ट्रक्चर-अवेयर मिनिमम बेज़ रिस्क (MBR) डिकोडिंग

एक एकल सैंपलड जनरेशन चुनने के बजाय, यह ढांचा सीधे लेटेंट स्पेस में एक बेज़-ऑप्टिमल रिस्पॉन्स ( $\ell_{Bayes}$ ) को संश्लेषित करता है। यह एक कार्य-निर्भर असमानता माप $d_T$ के सापेक्ष अपेक्षित जोखिम (बेज़ रिस्क) को कम करके प्राप्त किया जाता है:
$\ell_{Bayes} := \arg \min_{\tilde{\ell} \in \mathcal{L}} \mathbb{E}_{\ell \sim p(\ell|x)} [d_T(\tilde{\ell}, \ell)]$
महत्वपूर्ण रूप से, $\ell_{Bayes}$ को LLM द्वारा उत्पन्न किसी विशिष्ट टेक्स्ट के अनुरूप होने की आवश्यकता नहीं है। यह एक संश्लेषित क्रिया (action) है (जैसे, लेटेंट स्पेस में एक सेंट्रॉइड, या बहुमत-मतदान द्वारा चुने गए तत्वों का सेट) जो अपेक्षित त्रुटि को कम करती है। कई संरचनाओं (जैसे, सेट, ग्राफ, एम्बेडिंग्स) के लिए, इस इष्टतम क्रिया का एक क्लोज्ड-फॉर्म समाधान होता है या इसे कुशलतापूर्वक ( $O(M)$ ) गणना किया जा सकता है, जबकि कच्चे भाषा MBR के लिए $O(M^2)$ युग्म तुलनाओं की आवश्यकता होती है।

3. बेज़ रिस्क के माध्यम से अनिश्चितता परिमाणीकरण

यह ढांचा अनिश्चितता को मिनिमम बेज़ रिस्क ( $R_{Bayes}$ ) के रूप में परिमाणित करता है, जिसे इष्टतम क्रिया से जुड़े जोखिम के रूप में परिभाषित किया गया है:
$R_{Bayes} := R(\ell_{Bayes}) = \min_{\tilde{\ell} \in \mathcal{L}} \mathbb{E}_{\ell \sim p(\ell|x)} [d_T(\tilde{\ell}, \ell)]$
एक स्पष्ट ग्राउंड ट्रुथ (लेटेंट स्पेस में एक डिराक डेल्टा) के अनुमान के तहत, बेज़ रिस्क वास्तविक एपिस्टेमिक रिस्क के निचले स्तर (lower bound) के रूप में कार्य करता है। एक उच्च $R_{Bayes}$ प्रमाणित रूप से उच्च वास्तविक जोखिम को दर्शाता है। यह माप केवल भाषाई परिवर्तनशीलता के बजाय कार्य-विशिष्ट असमानता $d_T$ के संदर्भ में परिवर्तनशीलता को पकड़ता है।

4. अस्पष्टता (Ambiguity) को संभालना

अंतर्निहित अस्पष्टता (एलेयटोरिक अनिश्चितता) वाले कार्यों के लिए, यह ढांचा लेटेंट स्पेस को संभाव्यता सिम्प्लेक्स तक विस्तारित करता है। यहाँ, LLM को परिणामों पर संभाव्यता वितरण आउटपुट करने के लिए प्रॉम्प्ट किया जाता है। बेज़-ऑप्टिमल क्रिया इन वितरणों का माध्य (mean) बन जाती है, और जोखिम को KL डाइवर्जेंस के माध्यम से मापा जाता है, जो प्रभावी रूप से मॉडल के विश्वासों के प्रसार को कैप्चर करता है।

मुख्य योगदान

लेटेंट स्पेस सिंथेसिस: यह पेपर कार्य-विशिष्ट लेटेंट स्पेस में सीधे MBR डिकोडिंग करने के लिए एक सामान्य ढांचा पेश करता है, जो सैंपलड जनरेशन के सेट द्वारा सीमित न होकर बेज़-ऑप्टिमल रिस्पॉन्स को संश्लेषित करने में सक्षम बनाता है।
कुशल क्लोज्ड-फॉर्म समाधान: लेखक विविध संरचनाओं (सेट्स, ग्राफ्स, एम्बेडिंग्स, सिम्प्लेक्स) के लिए $\ell_{Bayes}$ और $R_{Bayes}$ के क्लोज्ड-फॉर्म एक्सप्रेशन निकालते हैं, जो कच्चे भाषा MBR की तुलना में कम्प्यूटेशनल दक्षता प्रदर्शित करते हैं।
कार्य-जागरूक अनिश्चितता: वे एक निर्देशित बेज़ रिस्क का उपयोग करने का प्रस्ताव करते हैं जो कार्य-विशिष्ट प्रदर्शन मेट्रिक्स के साथ संरेखित होता है, और सिमेंटिक एंट्रॉपी या टोकन-लेवल प्रोबेबिलिटी पर आधारित मौजूदा विधियों से बेहतर प्रदर्शन करता है।
अनुभवजन्य सत्यापन (Empirical Validation): इस ढांचे को सिंगल/मल्टी-आंसर QA, टेक्स्ट समराइजेशन (नॉलेज ग्राफ के माध्यम से), और मशीन ट्रांसलेशन पर Gemma 3 और Qwen 3 मॉडल्स (4B से 72B पैरामीटर्स तक) का उपयोग करके मान्य किया गया है।

प्रयोगात्मक परिणाम

लेखकों ने कई कार्यों पर इस ढांचे का मूल्यांकन किया:

जनरेशन की गुणवत्ता: सभी कार्यों में, बेज़-ऑप्टिमल लेटेंट रिस्पॉन्स ( $\ell_{Bayes}$ $ℓ_{B a y es}$ ) मानक डिकोडिंग विधियों (बीम सर्च, ग्रीडी, सेल्फ-कंसिस्टेंसी) और कच्चे भाषा MBR ( $\ell_{Sample}$ $ℓ_{S am pl e}$ ) से लगातार बेहतर रहे।
- Multi-Answer QA में, इस विधि ने सूचना को एकत्रित करके उत्तरों को प्रभावी ढंग से संश्लेषित किया, जो अक्सर बीम सर्च से काफी बेहतर रहा जब लेटेंट वितरण में उच्च एंट्रॉपी (उच्च अनिश्चितता) थी।
- मशीन ट्रांसलेशन में, इस विधि ने बेसलाइन की तुलना में उच्च COMET स्कोर और कम कोसाइन डिस्टेंस प्राप्त किया।
- समराइजेशन में, जिसे नॉलेज ग्राफ के रूप में दर्शाया गया है, इस विधि ने AlignScore में सुधार किया और स्ट्रक्चरल हैमिंग डिस्टेंस को कम किया।
अनिश्चितता परिमाणीकरण: बेज़ रिस्क ( $R_{Bayes}$ $R_{B a y es}$ ) ने SE, MSP और KLE जैसी बेसलाइनों की तुलना में वास्तविक जनरेशन गुणवत्ता के साथ बेहतर संरेखण दिखाया।
- PRR और कॉन्कॉर्डेंस AUC के माध्यम से मापे जाने पर, प्रस्तावित विधि ने 5 में से 4 कार्य संरचनाओं पर सर्वश्रेष्ठ या प्रतिस्पर्धी प्रदर्शन किया।
- परिणाम बताते हैं कि यह विधि जटिल स्ट्रक्चरल कार्यों में निम्न-गुणवत्ता वाले जनरेशन की पहचान करने में विशेष रूप से प्रभावी है, जहाँ केवल सिमेंटिक परिवर्तनशीलता पर्याप्त नहीं होती।

महत्व और दावे

पेपर का दावा है कि कार्य-जागरूकता (task-awareness) LLM विश्वसनीयता में सुधार के लिए एक महत्वपूर्ण, अल्प-उपयोग किया गया आयाम है। इसके लेटेंट रिस्पॉन्स स्ट्रक्चर को स्पष्ट रूप से मॉडल करके, यह ढांचा निम्नलिखित को सक्षम बनाता है:

बेहतर डिकोडिंग: सीधे टेक्स्ट जेनरेट करने के बजाय, कार्य के एरर मेट्रिक में गणितीय रूप से आधारित इष्टतम रिस्पॉन्स को संश्लेषित करने की क्षमता।
विश्वसनीय अनिश्चितता: एक सिद्धांतपूर्ण अनिश्चितता माप जो केवल भाषाई भिन्नता के बजाय वास्तविक कार्य की कठिनाई (स्ट्रक्चरल डिसिमिलैरिटी) को दर्शाता है।

लेखक इसे एक सामान्य प्रतिमान (paradigm) के रूप में देखते हैं जो किसी भी ऐसे समस्या पर लागू होता है जिसमें लेटेंट रिस्पॉन्स स्ट्रक्चर हो। वे तर्क देते हैं कि यह दृष्टिकोण LLMs को महत्वपूर्ण डाउनस्ट्रीम अनुप्रयोगों में विश्वसनीय रूप से एकीकृत करने की सुविधा देता है जहाँ आउटपुट स्ट्रक्चर और शुद्धता सर्वोपरि है। यह कार्य सुझाव देता है कि LLM आउटपुट की व्याख्या कार्य-जागरक स्थान (task-aware space) में करना केवल जनरेशन की गुणवत्ता तक ही सीमित नहीं है, बल्कि यह एक सिद्धांतपूर्ण तरीके से LLM अनुसंधान की खुली समस्याओं को संबोधित करने के लिए एक वैचारिक ढांचा प्रदान करता है।

पेपर सीमाओं को स्वीकार करता है, यह नोट करते हुए कि दक्षता बेज़-ऑप्टिमल एक्शन की गणना की सुलभता और भाषा को लेटेंट स्पेस में मैप करने (और संभावित रूप से वापस लाने) की व्यवहार्यता पर निर्भर करती है। हालांकि, वे दावा करते हैं कि कई स्ट्रक्चर्ड कार्यों के लिए, मूर्त लेटेंट रिस्पॉन्स भाषाई रूप की तुलना में अधिक मूल्यवान है, जिससे यह ढांचा अत्यधिक व्यावहारिक बन जाता है।