💬 NLP

Latent-IM: Latent Interaction Management for Speech LLMs

यह शोध पत्र Latent-IM को प्रस्तुत करता है, जो स्पीच LLMs के भीतर स्पष्ट संवाद प्रबंधन (dialogue management) को पुनर्प्राप्त करने के लिए एक ऐसा ढांचा है जो संवादात्मक मूव चयन (conversational move selection) और उसके प्रकटीकरण (realization) को आंतरिक गुप्त निरूपणों (latent representations) में अलग करता है, जिससे पूर्ण फाइन-ट्यूनिंग की आवश्यकता के बिना मूव सटीकता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Adar Avsian, Atahan Dokme, Tony Woo, Larry Heck

प्रकाशित 2026-07-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adar Avsian, Atahan Dokme, Tony Woo, Larry Heck

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत ही बातूनी रोबोट दोस्त से बात कर रहे हैं। कंप्यूटर से बात करने के पुराने दिनों में, बातचीत दो अलग-अलग धावकों वाली एक रिले रेस की तरह थी: एक धावक (मैनेजर) तय करता था कि रोबोट को आगे क्या करना चाहिए—जैसे "सवाल पूछना" या "ठीक है कहना"—और दूसरा धावक (स्पीकर) उन शब्दों को लिखता था ताकि वह काम किया जा सके। लेकिन आधुनिक रोबोट, जो विशाल "लार्ज लैंग्वेज मॉडल्स" (LLMs) द्वारा संचालित हैं, ने इन दोनों धावकों को एक ही सुपर-फास्ट एथलीट में मिला दिया है। उनके पास कोई अलग मैनेजर नहीं है; इसके बजाय, वे बस एक साथ सोचते और बोलते हैं, जो "हिडन रिप्रेजेंटेशन्स" (hidden representations) नामक गणित के एक विशाल, अदृश्य बादल से शब्द निकालते हैं।

बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं, वह यह है कि भले ही इन आधुनिक रोबोटों के पास कोई दृश्य मैनेजर नहीं है, क्या उनके दिमाग के अंदर अभी भी एक छिपा हुआ मैनेजर काम कर रहा है? क्या हम उस गणित के बादल के अंदर झाँक सकते हैं, उस हिस्से को ढूंढ सकते हैं जो यह तय करता है कि "मुझे अब एक सवाल पूछना चाहिए" और उसे धीरे से धकेल सकते हैं ताकि रोबोट अधिक मानवीय व्यवहार करे? यही उस नए पेपर का केंद्र है, जो एक जमे हुए (frozen) रोबोट को उसका पूरा दिमाग फिर से लिखे बिना, खुद अपनी बातचीत को प्रबंधित करना सिखाने की कोशिश करता है।

द पेपर: लेटेंट-आईएम (Latent-IM - द इनविजिबल कन्वर्सेशन मैनेजर)

जॉर्जिया टेक के लेखकों ने Latent-IM नामक एक चतुर प्रणाली पेश की है। एक लार्ज लैंग्वेज मॉडल को एक मस्तिष्क की विशाल, जमी हुई मूर्ति की तरह समझें। यह अविश्वसनीय रूप से स्मार्ट है, लेकिन यह एक ही मुद्रा में फंसी हुई है। आमतौर पर, यदि आप चाहते हैं कि यह अलग तरह से कार्य करे, तो आपको मूर्ति को पिघलाना होगा और उसे नया आकार देना होगा (एक प्रक्रिया जिसे "फाइन-ट्यूनिंग" कहा जाता है), जो धीमा और महंगा है।

Latent-IM अदृश्य चश्मे और एक छोटे, रिमोट-कंट्रोल छड़ी की तरह है। यह मूर्ति को पिघलाता नहीं है; इसके बजाय, यह मूर्ति के आंतरिक विचारों को पढ़ता है और इसकी छड़ी का उपयोग करके इसके विचारों को सही दिशा में धीरे से धकेलता है।

दो-चरणीय नृत्य: निर्णय लेना और क्रियान्वयन
यह पेपर रोबोट की बातचीत को दो अलग-अलग चरणों में विभाजित करता है, ठीक वैसे ही जैसे एक नर्तक एक चाल तय करता है और फिर उसे वास्तव में करता है:

चयन (निर्णय): सबसे पहले, सिस्टम अब तक की बातचीत को देखता है और भविष्यवाणी करता है कि रोबोट को आगे क्या करना चाहिए। क्या उसे "मैं समझ गया" कहना चाहिए (स्वीकार करना)? क्या उसे "डिब्बा कहाँ है?" (प्रश्न पूछना) पूछना चाहिए? या क्या उसे कुछ समझाना चाहिए?
क्रियान्वयन (कार्य): एक बार निर्णय लेने के बाद, सिस्टम एक्टिवेशन स्टीयरिंग (activation steering) नामक तकनीक का उपयोग करता है। कल्पना कीजिए कि रोबोट का मस्तिष्क एक विशाल ऑर्केस्ट्रा है। "एक्टिवेशन स्टीयरिंग" एक कंडक्टर की तरह है जो वायलिन विभाग को एक विशिष्ट नोट को ज़ोर से बजाने के लिए एक छोटा, सटीक स्पर्श देता है। यहाँ, कंडक्टर रोबोट के आंतरिक गणित को थोड़ा सा थपथपाता है ताकि वह चुना हुआ कदम वास्तव में बोल सके।

जादुई छड़ी: एक्टिवेशन स्टीयरिंग
शोधकर्ताओं ने पाया कि रोबोट के जमे हुए मस्तिष्क के भीतर, बातचीत के विभिन्न मूव्स के लिए विशिष्ट "दिशाएं" होती हैं। यह ऐसा है जैसे "सवाल पूछने" की ओर इशारा करने वाला एक छिपा हुआ वेक्टर (गणितीय तीर) है और "ठीक है कहने" की ओर इशारा करने वाला एक अन्य। यहाँ, रोबोट के विचारों में "सवाल पूछने" का थोड़ा सा हिस्सा जोड़कर, वे रोबोट को सवाल पूछने के लिए मजबूर कर सकते हैं, भले ही वह कुछ और कहने वाला हो।

उन्होंने तीन अलग-अलग प्रकार की बातचीत पर इसका परीक्षण किया:

MapTask: दो लोग एक मानचित्र पर मार्ग बना रहे हैं।
FindTask: एक इंसान और एक रोबोट रसोई में वस्तुओं को खोज रहे हैं।
CReST: एक रिमोट सर्च मिशन जहाँ एक व्यक्ति दूसरे को एक इमारत के माध्यम से मार्गदर्शन करता है।

उन्होंने क्या पाया
परिणाम आश्चर्यजनक रूप से अच्छे थे। जब उन्होंने Latent-IM का उपयोग किया:

रोबोट बातचीत के सही प्रकार को चुनने में बेहतर हो गया। औसतन, इसने बिना निर्देशित रोबोट की तुलना में अपनी सटीकता में 12.5 अंक का सुधार किया।
इसने रोबोट को पिघलाने और नया आकार देने (फाइन-ट्यूनिंग) की बहुत धीमी विधि के समान प्रदर्शन किया, लेकिन बिना मॉडल को फिर से प्रशिक्षित किए।
उन्होंने एक विशेष "स्टॉप" (रुकने का) दिशा भी पाई। इसे समायोजित करके, वे रोबोट के उत्तरों को छोटा या लंबा कर सकते थे। वे एक डायल घुमाकर औसत प्रतिक्रिया को 71.3 शब्दों से घटाकर 10.4 शब्दों तक कर सकते थे, जबकि वाक्य की प्रवाहशीलता बनी रही।

उन्होंने क्या खारिज किया
पेपर सावधानी से उन बातों को भी बताता है जो काम नहीं करती हैं या आवश्यक नहीं हैं।

आपको मस्तिष्क को फिर से प्रशिक्षित करने की आवश्यकता नहीं है: रोबोट का मुख्य मस्तिष्क जड़ा हुआ (frozen) रहता है। "मैनेजर" एक छोटा, हल्का एड-ऑन है जो मस्तिष्क के संकेतों को पढ़ता है, न कि स्वयं एक नया मस्तिष्क।
केवल ट्रांसक्रिप्ट पढ़ना पर्याप्त नहीं है: यदि आप केवल बातचीत के लिखित शब्दों (ट्रांसक्रिप्ट) को देखकर यह अनुमान लगाते हैं कि रोबोट को आगे क्या करना चाहिए, तो आप अक्सर गलत होते हैं। रोबोट के आंतरिक "एहसास" (इसके हिडन मैथ एक्टिवेशन्स) में बातचीत की वास्तविक स्थिति निहित होती है।
एक आकार सभी के लिए उपयुक्त नहीं है: आप रोबोट को समान शक्ति के साथ किसी भी मूव के लिए मजबूर नहीं कर सकते। उदाहरण के लिए, रोबोट को किसी प्रश्न का "जवाब देने" के लिए मजबूर करने का प्रयास अक्सर विफल हो जाता है क्योंकि रोबोट स्वाभाविक रूप से जवाब देने में पहले से ही बहुत अच्छा है। सिस्टम ने सीखा कि कब धकेलना है और कब रोबोट को अपने आप बोलने देना है।

मुख्य निष्कर्ष
लेखक दिखाते हैं कि भले ही आधुनिक रोबोटों में कोई दृश्य "डायलॉग मैनेजर" नहीं होता है, फिर भी एक मैनेजर उनके गणित के भीतर छिपा हुआ है। रोबोट के आंतरिक संकेतों को पढ़ने के लिए एक हल्के कंट्रोलर और उसके विचारों को धकेलने के लिए एक स्टीयरिंग छड़ी का उपयोग करके, हम इन रोबोटों को अधिक स्वाभाविक और नियंत्रणीय तरीके से बातचीत करने के लिए बना सकते हैं। यह एक जमे हुए पुतले को उसके कान में सही चाल फुसफुसाकर उसे नृत्य करना सिखाने जैसा है, बजाय इसके कि उसे तोड़ने के बाद फिर से बनाया जाए। यह पेपर सुझाव देता है कि यह "अदृश्य प्रबंधन" AI के बात करने के तरीके को नियंत्रित करने का एक शक्तिशाली, कुशल तरीका है, जो भारी प्रशिक्षण विधियों के प्रदर्शन से मेल खाता है, लेकिन बहुत कम प्रयास के साथ।

तकनीकी सारांश: स्पीच LLMs के लिए Latent-IM

समस्या विवरण

शास्त्रीय स्पोकन डायलॉग सिस्टम पारंपरिक रूप से डायलॉग मैनेजमेंट (स्टेट एस्टिमेशन और पॉलिसी सिलेक्शन) को रिस्पॉन्स रियलाइजेशन (जनरेशन) से अलग रखते थे। इस प्रतिमान (paradition) में, एक डायलॉग मैनेजर एक 'बलीफ स्टेट' बनाए रखता था और एक एक्शन चुनता था, जिसे बाद में एक अलग घटक द्वारा साकार (realize) किया जाता था। हालाँकि, जैसे-जैसे सिस्टम लार्ज लैंग्वेज मॉडल्स (LLMs) की ओर बढ़ रहे हैं, यह विभाजन मॉडल के हिडन रिप्रेजेंटेशन्स (hidden representations) में विलीन हो गया है। आधुनिक LLMs बिना किसी स्पष्ट स्टेट मॉड्यूल या एक्शन पॉलिसी के एंड-टू-एंड रिस्पॉन्स जनरेट करते हैं।

यह कार्य जिस केंद्रीय प्रश्न को संबोधित करता है वह यह है कि क्या एक फ्रोजन स्पीच LLM के हिडन रिप्रेजेंटेशन्स से कन्वर्सेशनल व्यवहार को नियंत्रित करने के लिए स्टेट एस्टिमेशन और एक्शन कंट्रोल के आंतरिक एनालॉग को रिकवर किया जा सकता है। विशेष रूप से, लेखक यह जांचते हैं कि क्या मॉडल को विशिष्ट कन्वर्सेशनल "मूव्स" (जैसे कि स्वीकार करना, जांचना, प्रश्न पूछना, समझाना, उत्तर देना) करने और टर्न-टेकिंग (कब फ्लोर छोड़ना है) को नियंत्रित करने के लिए गाइड किया जा सकता है, और वह भी बैकबोन को फाइन-ट्यून किए बिना या सिम्बोलिक पॉलिसी का उपयोग किए बिना।

कार्यप्रणाली: Latent-IM

लेखक Latent-IM पेश करते हैं, जो एक फ्रेमवर्क है जो एक फ्रोजन स्पीच LLM के रेसिडुअल-स्ट्रीम एक्टिवेशन्स से इंटरेक्शन मैनेजमेंट (IM) को रिकवर करता है। यह फ्रेमवर्क मूव कंट्रोल को दो युग्मित (coupled) समस्याओं में विभाजित करता है: सिलेक्शन (Selection) और रियलाइजेशन (Realization)।

1. सिलेक्शन: अगला मूव प्रेडिक्ट करना

एक हल्का, रिकरेंट कंट्रोलर फ्रोजन बैकबोन के लिए एक "साइडकार" के रूप में कार्य करता है।

इनपुट: कंट्रोलर प्रत्येक डायलॉग टर्न के लिए एक विशिष्ट लेयर ( $\ell^*_{ctrl}$ ) पर बैकबोन से मीन-पूल किए गए रेसिडुअल-स्ट्रीम एक्टिवेशन्स को पढ़ता है।
आर्किटेक्चर: यह एक पर्सिस्टेंट स्ट्रीमिंग स्टेट बनाए रखने के लिए एक सेलेक्टिव स्टेट-स्पेस मॉडल (SSM) का उपयोग करता है, जो वर्तमान कॉन्टेक्स्ट रिप्रेजेंटेशन $x_t$ के आधार पर अपने आंतरिक स्टेट $z_t$ को अपडेट करता है।
आउटपुट: एक लीनियर हेड पांच डोमेन-जनरल मूव्स के वर्गीकरण से अगला कन्वर्सेशनल मूव ( $\hat{y}_t$ ) प्रेडिक्ट करता है: acknowledge (स्वीकार करना), check (जांचना), explain (समझाना), query (प्रश्न पूछना), reply (उत्तर देना)। एक ऑक्जिलरी हेड साथ ही लॉग-रिस्पॉन्स लेंथ को रिग्रेस करता है।
ट्रेनिंग: कंट्रोलर को ट्रेनिंग स्प्लिट पर नेक्स्ट-मूव क्रॉस-एंट्रॉपी और स्मूथ-L1 लॉस का उपयोग करके प्रशिक्षित किया जाता है, जबकि बैकबोन फ्रोजन रहता है।

2. रियलाइजेशन: कॉज़ल मूव एक्सप्रेशन

एक बार मूव सिलेक्ट होने के बाद, फ्रेमवर्क जनरेशन के दौरान उस मूव को कॉज़ली रियलाइज करने के लिए एक्टिवेशन स्टीयरिंग का उपयोग करता है।

डायरेक्शन एस्टिमेशन: प्रत्येक मूव टाइप के लिए, लेखक रेसिडुअल स्ट्रीम में एक "मूव डायरेक्शन" वेक्टर ( $v_m$ ) का अनुमान लगाते हैं। यह रिस्पॉन्स की शुरुआत और पिछले कॉन्टेक्स्ट टोकन के बीच के एक्टिवेशन्स के अंतर से प्राप्त होता है। क्लास सेपेरेबिलिटी को अधिकतम करने के लिए ट्रेनिंग डेटा (MapTask) पर फिशर डिस्क्रीमिनेन्ट अप्रोच (PCA के बाद Ledoit-Wolf श्रिंकेज) का उपयोग करके दिशा की गणना की जाती है।
स्टीयरिंग मैकेनिज्म: इन्फरेंस के दौरान, चयनित मूव डायरेक्शन को प्रत्येक जनरेटेड टोकन के लिए एक विशिष्ट लेयर ( $\ell^*_m$ ) पर रेसिडुअल स्ट्रीम में इंजेक्ट किया जाता है:
$h^{\ell^*_m}(s) \leftarrow h^{\ell^*_m}(s) + \alpha c^{\ell^*_m} v^{\ell^*_m}_m$
जहाँ $\alpha$ एक डाइमेंशनलेस स्टीयरिंग कोएफिशिएंट है और $c$ मीडियन रेसिडुअल नॉर्म पर आधारित एक नॉर्मलाइजेशन फैक्टर है।
टर्न-बाउंड्री कंट्रोल: एक अलग "टर्न-बाउंड्री डायरेक्शन" ( $v_{EOT}$ ) निकाला जाता है जो रिस्पॉन्स लेंथ को नियंत्रित करता है और यह तय करता है कि मॉडल कब फ्लोर छोड़ता है। पॉजिटिव स्टीयरिंग कोएफिशिएंट्स टर्मिनेशन को प्रोत्साहित करते हैं, जबकि नेगेटिव कोएफिशिएंट्स रिस्पॉन्स को लंबा करते हैं।
रियलाइजेशन-अवेयर गेटिंग: सिस्टम एक गेटिंग रूल का उपयोग करता है जो उन मूव्स के लिए स्टीयरिंग को रोक देता है जहाँ बैकबोन स्वाभाविक रूप से अच्छा प्रदर्शन करता है (जैसे reply) या जहाँ स्टीयरिंग प्रदर्शन को खराब कर सकती है (जैसे कंटेंट-हैवी मूव्स जैसे explain को छोटा करना)।

मुख्य योगदान

Latent-IM फ्रेमवर्क: एक एंड-टू-एंड डायलॉग मैनेजमेंट सिस्टम जो बिना गोल्ड मूव लेबल्स या बैकबोन अपडेट के काम करता है। यह एक्टिवेशन-आधारित सिलेक्शन और रियलाइजेशन को जोड़ता है, जो एंड-टू-एंड सटीकता में अन्य कंट्रोल बेसलाइन्स को पछाड़ता है और सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के बराबर पहुँचता है।
लाइटवेट स्ट्रीमिंग कंट्रोलर: यह प्रदर्शित करता है कि एक हल्का कंट्रोलर फ्रोजन LLM एक्टिवेशन्स से कन्वर्सेशनल स्टेट को रिकवर कर सकता है, जो तीन टास्क-ओरिएंटेड डेटासेट्स (MapTask, FindTask, CReST) पर ट्रांसक्रिप्ट-आधारित सिलेक्टर्स से बेहतर प्रदर्शन करता है।
पुन: प्रयोज्य (Reusable) मूव-स्पेसिफिक डायरेक्शंस: ऐसे एक्टिवेशन डायरेक्शंस निकालता है जो कन्वर्सेशनल एक्शन्स को कॉज़ली रियलाइज करते हैं। MapTask से सीखे गए ये डायरेक्शंस, बिना री-एस्टिमेशन के FindTask और CReST में ट्रांसफर होते हैं, और प्रॉम्प्टिंग, कैंडिडेट-सिलेक्शन, और डिकोडिंग-टाइम कंट्रोल बेसलाइन्स से बेहतर प्रदर्शन करते हैं।
टर्न-बाउंड्री सबस्पेस: एक विशिष्ट दिशा की पहचान करता है जो रिस्पॉन्स लेंथ को कॉज़ली कंट्रोल करती है, जिससे औसत रिस्पॉन्स लेंथ पर मोनोटोनिक वेरिएशन (71.3 से 10.4 शब्दों तक) संभव होता है और टर्न-टेकिंग को रेगुलेट करने के लिए रियलाइजेशन-अवेयर गेटिंग के साथ एकीकरण होता है।

परिणाम

फ्रेमवर्क का मूल्यांकन तीन मल्टीमॉडल लैंग्वेज मॉडल्स (Qwen2.5-Omni, Qwen3-Omni, Phi-4-Multimodal) पर तीन डेटासेट्स के माध्यम से किया गया।

सिलेक्शन एक्यूरेसी: स्ट्रीमिंग एक्टिवेशन कंट्रोलर ने औसत नेक्स्ट-मूव सिलेक्शन एक्यूरेसी 0.60 प्राप्त की, जो ट्रांसक्रिप्ट-आधारित सिलेक्टर्स (जैसे TF-IDF + लॉजिस्टिक जो 0.48 है) और फ्यू-शॉट LLM क्लासिफायर से बेहतर है। यह MapTask डेटासेट पर गोल्ड हिस्ट्री का उपयोग करने वाले मार्कोव बेसलाइन (0.65) के करीब पहुँचा।
ओरेकल रियलाइजेशन: जब गोल्ड टारगेट मूव प्रदान किया गया, तो Latent-IM ने सबसे मजबूत बेसलाइन (DeAL) की तुलना में मूव रियलाइजेशन एक्यूरेसी में 10.4 प्रतिशत अंक का सुधार किया, जिससे औसत सटीकता 60.0% प्राप्त हुई।
एंड-टू-एंड कंट्रोल: पूरी तरह से स्वायत्त सेटिंग (इन्फरेंस के समय कोई गोल्ड लेबल नहीं) में, Latent-IM ने औसत एंड-टू-एंड मूव एक्यूरेसी 46.9% प्राप्त की, जो सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के 46.6% से थोड़ा अधिक है और अनस्टीयर्ड बैकबोन (34.4%) तथा प्रॉम्प्टिंग बेसलाइन्स से काफी बेहतर है।
लेंथ कंट्रोल: टर्न-बाउंड्री डायरेक्शन के साथ स्टीयरिंग करने से रिस्पॉन्स लेंथ पर ग्रेडेड कंट्रोल मिला, जिससे औसत लंबाई 71.3 शब्दों से घटकर 10.4 शब्द हो गई, जबकि फ्लुएंसी (fluency) बनी रही।

महत्व और दावे

पेपर का दावा है कि फ्रोजन स्पीच LLM एक्टिवेशन्स लोकल इंटरेक्शन मैनेजमेंट के लिए एक ऑब्जर्वेबल और कॉज़ली कंट्रोल करने योग्य इंटरफेस के रूप में कार्य करते हैं। कन्वर्सेशनल मूव के सिलेक्शन को उसके रियलाइजेशन से अलग करके, Latent-IM आधुनिक LLMs के भीतर एक शास्त्रीय स्टेट-एक्शन डिकम्पोजिशन को बिना पैरामीटर अपडेट के रिकवर करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एक मॉड्यूलर, लेबल-फ्री इन्फरेंस पाइपलाइन प्रदान करता है जो डायरेक्ट सुपरवाइज्ड फाइन-ट्यूनिंग के प्रदर्शन से मेल खा सकता है। वे नोट करते हैं कि हालांकि कंट्रोलर वर्तमान में मानव मूव चॉइस की नकल करता है, फ्रेमवर्क को भविष्य के गोल-कंडीशन्ड पॉलिसीज को सपोर्ट करने के लिए डिज़ाइन किया गया है जो इमिटेशन लाइकलीहुड के बजाय प्रेडिक्टेड टास्क यूटिलिटी के आधार पर मूव्स चुनते हैं। यह कार्य सुझाव देता है कि डायलॉग की "स्टेट" रेसिडुअल स्ट्रीम में लीनियरली उपलब्ध है और इसे प्रॉम्प्ट करने की तुलना में अधिक विश्वसनीय रूप से पढ़ा जा सकता है, जो स्पोकन डायलॉग सिस्टम में LLM व्यवहार को नियंत्रित करने का एक नया मार्ग प्रदान करता है।