Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot

तकनीकी सारांश: संदर्भ-जागरूक प्रस्तावना पीढ़ी (Preface Generation) के माध्यम से कम-विलंबता वाला टर्न-टेकिंग

समस्या विवरण
लार्ज लैंग्वेज मॉडल (LLM)-आधारित संवाद प्रणाली, विशेष रूप से कैस्केड ASR–LLM–TTS पाइपलाइन का उपयोग करने वाली प्रणालियाँ, महत्वपूर्ण प्रतिक्रिया विलंब (response delays) से ग्रस्त होती हैं क्योंकि जनरेशन आमतौर पर तभी शुरू होता है जब उपयोगकर्ता का भाषण पूरी तरह से पहचाना जा चुका होता है। जबकि संवादात्मक फिलर्स (जैसे, "अह-हूँ," "मैं समझता हूँ") का उपयोग इन विलंबों को छिपाने के लिए किया जाता है, वे अक्सर समय के साथ स्वाभाविक नहीं रह जाते यदि वे जेनेरिक या दोहराव वाले हों। मुख्य चुनौती प्रतिक्रिया की गुणवत्ता और गति के बीच संतुलन बनाना है: सहज वृद्धिशील जनरेशन (incremental generation) निरंतरता को कम कर सकता है, फिर भी पूर्ण उत्तरोत्तर पहचान (utterance recognition) की प्रतीक्षा करना प्रत्यक्ष विलंबता पैदा करता है। सिस्टम को एक ऐसी प्रक्रिया की आवश्यकता है जो सारगर्भित उत्तर तैयार किए जाने के दौरान संदर्भ के अनुकूल प्रारंभिक प्रतिक्रियाओं के साथ संवाद के प्रवाह को बनाए रखे।

कार्यप्रणाली
लेखक एक दो-चरणीय वृद्धिशिल्प प्रतिक्रिया ढांचे (two-stage incremental response framework) का प्रस्ताव करते हैं जिसे भाषण के प्रारंभ से प्रतिक्रिया की तैयारी को अलग करने के लिए डिज़ाइन किया गया है। सिस्टम आर्किटेक्चर में निम्नलिखित घटक शामिल हैं:

1. इन्टेंट रेडीनेस डिटेक्शन (Intent Readiness Detection): एक बाइनरी क्लासिफिकेशन मॉडल यह निर्धारित करता है कि क्या उपयोगकर्ता का इरादा (intent) वर्तमान उत्तरोत्तर प्रीफिक्स (पिछले सिस्टम उत्तरोत्तर पर आधारित) से पर्याप्त रूप से अनुमानित हो गया है।

   • प्रशिक्षण: मॉडल को दो चरणों में प्रशिक्षित किया गया था: पहले एक LLM-स्यूडो-लेबल वाले कॉर्पस (765k इंस्टेंस) पर और फिर एक मानव-एनोटेटेड कॉर्पस (30k इंस्टेंस) पर फाइन-ट्यून किया गया। दोनों डेटासेट में हिचकिचाहट और आत्म-सुधार (self-repairs) को शामिल करने के लिए विविधता लाई गई थी।
   • आर्किटेक्चर: यह एक बाइनरी क्लासिफिकेशन हेड के साथ जापानी मॉडर्नबर्ट (ModernBERT) 30M एनकोडर पर आधारित है, जो क्लास असंतुलन को संबोधित करने के लिए फोकल लॉस (focal loss) का उपयोग करता है।
   • ट्रिगर: जब इंटेंट-रेडीनेस स्कोर थ्रेशोल्ड (0.35) से अधिक हो जाता है, तो सिस्टम एक संक्षिप्त, प्रासंगिक प्रस्तावना प्रतिक्रिया (prefatory response) के जनरेशन को ट्रिगर करता है।

2. दो-चरणीय जनरेशन:

   • चरण 1 (प्रस्तावना प्रतिक्रिया): एक बार इंटेंट रेडीनेस का पता चलने के बाद, सिस्टम एक छोटी, संदर्भ-जागरूक प्रस्तावना प्रतिक्रिया (जैसे, "बर्गर शॉप...") उत्पन्न करता है। सख्त प्रतिबंध लागू किए गए हैं: प्रतिक्रियाएं 10 जापानी वर्णों तक सीमित हैं, नए तथ्यों को पेश नहीं करती हैं, निश्चित बयान नहीं बनाती हैं, या दृढ़ सहमति व्यक्त नहीं करती हैं।
   • चरण 2 (मुख्य प्रतिक्रिया): इसके साथ ही, सिस्टम पूर्ण उपयोगकर्ता उत्तरोत्तर के आधार पर पूर्ण, कार्य-प्रासंगिक मुख्य प्रतिक्रिया उत्पन्न करता है।

3. टर्न-टेकिंग कंट्रोल: एक वॉइस एक्टिविटी प्रोजेक्शन (VAP) मॉडल स्वतंत्र रूप से अनुमान लगाता है कि उपयोगकर्ता कब टर्न सौंप रहा है। यदि एक प्रस्तावना प्रतिक्रिया तैयार है जब VAP टर्न ट्रांज़िशन का अनुमान लगाता है, तो सिस्टम इसे तुरंत वितरित करता है। मुख्य प्रतिक्रिया पूर्ण STT परिणाम उपलब्ध होने के बाद आती है।

प्रमुख योगदान

• विच्छेदित आर्किटेक्चर (Decoupled Architecture): यह पेपर एक ऐसे ढांचे को पेश करता है जो भाषण के प्रारंभ के समय (VAP द्वारा नियंत्रित) को प्रतिक्रिया की तैयारी (इंटेंट रेडीनेस डिटेक्शन द्वारा नियंत्रित) से अलग करता है।
• संदर्भ-जागरूक प्रस्तावनाएँ (Context-Aware Prefaces): फिक्स्ड फिलर्स के विपरीत, सिस्टम उपयोगकर्ता के उभरते इरादे पर आधारित प्रारंभिक प्रतिक्रियाएं उत्पन्न करता है, जो टर्न-टेकिंग भविष्यवाणी और सारगर्भित उत्तर जनरेशन के बीच के अंतर को पाटता है।
• सुरक्षा प्रतिबंध: सिस्टम वास्तविक दुनिया के परिनियोजन में प्रारंभिक भविष्यवाणी त्रुटियों और मतिभ्रम (hallucinations) के जोखिमों को कम करने के लिए सख्त लंबाई और अर्थ संबंधी प्रतिबंध लागू करता है।

प्रायोगिक परिणाम
इस ढांचे का मूल्यांकन एक जापानी शॉपिंग मॉल में एक रूट-गाइडेंस रोबोट का उपयोग करके एक फील्ड प्रयोग में किया गया। तीन स्थितियों की तुलना की गई: नो-फिलर (no-filler), फिक्स्ड-फिलर (fixed-filler) (जैसे, "हाँ"), और कॉन्टेक्स्टुअल-प्रिफेस (contextual-preface)।

• प्रारंभिक प्रतिक्रिया विलंबता (Initial Response Latency): फिक्स्ड-फिलर और कॉन्टेक्स्टुअल-प्रिफेस दोनों स्थितियों ने नो-फिलर बेसलाइन की तुलना में प्रारंभिक प्रतिक्रिया विलंबता को काफी कम कर दिया। हालांकि, फिक्स्ड-फिलर स्थिति में कॉन्टेक्टुअल-प्रिफेस की तुलना में काफी कम प्रारंभिक विलंबता थी।
• प्रारंभिक-से-मुख्य अंतराल (Initial-to-Main Gap): कॉन्टेक्स्टुअल-प्रिफेस स्थिति ने फिक्स्ड-फिलर की तुलना में प्रारंभिक प्रतिक्रिया और मुख्य प्रतिक्रिया के बीच काफी छोटा अंतराल प्रदर्शित किया। यह इंगित करता है कि हालांकि प्रस्तावना को फिक्स्ड फिलर की तुलना में जनरेट करने में थोड़ा अधिक समय लगता है, यह मुख्य प्रतिक्रिया को बातचीत की शुरुआत के सापेक्ष शीघ्र वितरित करने की अनुमति देता है।
• ट्रिगर टाइमिंग: कॉन्टेक्स्टुअल-प्रिफेस स्थिति में, इंटेंट रेडीनेस डिटेक्टर औसतन 5.53 वर्णों (अंतिम उत्तरोत्तर लंबाई का 69.2%) के बाद सक्रिय हुआ, जिससे 58.2% मामलों में उपयोगकर्ता के बोलने समाप्त करने से पहले ही ट्रिगर हुआ।
• संवाद विफलता (Dialogue Breakdowns): लगभग 8% प्रस्तावना प्रतिक्रियाओं को ब्रेकडाउन (जैसे, खंडित भाग या जेनेरिक प्रश्न) के रूप में एनोटेट किया गया, जिसका मुख्य कारण आउटपुट ट्रंकेशन या कमजोर प्रासंगिक आधार था।
• व्यक्तिपरक रेटिंग: खोजपूर्ण पोस्ट-इंटरैक्शन प्रश्नावली (प्रत्येक स्थिति के लिए 30) ने संवादात्मक गति, स्वाभाविकता, उपयुक्तता या संतुष्टि के संबंध में चारों स्थितियों के बीच कोई सांख्यिकीय रूप से महत्वपूर्ण अंतर नहीं दिखाया।

महत्व और दावे
पेपर का दावा है कि संदर्भ-जागरूक प्रस्तावना प्रतिक्रियाएं वास्तविक दुनिया के संवाद रोबोटों के लिए एक व्यावहारिक समझौता (trade-off) प्रदान करती हैं। हालांकि वे फिक्स्ड फिलर्स की तरह सबसे कम प्रारंभिक विलंबता प्राप्त नहीं करती हैं, वे सारगर्भित उत्तर देने से पहले के विलंब को काफी कम करती हैं, जिससे स्वाभाविक, दोहराव वाले फिलर्स पर निर्भर हुए बिना सूचना के प्रवाह में सुधार होता है।

लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि हालांकि यह विधि पोस्ट-टर्न प्रतीक्षा समय को भरकर प्रतिक्रिया जनरेशन की व्यावहारिकता को बढ़ाती है, लेकिन व्यक्तिपरक रेटिंग में महत्वपूर्ण अंतर की कमी यह सुझाव देती है कि समग्र उपयोगकर्ता अनुभव पर प्रभाव निर्धारित करने के लिए बड़े, लक्षित अध्ययन की आवश्यकता है। यह अध्ययन इस बात पर प्रकाश डालता है कि लघु प्रस्तावनाओं का स्थिर, संदर्भ-आधारित जनरेशन अभी भी एक प्रमुख बाधा बना हुआ है, और भविष्य के कार्यों को प्रस्तावना और मुख्य प्रतिक्रिया के बीच अर्थपूर्ण और ध्वन्यात्मक निरंतरता (prosodic continuity) में सुधार करने पर ध्यान केंद्रित करना चाहिए।