Detecting Self-Repairs from Spontaneous Speech with Prompt Ablation Across LLMs and Fine-Tuned Encoder

मानवीय आवाज़ केवल शब्दों को ही नहीं, बल्कि विचारों की लय को भी वहन करती है। जब हम बोलते हैं, विशेष रूप से जब हम थके हुए, विचलित या सही शब्द खोजने के संघर्ष में होते हैं, तो हमारे वाक्य अक्सर लड़खड़ा जाते हैं। हम एक वाक्यांश शुरू कर सकते हैं, रुक सकते हैं, और फिर एक अलग वाक्यांश के साथ पुनरारंभ कर सकते हैं। संज्ञानात्मक स्वास्थ्य (cognitive health) के क्षेत्र में, हिचकिचाहट और सुधार के इन क्षणों को 'सेल्फ-रिपेयर्स' (self-repairs) के रूप में जाना जाता है। दशकों से, शोधकर्ताओं को संदेह रहा है कि इन सेल्फ-रिपेयर्स की आवृत्ति और प्रकृति मस्तिष्क के स्वास्थ्य के लिए एक सूक्ष्म खिड़की के रूप में कार्य कर सकती है, जो स्पष्ट लक्षणों के प्रकट होने से बहुत पहले संज्ञानात्मक गिरावट के शुरुआती चरणों का संकेत दे सकती है। चुनौती हमेशा यह रही है कि ये सुधार क्षणिक और संदर्भ-निर्भर होते हैं; वे विशिष्ट शब्दों द्वारा नहीं, बल्कि इस बात से परिभाषित नहीं होते कि एक वक्ता वाक्य के बीच में अपना विचार कैसे बदलता है। एक रिकॉर्डिंग में उन्हें स्वचालित रूप से पहचानना कठिन है क्योंकि कंप्यूटर को केवल शब्दावली को ही नहीं, बल्कि बातचीत के प्रवाह को भी समझना होता है।

पेंसिल्वेनिया विश्वविद्यालय के शोधकर्ताओं की एक टीम ने कृत्रिम बुद्धिमत्ता (AI) को स्वाभाविक भाषण में इन सेल्फ-रिपेयर्स को पहचानने के लिए प्रशिक्षित करके इस समस्या को हल करने का प्रयास किया। उन्होंने भाषण के एक विशिष्ट प्रकार पर ध्यान केंद्रित किया जहाँ व्यक्ति 'कुकी चोरी' (Cookie Theft) चित्र का वर्णन करते हैं, जो स्मृति और भाषा का मूल्यांकन करने के लिए उपयोग किया जाने वाला एक मानक कार्य है। लक्ष्य यह निर्धारित करना था कि क्या आधुनिक लार्ज लैंग्वेज मॉडल्स—शक्तिशाली कंप्यूटर सिस्टम जिन्हें विशाल टेक्स्ट पर प्रशिक्षित किया गया है—इन सुधारों को एक मानव विशेषज्ञ की तरह सटीक रूप से पहचान सकते हैं, और क्या छोटे, कम खर्चीले कंप्यूटर मॉडल भी वही काम कर सकते हैं। शोधकर्ताओं ने दो बहुत अलग दृष्टिकोणों की तुलना की: एक विशाल, क्लाउड-आधारित AI का उपयोग करना जिसके लिए महत्वपूर्ण कंप्यूटिंग शक्ति की आवश्यकता होती है, और एक बहुत छोटे, विशिष्ट मॉडल का उपयोग करना जो संभावित रूप से एक स्थानीय डिवाइस पर चल सकता है। उन्होंने यह भी परीक्षण किया कि AI को कार्य करने के तरीके को बदलने से, जैसे कि उसे एक विशिष्ट भूमिका देना या उसे अपने तर्क को समझाने के लिए कहना, क्या इसकी सटीकता में सुधार होगा।

अध्ययन से पता चला कि AI मॉडल का आकार महत्वपूर्ण था, लेकिन उस तरह से नहीं जैसा कि अपेक्षित था। सबसे बड़ा मॉडल, जो एक सुरक्षित इंटरनेट कनेक्शन के माध्यम से सुलभ एक परिष्कृत प्रणाली है, सबसे सटीक डिटेक्टर साबित हुआ। इसने लगभग 73 प्रतिशत मामलों में सेल्फ-रिपेयर्स की सही पहचान की, एक ऐसा प्रदर्शन स्तर जो निर्देशों के पूछने के तरीके के बावजूद स्थिर रहा। यह शीर्ष-प्रदर्शन करने वाला मॉडल प्रॉम्प्ट के विशिष्ट विवरणों के प्रति काफी हद तक असंवेदनशील था, जिसका अर्थ है कि निर्देश सरल हों या जटिल, यह सुधारों को विश्वसनीय रूप से खोज सकता था। इसके विपरीत, एक छोटा, ओपन-सोर्स मॉडल जो गणनात्मक रूप से लगभग सौ गुना कम खर्चीला था, काफी संघर्ष करता है। वह केवल लगभग 47 प्रतिशत मामलों में सेल्फ-रिपेयर्स का पता लगा सका और निर्देशों के लिखे जाने के तरीके के प्रति अत्यधिक संवेदनशील था; प्रॉम्प्ट बदलने से उसकी सफलता दर में भारी बदलाव आ सकता था। शोधकर्ताओं ने पाया कि केवल निर्देशों को अधिक विस्तृत बनाना या छोटे मॉडल को उत्तर देने से पहले चरण-दर-चरण "सोचने" के लिए कहना, इसे बड़े सिस्टम के बराबर लाने में मदद नहीं कर सका। वास्तव में, छोटे मॉडल को समस्या पर तर्क करने के लिए कहने से कभी-कभी स्थिति और खराब हो गई, जिससे उसने गैर-सुधारों (non-repairs) को भी सुधार के रूप में चिह्नित कर दिया।

शायद सबसे आश्चर्यजनक निष्कर्ष यह था कि एक छोटा, विशिष्ट कंप्यूटर प्रोग्राम, जिसे 'फाइन-ट्यून्ड एनकोडर' (fine-tuned encoder) कहा जाता है, एक बहुत बड़े ओपन-सोर्स मॉडल के समान प्रदर्शन कर सकता है। यह छोटा प्रोग्राम, जो कुशल होने के लिए डिज़ाइन किया गया है और मानक हार्डवेयर पर चल सकता है, भाषण सुधारों के एक विशिष्ट डेटासेट पर प्रशिक्षित किया गया था। जब इसे सीखने के लिए पर्याप्त उदाहरण दिए गए, तो इसने बड़े, अधिक महंगे ओपन-सोर्स मॉडल के प्रदर्शन की बराबरी कर ली, जबकि यह लगभग 100 गुना छोटा था। हालाँकि, यह ध्यान देना महत्वपूर्ण है कि जबकि इस छोटे मॉडल ने ओपन-सोर्स मॉडल की बराबरी की, दोनों ही शीर्ष-स्तरीय क्लाउड-आधारित सिस्टम द्वारा काफी पीछे छोड़ दिए गए थे। यह सुझाव देता है कि इस विशिष्ट चिकित्सा कार्य के लिए, बाधा कंप्यूटर मस्तिष्क का आकार नहीं है, बल्कि भाषण सुधारों के उच्च-गुणवत्ता वाले, एनोटेटेड (annotated) उदाहरणों की उपलब्धता है। शोधकर्ताओं ने नोट किया कि छोटे मॉडल का प्रदर्शन काफी बेहतर हो गया जब इसे इस विशिष्ट कार्य के लिए विशेषज्ञ बनाने से पहले सामान्य संवादात्मक भाषण के डेटासेट पर प्रशिक्षित किया गया था। यह इंगित करता है कि सीमा मॉडल की क्षमता के बजाय लेबल किए गए डेटा की कमी में निहित है।

अध्ययन ने यह भी उजागर किया कि ये AI सिस्टम लंबे वाक्यों को कैसे संभालते हैं, इसमें एक सूक्ष्म दोष है। जैसे-जैसे बोले गए वाक्य की लंबाई बढ़ती गई, छोटे मॉडल अधिक गलतियाँ करने लगे, सामान्य पुनरावृत्तियों या ठहराव को गलत तरीके से सेल्फ-रिपेयर के रूप में पहचानने लगे। बड़े मॉडल को इस समस्या से उतनी गंभीरता से जूझना नहीं पड़ा, और उसने वाक्य की लंबाई के बावजूद एक स्थिर त्रुटि दर बनाए रखी। यह निष्कर्ष रेखांकित करता है कि जबकि सबसे शक्तिशाली मॉडल वर्तमान में सबसे विश्वसनीय हैं, वे नैदानिक उपयोग के लिए महत्वपूर्ण कमियां भी लाते हैं। उन्हें रोगी के डेटा को बाहरी सर्वरों पर भेजने की आवश्यकता होती है, जो गोपनीयता संबंधी चिंताएं पैदा करता है, और वे प्रत्येक उपयोग के लिए निरंतर लागत भी बढ़ाते हैं। छोटे, स्थानीय रूप से तैनात किए जा सकने वाले मॉडल एक गोपनीयता-संरक्षण उपकरण के लिए मार्ग प्रशस्त करते हैं, लेकिन उन्हें विश्वसनीयता के समान स्तर तक पहुँचने के लिए वर्तमान में अधिक प्रशिक्षण डेटा की आवश्यकता है।

अंततः, अनुसंधान एक ऐसे भविष्य की ओर संकेत करता है जहाँ संज्ञानात्मक स्क्रीनिंग उपकरण सटीक और व्यावहारिक दोनों हो सकें। सेल्फ-रिपेयर्स को स्वचालित रूप से पहचानने की क्षमता संज्ञानात्मक हानि के शुरुआती संकेतों को चिह्नित करने वाली एक व्यापक प्रणाली बनाने की दिशा में एक आशाजनक कदम है। जबकि सबसे शक्तिशाली AI सिस्टम वर्तमान में सटीकता में अग्रणी हैं, अध्ययन बताता है कि अधिक डेटा और बेहतर प्रशिक्षण के साथ, छोटे, स्थानीय रूप से चलने वाले मॉडल अंततः उनके प्रदर्शन की बराबरी कर सकते हैं। इससे डॉक्टर बाहरी क्लाउड सेवाओं पर निर्भर रहे बिना अपने निजी कार्यालय में इन उपकरणों का उपयोग कर सकेंगे, जिससे संज्ञानात्मक गिरावट का शीघ्र पता लगाना अधिक सुलभ और सुरक्षित हो जाएगा। यह कार्य पुष्टि करता है कि सेल्फ-रिपेयर्स मस्तिष्क स्वास्थ्य की निगरानी के लिए एक व्यवहार्य संकेत हैं, और यह अगली पीढ़ी के कुशल, स्थानीय मॉडलों को प्रशिक्षित करने के लिए सही डेटा संसाधनों के विकास के साथ, इस पहचान को नियमित नैदानिक देखभाल में एकीकृत करने का एक स्पष्ट मार्ग भी रेखांकित करता है।