Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations
यह शोध पत्र HIVE को प्रस्तुत करता है, जो एक परटर्बेशन सुइट (perturbation suite) है जो यह प्रदर्शित करता है कि वॉयस ट्रांसक्रिप्शन त्रुटियां टोकन संरचना को बाधित करके और तर्क करने में बाधा डालकर LLM के प्रदर्शन को महत्वपूर्ण रूप से कम कर देती हैं, जबकि कीबोर्ड टाइपोस को अधिक आसानी से आत्मसात कर लिया जाता है, जो यह प्रकट करता है कि मूल टोकन को सुरक्षित रखना मजबूती के लिए महत्वपूर्ण है और मानक प्रशिक्षण या थिंकिंग बजट वॉयस-विशिष्ट कमजोरियों को पूरी तरह से कम करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट से बात कर रहे हैं जो कहानियाँ लिख सकता है, गणित की समस्याएँ हल कर सकता है और कंप्यूटर कोड लिख सकता है। इस रोबोट को 'लार्ज लैंग्वेज मॉडल' या LLM कहा जाता है। लंबे समय तक, हम केवल कीबोर्ड पर टाइप करके इन रोबोट्स से बात करते थे, जैसे कि कोई टेक्स्ट मैसेज भेज रहा हो। लेकिन अब, हम उनसे ज़ोर से बोलकर भी बात कर सकते हैं, ठीक वैसे ही जैसे किसी दोस्त से बात करते हैं। बड़ा सवाल यह है: क्या इससे फर्क पड़ता है कि हम उनसे कैसे बात करते हैं?
जब आप टाइप करते हैं, तो आपसे छोटी गलतियाँ हो सकती हैं, जैसे उंगली फिसलने के कारण गलत अक्षर दब जाना, या स्पेस बार दबाना भूल जाना। जब आप बोलते हैं, तो रोबोट को आपकी आवाज़ सुननी पड़ती है, उसे टेक्स्ट में बदलना पड़ता है, और फिर उसे पढ़ना पड़ता है। यह प्रक्रिया अव्यवस्थित हो सकती है। आपकी आवाज़ में "अम्म्स" और "आह्स" (filler words) हो सकते हैं, या कंप्यूटर गलती से आपके शब्द को किसी मिलते-जुलते शब्द में बदल सकता है (जैसे "their" को "there" समझ लेना)। इससे भी बुरा यह है कि कुछ स्मार्ट टूल्स आपकी बातचीत को "साफ" करने की कोशिश करते हैं, यानी वे आपके वाक्यों को फिर से लिखकर उन्हें अधिक औपचारिक (formal) बनाने का प्रयास करते हैं। वैज्ञानिक यह जानना चाहते थे: क्या ये अव्यवस्थित इनपुट रोबोट को भ्रमित करते हैं, या रोबोट इतना मजबूत है कि वह इन्हें संभाल सके? वे यह पता लगाना चाहते थे कि टाइप करना बेहतर है या बोलना, और किस तरह की गलतियाँ रोबोट के दिमाग को खराब कर देती हैं।
इसका उत्तर देने के लिए, शोधकर्ताओं ने HIVE (ह्यूमन इनपुट-वेरिएशन इंजन) नामक एक विशेष परीक्षण मशीन बनाई। HIVE को एक विशाल "त्रुटि कारखाने" (error factory) के रूप में समझें जो एकदम सही सवालों को लेता है और जानबूझकर उन्हें बहुत विशिष्ट तरीकों से बिगाड़ देता है। उन्होंने दो अलग-अलग प्रकार की गड़बड़ियाँ बनाईं: एक जो एक अनाड़ी टाइपिस्ट की तरह दिखती है (QWERTY कीबोर्ड त्रुटियाँ) और दूसरी जो एक वॉयस रिकॉर्डर से निकले बिखरे हुए ट्रांसक्रिप्ट की तरह दिखती है (स्पीच त्रुटियाँ)। फिर उन्होंने इन अव्यवस्थित सवालों को पाँच अलग-अलग स्मार्ट रोबोटों को दिया और देखा कि क्या होता है।
यहाँ उन्हें जो मिला, वह थोड़ा आश्चर्यजनक है:
1. बोलना रोबोट्स के लिए "हार्ड मोड" है
जब लोग रोबोट से बोलते हैं, तो टाइप करने की तुलना में रोबोट बहुत अधिक भ्रमित होता है। लेकिन ऐसा "अम्म्स" और "आह्स" (fillers) की वजह से नहीं होता। असली समस्या इस बात से आती है कि आपकी बोली गई बातों को कैसे फिर से लिखा जाता है। यदि कोई टूल आपके बोले गए शब्दों को लेकर उन्हें एक व्यवस्थित, पाठ्यपुस्तक जैसी वाक्य संरचना में बदल देता है, तो रोबोट का प्रदर्शन गिर जाता है। वास्तव में, एक बोले गए सवाल को संक्षिप्त और साफ सारांश में बदलने से गणित की समस्याओं पर रोबोट की सटीकता 24.1 प्रतिशत अंक कम हो गई। यह पता चलता है कि रोबोट आपके वाक्य की मूल संरचना को पसंद करता है, भले ही वह थोड़ी अव्यवस्थित क्यों न हो। आपके शब्दों का क्रम बदलना या आपकी बातों को फिर से लिखना, एक नक्शे को लेकर उसकी सड़कों को फिर से बनाने जैसा है; रोब-ोट इसमें खो जाता है।
2. टाइपिंग की गलतियाँ आश्चर्यजनक रूप से अनदेखी की जा सकती हैं
दूसरी ओर, टाइपिंग की गलतियों के मामले में रोबोट अविश्वसनीय रूप से मजबूत होते हैं। यदि आपने गलत कुंजी दबा दी, दो अक्षरों को आपस में बदल दिया, या स्पेस देना भूल गए, तो रोबोट आमतौर पर इसे समझ लेता है। शोधकर्ताओं ने पाया कि एक रोबोट टाइपिंग की बहुत सारी गलतियों को झेल सकता है, इससे पहले कि वह विफल होने लगे। यह केवल तभी होता है जब गलतियाँ बहुत अधिक केंद्रित हो जाती हैं—जैसे कि लगभग हर शब्द को बिगाड़ देना—तब रोबोट हार मान लेता है। इससे पता चलता है कि रोबोट यह अनुमान लगाने में बहुत अच्छा है कि आपने टाइप करते समय क्या कहना चाहा था, जब तक कि मुख्य शब्द मौजूद हों।
3. "टोकन सर्वाइवल" (Token Survival) का नियम
सबसे बड़ी खोज यह है कि एक प्रकार की गलती दूसरे की तुलना में अधिक नुकसान क्यों पहुँचाती है। शोधकर्ताओं ने पाया कि रोबोट का दिमाग तब टूट जाता है जब आपके सवाल के मूल शब्द (tokens) नष्ट हो जाते हैं या बदल दिए जाते हैं।
- नए शब्द जोड़ना (जैसे अतिरिक्त "अम्म्स" या लंबी व्याख्याएँ) रोबोट के लिए सस्ता है; इससे ज्यादा नुकसान नहीं होता।
- मूल शब्दों को नष्ट करना (वाक्य को फिर से लिखकर या किसी मुख्य अक्षर को यादृच्छिक अक्षर से बदलकर) महंगा है।
इसे एक पहेली (puzzle) की तरह समझें। यदि आप कुछ ऐसे अतिरिक्त टुकड़े जोड़ते हैं जो वहां नहीं होने चाहिए, तो रोबोट अभी भी तस्वीर देख सकता है। लेकिन यदि आप उन टुकड़ों को हटा देते हैं जो वास्तव में तस्वीर बनाते हैं, तो रोबोट उसे हल नहीं कर सकता। "बोली गई" जानकारी अक्सर आपके सवाल की मूल संरचना को नष्ट कर देती है, जबकि "टाइपिंग" वाला माध्यम आमतौर पर मुख्य तस्वीर को तोड़े बिना केवल थोड़ा शोर (noise) जोड़ता है।
4. यह कार्य (Task) पर निर्भर करता है
टाइपिंग और बोलने के बीच का अंतर तभी दिखाई देता है जब रोबलेट को गहराई से सोचना पड़ता है और शून्य से उत्तर बनाना पड़ता है, जैसे गणित की समस्या हल करना या कोड लिखना। इन मामलों में, बोलना टाइप करने की तुलना में बहुत खराब है। हालाँकि, यदि रोबोट को केवल एक सूची में से उत्तर चुनना है (जैसे बहुविकल्पीय प्रश्न), तो इससे कोई फर्क नहीं पड़ता कि आप टाइप करते हैं या बोलते हैं; प्रदर्शन समान रहता है। भारी काम करने के लिए रोबोट को मूल प्रश्न की साफ संरचना की आवश्यकता होती है।
5. आप केवल "प्रशिक्षण" (Training) से इस समस्या को दूर नहीं कर सकते
शोधकर्ताओं ने रोबोट को इन अव्यवस्थित इनपुट को संभालने में बेहतर बनाने की कोशिश की। उन्होंने "लाइटवेट अडैप्टेशन" नामक एक तकनीक का उपयोग किया, जो रोबोट को अव्यवस्थित स्पीच का एक त्वरित क्रैश कोर्स देने जैसा है। यह काम नहीं आया। रोबोट बोलने के तरीके को फिर से लिखने से होने वाले नुकसान को नहीं सीख सके। उन्होंने यह भी पाया कि यह समस्या केवल इसलिए नहीं है क्योंकि रोबोट ने पहले उत्तर देखे थे (एक सामान्य समस्या जिसे 'टेस्ट-सेट कंटैमिनेशन' कहा जाता है)। यहाँ तक कि जब उन्होंने नए गणित के सवाल इस्तेमाल किए जो रोबोट ने पहले कभी नहीं देखे थे, तब भी बोले गए इनपुट का प्रदर्शन खराब ही रहा।
6. "सोचना" टाइपिंग में मदद करता है, लेकिन बोलने में नहीं
एक रोबोट जिसका परीक्षण किया गया था, उसमें एक विशेष "सोचने" वाला मोड था, जहाँ वह उत्तर देने से पहले रुककर सोचता है। यह "सोचने का बजट" (thinking budget) टाइपिंग की गलतियों को सुधारने के लिए अद्भुत था। इसने लगभग पूरी तरह से अव्यवस्थित टाइप किए गए सवालों को समझने की रोबोट की क्षमता को वापस ला दिया। लेकिन बोलने वाले सवालों के मामले में इसने लगभग कुछ भी नहीं किया। यदि स्पीच को फिर से लिखा गया या संकुचित किया गया था, तो रोबोट का "सोचना" भी उसे बचा नहीं सका। यह पुष्टि करता है कि बोले गए इनपुट से होने वाला नुकसान बहुत गहरा है; रोबोट गलत पहेली के टुकड़ों के साथ काम कर रहा है, और अधिक गहराई से सोचने से भी कोई मदद नहीं मिलती।
निष्कर्ष
यदि आप एक स्मार्ट AI से सर्वोत्तम परिणाम चाहते हैं, तो टाइपिंग अभी भी सुरक्षित दांव है, विशेष रूप से गणित या कोडिंग जैसे कठिन कार्यों के लिए। यदि आपको बोलना ही है, तो अपने बोले गए शब्दों को "साफ" करने या आपके लिए उन्हें फिर से लिखने वाले किसी टूल पर भरोसा न करें। रोबोट आपकी मूल, थोड़ी अव्यवस्थित आवाज़ को एक पॉलिश किए गए, फिर से लिखे गए संस्करण की तुलना में अधिक पसंद करता है। और यदि आप ऐसे उपकरण बना रहे हैं जो स्पीच को टेक्स्ट में बदलते हैं, तो सबसे महत्वपूर्ण सलाह यह है: उपयोगकर्ता ने जो कहा, उसके ढांचे (structure) को न बदलें। बस "अम्म्स" जैसे शब्दों को हटा दें और बाकी को वैसा ही रहने दें। रोबोट अव्यवस्था को संभालने के लिए पर्याप्त मजबूत है, जब तक कि आप पहेली को तोड़ न दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।