On Improving Faithfulness of Podcasts from Documents
यह शोध पत्र डॉक्यूमेंट-ग्राउंडेड पॉडकास्ट जनरेशन में निष्ठा (faithfulness) का पहला व्यवस्थित अध्ययन प्रस्तुत करता है, जो एक टर्न-लेवल मूल्यांकन ढांचे और एक "कैच-एन-रिपेयर" विधि को पेश करता है जो संवादात्मक प्रवाह बनाए रखते हुए सटीकता में सुधार करने के लिए अनग्राउंडेड सामग्री का प्रभावी ढंग से पता लगाता है और उसे फिर से लिखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक आरामदायक लिविंग रूम में बैठे हैं और एक पॉडकास्ट सुन रहे हैं। होस्ट आपस में बातें कर रहे हैं, कहानियाँ सुना रहे हैं और जटिल विचारों को इतने स्वाभाविक और आकर्षक तरीके से समझा रहे हैं जैसे वे सहज हों। वर्षों तक, ये शो वास्तविक मनुष्यों द्वारा बनाए जाते थे जो शोध करते थे, तथ्यों की जाँच करते थे और बातचीत को व्यवस्थित करते थे। लेकिन हाल ही में, एक नए प्रकार का "होस्ट" कमरे में आया है: आर्टिफिशियल इंटेलिजेंस (AI)। ये AI सिस्टम एक लंबे, उबाऊ दस्तावेज़—जैसे कि कोई वैज्ञानिक शोध पत्र या कानूनी रिपोर्ट—को पढ़ सकते हैं और तुरंत उसे एक जीवंत, बहु-पात्र संवाद में बदल सकते हैं। यह एक ऐसे सुपर-फास्ट लाइब्रेरियन की तरह है जो उन किताबों पर आधारित एक नाटक भी मंचित कर सकता है जिन्हें उसने अभी-अभी पढ़ा है।
हालाँकि, इसमें एक पेंच है। सिर्फ इसलिए कि AI बहुत सुचारू और आत्मविश्वासी सुनाई देता है, इसका मतलब यह नहीं है कि वह उस दस्तावेज़ के बारे में सच बोल रहा है जो उसे दिया गया था। कभी-कभी, AI इतना रचनात्मक हो जाता है कि वह अपनी यादों से तथ्य मिलाने लगता है या ऐसी चीजें बनाने लगता है जो सुनने में तो तर्कसंगमान लगती हैं लेकिन मूल टेक्स्ट में मौजूद नहीं होतीं। AI अनुसंधान की दुनिया में, इसे "हैलुसिनेशन" (hallucination) कहा जाता है। यह एक ऐसे कहानीकार की तरह है जिसे फिल्म की कहानी तो पता है, लेकिन वह गलती से उसमें एक ऐसा दृश्य जोड़ देता है जहाँ नायक उड़ रहा है, जबकि फिल्म केवल एक कुत्ते को टहलाने वाले व्यक्ति के बारे में थी। यदि हम चाहते हैं कि AI हमारे दस्तावेज़ों को पॉडकास्ट में बदलने के लिए भरोसेमंद हो, तो हमें यह सुनिश्चित करना होगा कि वह मूल कहानी की सीमाओं के भीतर ही रहे, हर मोड़ पर, बिना कल्पना की दुनिया में भटके।
यही वह समस्या है जिसे भारतीय विज्ञान संस्थान (IISc) और एडोब रिसर्च (Adobe Research) के शोधकर्ताओं की एक टीम ने हल करने का निर्णय लिया। उन्होंने एक सरल लेकिन कठिन सवाल पूछा: AI द्वारा बनाए गए पॉडकास्ट अपने आधार दस्तावेज़ों के प्रति कितने वफादार हैं? यह जानने के लिए, उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक विशाल परीक्षण क्षेत्र बनाया। उन्होंने पांच अलग-अलग क्षेत्रों से 1,500 से अधिक दस्तावेज़ एकत्र किए: शैक्षणिक शोध पत्र, कानूनी पाठ, नीति रिपोर्ट, वित्तीय रिकॉर्ड और चिकित्सा मार्गदर्शिकाएँ। फिर उन्होंने कई अलग-अलग AI मॉडल से इन सूखे दस्तावेज़ों को रोमांचक पॉडकास्ट स्क्रिप्ट में बदलने के लिए कहा।
जो उन्हें मिला वह वास्तविकता का एक कड़ा अहसास था। सबसे उन्नत AI मॉडल भी, जिनमें बहुत स्मार्ट GPT-4o भी शामिल है, अक्सर चूक जाते थे। वे एक ऐसा वाक्य उत्पन्न करते थे जो सुनने में तो बहुत अच्छा लगता था लेकिन वास्तव में दस्तावेज़ द्वारा समर्थित नहीं था। उदाहरण के लिए, एक परीक्षण में, एक AI ने AI तकनीक पर एक प्रसिद्ध 2017 के पेपर के बारे में चर्चा की और सहजता से उसकी विरासत के रूप में "ChatGPT" का उल्लेख किया। हालांकि आज की वास्तविक दुनिया में यह सच हो सकता है, लेकिन मूल 2017 के पेपर में ChatGPT का कभी उल्लेख नहीं किया गया था क्योंकि तब तक इसका अस्तित्व ही नहीं था। AI ने उस तथ्य को मूल स्रोत के बजाय अपनी स्मृति से निकाल लिया था। शोधकर्ताओं ने महसूस किया कि पूरे पॉडकास्ट की अंत में जाँच करना पर्याप्त नहीं था; उन्हें हर एक संवाद की पंक्ति, या "टर्न" की जाँच करने की आवश्यकता थी कि क्या वह स्रोत सामग्री पर आधारित है।
इसे हल करने के लिए, टीम ने इन पॉडकास्ट को ग्रेड देने का एक नया तरीका बनाया। उन्होंने एक AI "जज" का उपयोग किया जो स्रोत दस्तावेज़ और पॉडकास्ट स्क्रिप्ट को अगल-बगल से पढ़ता है, और बातचीत के हर एक वाक्य को 1 से 5 तक का स्कोर देता है। स्कोर 1 का अर्थ था कि वाक्य पूरी तरह से मनगढ़ंत था, जबकि 5 का अर्थ था कि वह पूरी तरह से वफादार था। उन्होंने इस प्रणाली का परीक्षण मानव स्वयंसेवकों के साथ किया और पाया कि उनका AI जज नकली बातों को पकड़ने में आश्चर्यजनक रूप से कुशल था, जो कि पुराने तरीकों से कहीं बेहतर था जो केवल शब्दों के मिलान की गिनती करते थे।
लेकिन शोधकर्ता केवल समस्याओं को खोजने तक ही नहीं रुके; उन्होंने उन्हें ठीक करने के लिए एक उपकरण भी बनाया। उन्होंने इसे "कैच-एन-रिपेयर" (catch-n-repair) नाम दिया। इसे एक बहुत ही चौकस संपादक की तरह समझें जो AI के लिखते समय उसके बगल में बैठा है। जैसे ही AI पॉडकास्ट की प्रत्येक नई पंक्ति बनाता है, सिस्टम का "कैच" वाला हिस्सा तुरंत जाँच करता है: "क्या यह पंक्ति वास्तव में दस्तावेज़ में है?" यदि AI कोई मनगढ़ंत तथ्य शामिल करने की कोशिश करता है, तो सिस्टम उसे तुरंत पकड़ लेता है। फिर, "रिपेयर" वाला हिस्सा हस्तक्षेप करता है और AI को उस विशिष्ट पंक्ति को फिर से लिखने के लिए कहता है, जिससे वह केवल दस्तावेज़ के तथ्यों पर टिके रहने और बातचीत को स्वाभाविक बनाए रखने के लिए मजबूर होता है।
परिणाम उत्साहजनक थे। जब उन्होंने विभिन्न AI मॉडलों और विभिन्न प्रकार के दस्तावेज़ों पर इस "कैच-एन-रिपेयर" पद्धति का परीक्षण किया, तो पॉडकास्ट स्रोत के प्रति काफी अधिक वफादार हो गए। AI ने 2017 के पेपर्स के बारे में ChatGPT के बारे में मनगढ़ंत तथ्य बनाना बंद कर दिया और वास्तव में लिखे गए तथ्यों पर ही टिका रहा। शोधकर्ताओं ने पाया कि यह सुधार उन दस्तावेज़ों के लिए भी अच्छी तरह से काम करता है जिन्हें AI ने पहले कभी नहीं देखा था, जो यह दर्शाता है कि AI संवादों को ईमानदार रखने का यह एक मजबूत तरीका है।
संक्षेप में, यह शोध पत्र हमें दिखाता है कि हालांकि AI इंसान जैसा सुनाई देने में बेहतर हो रहा है, लेकिन उसे तथ्यों के प्रति सच्चा रहने के लिए अभी भी थोड़ी मदद की आवश्यकता है। हर वाक्य की जाँच करके और उन्हें ठीक करके, हम यह सुनिश्चित कर सकते हैं कि भविष्य के पॉडकास्ट न केवल मनोरंजक हों, बल्कि विश्वसनीय भी हों। शोधकर्ता सुझाव देते हैं कि सबसे स्मार्ट AI मॉडल्स को भी वास्तव में विश्वसनीय होने के लिए इस तरह के "ग्राउंडिंग" (grounding) की आवश्यकता होती है, और उनकी नई विधि बातचीत को सही दिशा में रखने का एक सरल और प्रभावी तरीका प्रदान करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।