Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding

कल्पना कीजिए कि आप एक लंबी, भीड़भाड़ वाली बैठक में बैठे हैं जहाँ आवाजें एक-दूसरे के ऊपर आ रही हैं, लोग एक-दूसरे को बीच में टोक रहे हैं, और बातचीत बजट की चर्चा से अचानक हताशा के विस्फोट की ओर मुड़ जाती है। यदि आपसे बाद में पूछा जाए कि विशेष रूप से एक व्यक्ति ने उन्नीसवें मिनट पर अपनी आवाज क्यों ऊँची की थी, या यह समझाने के लिए कहा जाए कि एक घंटे की शुरुआत में लिए गए निर्णय ने बीस मिनट बाद की गई एक शिकायत को कैसे प्रभावित किया, तो आप केवल बोले गए शब्दों पर ही निर्भर नहीं रहेंगे। आपको स्वर, आवाज का स्तर, ठहराव और यह भी याद रहेगा कि बातचीत एक व्यक्ति से दूसरे व्यक्ति तक कैसे प्रवाहित हुई। दशकों से, कंप्यूटर ऐसा करने के लिए संघर्ष करते रहे हैं। हालांकि मशीनें भाषण को टेक्स्ट में बदलने में उत्कृष्ट हो गई हैं, लेकिन वे अक्सर लंबी, जटिल बातचीत के पूर्ण संदर्भ को समझने में विफल रहती हैं। वे एक बैठक को वाक्यों की एक सपाट सूची की तरह मानती हैं, जिससे यह महत्वपूर्ण विवरण खो जाता है कि किसने क्या कहा, कब कहा, और कैसे कहा। यह सीमा घंटों लंबी रिकॉर्डिंग के बारे में प्रश्न पूछने के प्रयास में एक बड़ी बाधा बन जाती है, जहाँ एक साधारण प्रश्न का उत्तर पूरे सत्र के दौरान फैले अंतःक्रियाओं के जाल के भीतर कहीं छिपा हो सकता है।

चीन के सूज़ौ विश्वविद्यालय के शोधकर्ताओं ने इस समस्या को हल करने के लिए एक नया दृष्टिकोण विकसित किया है, जिससे उन्होंने एक ऐसी प्रणाली बनाई है जो न केवल ऑडियो सुनती है बल्कि उत्तर खोजने के लिए सक्रिय रूप से योजना भी बनाती है। उन्होंने इस बात को स्वीकार करते हुए शुरुआत की कि मौजूदा आर्टिफिशियल इंटेलिजेंस मॉडल, जो भाषण को प्रोसेस करने के लिए डिज़ाइन किए गए हैं, कच्चे टेक्स्ट के पक्ष में आवाज के वॉल्यूम और भावना जैसे मूल्यवान ध्वनिक (acoustic) विवरणों को त्याग देते हैं। इसके अलावा, ये मॉडल एक लंबी रिकॉर्डिंग की शुरुआत के विवरणों को याद रखने में संघर्ष करते हैं जब वे रिकॉर्डिंग के अंत के बारे में कोई प्रश्न पूछ रहे होते हैं। इसे संबोधित करने के लिए, टीम ने पहले 'LongAudioQA' नामक एक नया डेटासेट बनाया, जिसमें वास्तविक दुनिया की बैठकों के बारे में सैकड़ों प्रश्न शामिल हैं, जो सरल तथ्यात्मक प्रश्नों से लेकर जटिल प्रश्नों तक विस्तृत हैं, जिनमें वक्ता की भावनात्मक स्थिति या बातचीत के दो दूरस्थ हिस्सों के बीच तार्किक संबंध को समझने की आवश्यकता होती है।

उनके समाधान का मूल एक प्रणाली है जिसे वे 'ग्राफ-आधारित रिट्रीवल-जेनरेशन एजेंट' कहते हैं। पूरी ऑडियो फ़ाइल को एक ही मॉडल में एक साथ डालने के बजाय, शोधकर्ताओं ने पहले बैठक को एक संरचित मानचित्र (map) में विभाजित किया। इस मानचित्र में, बोला गया प्रत्येक वाक्य एक 'नोड' बन जाता है, और उनके बीच के संबंध इस आधार पर खींचे जाते हैं कि कौन बोल रहा है, कब बोल रहा है, और वे किस बारे में बात कर रहे हैं। यह संरचना कंप्यूटर को बैठक को शब्दों की एक धारा के रूप में नहीं, बल्कि संबंधों के एक नेटवर्क के रूप में देखने की अनुमति देती है। जब कोई उपयोगकर्ता प्रश्न पूछता है, तो सिस्टम केवल मिलान करने वाले शब्दों की खोज नहीं करता है। इसके बजाय, यह एक मानव विशेषज्ञ की तरह कार्य करता है जो अपनी खोज की योजना बनाता है। यह प्रश्न को तोड़ता है, तय करता है कि मानचित्र के किन हिस्सों की खोज करनी है, और फिर साक्ष्य एकत्र करने के लिए कनेक्शनों के माध्यम से चरण-दर-चरण आगे बढ़ता है।

यदि प्रारंभिक खोज पर्याप्त जानकारी प्रदान नहीं करती है, तो सिस्टम में अपनी प्रगति पर विचार करने की क्षमता होती है। यह महसूस कर सकता है कि उसके पास पहेली का एक टुकड़ा गायब है, जैसे कि किसी की आवाज का विशिष्ट स्वर या किसी पिछले बयान का संदर्भ, और फिर वह उस लापता टुकड़े को खोजने के लिए अपनी खोज की योजना को फिर से बना सकता है। खोजने, एकत्र करने और चिंतन करने का यह चक्र तब तक चलता रहता है जब तक कि सिस्टम को विश्वास नहीं हो जाता कि उसने सही उत्तर पा लिया है। यह विधि सिस्टम को समय के अंतराल में बिंदुओं को जोड़ने वाले प्रश्नों को संभालने की अनुमति देती है, जैसे कि यह पहचानना कि किसी वक्ता ने एक विशिष्ट क्षण में क्रोधित स्वर क्यों दिखाया, उस क्षण को पहले किए गए किसी टूटे हुए वादे से जोड़कर।

उनके परीक्षण के परिणाम बताते हैं कि यह योजना-आधारित दृष्टिकोण वर्तमान अत्याधुनिक मॉडलों से काफी बेहतर प्रदर्शन करता है जो सरल टेक्स्ट खोज या प्रत्यक्ष ऑडियो प्रोसेसिंग पर निर्भर हैं। तीस मिनट से अधिक लंबी बैठकों से संबंधित परीक्षणों में, नया सिस्टम जटिल प्रश्नों के उत्तर बहुत अधिक सटीकता के साथ देने में सक्षम था, विशेष रूप रूप से जब प्रश्नों के लिए वक्ताओं के भावनात्मक स्वर को समझने या एक लंबी अवधि के दौरान बातचीत के प्रवाह को ट्रैक करने की आवश्यकता थी। शोधकर्ताओं ने पाया कि वक्ताओं और समय के बीच के संबंधों को स्पष्ट रूप से मॉडल करके, और सिस्टम को अपनी खोज रणनीति की योजना बनाने की अनुमति देकर, वे "संदर्भ विखंडन" (context fragmentation) की सामान्य समस्या को दूर कर सकते हैं, जहाँ महत्वपूर्ण विवरण इसलिए खो जाते हैं क्योंकि वे रिकॉर्डिंग में बहुत दूर होते हैं।

यह कार्य सुझाव देता है कि मनुष्यों के लिए लंबी बातचीत को वास्तव में समझने के लिए, कंप्यूटरों को केवल शक्तिशाली प्रोसेसरों की ही नहीं, बल्कि सूचनाओं को व्यवस्थित करने के एक ऐसे तरीके की भी आवश्यकता है जो स्वाभाविक रूप से जटिल सामाजिक अंतःक्रियाओं को नेविगेट करने के मानवीय तरीके को दर्शाता हो। बैठक को एक संरचित मानचित्र के रूप में मानकर और कंप्यूटर को अपनी खोज प्रक्रिया के माध्यम से सोचने की क्षमता देकर, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो बैठक को सुन सकती है, उसके भीतर के संबंधों को समझ सकती है, और रिकॉर्डिंग के वास्तविक साक्ष्यों पर आधारित उत्तर प्रदान कर सकती है। हालांकि यह प्रणाली अभी भी अत्यधिक शोर वाली रिकॉर्डिंग के साथ चुनौतियों का सामना करती है, इसकी योजना बनाने और चिंतन करने की क्षमता मानव संवाद की पूरी गहराई को समझने में आर्टिफिशियल इंटेलिजेंस को सक्षम बनाने की दिशा में एक महत्वपूर्ण कदम है।