Listen, Reason, and Segment: Aligning LALMs with Editorial Judgment for Media Chapterization

मानव ध्वनि के विशाल संग्रह में, दशकों के टेलीविजन प्रसारणों से लेकर ऑनलाइन वीडियो के लाखों घंटों तक, एक ऐसी संरचना मौजूद है जो अक्सर मशीनों के लिए अदृश्य होती है। जबकि कंप्यूटर भाषण सुनने और कुत्ते के भौंकने या कार के हॉर्न जैसी विशिष्ट ध्वनियों को पहचानने में उल्लेखनीय रूप से कुशल हो गए हैं, वे एक अधिक सूक्ष्म, मानवीय कार्य में संघर्ष करते हैं: एक कहानी के प्रवाह को समझना। जब एक मानव संपादक एक लंबे वीडियो को देखता है, तो वह केवल शोर नहीं सुनता; वह महसूस करता है कि कब कोई विषय बदलता है, कब एक संगीत अंतराल समाप्त होता है, या कब एक नया खंड शुरू होता है। वे सामग्री को अध्यायों में विभाजित करने के लिए मार्कर लगाते हैं, जिससे यह संभव हो पाता है कि एक दर्शक उस भाग पर जा सके जिसकी उसे परवाह है। हालांकि, एक कंप्यूटर के लिए, यह एक कठिन पहेली है। इन खंडों के बीच की सीमाएँ शायद ही कभी किसी तेज़ धमाके या अचानक सन्नाटे द्वारा चिह्नित होती हैं। इसके बजाय, वे स्वर में बदलाव, भाषण की लय में परिवर्तन, या बैकग्राउंड म्यूजिक में एक सूक्ष्म संक्रमण द्वारा परिभाषित होती हैं। यह संपादकीय निर्णय का क्षेत्र है, एक व्यक्तिपरक कौशल जो दुनिया के ऑडियो को व्यवस्थित करने का प्रयास करने वाली आर्टिफिशियल इंटेलिजेंस की पहुंच से बाहर रहा है।

सर्रे विश्वविद्यालय और हुवावे के शोधकर्ताओं की एक टीम ने मशीनों को इस विशिष्ट कौशल को सिखाने के लिए एक नया दृष्टिकोण विकसित किया है। उन्होंने 'ऑडियो चैप्टरइज़ेशन' (audio chapterization) नामक कार्य पर ध्यान केंद्रित किया, जिसमें निरंतर ध्वनि प्रवाह को लेकर उसे सार्थक, विषयगत खंडों में विभाजित करना शामिल है। चुनौती यह है कि ये खंड सख्त नियमों द्वारा नहीं, बल्कि निर्माता के इरादे द्वारा परिभाषित होते हैं। एक पॉडकास्ट वक्ता के विषय में बदलाव के आधार पर अध्यायों में विभाजित हो सकता है, जबकि एक गेमिंग स्ट्रीम एक स्तर (level) पूरा होने के आधार पर विभाजित हो सकती है, और एक म्यूजिक वीडियो तब विभाजित हो सकता है जब गाना बदलता है। मौजूदा उपकरण अक्सर इसे पहले भाषण को टेक्स्ट में बदलने और फिर शब्दों का विश्लेषण करने के माध्यम से हल करने की कोशिश करते हैं। यह सरल साक्षात्कारों के लिए तो काम करता है लेकिन उन ऑडियो के मामले में बुरी तरह विफल हो जाता है जिनमें संगीत, साउंड इफेक्ट्स, या गतिशील एक्शन शामिल हो जहाँ केवल शब्द पूरी कहानी नहीं बताते। शोधकर्ताओं ने महसूस किया कि इन सीमाओं को वास्तव में समझने के लिए, एक आर्टिफिशियल इंटेलिजेंस को सीधे ऑडियो को सुनना होगा, और ध्वनियों के माध्यम से उसी तरह तर्क करना होगा जैसे एक मानव संपादक करता है।

इसे प्राप्त करने के लिए, टीम ने एक प्रणाली बनाई जिसे वे 'ऑडियोचैप्स' (AudioChaps) कहते हैं। उन्होंने एक शक्तिशाली 'ऑडियो लैंग्वेज मॉडल' से शुरुआत की, जो ध्वनि को समझने के लिए डिज़ाइन किया गया एक प्रकार का आर्टिफिशियल इंटेलिजेंस है, लेकिन पाया कि सबसे उन्नत संस्करण भी स्वयं के भरोसे इस कार्य में संघर्ष करते हैं। ये मॉडल अत्यधिक सतर्क होने की प्रवृत्ति रखते थे, अक्सर सीमाओं को पूरी तरह से मिस कर देते थे या संगीत या गेमिंग स्ट्रीम जैसे जटिल ऑडियो में उन्हें पहचानने में विफल रहते थे। शोधकर्ताओं ने मॉडल को न केवल पैटर्न पहचानने के लिए, बल्कि एक मानव संपादक की निर्णय लेने की प्रक्रिया की नकल करने के लिए प्रशिक्षित करने का निर्णय लिया। उन्होंने यूट्यूब से ऑडियो क्लिप्स का एक विशाल संग्रह एकत्र किया, जहाँ कंटेंट क्रिएटर्स ने पहले से ही अपने अध्याय सीमाओं को चिह्नित किया था। ये वास्तविक दुनिया के मार्कर इस बात के 'गोल्ड स्टैंडर्ड' के रूप में कार्य करते थे कि एक "सही" निर्णय कैसा दिखता है।

प्रशिक्षण प्रक्रिया में दो अलग-अलग चरण शामिल थे जिन्हें मॉडल को मानवीय तर्क की ओर ले जाने के लिए डिज़ाइन किया गया था। सबसे पहले, शोधकर्ताओं ने मॉडल को ऑडियो के बारे में सोचने का एक संरचित तरीका प्रदान किया। उन्होंने एक डेटासेट बनाया जहाँ मॉडल से पूछा गया कि वह ध्वनि के विवरण को चरण-दर-चरण तरीके से बताए—जैसे टेम्पो में बदलाव, नए वाद्य यंत्रों का आगमन, या वक्ता के स्वर में बदलाव को नोट करना—इससे पहले कि वह तय करे कि कोई सीमा मौजूद है या नहीं। इस चरण ने मॉडल को केवल अनुमान लगाने के बजाय ध्वनि में साक्ष्य खोजने के लिए सिखाया। एक बार जब मॉडल ने ये विस्तृत, साक्ष्य-आधारित स्पष्टीकरण उत्पन्न करना सीख लिया, तो शोधकर्ताओं ने प्रशिक्षण का दूसरा स्तर लागू किया। उन्होंने मॉडल को एक ही ऑडियो क्लिप के कई अलग-अलग प्रयास करने दिए, और उसे केवल तभी पुरस्कृत किया जब उसका अंतिम निर्णय निर्माता के मूल अध्याय मार्क से मेल खाता था। यह प्रक्रिया, जिसे शोधकर्ताओं ने 'ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन' (group relative policy optimization) कहा, ने मॉडल को अपनी गलतियों और सफलताओं से सीखने, और बातचीत के महज ठहराव और नैरेटिव के वास्तविक बदलाव के बीच अंतर करने की अपनी क्षमता को परिष्कृत करने की अनुमति दी।

परिणाम चौंकाने वाले थे। विभिन्न प्रकार के ऑडियो, जिनमें संरचित भाषण, गतिशील मनोरंजन, गेमिंग स्ट्रीम और संगीत शामिल थे, पर परीक्षण किए जाने पर, नई प्रणाली ने सभी पिछले प्रयासों को पछाड़ दिया। जबकि सर्वश्रेष्ठ मौजूदा मॉडल औसतन केवल 28 प्रतिशत समय ही सीमाओं को सही ढंग से पहचान पाते थे, नई प्रणाली ने लगभग 78 प्रतिशत की सफलता दर हासिल की। यह सुधार केवल अधिक उत्तर सही होने के बारे में नहीं था; यह ध्वनि की बारीकियों को समझने के बारे में था। प्रणाली विशेष रूप से संगीत और गेमिंग स्ट्रीम को संभालने में सक्षम हो गई, ऐसे क्षेत्र जहाँ पिछले उपकरण लगभग पूरी तरह से विफल रहे थे। संगीत से जुड़े एक विशिष्ट परीक्षण में, नए मॉडल ने अपनी सीमाओं को खोजने की क्षमता को मात्र 6 प्रतिशत से बढ़ाकर 84 प्रतिशत से अधिक कर दिया, एक ऐसी छलांग जो यह सुझाव देती है कि इसने अंततः संगीत को स्वयं सुनने का तरीका सीख लिया है, न कि केवल शब्दों को।

शायद सबसे महत्वपूर्ण बात यह है कि शोधकर्ताओं ने प्रदर्शित किया कि इस उच्च स्तर के प्रदर्शन के लिए किसी विशाल, ऊर्जा-खपत करने वाले कंप्यूटर की आवश्यकता नहीं थी। 8 बिलियन पैरामीटर्स वाले मॉडल पर आधारित उनकी प्रणाली, चार गुना बड़े और बहुत अधिक जटिल तरीकों से प्रशिक्षित अन्य मॉडलों से बेहतर प्रदर्शन करती है। यह सुझाव देता है कि सफलता की कुंजी केवल मस्तिष्क का आकार नहीं था, बल्कि यह था कि उसे कैसे सिखाया गया था। मॉडल के निर्णयों को मानव रचनाकारों द्वारा किए गए वास्तविक संपादकीय विकल्पों के साथ संरेखित करके, शोधकर्ताओं ने दिखाया कि मशीनें ऑडियो के प्रवाह को एक स्वाभाविक और सहज तरीके से नेविगेट करना सीख सकती हैं। यह प्रणाली केवल वॉल्यूम में बदलाव का पता नहीं लगाती है; यह समझती है कि एक अराजक, तेज़-तरंग वाले गाने से एक शांत, बोले गए परिचय में बदलाव एक नए अध्याय की शुरुआत का संकेत है।

इस कार्य के निहितार्थ केवल साधारण संगठन से कहीं आगे तक फैले हुए हैं। निरंतर, असंरचित ऑडियो स्ट्रीम को नेविगेबल, अध्यायबद्ध सामग्री में बदलकर, यह तकनीक मीडिया के साथ बातचीत करने के नए तरीके खोलती है। यह उपयोगकर्ताओं को किसी लंबे व्याख्यान के विशिष्ट खंड पर सीधे जाने की अनुमति दे सकती है, या संग्रहकर्ताओं को दशकों के फुटेज के भीतर प्रासंगिक क्लिप जल्दी से खोजने में मदद कर सकती है। शोधकर्ताओं ने उल्लेख किया कि जबकि उनकी वर्तमान प्रणाली छोटे, ओवरलैपिंग स्लाइस के विश्लेषण द्वारा काम करती है, अंतिम लक्ष्य इस तर्क को पूरे रिकॉर्डिंग पर लागू करना है बिना इस क्षमता को खोए कि परिवर्तन बिल्कुल कहाँ हुआ है। उन्होंने पहले ही दिखा दिया है कि उनकी विधि पूर्ण-लंबाई की रिकॉर्डिंग में सीमाओं को सफलतापूर्वक मैप कर सकती है, जिससे अध्याय शुरू होने के स्थान को खोजने में औसत त्रुटि घटकर केवल 10 सेकंड रह गई है। सटीकता का यह स्तर एक पूरी तरह से नेविगेबल ऑडियो दुनिया के दृष्टिकोण को वास्तविकता के करीब लाता है, जहाँ ध्वनि के विशाल सागर को एक विषय सूची (table of contents) वाली पुस्तक की तरह आसानी से खोजा जा सकता है।

अंत में, सर्रे और हुवावे की टीम का कार्य इस बात की याद दिलाता है कि बुद्धिमत्ता केवल डेटा को प्रोसेस करने के बारे में नहीं है, बल्कि संदर्भ को समझने के बारे में है। उन्होंने केवल ध्वनि घटनाओं का बेहतर डिटेक्टर नहीं बनाया; उन्होंने एक ऐसी प्रणाली बनाई जो एक कहानीकार के इरादे के साथ सुनना सीखती है। मशीनों को ध्वनिक साक्ष्यों के माध्यम से तर्क करने और उनके निर्णयों को मानवीय निर्णय के साथ संरेखित करने के लिए सिखाकर, उन्होंने एक ऐसे अंतर को पाट दिया है जो लंबे समय से कच्चे ऑडियो और संरचित ज्ञान को अलग करता आया है। परिणाम एक ऐसा उपकरण है जो ध्वनि की एक दीवार को एक मानचित्र में बदल सकता है, जिससे हमें शोर के बीच अपना रास्ता खोजने और उसके भीतर छिपी कहानियों को खोजने की अनुमति मिलती है।