Efficient Audio-Visual Event Recognition via Knowledge Distillation and Dynamic INT8 Quantization of a Hybrid Cross-Attention Network

कल्पना कीजिए कि आप एक रोबोट को दुनिया को केवल देखकर ही नहीं, बल्कि सुनकर भी समझने के लिए सिखाने की कोशिश कर रहे हैं। यह ऑडियो-विजुअल इवेंट रिकग्निशन (AVER) की दुनिया है। इसे एक ऐसे जासूस की तरह समझें जो किसी दृश्य को देखकर और उसके आसपास की आवाजों को सुनकर अपराधों को सुलझाता है। यदि जासूस केवल टूटी हुई खिड़की देखता है, तो वह सोच सकता है कि यह एक तूफान था। लेकिन यदि वह एक बेसबॉल बैट के टकराने की आवाज भी सुन लेता है, तो उसे पता चल जाता है कि यह एक बच्चा खेल रहा था। कंप्यूटर "ट्रांसफॉर्मर्स" नामक विशेष मस्तिष्क जैसी संरचनाओं का उपयोग करके इस "जासूसी कार्य" में बहुत कुशल होते जा रहे हैं। ये एक सुपर-स्मार्ट लाइब्रेरी की तरह हैं जो शब्दों या ध्वनियों के बीच संबंध खोजने के लिए एक पूरी किताब (या एक पूरा वीडियो) को एक साथ पढ़ सकती हैं।

हालाँकि, इसमें एक समस्या है। ये सुपर-स्मार्ट लाइब्रेरी बहुत विशाल, भारी और ऊर्जा की भूखी होती हैं। वे एक उच्च-स्तरीय सुपरकंप्यूटर की तरह हैं जिसे ठंडा करने के लिए एक पूरे कमरे की आवश्यकता होती है। यदि आप इस जासूस को एक छोटे रोबोट, स्मार्टवॉच या शहर में उड़ने वाले ड्रोन में डालना चाहते हैं, तो वह सुपरकंप्यूटर बहुत बड़ा है और बहुत अधिक बैटरी खाता है। मुख्य सवाल वैज्ञानिकों के सामने यह है: हम इस विशाल मस्तिष्क को बुद्धिमानी खोए बिना अपनी जेब में फिट होने लायक छोटा कैसे बना सकते हैं? यह पहेली पोर्टो विश्वविद्यालय और ResoSight के शोधकर्ताओं की एक टीम ने सुलझाने का निर्णय लिया।

मुख्य विचार: एक मास्टर शेफ और एक sous-chef (सहायक शेफ)

शोधकर्ताओं ने अपने विशाल ऑडियो-विजुअल जासूस को उसकी धार खोए बिना छोटा करने के लिए एक चतुर तीन-चरणीय योजना बनाई। उन्होंने इस समस्या को एक व्यस्त रसोई में एक नए कर्मचारी को प्रशिक्षित करने की तरह माना।

चरण 1: मास्टर शेफ (शिक्षक)
सबसे पहले, उन्होंने एक "टीचर" (शिक्षक) मॉडल बनाया। यह विशाल, अत्यंत सटीक जासूस है। यह दो शक्तिशाली उपकरणों का उपयोग करता है: वीडियो को समझने के लिए एक (जिसे VideoMAE कहा जाता है) और ध्वनि को समझने के लिए एक (जिसे ऑडियो स्पेक्ट्रोग्राम ट्रांसफॉर्मर कहा जाता है)। ये उपकरण दो विशेषज्ञ शेफ की तरह हैं जिन्होंने पहले से ही खाना पकाने के बारे में सब कुछ सीख लिया है। टीचर उनके ज्ञान को एक विशेष "क्रॉस-अटेंशन" तंत्र का उपयोग करके जोड़ता है। कल्पना कीजिए कि ये दो शेफ लगातार एक-दूसरे से फुसफुसा रहे हैं, "हे, उस आवाज पर ध्यान दो!" या "क्या तुमने वह हलचल देखी?" यह उन्हें पूरी कहानी समझने में मदद करता है। लेकिन, यह टीचर बहुत भारी है जिसे साथ लेकर चलना मुश्किल है।

चरण 2: हल्का फुल्का प्रशिक्षु (छात्र)
इसके बाद, उन्होंने एक "स्टूडेंट" (छात्र) मॉडल बनाया। यह हल्का संस्करण है, जिसे एक छोटे डिवाइस पर फिट होने के लिए डिज़ाइन किया गया है। एक नया मस्तिष्क शून्य से बनाने के बजाय, उन्होंने टीचर के मस्तिष्क को लिया और उसे छोटा कर दिया। उन्होंने यह नहीं बदला कि मस्तिष्क कैसे काम करता है (आर्किटेक्चर); उन्होंने बस उसके हिस्सों को छोटा कर दिया।

• उन्होंने "हिडन डायमेंशन" (कितनी जानकारी मस्तिष्क एक बार में रखता है) को 512 से घटाकर 256 कर दिया।
• उन्होंने "अटेंशन हेड्स" (मस्तिष्क एक साथ कितनी चीजों पर ध्यान केंद्रित कर सकता है) की संख्या आठ से घटाकर चार कर दी।
• उन्होंने "फीड-फॉरवर्ड नेटवर्क" (वह हिस्सा जो जानकारी को प्रोसेस करता है) को 1024 से घटाकर 512 कर दिया।

यह एक विशाल लाइब्रेरी से आधे शेल्फ और किताबें हटाने जैसा है, लेकिन उसी लेआउट को बनाए रखना ताकि लाइब्रेरियन को अभी भी पता रहे कि सब कुछ कहाँ रखा है।

चरण 3: गुप्त ट्यूशन (नॉलेज डिस्टिलेशन)
यहाँ जादू का मंत्र है। आप केवल एक मस्तिष्क को छोटा नहीं कर सकते और उम्मीद नहीं कर सकते कि वह काम करेगा; यह एक छात्र को छोटा बैग देने और यह उम्मीद करने जैसा होगा कि उसे गणित का उतना ही ज्ञान होगा। इसलिए, शोधकर्ताओं ने नॉलेज डिस्टिलेशन (ज्ञान आसवन) का उपयोग किया।
कल्पना कीजिए कि मास्टर शेफ (टीचर) एक जटिल व्यंजन बना रहा है। केवल छात्र को रेसिपी देने के बजाय, शेफ छात्र को उस व्यंजन का स्वाद चखने देता है और समझाता है कि वह स्वादिष्ट क्यों है। छात्र न केवल अंतिम उत्तर (क्या घटना हुई) सीखता है, बल्कि विभिन्न ध्वनियों और दृश्यों के बीच के "सॉफ्ट" अहसासों और संबंधों को भी सीखता है। छात्र टीचर की सोचने की प्रक्रिया की नकल करना सीखता है। इस तरह, भले ही छात्र छोटा हो, वह विशाल मस्तिष्क की तरह सोचना सीख जाता है।

चरण 4: डिजिटल संपीड़न (डायनेमिक INT8 क्वांटाइजेशन)
अंत में, मस्तिष्क को छोटा करने के बाद भी, फ़ाइल का आकार अभी भी छोटे उपकरणों के लिए थोड़ा बड़ा था। इसलिए, उन्होंने डायनेमिक INT8 क्वांटाइजेशन लागू किया।
सोचिए कि मॉडल के नंबर माप हैं। सामान्य रूप से, कंप्यूटर बहुत सटीक मापों का उपयोग करता है (जैसे 32-बिट फ्लोटिंग-पॉइंट नंबर), जो एक केक को सूक्ष्मदर्शी (माइक्रोस्कोप) से मापने जैसा है। यह अत्यंत सटीक है लेकिन बहुत अधिक जगह लेता है। शोधकर्ताओं ने इसे एक मानक रूलर (8-बिट इंटीजर) से मापने में बदल दिया। उन्हें छात्र को फिर से सिखाने की आवश्यकता नहीं थी; उन्होंने बस यह बदल दिया कि नंबरों को कैसे संग्रहीत किया जाता है। यह एक हाई-डेफिनिशन फोटो को एक छोटे JPEG फ़ाइल में कंप्रेस करने जैसा है। छवि अभी भी शानदार दिखती है, लेकिन फ़ाइल बहुत छोटी है।

उन्होंने क्या पाया

परिणाम प्रभावशाली थे, जैसे एक पूरी कार को बिना कुचले गैरेज में फिट करने का तरीका मिल गया हो।

• सिकुड़न: स्टूडेंट मॉडल के पास टीचर की तुलना में 59.06% कम प्रशिक्षण योग्य पैरामीटर थे। सरल भाषा में, उन्होंने "मस्तिष्क" के आकार को आधे से भी कम कर दिया।
• बुद्धिमत्ता: आकार आधा होने के बावजूद, छात्र ने बहुत अधिक बुद्धिमत्ता नहीं खोई। इसकी सटीकता विशाल टीचर की तुलना में केवल 2.14% गिरी। यह 84.19% घटनाओं को सही बताने से घटकर 82.05% रह गया। यह एक बहुत छोटी कीमत है जो इतनी छोटी मशीन बनाने के लिए चुकाई गई है।
• अंतिम संपीड़न: "रूलर" संपीड़न (INT8 क्वांटाइजेशन) के बाद, मॉडल का आकार 10.71 MB से घटकर मात्र 2.04 MB रह गया। यह एक बहुत बड़ी कमी है, जिससे यह कई सीमित संसाधनों वाले उपकरणों पर फिट होने के लिए पर्याप्त छोटा हो गया।
• ट्रेड-ऑफ (समझौता): अंतिम, अत्यधिक संकुचित मॉडल अभी भी 81.20% घटनाओं को सही पहचानता है। शोधकर्ताओं ने नोट किया कि जबकि मॉडल अविश्वसनीय रूप से छोटा हो गया, एक मानक कंप्यूटर प्रोसेसर पर इसकी गति तेज नहीं हुई (नए संपीड़न पद्धति के ओवरहेड के कारण यह वास्तव में थोड़ा धीमा था), लेकिन मेमोरी की भारी बचत इसे उन उपकरणों के लिए एकदम सही बनाती है जहाँ जगह की कमी है।

यह क्यों महत्वपूर्ण है

यह शोध पत्र सुझाव देता है कि आपको एक स्मार्ट AI और एक छोटे AI के बीच चुनाव करने की आवश्यकता नहीं है। आर्किटेक्चरल श्रिंकिंग, स्मार्ट ट्यूशन (डिस्टिलेशन), और चतुर नंबर स्टोरेज (क्वांटाइजेशन) को जोड़कर, उन्होंने एक ऐसा ढांचा तैयार किया है जो "जासूस" को तेज रखते हुए उसे इतना हल्का बनाता है कि उसे आसानी से ले जाया जा सके।

उन्होंने इसका परीक्षण AVE डेटासेट पर किया, जो ध्वनियों के साथ 4,000 से अधिक वीडियो का संग्रह है, और यह विधि अच्छी तरह से काम करती है। शोधकर्ता आश्वस्त हैं कि यह दृष्टिकोण एज एआई (Edge AI) के लिए अच्छा काम करता है—वे स्मार्ट उपकरण जो इंटरनेट के "किनारे" पर रहते हैं, जैसे आपका फोन, आपकी कार, या एक रोबोट, जहाँ बैटरी और मेमोरी बहुत कीमती होती है। उन्होंने यह दावा नहीं किया कि उन्होंने दुनिया की हर समस्या को हल कर दिया है, लेकिन उन्होंने रोजमर्रा के गैजेट्स के लिए शक्तिशाली ऑडियो-विजुअल AI को व्यावहारिक बनाने के लिए एक बहुत ही आशाजनक मार्ग दिखाया है।