💻 computer science

Deep kernel video approximation for unsupervised action segmentation

यह शोध पत्र एक नवीन अनसुपरवाइज्ड (unsupervised) एक्शन सेगमेंटेशन विधि प्रस्तावित करता है जो न्यूरल टेंगेंट कर्नेल्स (Neural Tangent Kernels) और मैक्सिमम मीन डिसक्रीपेंसी (Maximum Mean Discrepancy) का उपयोग करके एक डीप कर्नेल स्पेस में प्रति-वीडियो फ्रेम वितरण का अनुमान लगाता है ताकि बड़े डेटासेट या ज्ञात सेगमेंट काउंट की आवश्यकता के बिना प्रतिस्पर्धी प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Silvia L. Pintea, Jouke Dijkstra

प्रकाशित 2026-04-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Silvia L. Pintea, Jouke Dijkstra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किसी के नाश्ता बनाने का एक बहुत लंबा, अव्यवस्थित होम वीडियो है। यह काटने, तलने, पलटने और डालने की आवाजों से भरा हुआ है। आपका लक्ष्य यह पता लगाना है कि ठीक कहाँ एक क्रिया समाप्त होती है और अगली क्रिया शुरू होती है (जैसे, "काटना" रुकता है, "तलना" शुरू होता है) बिना किसी लेबल के जो यह बता सके कि क्या हो रहा है।

यह अनसुपरवाइज्ड एक्शन सेगमेंटेशन (Unsupervised Action Segmentation) की समस्या है। आमतौर पर, इस समस्या को हल करने के लिए कंप्यूटर को पैटर्न सीखने के लिए हजारों वीडियो देखने की आवश्यकता होती है। लेकिन क्या होगा यदि आपके पास केवल एक वीडियो हो, और आप गोपनीयता नियमों (जैसे कि अस्पताल में) के कारण इसे सहेज या साझा नहीं कर सकते? आपको इसे केवल उस एक क्लिप को देखकर समझना होगा।

यह शोध पत्र एक चतुर नया तरीका प्रस्तावित करता है। यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "बहुत अधिक डेटा" की दुविधा

एक वीडियो को एक विशाल पुस्तकालय के रूप में सोचें जिसमें लाखों पृष्ठ (फ्रेम्स) हैं। कहानी खोजने के लिए हर एक पृष्ठ का विश्लेषण करने की कोशिश करना धीमा है और इसके लिए बहुत अधिक मेमोरी की आवश्यकता होती है।

पुराने तरीके समान पृष्ठों को एक साथ समूहबद्ध करने (क्लस्टरिंग) या अनुमान लगाकर सीमाओं को खोजने की कोशिश करते थे। लेकिन वे अक्सर खो जाते थे क्योंकि वे कहानी के "आकार" या "ज्यामिति" को नहीं समझते थे। वे केवल रंग देखकर कपड़ों के ढेर को छाँटने की कोशिश करने जैसे थे, इस तथ्य को नजरअंदाज करते हुए कि एक शर्ट और एक पैंट का रंग एक जैसा हो सकता है लेकिन वे पूरी तरह से अलग होते हैं।

2. समाधान: "परफेक्ट सारांश"

पूरे पुस्तकालय का विश्लेषण करने के बजाय, लेखक एक छोटा, सटीक सारांश बनाने का सुझाव देते हैं।

कल्पना कीजिए कि आपके पास 2 घंटे की फिल्म है। आप एक 10 सेकंड का "हाइलाइट रील" बनाना चाहते हैं जो पूरी फिल्म के सार को इतनी पूर्णता से पकड़े कि यदि आप हाइलाइट रील देखें, तो आपको लगेगा कि आपने पूरी कहानी समझ ली है।
कंप्यूटर इस "हाइलाइट रील" (जिसे वे वीडियो एप्रोक्सिमेशन/Video Approximation कहते हैं) को बनाना सीखता है। इस रील में केवल कुछ प्रमुख फ्रेम (सिंथेटिक छवियां) शामिल हैं जो विभिन्न क्रियाओं का प्रतिनिधित्व करते हैं।

3. गुप्त मंत्र: "MMD" दिशा-सूचक यंत्र

कंप्यूटर को कैसे पता चलेगा कि उसका "हाइलाइट रील" अच्छा है? उसे अपने सारांश और वास्तविक वीडियो के बीच की दूरी मापने के लिए एक पैमाने की आवश्यकता है।

पुराने पैमाने: कुछ तरीकों ने "ऑप्टिमल ट्रांसपोर्ट" (Optimal Transport) का उपयोग किया, जो रेत के ढेर को एक स्थान से दूसरे स्थान पर कम से कम प्रयास के साथ ले जाने जैसा है। यह सटीक है लेकिन अविश्वसनीय रूप से धीमा और गणनात्मक रूप से भारी है (जैसे रेत के कणों को एक-एक करके ले जाना)।
नया पैमाना (MMD): लेखक मैक्सिमम मीन डिसक्रेपेंसी (Maximum Mean Discrepancy - MMD) का उपयोग करते हैं। इसे एक "वाइब चेक" (Vibe Check) के रूप में सोचें। रेत को हिलाने के बजाय, MMD पूछता है: "क्या इन दो डेटा समूहों का 'वाइब' या अहसास एक जैसा है?" यह जांचता है कि क्या सारांश और वास्तविक वीडियो गणितीय स्थान में एक ही "आकार" और "अहसास" रखते हैं। यह बहुत तेज़ और अधिक विश्वसनीय है।

4. मस्तिष्क: "न्यूरल टेंगेंट कर्नेल" (NTK)

इस "वाइब चेक" को काम करने के लिए, कंप्यूटर को छवियों की तुलना करने के लिए एक बहुत ही स्मार्ट तरीके की आवश्यकता है।

आमतौर पर, आप एक गहरा न्यूरल नेटवर्क (एक जटिल मस्तिष्क) प्रशिक्षित करेंगे ताकि यह सीख सके। लेकिन मस्तिष्क को प्रशिक्षित करने के लिए बहुत सारे डेटा की आवश्यकता होती है, जो हमारे पास नहीं है।
ट्रिक: वे NTKs का उपयोग करते हैं। एक "सुपर-ब्रेन" की कल्पना करें जो अनंत रूप से विस्तृत है। आपको इसे प्रशिक्षित करने की आवश्यकता नहीं है; इसकी संरचना पहले से ही जटिल आकारों का वर्णन करने के लिए एकदम सही है। यह एक मास्टर कलाकार की तरह है जो हजारों चेहरों पर अभ्यास करने के बजाय तुरंत एक चेहरे के "सार" का रेखाचित्र बना सकता है। यह कंप्यूटर को बड़े प्रशिक्षण डेटासेट की आवश्यकता के बिना वीडियो की संरचना को समझने की अनुमति देता है।

5. यह व्यवहार में कैसे काम करता है

सारांश बनाएं: कंप्यूटर कुछ नकली फ्रेम (सारांश) बनाता है।
वाइब चेक: यह MMD पैमाने का उपयोग करके यह देखता है कि सारांश वास्तविक वीडियो के कितने करीब है।
समायोजन: यदि सारांश पर्याप्त करीब नहीं है, तो यह नकली फ्रेमों को तब तक बदलता रहता है जब तक कि "वाइब" पूरी तरह से मेल न खा जाए।
सेगमेंटेशन: एक बार जब सारांश परफेक्ट हो जाता है, तो कंप्यूटर वास्तविक वीडियो को देखता है। यदि कोई वास्तविक फ्रेम "सारांश फ्रेम A" जैसा दिखता है, तो वह उस क्षण को "क्रिया A" के रूप में लेबल करता है। यदि वह "सारांश फ्रेम B" जैसा दिखता है, तो वह "क्रिया B" है।

यह विशेष क्यों है?

गोपनीयता संबंधी मुद्दे नहीं: यह एक बार में एक वीडियो पर काम करता है। आपको अपना डेटा क्लाउड सर्वर पर अपलोड करने की आवश्यकता नहीं है।
अनजान चीजों को संभालता है: कभी-कभी आप नहीं जानते कि वीडियो में कितनी क्रियाएं हैं। पुराने तरीके (जैसे पदानुक्रमित क्लस्टरिंग) वीडियो को एक निश्चित संख्या में बकेटों में जबरदस्ती फिट करते हैं, जिससे अक्सर क्रियाएं बीच में ही कट जाती हैं। यह नया तरीका लचीला है; यदि सारांश सीखता है कि कोई विशेष क्रिया दुर्लभ या बार-बार होने वाली है, तो यह स्वाभाविक रूप से अनुकूलित हो जाता है।
बेहतर परिणाम: परीक्षणों में, यह विधि (विशेष रूप से जब क्रियाओं की संख्या पहले से ज्ञात नहीं थी) पिछले अत्याधुनिक तरीकों की तुलना में क्रियाओं के सटीक प्रारंभ और समाप्ति बिंदुओं को खोजने में बेहतर थी।

कमी (सीमाएं)

किसी भी उपकरण की तरह, यह भी पूर्ण नहीं है।

यदि क्रियाएं बहुत समान हैं (जैसे चार अलग-अलग पेच कसना जो दिखने में एक जैसे हैं), तो कंप्यूटर भ्रमित हो सकता है और उन्हें एक ही क्रिया मान सकता है।
यदि वीडियो में बहुत अधिक "बैकग्राउंड नॉइज़" (जैसे रसोई का काउंटर जो एक अलग क्रिया जैसा दिखता है) है, तो इसे सिग्नल को शोर से अलग करने में कठिनाई हो सकती है।

संक्षेप में: लेखकों ने एक ऐसा सिस्टम बनाया है जो वीडियो के किसी भी हिस्से को समझने के लिए एक छोटा, परफेक्ट "हाइलाइट रील" बनाता है, और यह सुनिश्चित करने के लिए एक तेज़ गणितीय पैमाने का उपयोग करता है कि सारांश सटीक है। यह एक गोपनीयता-अनुकूल तरीका है जिससे कंप्यूटर को बड़े प्रशिक्षण वीडियो की लाइब्रेरी के बिना मानव क्रियाओं को समझने के लिए सिखाया जा सकता है।

यहाँ S.L. Pintea और J. Dijkstra के शोध पत्र "Deep Kernel Video Approximation for Unsupervised Action Segmentation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र प्रति-वीडियो अनसुपरवाइज्ड एक्शन सेगमेंटेशन (per-video unsupervised action segmentation) की चुनौती को संबोधित करता है।

संदर्भ: स्वास्थ्य सेवा और सहायतापूर्ण जीवन (assisted living) जैसे अनुप्रयोगों में, गोपनीयता संबंधी चिंताएँ अक्सर बड़े डेटासेट के भंडारण को रोकती हैं। फलस्वरूप, मॉडल विशाल वीडियो संग्रहों पर प्रशिक्षण के बिना काम नहीं कर सकते; इसके बजाय, उन्हें बिना किसी पूर्व प्रशिक्षण डेटा या एनोटेशन के एक एकल वीडियो को सेगमेंट करना होगा।
कार्य: लक्ष्य एक वीडियो को परस्पर अनन्य (mutually exclusive) एक्शन सेगमेंट (एक्शन) में विभाजित करना है, बिना यह जाने कि क्रियाओं की कुल संख्या कितनी है।
पूर्व कार्य की सीमाएँ: मौजूदा अनसुपरवाइज्ड विधियाँ अक्सर वीडियो वितरण (distribution) की अंतर्निहित ज्यामिति (geometry) को मॉडल करने में विफल रहती हैं। वे क्लस्टरिंग या ऑप्टिमल ट्रांसपोर्ट (OT) पर निर्भर करती हैं, जो गणनात्मक रूप से महंगी, अनुकूलित करने में कठिन, या वितरण सपोर्ट के विकृत होने पर अस्थिर हो सकती हैं। इसके अलावा, कई विधियाँ निश्चित संख्या में सेगमेंट मानती हैं या ऐसे क्लस्टर सेंटर्स पर निर्भर करती हैं जो डेटा वितरण को पूरी तरह से कैप्चर नहीं कर पाते।

2. कार्यप्रणाली (Methodology)

लेखक एक डीप कर्नेल स्पेस (deep kernel space) में मूल वीडियो ( $\{v_i\}$ ) का प्रतिनिधित्व करने के लिए एक छोटा सिंथेटिक वीडियो एप्रोक्सिमेशन ( $\{e_{v_m}\}$ ) सीखने का एक अभिनव दृष्टिकोण प्रस्तावित करते हैं। मुख्य विचार वास्तविक वीडियो फ्रेम ( $P$ ) के वितरण और सिंथेटिक एप्रोक्सिमेशन ( $Q$ ) के वितरण के बीच की दूरी को कम करना है।

A. मीट्रिक: मैक्सिमम मीन ディस्क्रिपेंसी (Maximum Mean Discrepancy - MMD)

ऑप्टिमल ट्रांसपोर्ट (OT) के बजाय, लेखक ज्यामिति-संरक्षण मीट्रिक के रूप में MMD का उपयोग करते हैं।

लाभ: MMD अनुकूलित करने में आसान, तेज़ ( $O(n^2)$ बनाम OT के लिए $O(n^3 \log n)$ ), और उच्च आयामीता (dimensionality) के अभिशाप (curse of dimensionality) के प्रति कम संवेदनशील है।
उद्देश्य: वितरणों $P$ और $Q$ के बीच स्क्वेयर्ड MMD को कम करना:
$\text{MMD}^2(P, Q, \mathcal{H}) = \|\mu_P - \mu_Q\|_{\mathcal{H}}^2$
जहाँ $\mu_P$ और $\mu_Q$ रिप्रोडसिंग कर्नेल हिल्बर्ट स्पेस (RKHS) में कर्नेल मीन एम्बेडिंग्स हैं।

B. कर्नेल का चयन: इनफिनिट न्यूरल टेंगेंट कर्नेल्स (Infinite Neural Tangent Kernels - NTKs)

कर्नेल स्पेस को परिभाषित करने के लिए, लेखक सीमित वर्णनात्मक शक्ति के कारण फिक्स्ड कर्नेल्स (जैसे गॉसियन) से बचते हैं और इनपुट्स के साथ कर्नेल को संयुक्त रूप से सीखने से भी बचते हैं (जो ट्रिवियल समाधानों की ओर ले जाता है)।

समाधान: वे फुली कनेक्टेड नेटवर्क्स से प्राप्त इनफिनिट न्यूरल टेंगेंट कर्नेल्स (NTKs) का उपयोग करते हैं। NTKs कर्नेल विधियों के नॉन-पैरामेट्रिक लचीलेपन को डीप न्यूरल नेटवर्क्स की वर्णनात्मक शक्ति के साथ जोड़ते हैं।
कर्नेल निर्माण: चूंकि मानक NTKs "चरित्रिक" (characteristic) नहीं हैं (अर्थात MMD=0 का अर्थ यह नहीं है कि $P=Q$ $P = Q$ ), वे NTK को एक गॉसियन कर्नेल के साथ मिलाते हैं:
$k(v_i, v_j) = \alpha \cdot k_{\text{NTK}}(v_i, v_j) \cdot k_{\text{Gauss}}(v_i, v_j)$
- गॉसियन कर्नेल यह सुनिश्चित करता है कि मीट्रिक 'चरित्रिक' (characteristic) है।
- NTK डीप फीचर रिप्रजेंटेशन को कैप्चर करता है।
- गॉसियन कर्नेल के लिए लेंथ-स्केल $\lambda$ को ट्रिवियल समाधानों से बचने के लिए स्क्वेयर्ड डिस्टेंस के मीडियन पर फिक्स किया गया है।

C. अनुकूलन और सेगमेंटेशन (Optimization and Segmentation)

एप्रोक्सिमेशन सीखना: यह विधि वास्तविक वीडियो फ्रेम के विरुद्ध MMD लॉस को कम करने के लिए सिंथेटिक फ्रेमों के एक छोटे सेट $\{e_{v_m}\}_{m=1}^M$ (जहाँ $M \ll N$ ) को ऑप्टिमाइज़ करती है।
सेगमेंटेशन: एक बार एप्रोक्सिमेशन सीख लेने के बाद, वास्तविक फ्रेमों को अधिकतम कर्नेल समानता (kernel similarity) खोजकर एक्शन सेगमेंट में असाइन किया जाता है:
$m^* = \arg \max_m k(v_i, e_{v_m})$
अज्ञात सेगमेंट काउंट को संभालना: पदानुक्रमित क्लस्टरिंग (hierarchical clustering) के विपरीत, जो एक विशिष्ट ट्री स्ट्रक्चर लागू करती है, यह विधि कुछ सिंथेटिक फ्रेमों को अनअसाइंड रहने की अनुमति देती है यदि वे किसी वास्तविक फ्रेम के साथ अच्छी तरह से संरेखित नहीं होते हैं। यह स्वाभाविक रूप से उन मामलों को संभालता है जहाँ सेगमेंट की वास्तविक संख्या अज्ञात है या प्रारंभिक $M$ से भिन्न है।
स्मूथिंग (Smoothing): ओवर-सेगमेंटेशन को रोकने के लिए, अनुकूलन से पहले इनपुट वीडियो फ्रेमों को समय के साथ एक गॉसियन फ़िल्टर का उपयोग करके स्मूथ किया जाता है।

3. मुख्य योगदान (Key Contributions)

डीप कर्नेल फॉर्मूलेशन: अनसुपरवाइज्ड एक्शन सेगमेंटेशन के लिए विशेष रूप से डीप कर्नेल फॉर्मूलेशन में वीडियो एप्रोक्सिमेशन सीखने का प्रस्ताव देने वाला पहला कार्य।
ज्यामिति-संरक्षण मीट्रिक: इस कार्य के लिए एक बेहतर विकल्प के रूप में इनफिनिट NTKs के साथ MMD का परिचय, जो बेहतर कम्प्यूटेशनल दक्षता और अनुकूलन स्थिरता प्रदान करता है।
अज्ञात सेगमेंट काउंट के प्रति मजबूती: यह विधि TW-FINCH जैसे पूर्व एगोमरेटिव क्लस्टरिंग कार्यों से बेहतर प्रदर्शन करती है जब सेगमेंट की संख्या ज्ञात नहीं होती या ग्राउंड ट्रुथ से भिन्न होती है, क्योंकि यह सख्ती से निश्चित संख्या में क्लस्टर लागू नहीं करती है।
गोपनीयता-संरक्षण (Privacy-Preserving): यह दृष्टिकोण बिना किसी बड़े प्रशिक्षण डेटासेट के प्रति-वीडियो आधार पर कार्य करता है, जो संवेदनशील डोमेन में गोपनीयता बाधाओं को संबोधित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन छह मानक बेंचमार्क पर किया गया: Breakfast, 50 Salads, YTI, Desktop Assembly, Hollywood Extended, और MPII Cooking 2।

प्रदर्शन: यह विधि स्टेट-ऑफ-द-आर्ट प्रति-वीडियो विधियों (TW-FINCH, ABD, ASOT, CLOT) के मुकाबले प्रतिस्पर्धी परिणाम प्राप्त करती है।
- यह 50 Salads डेटासेट पर ASOT से बेहतर प्रदर्शन करती है।
- यह YTI और Breakfast पर प्रतिस्पर्धी F1 स्कोर दिखाती है।
अज्ञात सेगमेंट काउंट: उन प्रयोगों में जहाँ सेगमेंट की संख्या को रैंडमाइज किया गया था (वास्तविक दुनिया के परिदृश्यों की नकल करते हुए जहाँ ग्राउंड ट्रुथ अज्ञात है), प्रस्तावित विधि ने TW-FINCH की तुलना में लगातार उच्च F1 स्कोर प्राप्त किया। यह पुष्टि करता है कि विधि मनमाने सीमाओं को थोपे बिना अंतर्निहित डेटा वितरण का बेहतर सम्मान करती है।
कर्नेल विश्लेषण: प्रयोगों ने पुष्टि की कि केवल NTK या केवल गॉसियन कर्नेल के उपयोग की तुलना में गॉसियन और NTK कर्नेल का संयोजन सबसे अच्छा सेगमेंटेशन सटीकता प्रदान करता है।
स्मूथिंग: इनपुट स्मूथिंग को लंबे वीडियो (जैसे 50 Salads) के लिए महत्वपूर्ण पाया गया, जिससे मीन फ्रेम एक्यूरेसी (MoF) में काफी सुधार हुआ।

5. सीमाएं और महत्व (Limitations and Significance)

सीमाएं:

समान क्रियाएं (Similar Actions): यह विधि उन क्रियाओं को सेगमेंट करने में संघर्ष करती है जो दृश्य रूप से बहुत समान हैं (जैसे Desktop Assembly में "tighten_screw_1" बनाम "tighten_screw_2"), क्योंकि यह प्रत्येक एक्शन के लिए एक ही सिंथेटिक फ्रेम सीखती है।
विषम वर्ग (Heterogeneous Classes): यह तब विफल हो जाती है जब अलग-अलग क्रियाओं को एक ही लेबल के तहत समूहीकृत किया जाता है (जैसे MPII Cooking 2 में बैकग्राउंड नॉइज़)।
हाइपरपैरामीटर संवेदनशीलता: प्रदर्शन टेम्पोरल स्मूथिंग हाइपरपैरामीटर के प्रति संवेदनशील है।

महत्व:
यह कार्य डेटा-सीमित वातावरण में एक्शन सेगमेंटेशन के लिए एक मजबूत, गोपनीयता-अनुपालक समाधान प्रदान करता है। डीप कर्नेल स्पेस और MMD का लाभ उठाकर, यह सरल क्लस्टरिंग से आगे बढ़कर वीडियो डेटा की अंतर्निहित ज्यामिति को मॉडल करता है। अज्ञात सेगमेंट काउंट को संभालने की क्षमता इसे वास्तविक दुनिया में तैनाती के लिए विशेष रूप से उपयुक्त बनाती है जहाँ एक्शन काउंट भिन्न होता है और ग्राउंड ट्रुथ उपलब्ध नहीं होता है। इसका कोड ओपन-सोर्स है, जो आगे के अनुसंधान को सुगम बनाता है।