FERAL: A Supervised Video-Understanding System for Direct Video-to-Behavior Mapping
FERAL एक पर्यवेक्षित (supervised), ओपन-सोर्स वीडियो-अंडरस्टैंडिंग सिस्टम है जो पारंपरिक कीपॉइंट-ट्रैकिंग सीमाओं को दरकिनार करते हुए, काफी कम प्रशिक्षण डेटा के साथ अत्याधुनिक बेसलाइनों से बेहतर प्रदर्शन करते हुए, कच्चे वीडियो को विभिन्न प्रजातियों और पैमानों पर फ्रेम-स्तरीय व्यवहार संबंधी लेबल में सीधे मैप करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को जानवरों के खेलने, लड़ने या बस यूँ ही समय बिताने वाली एक फिल्म को समझना सिखा रहे हैं। वर्षों तक, इसे करने का मानक तरीका एक बहुत ही सख्त, उच्च-रखरखाव वाले निर्देशक की तरह था। पहले, आपको हर फ्रेम में हर जानवर के शरीर के हर जोड़ पर अदृश्य "स्टिकर" (कीपॉइंट्स) लगाने पड़ते थे। फिर, आप उन स्टिक-फिगर कंकालों को कंप्यूटर को खिलाते थे और उम्मीद करते थे कि वह अंदाजा लगा पाएगा कि जानवर क्या कर रहा है, यह देखते हुए कि जोड़ कैसे हिल रहे हैं।
समस्या क्या थी? यदि कोई जानवर किसी पत्ते के पीछे छिप जाता है, किसी दूसरे जानवर से ढक जाता है, या रोशनी अजीब होती है, तो वे "स्टिकर" गिर जाते हैं। कंप्यूटर भ्रमित हो जाता है, और पूरा सिस्टम क्रैश हो जाता है। यह एक नृत्य की दिनचर्या को केवल एक कठपुतली के धागों को देखकर समझने की कोशिश करने जैसा है; यदि धागे उलझ जाते हैं, तो आपको पता ही नहीं चलता कि नर्तक वास्तव में क्या कर रहा है।
मिलिए FERAL (Feature Extraction for Recognition of Animal Locomotion) से। FERAL को एक कठपुतली संचालक के रूप में नहीं, बल्कि एक सुपर-स्मार्ट फिल्म समीक्षक के रूप में सोचें जो कठपुतली के खेल को पूरी तरह से छोड़ देता है। स्टिक-फिगर देखने के बजाय, FERAL सीधे कच्चे वीडियो पिक्सल को देखता है। वह पूरे दृश्य को देखता है—रंगों, आकृतियों, गति को—और यह सीखने के लिए सीखता है कि, "आह, वह एक चूहा खुद को साफ (grooming) कर रहा है," या "वह चींटियों का एक समूह भोजन के लिए छापा मार रहा है।"
बड़ी खोज
मुख्य निष्कर्ष यह है कि FERAL कच्चे वीडियो को व्यवहार लेबल के साथ अविश्वसनीय सटीकता के साथ मैप कर सकता है, जो अक्सर बेहतरीन "स्टिक-फिगर" सिस्टम को भी मात दे देता है। CalMS21 नामक एक प्रमुख परीक्षण में, जहाँ कंप्यूटरों को चूहों के सामाजिक व्यवहार की पहचान करनी थी, FERAL ने 94.2% का स्कोर प्राप्त किया (जिसे मीन एवरेज प्रिसिजन के रूप में मापा गया)। यह पिछले शीर्ष प्रतिस्पर्धियों से भी अधिक है, जिसमें गूगल का एक सिस्टम 'VideoPrism' भी शामिल है। इससे भी बेहतर क्या है? FERAL ने यह सब उस प्रशिक्षण डेटा के केवल 25% का उपयोग करके किया जिसकी आवश्यकता VideoPrism को थी। यह एक ऐसे छात्र की तरह है जिसने पाठ्यपुस्तक का केवल एक चौथाई हिस्सा पढ़ा और फिर भी परीक्षा में उस बच्चे से बेहतर अंक प्राप्त किए जिसने पूरी किताब पढ़ी थी।
FERAL किन चीजों को "ना" कहता है
यह शोध पत्र इस बात को लेकर बहुत स्पष्ट है कि FERAL क्या नहीं है। यह स्पष्ट रूप से इस विचार को खारिज करता है कि व्यवहार को समझने के लिए आपको शरीर के अंगों (पोज़ एस्टीमेशन) को ट्रैक करने की आवश्यकता है। लेखक तर्क देते हैं कि पहले जोड़ों को खोजने की कोशिश करना अक्सर एक बंद रास्ता होता है, खासकर अस्त-व्यस्त, वास्तविक दुनिया के वातावरण में। वे यह भी स्पष्ट करते हैं कि FERAL एक सुपरवाइज्ड (supervised) टूल है, जिसका अर्थ है कि यह केवल वही सीखता है जो आप इसे स्पष्ट रूप से सिखाते हैं। यह अपने आप नए, अज्ञात व्यवहारों की खोज नहीं कर सकता। यदि आप इसे नहीं बताते कि "खुदाई" कैसी दिखती है, तो यह उस श्रेणी का आविष्कार नहीं करेगा; यह बस इसे "बैकग्राउंड" या कुछ ऐसा मान लेगा। यह एक अनुवादक है, जासूस नहीं।
हम कितने आश्वस्त हैं?
लेखक केवल सिमुलेशन से नहीं, बल्कि वास्तविक प्रयोगों से प्राप्त ठोस आंकड़ों के साथ बहुत आश्वस्त हैं। उन्होंने विभिन्न प्रजातियों पर FERAL का परीक्षण किया:
- चूहे: सामाजिक अंतःक्रियाओं पर मौजूदा सर्वोत्तम मॉडलों को पछाड़ते हुए।
- चींटियाँ: सही ढंग से पहचानना कि कब एक कॉलोनी "छापा" मारती है या कब एक वयस्क बच्चे को साफ (groom) करता है, भले ही चींटियाँ भीड़भाड़ वाली हों और एक-दूसरे को रोक रही हों।
- कीड़े (Worms) और मक्खियाँ: आगे की ओर रेंगने, पीछे हटने और मुड़ने को सटीक रूप से ट्रैक करना।
- जंगली जेब्रा: यह वह जगह है जहाँ यह अद्भुत हो जाता है। उन्होंने केन्या में ड्रोन फुटेज का उपयोग करके जेब्रा में "सतर्कता" (सिर ऊपर करके स्थिर खड़ा होना) को पहचानने के लिए किया। एक पारंपरिक पोज़-आधारित सिस्टम यहाँ बुरी तरह विफल रहा (लगभग 0.50 का स्कोर के साथ, जो लगभग एक सिक्के के उछाल जैसा है) क्योंकि ड्रोन के टॉप-डाउन व्यू ने जेब्रा की गर्दन के कोण को देखना असंभव बना दिया था। FERAL ने, पूरे वीडियो को देखते हुए, 0.785 का मैक्रो F1 स्कोर प्राप्त किया, जिससे सिद्ध हुआ कि यह काम करता है भले ही कैमरा एंगल कठिन हो।
- चिंपांजी और गोरिल्ला: वाइल्ड PanAf500 डेटासेट में, FERAL ने 90.8% टॉप-1 सटीकता प्राप्त की, जो इन प्राइमेट्स पर परीक्षण किए गए सभी अन्य तरीकों को पछाड़ देता है।
पर्दे के पीछे का "जादू"
FERAL एक "फाउंडेशन मॉडल" (एक विशाल AI जो एक मिलियन घंटों से अधिक के इंटरनेट वीडियो पर प्री-ट्रेन किया गया है) का उपयोग करके काम करता है। इसे एक ऐसे छात्र के रूप में सोचें जिसने पहले से ही हर फिल्म देखी है और जानता है कि प्रकाश, छाया और गति सामान्य रूप से कैसे काम करती है। शोधकर्ताओं ने फिर विशिष्ट पशु वीडियो का उपयोग करके मॉडल की 24 परतों में से शीर्ष 12 परतों को "फाइन-ट्यून" किया। यह एक सामान्य फिल्म समीक्षक को पशु व्यवहार का क्रैश कोर्स देने जैसा है।
उन्होंने यह भी पाया कि FERAL आश्चर्यजनक रूप से कुशल है। आपको इसे चलाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है। एक मानक उच्च-स्तरीय उपभोक्ता ग्राफिक्स कार्ड (जैसे RTX 5090) पर, यह लगभग 4.6 मिनट में एक घंटे का वीडियो प्रोसेस कर सकता है। यह रियल-टाइम से भी तेज़ है!
निष्कर्ष
FERAL केवल लैब में ही नहीं काम करता है; यह वास्तविक दुनिया के अस्त-व्यस्त और अप्रत्याशित वातावरण में भी काम करता है। यह भीड़भाड़ वाले दृश्यों, अजीब रोशनी और छिपते हुए जानवरों को संभाल लेता है। यह एक ऐसा उपकरण है जो वैज्ञानिकों को स्टिक-फिगर बनाने के उबाऊ काम को छोड़कर सीधे यह समझने में मदद करता है कि जानवर वास्तव में क्या कर रहे हैं। यह कोई जादुई छड़ी नहीं है जो हर समस्या को हल कर देती है (इसे अभी भी व्यवहारों को लेबल करने के लिए मनुष्यों की आवश्यकता होती है), लेकिन यह पशु व्यवहार अनुसंधान को तेज़, सस्ता और उन स्थानों पर संभव बनाने की दिशा में एक बड़ी छलांग है जहाँ यह पहले असंभव था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।