🧬 biology

Meow-Omni 1: A Multimodal Large Language Model for Feline Ethology

यह शोध पत्र Meow-Omni 1 को प्रस्तुत करता है, जो एक नवीन ओपन-सोर्स क्वाड-मोडल लार्ज लैंग्वेज मॉडल है जो पशु व्यवहार विश्लेषण में सिमेंटिक एलियासिंग (semantic aliasing) की चुनौती को संबोधित करते हुए, बिल्ली के इरादों की पहचान करने के लिए वीडियो, ऑडियो, फिजियोलॉजिकल टाइम-सीरीज और टेक्स्ट को फ्यूज करके स्टेट-ऑफ-द-आर्ट फeline इंटेंट रिकग्निशन प्राप्त करता है।

मूल लेखक: Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Meow-Omni 1" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: "बिल्ली की भाषा समझने वाला" दुविधा (The "Cat Whisperer" Dilemma)

कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि आपकी बिल्ली क्या सोच रही है। आप उसे गुर्राते (purring) हुए देखते हैं। क्या वह खुश है? या वह दर्द में है और खुद को शांत करने की कोशिश कर रही है?

समस्या: पेपर इसे "सेमेंटिक एलियासिंग" (Semantic Aliasing) कहता है। यह वैसा ही है जैसे एक शब्द के संदर्भ के आधार पर दो बिल्कुल विपरीत अर्थ हो सकते हैं। एक 'पुर्र' (purr) का मतलब "मैं तुमसे प्यार करता हूँ" भी हो सकता है और "मैं डरा हुआ हूँ" भी, और केवल बिल्ली के चेहरे (वीडियो) को देखकर या उसकी आवाज़ (ऑडियो) सुनकर अंतर करना अक्सर पर्याप्त नहीं होता।
पुराना तरीका: पिछले AI मॉडल उन जासूसों की तरह थे जो केवल फोटो देखते थे या रिकॉर्डिंग सुनते थे। वे बिल्ली के आंतरिक शारीरिक संकेतों के प्रति "अंधे" थे। वे क्रिया का अनुमान तो लगा सकते थे (जैसे, "दौड़ना"), लेकिन वे इरादे (intent) का अनुमान नहीं लगा सकते थे (जैसे, "डर के मारे दौड़ना" बनाम "खेलने के लिए दौड़ना")।

समाधान: Meow-Omni 1

शोधकर्ताओं ने Meow-Omni 1 बनाया है, जो विशेष रूप से बिल्लियों को समझने के लिए डिज़ाइन किया गया एक नया प्रकार का AI मस्तिष्क है। इसे एक पशु चिकित्सा विद्यालय (veterinary school) के सुपर-इंटर्न के रूप में सोचें, जो न केवल देखता और सुनता है, बल्कि जिसके पास बिल्ली के दिल की धड़कन और मूवमेंट सेंसर तक सीधी पहुँच भी है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. चार इंद्रियां (Quad-Modal)

अधिकांश AI मॉडल में केवल दो या तीन "इंद्रियां" होती हैं। Meow-Omni 1 में चार हैं, जिसे पेपर में क्वाड-मोडल (Quad-Modal) कहा गया है:

आंखें (वीडियो): बिल्ली को चलते-फिरते देखना।
कान (ऑडियो): म्याऊं-म्याऊं और 'पुर्र' की आवाज़ सुनना।
आवाज़ (टेक्स्ट): विवरण पढ़ना और प्रश्न पूछना।
"आंतरिक इंद्रिय" (जैविक टाइम-सीरीज/Biological Time-Series): यह जादुई सामग्री है। यह सेंसर (जैसे बिल्लियों के लिए स्मार्टवॉच) से उच्च-गति डेटा पढ़ता है जो हृदय गति, त्वरण (acceleration) और शरीर के कंपन को ट्रैक करता है।
- उपमा: यदि कोई मानव जासूस किसी संदिग्ध को भागते हुए देखता है, तो वह सोच सकता है कि "वह देर से पहुँच रहा है।" लेकिन यदि उसके पास एक हार्ट मॉनिटर भी है जो दिखा रहा है कि संदिग्ध का दिल 180 bpm की रफ्तार से धड़क रहा है, तो उसे एहसास होगा, "उसका पीछा किया जा रहा है।" Meow-Omni 1 इस 'पुर्र' करने वाली बिल्ली के रहस्य को सुलझाने के लिए इसी "आंतरिक इंद्रिय" का उपयोग करता है।

2. ब्रेन सर्जरी (Architecture)

शोधकर्ताओं ने शून्य से मस्तिष्क नहीं बनाया; उन्होंने एक मौजूदा स्मार्ट AI (MiniCPM-o) पर "सर्जरी" की।

ट्रांसप्लांट: उन्होंने एक विशेष "टाइम-सीरीज एनकोडर" (एक उपकरण जो 'Intern-S1 Pro' नामक दूसरे प्रोजेक्ट के सेंसर डेटा को पढ़ने में कुशल है) लिया और उसे बिल्ली वाले AI में ग्राफ्ट (जोड़) कर दिया।
अनुवादक (The Translator): उन्होंने एक विशेष "प्रोजेक्शन लेयर" बनाई जो एक अनुवादक की तरह काम करती है। यह बिल्ली के सेंसरों से आने वाले कच्चे, तेज़-तर्रार नंबरों को लेती है और उन्हें ऐसी भाषा में बदल देती है जिसे AI का मस्तिष्क समझ सके, ठीक वैसे ही जैसे एक वीडियो गेम का पात्र विदेशी भाषा को अंग्रेजी में अनुवाद करता है।

3. प्रशिक्षण (सोचना सीखना)

AI ने केवल तथ्य याद नहीं किए; इसने तर्क करना सीखा।

डेटासेट (Meow-10K): उन्होंने AI को 10,831 उदाहरण दिए। प्रत्येक उदाहरण में वीडियो, ध्वनि और सेंसर डेटा का मिश्रण शामिल था, जिसे एक मानव विशेषज्ञ के स्पष्टीकरण के साथ जोड़ा गया था कि बिल्ली वास्तव में क्या महसूस कर रही थी।
लक्ष्य: केवल यह अनुमान लगाने के बजाय कि "बिल्ली कूद रही है," AI को इरादे का अनुमान लगाने के लिए प्रशिक्षित किया गया था: "बिल्ली खेल रही है क्योंकि वह कूद रही है।"
परीक्षण (MeowBench): यह देखने के लिए कि क्या यह काम करता है, उन्होंने MeowBench नामक एक परीक्षण बनाया। यह एक बहुविकल्पीय परीक्षा (multiple-choice exam) की तरह है जहाँ AI को बिल्ली के डेटा को देखना होता है और विकल्पों की सूची में से उसके व्यवहार का सही कारण चुनना होता है।

परिणाम: क्या यह काम आया?

हाँ, और यह एक बड़ी उपलब्धि थी।

स्कोर: Meow-Omni 1 ने परीक्षण में 71.16% सटीकता प्राप्त की।
प्रतिस्पर्धा: इसने मौजूदा सर्वश्रेष्ठ AI मॉडलों (जो केवल वीडियो या ऑडियो देखते थे) को काफी बड़े अंतर से पीछे छोड़ दिया। यहाँ तक कि एक बहुत ही स्मार्ट "ऑल-राउंडर" AI भी, जो वीडियो, ऑडियो और सेंसर डेटा को टेक्स्ट विवरण के रूप में देखता था, केवल 66.89% ही प्राप्त कर सका।
सबक: यह पेपर साबित करता है कि आप केवल शब्दों में बिल्ली की हृदय गति का वर्णन नहीं कर सकते; बिल्ली के वास्तविक इरादे को समझने के लिए AI को सीधे कच्चे डेटा को "महसूस" करने की आवश्यकता होती है।

"हिचकिचाहट" की विशेषता (अनिश्चितता/Uncertainty)

एक बहुत ही दिलचस्प चीज़ जिसे पेपर हाइलाइट करता है, वह है कि AI भ्रम की स्थिति को कैसे संभालता है।

परिदृश्य: कल्पना कीजिए कि एक बिल्ली खुश दिख रही है (वीडियो) लेकिन उसके सेंसर दर्द (बायोमेट्रिक्स) दिखा रहे हैं।
पुराना AI: वह आत्मविश्वास के साथ एक उत्तर चुन लेगा, शायद दृश्य (visual) वाले को, और गलत साबित होगा।
Meow-Omni 1: जब संकेत आपस में टकराते हैं, तो AI "अनिश्चित" हो जाता है। उसका आंतरिक विश्वास स्कोर गिर जाता है, और वह मूल रूप से कहता है, "मुझे यकीन नहीं है, ये सुराग मेल नहीं खा रहे हैं।"
यह क्यों महत्वपूर्ण है: पेपर सुझाव देता है कि सुरक्षा के लिए यह महत्वपूर्ण है। यदि AI अनिश्चित है, तो वह एक खतरनाक गलत उत्तर देने के बजाय मामले को मानव पशु चिकित्सक (vet) की जांच के लिए फ्लैग कर सकता है।

सारांश

Meow-Omni 1 पहला ऐसा AI है जो बिल्ली की हृदय गति और मूवमेंट सेंसर को केवल बैकग्राउंड शोर के रूप में नहीं, बल्कि एक प्राथमिक भाषा के रूप में मानता है। बिल्ली कैसा दिखती है, कैसी सुनाई देती है, और आंतरिक रूप से कैसा महसूस करती है, इसे मिलाकर, यह अंततः इस पहेली को सुलझा सकता है कि 'पुर्र' करने वाली बिल्ली खुश है या दर्द में। लेखकों ने इसका कोड, डेटा और मॉडल सभी के उपयोग के लिए जारी कर दिया है, जिसका उद्देश्य पशु चिकित्सकों और पशु शोधकर्ताओं को गैर-मौखिक जानवरों को बेहतर ढंग से समझने में मदद करना है।

तकनीकी सारांश: Meow-Omni 1

समस्या विवरण

इस कार्य द्वारा संबोधित मुख्य चुनौती कम्प्यूटेशनल एथोलॉजी (computational ethology) में सिमेंटिक एलियासिंग (semantic aliasing) है: वह घटना जहाँ समान बाहरी संकेत (जैसे कि बिल्ली का घुरघुराना/purr) शारीरिक संदर्भ के आधार पर मौलिक रूप से भिन्न आंतरिक अवस्थाओं (जैसे संतोष बनाम दर्द) के अनुरूप होते हैं। मौजूदा मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) उच्च-आवृत्ति वाले जैविक टाइम-सीरीज़ (TS) डेटा के प्रति काफी हद तक "अंधे" हैं। फलस्वरूप, वे वास्तविक लेटेंट-स्टेट (latent-state) तर्क करने के बजाय सतही व्यवहार पैटर्न मिलान (अगले वीडियो फ्रेम या पिच कंटूर का पूर्वानुमान लगाने) पर निर्भर रहते हैं। वर्तमान आर्किटेक्चर विजुअल और ऑडिटरी संकेतों को शारीरिक वास्तविकता में स्वाभाविक रूप से ग्राउंड करने में विफल रहते हैं, जिससे इरादे के अनुमान (intent inference) में अस्पष्टता पैदा होती है।

कार्यप्रणाली

1. आर्किटेक्चर: नेटिव क्वाड-मोडल इंटीग्रेशन

Meow-Omni 1 पहला ओपन-सोर्स MLLM है जिसे टेक्स्ट, वीडियो, ऑडियो और जैविक टाइम-सीरीज़ के चार डेटा स्ट्रीम्स को नेटिवली फ्यूज करने के लिए डिज़ाइन किया गया है।

बैकबोन: MiniCPM-o 4.5 आर्किटेक्चर पर आधारित।
मॉडल सर्जरी: लेखक बिल्ली के बायोमेट्रिक्स को समायोजित करने के लिए "ट्रांसप्लांटेशन" करते हैं:
- वोकैबुलरी विस्तार: टोकनाइज़र में तीन कंट्रोल टोकन (<|ts_start|>, <|ts_unit|>, <|ts_end|>) जोड़े गए हैं।
- विशेषीकृत एनकोडर: एक समर्पित टाइम-सीरीज एनकोडर को Intern-S1 Pro (एक वैज्ञानिक मल्टीमॉडल फाउंडेशन मॉडल) से एकीकृत किया गया है।
- प्रोजेक्शन लेयर: एक कस्टम लीनियर प्रोजेक्टर निकाले गए जैविक फीचर्स को LLM के जॉइंट एम्बेडिंग स्पेस में मैप करता है, जिससे मॉडल जैविक डेटा को अलग सेंसर रीडिंग के बजाय नेटिव लैंग्वेज टोकन के रूप में देख पाता है।
फॉरवर्ड पास: मॉडल किसी भी सबसेट (V, A, TS, Text) वाले वेरिएबल-लेंथ सीक्वेंस को प्रोसेस करता है, जिसमें TS एम्बेडिंग्स को एक यूनिफाइड कॉज़ल ट्रांसफार्मर ब्लॉक के भीतर विजुअल और लिंग्विस्टिक टोकन्स के साथ इंटरलीव किया जाता है।

2. सैद्धांतिक ढांचा

लेखक पर्ल के स्ट्रक्चरल कॉज़ल मॉडल्स (Pearl's structural causal models) का उपयोग करके पशु इरादे ( $I$ ) को औपचारिक रूप देते हैं। इरादे को केवल एक वर्गीकरण लेबल के रूप में नहीं, बल्कि एक ऐसे लेटेंट जैविक और संज्ञानात्मक ड्राइव के रूप में परिभाषित किया गया है जो एक काल्पनिक "फ्री-चॉइस" हस्तक्षेप ( $do(E_{free})$ ) के तहत एक विशिष्ट भविष्य की क्रिया की संभावना को अधिकतम करता है। यह दृष्टिकोण जानवर के वास्तविक इरादे को पर्यावरणीय बाधाओं (जैसे पिंजरा या हैंडलर की उपस्थिति) से अलग करता है जो दृश्य व्यवहार को दबा या बदल सकते हैं।

3. ट्रेनिंग पाइपलाइन

ट्रेनिंग दो चरणों में चलती है ताकि मोडल स्टेबिलिटी सुनिश्चित हो सके:

चरण 1 (प्रोजेक्टर अलाइनमेंट): TS प्रोजेक्टर को 383,853 लेबल किए गए TS नमूनों पर प्री-ट्रेन किया जाता है (नेक्स्ट-बिहेवियर प्रेडिक्शन रणनीति का उपयोग करते हुए), जबकि LLM बैकबोन और TS एनकोडर फ्रीज रहते हैं। यह बायोमेट्रिक फीचर्स को लिंग्विस्टिक लेटेंट स्पेस के साथ अलाइन करता है।
चरण 2 (मल्टीमॉडल स्पेशलाइजेशन): मॉडल को Meow-10K डेटासेट (10,831 नमूने) पर केवल LLM बैकबोन का उपयोग करके फाइन-ट्यून किया जाता है। इस डेटासेट में विविध मोडैलिटी कॉम्बिनेशन (जैसे V+A, V+TS, A+TS, और पूर्ण क्वाड-मोडल) शामिल हैं ताकि मॉडल को उपलब्ध स्ट्रीम्स के किसी भी सबसेट से तर्क करना सिखाया जा सके।

4. डेटासेट्स और बेंचमार्क

Meow-10K: एक प्रशिक्षण डेटासेट जिसमें कई स्रोतों (एक्सेलेरोमीटर डेटा, वीडियो क्लिप्स, ऑडियो रिकॉर्डिंग और सिंक्रोनाइज्ड पेयर्स) से प्राप्त 10,831 नमूने शामिल हैं। इसमें नेचुरल-लैंग्वेज क्वेरी-रिस्पॉन्स पेयर्स और एक एकीकृत 30-क्लास इंटेंशन टैक्सोनॉमी से लेबल दिए गए हैं।
MeowBench: एक नया, एक्सपर्ट-वेरिफाइड इवैल्यूएशन बेंचमार्क जिसमें 527 हाई-फिडेलिटी नमूने हैं। चूंकि स्वाभाविक रूप से सिंक्रोनाइज्ड क्वाड-मोडल डेटा दुर्लभ है, इसलिए एक ही इरादे के लेबल साझा करने वाले यूनिमोडल डेटा (वीडियो-ऑडियो और TS) को मैच करके नमूने सिंथेसाइज किए गए हैं, जिन्हें पेशेवर फeline एथोलॉजिस्ट द्वारा सत्यापित किया गया है। बेंचमार्क डिक्रिटिव सटीकता का परीक्षण करने के लिए मल्टीपल चॉइस क्वेश्चन (MCQ) फॉर्मेट का उपयोग करता है।

प्रमुख योगदान

Meow-Omni 1 आर्किटेक्चर: विजुअल, ऑडिटरी और बायोलॉजिकल टाइम-सीरीज़ मोडैलिटीज को संयुक्त व्यवहार संबंधी तर्क के लिए यूनिफाई करने वाला पहला नेटिव MLLM।
Meow-10K डेटासेट: 10,000 से अधिक बिल्ली के नमूनों का एक विविध, मल्टी-सोर्स डेटासेट, जिसमें विभिन्न मोडैलिटी कॉम्बिनेशन के साथ नेचुरल-लैंग्वेज विवरण शामिल हैं।
MeowBench: इरादे को डिकोड करने के लिए बायोमेट्रिक्स, विजन और ऑडियो के बीच क्रॉस-मोडल रीजनिंग का मूल्यांकन करने के लिए विशेष रूप से डिज़ाइन किया गया पहला बेंचमार्क।
ओपन एथोलॉजिकल AI फ्रेमवर्क: एक पूर्ण ओपन-सोर्स पाइपलाइन (मॉडल वेट्स, ट्रेनिंग कोड और डेटा) जो यह प्रदर्शित करती है कि फाउंडेशन मॉडल्स को गैर-मानव प्रजातियों के लिए कैसे अनुकूलित किया जा सकता है।

परिणाम

MeowBench पर मूल्यांकन करने पर, Meow-Omni 1 ने 71.16% की Top-1 सटीकता हासिल की, जो सभी बेसलाइन्स से बेहतर है:

यूनिमोडल बेसलाइन्स: इसने स्पेशलाइज्ड एकोस्टिक (36.86%), वीडियो (61.95%) और TS (48.98%) मॉडल्स को काफी पीछे छोड़ दिया।
मल्टीमॉडल बेसलाइन्स: इसने अग्रणी जनरल-परपस ओम्नी-मोडल मॉडल, Qwen3.5-Omni-Plus (V+A+TS के साथ 66.89%) को भी पछाड़ दिया, जो नॉन-लिंग्विस्टिक सिग्नल्स के लिए जेनेरिक एनकोडर्स का उपयोग करता है।
एब्लेशन स्टडी (Ablation Study): बायोलॉजिकल TS डेटा के समावेश से सबसे महत्वपूर्ण प्रदर्शन लाभ हुआ। जबकि केवल विजन से 69.97% प्राप्त हुआ, TS जोड़ने (V+TS) से प्रदर्शन बढ़कर 70.82% हो गया, और पूर्ण क्वाड-मोडल इंटीग्रेशन 71.16% तक पहुँच गया। यह पुष्टि करता है कि जैविक मार्कर विशुद्ध रूप से विजुअल या ऑडिटरी डिस्प्ले में निहित सिमेंटिक एलियासिंग को हल करने में मदद करते हैं।
अनिश्चितता परिमाणीकरण (Uncertainty Quantification): टेम्परेचर सैंपलिंग का उपयोग करते हुए, मॉडल ने विरोधाभासी मोडैलिटीज का पता लगाने की क्षमता प्रदर्शित की। सुसंगत (congruent) डेटा पर, प्रेडिक्टिव एंट्रॉपी कम (1.28 बिट्स) थी, जो उच्च विश्वास दर्शाती है। एडवर्सरियल कॉन्फ्लिक्ट डेटा पर (जहाँ विजुअल संकेत संतोष का सुझाव देते थे लेकिन TS दर्द का संकेत दे रहा था), एंट्रॉपी तेजी से बढ़कर 3.15 बिट्स हो गई, जो इंगित करती है कि मॉडल ने सबसे मजबूत मोडैलिटी पर डिफॉल्ट करने के बजाय अस्पष्टता की सही पहचान की।

महत्व और दावे

पेपर का दावा है कि Meow-Omni 1 अंतर-प्रजाति इरादा समझ (inter-species intent understanding) के लिए एक स्केलेबल प्रतिमान स्थापित करता है। इसका प्राथमिक महत्व है:

सिमेंटिक एलियासिंग को हल करना: यह प्रदर्शित करना कि पशु व्यवहार की सच्ची सिमेंटिक समझ के लिए ऑब्जर्वेशनल डेटा को शारीरिक वास्तविकता में ग्राउंड करना आवश्यक है, जो सतही पैटर्न मिलान से परे है।
क्लिनिकल और संरक्षण उपयोगिता: फाउंडेशन मॉडल्स के भीतर संवेदी विभाजन को पाटकर पशु चिकित्सा निदान (जैसे कि छिपे हुए दर्द का पता लगाना) और वन्यजीव संरक्षण के लिए एक व्यावहारिक उपकरण प्रदान करना।
सुरक्षा और व्याख्यात्मकता: अनिश्चितता परिमाणीकरण के लिए एक तंत्र पेश करना जो सिस्टम को अस्पष्ट अवस्थाओं को फ्लैग करने की अनुमति देता है, जिससे उच्च-जोखिम वाले परिदृश्यों में मानव विशेषज्ञों की सहायता ली जा सके।

लेखक इस कार्य को अगली पीढ़ी के पशु चिकित्सा निदान और एथोलॉजिकल रिसर्च के लिए एक आधारभूत कदम के रूप में देखते हैं, जिसे शुरू में पालतू बिल्लियों (Felis catus) के लिए डिज़ाइन किया गया है लेकिन इसे व्यापक अंतर-प्रजाति संचार के लिए एक टेम्पलेट के रूप में लक्षित किया गया है।