🧬 biology

Meow-Omni 1: A Multimodal Large Language Model for Feline Ethology

本文介绍了 Meow-Omni 1，这是一种新颖的开源四模态大语言模型，它融合了视频、音频、生理时间序列和文本，通过解决动物行为分析中语义歧义的挑战，实现了最先进的猫科动物意图识别。

原作者： Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jucheng Hu, Zhangquan Chen, Yulin Chen, Chengjie Hong, Liang Zhou, Tairan Wang, Sifei Li, Giulio Zhu, Feng Zhou, Yiheng Zeng, Suorong Yang, Dongzhan Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

以下是论文《Meow-Omni 1》的解读，已用通俗易懂的语言并辅以生动的类比进行翻译。

核心难题：“猫语翻译官”困境

想象一下，你正试图猜测你的猫在想什么。你看到它在呼噜呼噜地叫。它是开心呢？还是正在忍受痛苦并试图自我安抚？

问题所在： 论文将这种现象称为“语义混叠”。这就像同一个词在不同语境下拥有完全相反的含义。呼噜声可能意味着“我爱你”，也可能意味着“我吓坏了”，而仅凭观察猫的脸部（视频）或聆听声音（音频）往往不足以分辨差异。
旧有方法： 以往的 AI 模型就像只盯着照片或只听录音的侦探。它们对猫的内部生理信号“视而不见”。它们能猜测动作（例如“在跑”），却无法猜测意图（例如“因为害怕而跑”还是“因为玩耍而跑”）。

解决方案：Meow-Omni 1

研究人员构建了Meow-Omni 1，这是一种专为理解猫而设计的新型 AI 大脑。你可以把它想象成兽医学院里的一位超级实习生，它不仅会看和听，还直接连接着猫的心跳和运动传感器。

以下是其工作原理，采用简单的类比说明：

1. 四种感官（四模态）

大多数 AI 模型只有两到三种“感官”。Meow-Omni 1 拥有四种，论文称之为四模态：

眼睛（视频）： 观察猫的动作。
耳朵（音频）： 聆听喵叫和呼噜声。
声音（文本）： 阅读描述并提出问题。
“内在感官”（生物时间序列）： 这是魔法成分。它读取来自传感器（如猫的智能手表）的高速数据，追踪心率、加速度和身体震动。
- 类比： 如果人类侦探看到嫌疑人奔跑，可能会想“他迟到了”。但如果他们同时拥有显示嫌疑人心率飙升至 180 次/分的心率监测仪，他们就会意识到：“他正在被追赶。”Meow-Omni 1 利用这种“内在感官”来解开呼噜猫背后的谜团。

2. 大脑手术（架构）

研究人员并非从零开始构建大脑，而是对现有的智能 AI（MiniCPM-o）进行了“手术”。

移植： 他们取出了一个专门的“时间序列编码器”（一种擅长读取传感器数据的工具，源自另一个名为 Intern-S1 Pro 的项目），并将其嫁接到了这只猫 AI 中。
翻译器： 他们构建了一个特殊的“投影层”，充当翻译的角色。它将来自猫传感器的原始、高速的数字转化为 AI 大脑能理解的语言，就像电子游戏角色将外语翻译成英语一样。

3. 训练（学习思考）

AI 不仅仅是死记硬背事实；它学会了推理。

数据集（Meow-10K）： 他们向 AI 投喂了 10,831 个关于猫的案例。每个案例都混合了视频、声音和传感器数据，并配有人类专家对猫实际感受的解释。
目标： AI 的训练目标不再是仅仅猜测“猫在跳”，而是猜测意图：“猫在跳是因为它在玩耍。”
测试（MeowBench）： 为了验证其效果，他们创建了一个名为MeowBench的测试。这就像一场多项选择题考试，AI 必须查看猫的数据，并从选项列表中选出其行为背后的正确原因。

结果：它奏效了吗？

是的，而且意义重大。

得分： Meow-Omni 1 在测试中取得了**71.16%**的准确率。
竞争者： 它以显著优势击败了仅依靠视频或音频的最佳现有 AI 模型。甚至一个非常聪明的“全能型”AI（它查看视频、音频和传感器数据，但将其作为文本描述处理）也仅获得了 66.89% 的分数。
启示： 论文证明，你无法仅用文字描述猫的心跳；AI 需要直接“感受”原始数据，才能理解猫的真实意图。

“犹豫”功能（不确定性）

论文强调的最酷的一点之一是 AI 如何处理困惑。

场景： 想象一只猫看起来很开心（视频），但传感器显示它很痛苦（生物特征）。
旧 AI： 会自信地选择一个答案（通常是视觉上的），从而出错。
Meow-Omni 1： 当信号冲突时，AI 会变得“不确定”。其内部置信度分数下降，它本质上会说：“我不确定，这些线索不匹配。”
重要性： 论文指出，这对安全性至关重要。如果 AI 不确定，它可以标记该情况供人类兽医检查，而不是给出危险的错误答案。

总结

Meow-Omni 1 是首个将猫的心跳和运动传感器视为主要语言（而不仅仅是背景噪音）的 AI。通过结合猫看起来的样子、听起来的声音以及内在的感觉，它终于能够解开呼噜猫究竟是开心还是痛苦的谜题。作者已发布了代码、数据和模型供任何人使用，旨在帮助兽医和动物研究人员更好地理解非语言动物。

技术摘要：Meow-Omni 1

问题陈述

本工作解决的核心挑战是计算动物行为学中的语义别名（semantic aliasing）现象：即相同的外部信号（例如猫的呼噜声）根据生理背景的不同，对应着截然不同的内部状态（例如满足感与疼痛）。现有的多模态大语言模型（MLLM）在很大程度上对高频生物时间序列（TS）数据“视而不见”。因此，它们依赖于表面的行为模式匹配（预测下一帧视频或音高轮廓），而非真正的潜在状态推理。当前的架构未能将视觉和听觉信号原生地锚定于生理现实，导致意图推断存在歧义。

方法论

1. 架构：原生四模态集成

Meow-Omni 1 是首个旨在原生融合文本、视频、音频和生物时间序列四种数据流的开源多模态大语言模型。

骨干网络：基于 MiniCPM-o 4.5 架构构建。
模型手术：作者进行了“移植”以适应猫科生物计量学：
- 词汇扩展：在分词器中添加了三个控制令牌（<|ts_start|>、<|ts_unit|>、<|ts_end|>）。
- 专用编码器：从科学多模态基础模型 Intern-S1 Pro 中集成了专用的时间序列编码器。
- 投影层：一个自定义的线性投影器将提取的生物特征映射到大语言模型的联合嵌入空间，使模型能够将生理数据视为原生语言令牌，而非离散的传感器读数。
前向传播：模型处理包含任意模态子集（V、A、TS、Text）的变长序列，在统一因果 Transformer 块内将 TS 嵌入与视觉和语言令牌交错排列。

2. 理论框架

作者使用 Pearl 的结构因果模型 将动物意图（ $I$ ）形式化。意图不被定义为简单的分类标签，而是一种潜在的生物和认知驱动力，旨在最大化在假设的“自由选择”干预（ $do(E_{free})$ ）下特定未来行动的概率。这种方法将动物的真实意图与可能抑制或改变可观察行为的环境约束（例如笼子或饲养员的存在）解耦。

3. 训练流程

训练遵循两阶段流程以确保模态稳定性：

阶段 1（投影器对齐）：TS 投影器在 383,853 个带标签的 TS 样本上进行预训练（使用“下一行为预测”策略），同时保持大语言模型骨干网络和 TS 编码器冻结。这将生物特征与语言潜在空间对齐。
阶段 2（多模态专业化）：模型仅在 Meow-10K 数据集（10,831 个样本）上使用大语言模型骨干网络进行微调。该数据集包含多样化的模态组合（例如 V+A、V+TS、A+TS 和完整四模态），以教导模型从任意可用的流子集进行推理。

4. 数据集与基准

Meow-10K：一个训练数据集，包含 10,831 个样本，源自多个来源（加速度计数据、视频片段、音频录音和同步对）。它包含自然语言查询 - 响应对以及来自统一 30 类意图分类法的标签。
MeowBench：一个新颖的、经专家验证的评估基准，包含 527 个高保真样本。由于自然同步的四模态数据稀缺，样本是通过匹配共享相同意图标签的单模态数据（视频 - 音频和 TS）合成的，并由专业猫科动物行为学家验证。该基准采用多项选择题（MCQ）格式来测试判别准确性。

主要贡献

Meow-Omni 1 架构：首个原生多模态大语言模型，统一了视觉、听觉和生物时间序列模态以进行联合行为推理。
Meow-10K 数据集：一个多样化的多源数据集，包含超过 10,000 个猫科样本，涵盖不同的模态组合及自然语言描述。
MeowBench：首个专门设计用于评估多模态大语言模型在生物计量、视觉和音频之间跨模态推理以解码意图的基准。
开放动物行为学 AI 框架：一个完整的开源流程（模型权重、训练代码和数据），展示了如何调整基础模型以适应非人类物种。

结果

在 MeowBench 上的评估显示，Meow-Omni 1 实现了 71.16% 的 Top-1 准确率，优于所有基线：

单模态基线：显著优于专用的声学（36.86%）、视频（61.95%）和 TS（48.98%）模型。
多模态基线：超越了领先的通用全模态模型 Qwen3.5-Omni-Plus（66.89%，使用 V+A+TS），后者使用通用编码器处理非语言信号。
消融研究：包含生物 TS 数据提供了最显著的性能提升。虽然仅视觉达到 69.97%，但添加 TS（V+TS）将性能提升至 70.82%，而完整的四模态集成达到 71.16%。这证实了生物标记有助于解决纯视觉或听觉显示中固有的语义别名问题。
不确定性量化：使用温度采样，模型展示了检测冲突模态的能力。在一致数据上，预测熵较低（1.28 比特），表明高置信度。在对抗性冲突数据上（视觉线索暗示满足但 TS 指示疼痛），熵急剧上升（3.15 比特），表明模型正确识别了歧义，而非默认选择最强的模态。

意义与主张

该论文声称，Meow-Omni 1 建立了一个可扩展的跨物种意图理解范式。其主要意义在于：

解决语义别名：证明对动物行为的真正语义理解需要将观察数据锚定于生理现实，超越表面的模式匹配。
临床与保护效用：通过弥合基础模型内的感官鸿沟，为兽医诊断（例如检测隐匿性疼痛）和野生动物保护提供实用工具。
安全性与可解释性：引入不确定性量化机制，使系统能够标记模糊状态，在高利害场景中交由人类专家处理。

作者将这项工作定位为下一代兽医诊断和动物行为学研究的奠基性步骤，最初设计用于家猫（Felis catus），但旨在作为更广泛跨物种交流的模板。