🤖 AI

Progressive Multimodal Interaction Network for Reliable Quantification of Fish Feeding Intensity in Aquaculture

本文提出了一种渐进式多模态交互网络（PMIN），通过统一特征提取、辅助模态增强机制及自适应证据推理决策融合策略，有效解决了多模态数据间的响应不一致与决策冲突问题，实现了对水产养殖中鱼类摄食强度的高精度、高鲁棒性量化。

原作者： Shulong Zhang, Mingyuan Yao, Jiayin Zhao, Daoliang Li, Yingyi Chen, Haihua Wang

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Shulong Zhang, Mingyuan Yao, Jiayin Zhao, Daoliang Li, Yingyi Chen, Haihua Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为PMIN（渐进式多模态交互网络）的新技术，它的任务是像老练的渔夫一样，精准地判断鱼群到底“饿不饿”、吃食有多猛。

为了让你更容易理解，我们可以把养鱼场想象成一个繁忙的餐厅，而鱼就是顾客。

1. 为什么要发明这个？（痛点）

在传统的养鱼场，喂鱼全靠人工观察。

人工观察的缺点：就像让一个人同时盯着几百条鱼，还要听声音、看水面，既累人又不准。人容易看走眼，或者因为太忙而喂多了（鱼吃不完，浪费钱还污染水）或喂少了（鱼饿着长不大）。
单一传感器的局限：
- 摄像头（眼睛）：就像餐厅的监控。如果水太浑、光线太暗，或者鱼挤在一起，摄像头就看不清了。
- 麦克风（耳朵）：就像听顾客吃饭的动静。但如果水流声太大，或者设备有杂音，就听不清鱼在不在吃。
- 水面传感器（触觉）：就像感受桌子的震动。如果鱼只是轻轻游动，震动就不明显。
- 结论：单靠“眼睛”、“耳朵”或“触觉”中的任何一个，都容易出错。

2. 这个新技术是怎么工作的？（核心方案）

PMIN 就像是一个拥有“超级大脑”的餐厅经理，它同时拥有眼睛（图像）、耳朵（声音）和触觉（水波），并且懂得如何把这三者的信息完美结合起来。

它的工作流程分为三步：

第一步：统一语言（统一特征提取）

比喻：想象眼睛看到的是“图片”，耳朵听到的是“乐谱”，触觉感受到的是“震动波”。这三种语言完全不同，直接对话会很混乱。
做法：PMIN 使用一种叫 UniRepLKNet 的“翻译官”。它把图片、声音和水波数据，全部翻译成同一种“通用语言”（统一的结构化特征）。这样，大脑处理起来就顺畅多了，不会因为语言不通而产生误解。

第二步：互相补台（渐进式多模态交互）

比喻：这是最精彩的部分。想象一个主裁判（主要模态，通常是图像）和两个助理裁判（辅助模态，声音和水波）。
- 有时候主裁判看清楚了，但助理裁判听到了主裁判没注意到的声音。
- 有时候主裁判被水花挡住了视线，但助理裁判通过水波震动知道鱼在猛吃。
做法：PMIN 设计了一个**“助理强化主裁判”机制**。
- 它不是简单地把三个人的意见加起来（那是“大杂烩”）。
- 而是让主裁判先发表意见，然后助理裁判根据主裁判的视角，专门补充那些主裁判没看清、但自己很确定的信息。
- 通过这种“你帮我补漏，我帮你确认”的渐进式互动，最终形成一个非常精准的判断。

第三步：投票决策（自适应证据推理）

比喻：即使三个裁判都发表了意见，他们之间可能还是有分歧（比如一个说“吃得很猛”，另一个说“吃得一般”）。这时候需要一个最终仲裁者。
做法：PMIN 使用了一种叫**“自适应证据推理”**的方法。
- 它不会简单地“少数服从多数”。
- 它会分析：“刚才那个声音很清晰，所以听声音的裁判可信度高；刚才水太浑，所以看图像的裁判可信度低。”
- 它会根据每个信息来源的可靠性和置信度，动态地给每个意见加权。如果某个意见和其他意见冲突太大，它会自动降低那个意见的权重，从而得出一个最稳妥、最不容易出错的结论。

3. 效果怎么样？（实验结果）

研究人员收集了7000 多个真实的养鱼场景数据（包括高清视频、录音和水波数据），让 AI 进行训练和测试。

准确率：PMIN 的准确率达到了 96.76%。
对比：
- 单靠摄像头：只有 82% 左右。
- 单靠麦克风：只有 60% 左右。
- 传统的简单融合方法：效果不如 PMIN。
优势：它不仅准，而且计算量小，这意味着它可以安装在普通的养鱼设备上，不需要超级计算机，非常适合在真实的鱼塘里实时运行。

4. 总结：这对养鱼意味着什么？

这就好比给养鱼场装上了一个不知疲倦、眼观六路耳听八方、且极其聪明的“智能管家”。

以前：靠人猜，喂多了浪费饲料，喂少了鱼长不快。
现在：AI 能精准判断鱼群是“狼吞虎咽”、“细嚼慢咽”还是“已经吃饱了”。
结果：饲料不浪费，鱼长得更好，水质更干净，养鱼变得更科学、更赚钱。

简单来说，这项技术就是用“三管齐下”的智慧，解决了养鱼中“喂多少”这个最头疼的问题。

这是一份关于论文《Progressive Multimodal Interaction Network for Reliable Quantification of Fish Feeding Intensity in Aquaculture》（用于水产养殖中鱼类摄食强度可靠量化的渐进式多模态交互网络）的详细技术总结。

1. 研究背景与问题 (Problem)

核心痛点：精准的水产养殖依赖于对鱼类摄食强度的准确量化，以优化饲料利用率并减少浪费。然而，现有的评估方法主要依赖人工观察（耗时、主观、易错）或单一模态的自动化监测。
单一模态的局限性：
- 视觉：易受光照变化、水体浑浊、反光和鱼群遮挡影响，特征提取不稳定。
- 声学：虽不受光照和水浊度限制，但易受水流噪声、设备自干扰和非摄食声源影响。
- 传感器（如加速度计）：侵入式监测影响鱼福利，且难以代表群体行为。
现有融合方法的不足：
- 模态选择：现有研究多关注直接描述行为的模态（如图像、声音），忽视了反映环境反馈的模态（如水波），且未能充分利用多模态间的互补性。
- 交互机制：多数方法采用简单的通道拼接、静态权重分配或晚期融合，忽略了不同模态在同一摄食状态下响应强度、表示模式和判别重点的差异（即“模态不一致性”）。
- 决策冲突：缺乏对多模态输出之间的置信度、可靠性及潜在冲突的显式建模，导致最终判断的鲁棒性不足。

2. 方法论 (Methodology)

本文提出了一种渐进式多模态交互网络 (PMIN)，旨在整合图像、音频和水波数据，解决上述问题。其核心架构包含三个主要阶段：

2.1 统一特征提取框架 (Unified Feature Extraction)

骨干网络：采用 UniRepLKNet（通用感知大核卷积网络）作为统一骨干。
创新点：将图像、音频（梅尔频谱图）和水波（传感器时间序列）数据统一映射为结构一致的 $C \times H \times W$ 张量格式。
优势：消除了不同模态编码器带来的表示空间差异（Embedding Space Discrepancy），为后续跨模态交互提供了统一且稳定的特征基础。

2.2 辅助模态增强主模态机制 (Auxiliary-modality Reinforcement Primary-modality Mechanism, ARPM)

设计理念：针对同一摄食状态下不同模态响应强度不同的问题，设计了一种渐进式交互架构。
工作流程：
1. 主/辅设定：轮流将一种模态设为“主模态”，其余为“辅模态”。
2. 通道感知重校准 (CARM)：在通道级别自适应地重新校准多模态特征，缓解模态间差异。
3. 双阶段注意力交互 (DAIM)：
  - 浅层交互 (DAIM-1)：串行结合多头自注意力 (MHSA) 和多头交叉注意力 (MHCA)，先提取辅模态内部相关性，再将其判别性信息注入主模态。
  - 深层交互 (DAIM-2)：采用并行交叉注意力机制，从不同方向提取互补语义，并进行双向融合。
目的：逐步增强主模态的表示能力，同时保留核心语义信息，有效挖掘跨模态的互补信息。

2.3 基于自适应证据推理的决策融合 (Decision Fusion based on Adaptive Evidence Reasoning, AER)

设计理念：在决策层显式建模各模态输出的置信度、可靠性和冲突。
实现：
1. 将各分支分类结果转化为基本概率分配（Basic Probability Assignment）。
2. 引入可学习的证据权重 ( $w$ ) 和 证据可靠性 ( $r$ ) 参数，替代传统方法中主观预设的参数。
3. 利用证据推理规则融合多源证据，在保留有效判别证据的同时，抑制冲突证据的干扰。
优势：提高了最终量化结果的稳定性和鲁棒性，特别是在模态间存在冲突时。

3. 数据集与实验设置 (Dataset & Experiments)

数据集构建：
- 来源：中国陕西国渔绿色智慧渔业设施。
- 对象：成年虹鳟鱼。
- 模态：同步采集 4K 工业相机图像、高频水听器音频、六轴加速度计水波数据。
- 规模：7089 个时间同步样本，分为强、弱、无（None）三种摄食强度。
- 划分：训练集:验证集:测试集 = 8:1:1。
实验环境：NVIDIA RTX 4090 GPU，PyTorch 框架。

4. 主要结果 (Results)

整体性能：
- PMIN 在测试集上达到了 96.76% 的准确率，Precision 为 96.80%，Recall 为 96.78%，F1-Score 为 96.79%。
- 模型参数量仅为 14.39M，计算量 (FLOPs) 为 1.88G，在保持高性能的同时具有较低的复杂度，适合边缘部署。
消融实验与对比：
- 多模态融合：三模态融合（图像 + 音频 + 水波）显著优于单模态（图像 82.39%，音频 59.86%，水波 66.34%）和双模态组合。
- 统一特征提取：相比使用不同骨干网络的异构模型（如 ViT+RCNet+URNet 组合导致准确率波动至 76%），统一框架（UniRepLKNet）表现更稳定且最优。
- ARPM 有效性：引入 ARPM 使准确率从基线的 87.75% 提升至 94.79%，证明了渐进式交互的有效性。
- AER 有效性：引入 AER 进一步将准确率提升至 96.76%，优于多数投票 (MV)、概率平均 (PA) 和 Dempster-Shafer (DS) 等决策融合方法。
真实场景验证：在 240 秒的未见真实场景数据测试中，模型准确率达到 95.82%，表现出良好的时间连续性和状态切换适应性。

5. 主要贡献 (Key Contributions)

多模态数据集构建：构建了包含图像、音频和水波数据的首个鱼类摄食强度多模态数据集，涵盖了直接行为表征和环境响应表征。
统一特征提取框架：提出基于 UniRepLKNet 的统一框架，解决了多模态数据表示不一致的问题，简化了模型结构。
渐进式交互机制 (ARPM)：设计了“辅助模态增强主模态”机制，通过通道重校准和双阶段注意力，有效建模了不同模态的差异化响应和互补性。
自适应证据推理决策融合 (AER)：提出了一种可学习的决策融合策略，显式处理模态间的置信度差异和冲突，提升了决策的可靠性。
综合性能验证：通过大量对比实验、消融实验和真实场景测试，验证了该方法在精度、鲁棒性和计算效率上的优越性。

6. 意义与价值 (Significance)

理论意义：为多模态融合中的“模态不一致性”和“决策冲突”问题提供了新的解决思路，特别是通过统一特征空间和自适应证据推理机制，提升了复杂环境下的量化可靠性。
应用价值：
- 为智能水产养殖提供了可靠的自动化摄食监测方案，有助于实现精准投喂。
- 能够显著减少饲料浪费，降低养殖成本，并预防因过度投喂引起的疾病爆发。
- 模型轻量化设计使其易于在边缘设备（如水下机器人、智能监控终端）上部署，具有广阔的产业化前景。

综上所述，该论文通过创新的网络架构和严谨的实验验证，成功解决了水产养殖中鱼类摄食强度量化难、鲁棒性差的问题，推动了智慧渔业技术的发展。