📄 other

A Lightweight Appearance-Guided Association Module for Underwater Multi-Fish Tracking

本文提出了一种基于 XGBoost 的轻量级外观引导关联模块，该模块将颜色、梯度和形态学描述符集成到 SORT 框架中，旨在显著减少身份切换并提高实时水下监测中密集养殖鱼类的跟踪精度。

原作者： Yanan Zhou, Dlxat Turgun, Jianhua Cao, Zhenyu Zhang, Qian Long

发布于 2026-07-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanan Zhou, Dlxat Turgun, Jianhua Cao, Zhenyu Zhang, Qian Long

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一间拥挤且雾气缭绕的走廊里追踪一位特定的朋友。每个人都穿着同样的制服，以同样的速度移动，并且不断地互相碰撞。如果你只观察人们走路的方向和速度，那么一旦他们被挤到另一个人身后，你可能就会立刻失去他们的踪迹。这就是计算机视觉中“多目标跟踪”的日常困境：教导摄像头在每个移动物体上贴上一个唯一的身份标签，即使它们看起来一模一样，并且会互相遮挡。在智能养鱼的世界里，这变得格外困难。在水下，水质通常很浑浊，光线很诡异，成千上万条同种类的鱼在紧密而混乱的鱼群中游动。如果计算机弄丢了哪条鱼是哪条，养殖户就无法计数、无法研究它们的行为，也无法知道它们是否生病。目标是建立一个既足够快能实时观察，又足够聪明能识别出两条看起来完全相同的鱼之间微小差异的系统。

这篇论文介绍了一种针对这种水下混沌状态的巧妙且轻量级的解决方案。研究人员构建了一个新的“辅助模块”，它就像是一个观察力极强的鱼类追踪游戏裁判。他们并没有依赖沉重、缓慢的计算机大脑（深度学习网络）来分析每一条鱼，而是创建了一个利用简单、快速线索的系统：鱼的颜色图案、鳞片的纹理以及其整体形状。他们教会了一个名为 XGBoost 的快速、高效的决策者利用这些线索来猜测：“这是我一秒钟前看到的同一条鱼吗？”

这就是其中的魔术技巧：该系统不仅是在猜测，它还在玩一场“信任但验证”的游戏。当两条鱼距离较远时，系统只需观察它们的运动，这很容易。但当鱼群发生重叠或交叉路径时，系统会突然开启它的“外观雷达”。它会计算一个概率得分：“这两个重叠的色块实际上是同一条鱼的可能性有多大？”然后，它将这个概率得分与运动数据相结合，做出最终决定。这一过程在瞬间完成，使得系统即使在一条鱼被邻居遮挡了很长时间后，仍能保持正确的 ID 标签。

团队在名为 MFT25 的数据集上对该方法进行了测试，该数据集包含真实鱼类在水箱中游泳的视频。他们将这种新方法与标准的“SORT”算法（仅观察运动和边界框重叠）进行了对比，发现他们的方法具有变革性的意义。通过使用这些简单的视觉线索，他们减少了系统产生混淆并交换鱼类身份的次数近 45%（从 1,513 次错误降至仅 833 次）。他们还把保持身份一致性的整体准确率从 53.75% 提升到了 65.49%。或许最令人印象深刻的是，尽管进行了所有这些额外的思考，该系统依然极其快速，运行速度超过每秒 700 帧（不包括仅仅是寻找鱼类本身所需的时间）。这证明了你并不需要一个庞大、缓慢的计算机大脑来解决复杂的跟踪问题；有时，一些聪明、轻量级的线索就足以让你维持鱼群的秩序。

技术摘要：一种用于水下多鱼跟踪的轻量级外观引导关联模块

问题陈述

本文解决了在固定摄像机水下养殖环境中，针对高密度养殖鱼类的**多目标跟踪（MOT）**挑战。虽然连续的轨迹数据对于种群估算和行为分析至关重要，但追踪个体鱼类受到以下因素的阻碍：

视觉相似性： 同一物种的个体通常具有近乎完全相同的外观。
复杂的动态特性： 频繁的方向变化、交叉、相互遮挡以及显著的空间重叠。
环境退化： 水下环境引入了光照变化、浑浊度和对比度降低，从而降低了图像质量。

现有方法的局限性：

基于运动/IoU 的跟踪器（如 SORT）： 依赖时空线索（卡尔曼预测和交并比 IoU）。当鱼类发生重叠或交叉时，它们的空间和运动状态变得难以区分，导致高比例的身份切换（IDSW）和轨迹断裂。
基于深度外观的跟踪器（如 DeepSORT）： 虽然它们使用深度学习进行重识别（Re-ID），但会产生显著的计算开销。此外，在行人数据集上训练的深度特征往往难以泛化到低对比度和部分遮挡的水下场景，且在检测区域受到相邻鱼类污染时表现不佳。

核心问题在于需要一种实时、轻量级的关联方法，能够利用细微的外观差异来补充时空线索，同时避免深度神经网络带来的沉重计算成本。

方法论

作者提出了一种集成到 Simple Online and Realtime Tracking (SORT) 框架中的轻量级外观引导关联模块。该方法在“通过检测进行跟踪”的范式下运行，无需修改底层的目标检测器。

1. 手工外观特征提取

该模块并未采用深度学习，而是从每个检测到的鱼类区域中提取三种低成本的手工特征：

HSV 色彩直方图： 将区域从 BGR 转换为 HSV。H、S 和 V 通道分别量化为 16、8 和 8 个分箱，生成一个 1024 维的向量。
梯度方向直方图： 基于梯度方向直方图（HOG）原理，将灰度区域划分为 2×2 网格。无符号梯度方向在 [0°, 180°) 内被量化为每个子区域 9 个分箱，从而创建了一个 36 维的向量。
形态学描述符： 一个包含 3 维向量的特征，捕捉宽高比（ $w/h$ ）、对数面积（ $\log(w \times h)$ ）以及归一化对角线长度。

这些特征被拼接成一个统一的 1063 维外观向量 ( $f_i$ )。

2. 基于 XGBoost 的身份匹配模型

现有轨迹与当前检测之间的关联被形式化为一个二分类问题（是同一条鱼还是不同的鱼）。

输入： 一个 2128 维的特征向量 ( $x_{ij}$ $x_{ij}$ )，通过拼接以下内容构建：
- 现有轨迹的参考外观特征。
- 当前检测的外观特征。
- 预测框与检测框之间的 IoU。
- 两者之间的归一化中心距离。
模型： 一个 XGBoost 分类器（50 棵树，最大深度为 3）用于估计该对目标属于同一条鱼的概率 ( $p_{ij}$ )。
训练策略： 正样本是相邻帧中的同一条鱼的配对（经过过滤以排除高重叠遮挡）；负样本是同一帧中不同身份的配对。

3. 自适应数据关联

核心创新在于如何将外观概率与标准的 SORT 代价矩阵进行融合：

自适应加权： 关联代价 ( $C_{ij}$ $C_{ij}$ ) 是 IoU 代价和外观代价的加权和。
- $w_{IoU} = \max(0, 1 - \alpha \cdot IoU)$
- $w_{XGB} = 1 - w_{IoU}$
- $C_{ij} = w_{IoU}(1 - IoU) + w_{XGB}(1 - p_{ij})$
逻辑： 当 IoU 较低（空间重叠较小）时，系统主要依赖运动/空间线索。随着 IoU 增加（表明存在潜在重叠或歧义），权重向 XGBoost 外观概率转移，以解决身份冲突。
效率： 对于 IoU < 0.1 的配对，系统会立即将其丢弃而不进行 XGBoost 推理，以节省计算量。

核心贡献

轻量级模块： 提出了一个结合颜色、梯度和形态学特征与 XGBoost 的模块，避免了深度重识别网络带来的计算开销和领域差异问题。
自适应融合策略： 引入了一种机制，根据空间重叠情况将外观概率自适应地整合到 SORT 代价矩阵中，使得外观线索能在歧义较高时专门补充时空信息。
性能验证： 在 Multiple Fish Tracking 2025 (MFT25) 数据集上证明了在保持实时处理速度的同时，显著提升了身份保持能力。

实验结果

实验在 MFT25 数据集的七个序列上使用 留一视频法 (LOVO) 交叉验证策略进行。

身份切换 (IDSW)： 所提方法将总 IDSW 从 1,513 (SORT) 降低至 833，降幅达 44.94%。
身份 F1 分数 (IDF1)： 从 53.75% (SORT) 提升至 65.49%。
MOTA： 从 98.52% 提高到 98.82%。
速度： 不计入目标检测，跟踪速度超过 700 FPS（相比之下 SORT 为 714 FPS），表明新增的外观处理带来的开销可以忽略不计。
消融实验：
- 仅将 XGBoost 作为后处理修正 (V1) 时，IDSW 仅减少了 5.49%。
- 将概率集成到匈牙利算法分配前的代价矩阵中 (V2) 至关重要，实现了完整的 44.94% 降幅。
- 该方法在应用于 ByteTrack 框架时表现出迁移性，相对于基准 ByteTrack 减少了 42.64% 的 IDSW。
视觉分析： 定性结果显示，虽然 SORT 在严重重叠后经常发生身份交换，但所提方法保持了身份的一致性，减少了分配给单个真实鱼类的预测身份数量（例如，在序列 BT-001 中从 14 个减少到 1 个）。

意义与主张

论文声称，所提出的模块成功解决了水下鱼类跟踪中身份一致性与计算效率之间的权衡问题。通过利用细微的手工外观特征和高效的梯度提升分类器，该方法在不需要深度学习基础设施的情况下，显著改善了频繁交叉和遮挡期间的身份保持能力。

作者指出，这些结果表明该模块具有用于智能化养殖中实时鱼类监测的潜力，能够为下游任务（如种群估算和异常行为识别）提供可靠的轨迹数据。该工作为那些深度外观模型因水下成像条件而过于昂贵或不可靠的场景，提供了一个实用的解决方案。