Teach a Molmo2Fish: Towards interactive fish tracking with natural language guidance
本文介绍了 Molmo2Fish，这是一种利用多模态大语言模型实现自然语言引导的声呐数据集鱼类修正与追踪的交互式工作流，在展示高性能的同时，也强调了在语言集成方面进一步提升的空间。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在鲑鱼回流产卵时那寂静、幽暗的河流深处，科学家们面临着一个艰难的计数难题。为了保护这些鱼类种群并设定可持续的捕捞限额，研究人员需要准确掌握每年有多少鱼经过特定地点，获得一个可靠的估计值。他们使用水下声呐摄像机记录这些运动，但生成的视频通常画面模糊、充满噪声，且有数百条鱼同时游动，显得拥挤不堪。多年来，人们不得不手动查看这些录像来统计鱼的数量，这是一个缓慢且枯燥的过程。近年来，计算机已经学会了自动完成这项工作，但当水域条件发生变化或同时出现过多鱼类时，它们往往会出错，丢失个体追踪或对同一条鱼进行重复计数。这正是另一种新型人工智能发挥作用的地方，它不仅仅试图独立达到完美，更学会了通过倾听人类的声音来修正自己的错误。
麻省理工学院的一个研究小组开发了一种名为 Molmo2Fish 的工具，旨在弥合不完美的计算机视觉与生态学家需求之间的鸿沟。该系统并非构建一个试图在第一次尝试时就做到尽善尽美的系统，而是创造了一个对话伙伴。这个系统基于一种多模态大语言模型，这类人工智能可以同时理解图像和文本。研究人员教会了这个模型观看鲑鱼的声呐视频，并预测每条鱼的运动轨迹。但真正的创新在于接下来的环节：如果计算机漏掉了一条鱼或丢失了追踪，人类只需输入一句类似“你在靠近底部、向左游动的鱼附近漏掉了一条鱼”的话，模型就会立即调整其预测以纠正错误。这标志着从僵化的自动化过程向灵活对话的转变，在这种对话中，计算机与人类共同构建一份准确的记录。
为了测试这一想法，团队采用了最初在包含人物、动物和汽车的视觉多样性视频上进行过训练的 Molmo2 模型，并针对独特的、颗粒感十足的水下声呐世界对其进行了专业化处理。他们向其输入了来自 Caltech 鱼类计数数据集的片段——这是最大的开源渔业声呐视频集——不仅教会它如何追踪鱼类，还教会它如何接受修正。研究人员创建了一个训练过程：模型先做出对鱼类路径的初步猜测，然后由一个模拟的人类用直白的英语指出错误。模型学会了倾听这些指令，并实时更新其对视频的心理地图。他们发现，该系统能够成功学习这项新技能，从一个在处理声呐数据时表现挣扎的工具，转变为一个能够通过一点点帮助实现高精度追踪的工具。
结果表明，这种交互式方法效果良好，尤其是在初始计算机预测偏差较大时。当模型最初使用传统的追踪系统（该系统经常漏掉鱼，或将单条鱼的路径拆分为几个混乱的碎片）时，Molmo2Fish 在经过一轮人类反馈后能有效修复这些错误。在一些鱼类较小且难以观察的河流位置，修正后的追踪效果显著优于计算机单独能达到的水平。然而，研究人员也发现了这种能力的局限性。当计算机本身已经做得非常好时，要求它通过更多指令来修正自己的工作并不总能带来提升。事实上，有时添加过于具体的指令反而会让模型感到困惑，导致它做出不必要甚至错误的更改。
研究还揭示，该模型对接收到的反馈类型高度敏感。它学会了密切关注特定细节，例如应该合并哪条鱼或忽略哪条鱼，但在面对模糊指令或从未见过的错误类型时则表现挣扎。例如，如果模型仅在特定类型的错误上接受过训练，那么当新的不同类型错误出现时，它将无法识别。这表明，尽管这项技术前景广阔，但仍需要更多样化的训练数据才能变得真正稳健。研究人员总结道，这种“教模型钓鱼”的方法代表了一个充满前景的研究方向，其目标是最终让非专家无需从头开始重新训练复杂的计算机系统即可获得高质量的结果，尽管目前该方法在处理典型视频时尚未达到足够可靠的程度。
最终，Molmo2Fish 代表了人工智能在科学领域迈向未来的一步：它不再是一个产生最终答案的“黑箱”，而是一个通过对话不断进化的协作工具。通过允许研究人员用自然语言引导模型，该系统可以适应每条河流和每个季节的具体挑战。这项工作证明，我们并不总是需要完美的算法来解决困难问题；有时，一个懂得倾听并能自我修正的系统反而更加有用。随着研究人员继续完善这种方法，他们的希望是这些工具能成为保护工作的标准配置，通过将数小时艰苦的计数转化为一项可控的、交互式的任务，从而帮助保护鲑鱼种群。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。