Filling Before Advancing: Capability-Gap-Driven Post-Training for Scenario-Specialized Remote Sensing MLLMs
本文提出了“先填补再进阶”（Filling Before Advancing, FBA），这是一种由能力差距驱动的后训练框架，通过按顺序解决前提性的视觉-语言对齐、领域桥接收敛以及基于证据的微调，显著增强了遥感多模态大语言模型的场景专业化能力，这一点通过其在新增的 HarborEval 基准测试和 CPRS 数据集上的卓越表现得到了证实。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个超级聪明的机器人朋友，它读遍了图书馆里的每一本书，也看过了数百万张猫、狗和日落的照片。这个机器人非常擅长进行通用的描述，比如：“那是一艘在水上的船。”但现在，你想让这个机器人成为一名专业的港口检查员。你需要它观察一个特定的港口，并准确地告诉你哪块区域用于装载货物、船只有多大，以及其布局是否符合繁忙码头的功能需求。问题在于，机器人还没有见过足够多的特定港口照片，因此无法分辨普通的小船与功能完备的港口之间的区别；而你手头仅有的那些专家级照片又过于珍贵，不舍得浪费在基础教学上。这就是“遥感多模态大语言模型”（RS-MLLMs）所面临的挑战——这些旨在理解地球卫星和无人机图像的 AI 系统。科学家们正试图教会这些 AI 从普通的观察者转变为专业的专家，但由于高质量、带有专家标注的特定场景（如港口）数据极其稀缺且昂贵，他们陷入了困境。
本文介绍了一种名为“先填补再进阶”（Filling Before Advancing, FBA）的巧妙新训练策略来解决这一问题。作者并没有直接将仅有的港口照片投喂给 AI 并寄希望于它能一次性学会所有知识，而是提出了一个三步走的“训练营”方案，在要求 AI 进行专业化之前，先填补其知识空白。首先，他们教会 AI 从空中俯瞰的基本语言（遥感语义锚定）。第二，他们利用“桥梁”图像——例如河流、海岸和其他与水相关的场景——来帮助 AI 将已有的知识与新的、复杂的港口世界联系起来（领域-桥梁收敛）。最后，只有在这些知识空白被填补之后，他们才使用珍贵的、高质量的港口数据来对 AI 进行微调，使其胜任最终的专家角色（证据驱动的场景微调）。结果表明，这种循序渐进的方法比传统的“一蹴而就”方法效果更好。当在名为 HarborEval 的全新诊断基准测试中进行测试时，采用 FBA 训练的 AI 得分显著提高（其中一个模型从 57.95 跃升至 70.29，另一个从 81.09 提升至 83.37），优于采用传统方法的模型。本文表明，通过精心排列训练数据的顺序以优先填补特定的能力差距，我们可以在不需要海量新数据的情况下，创造出更聪明、更可靠的地球观测 AI 专家。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。