MLLM-Routed Heterogeneous Ensembles for Robust Cross-Dataset Image Classification
本文介绍了 ARMDIL，这是一个自适应集成框架，它利用多模态大语言模型将图像动态路由至最合适的异构视觉骨干网络，从而实现鲁棒的跨数据集分类、通过提示工程增强的适应性，以及通过自然语言推理提升的可解释性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图解决一个巨大的拼图游戏，但这些碎片来自四个完全不同的盒子：一个盒子里是可爱动物的照片，另一个是人体器官的 X 光片，第三个是森林的卫星照片，最后一个是人脸的特写。如果你试图只用一双眼睛来解决整个拼图，你可能会非常擅长处理动物，但会完全错过 X 光片的细节。这就是现代计算机视觉面临的日常挣扎。长期以来，科学家们一直在构建“专家型”计算机，它们在某项特定工作上表现出色，但在其他所有工作上都很糟糕。为了让它们胜任一项新工作，你必须从头开始教它们，这既耗时又需要海量的数据。最近，一种被称为大语言模型（LLM）的新型超智能“计算机大脑”出现了。这些模型擅长理解语言，甚至可以观察图片，但它们并不总是最擅长命名特定物体的。科学家们面临的一个重大问题是：我们能否构建一个团队，让一位聪明的“经理”观察一张图片，并立即决定哪位专家最适合解决它，而不需要每次都重新训练整个团队？
这正是名为 ARMDIL（基于 LLM 的多领域图像分类自适应路由）项目的研究人员试图做的事情。把 ARMDIL 想象成一个繁忙机场的高效交通管制员。与其强迫每一架飞机（图像）都要降落在每一条跑道（计算机模型）上以查看哪个更合适，交通管制员（AI 智能体）会观察飞机，检查其大小和天气状况，然后立即将其指向完美的跑道。在这个系统中，“跑道”是不同类型的计算机视觉专家：有些是擅长识别边缘和形状的“老派”专家（如 ResNet），有些是由于观察了数百万张无标签图片而自学成才的专家（如 SSL 模型），还有一些是精通语言、理解我们如何描述世界的专家（如 VLM）。
论文指出，这种“经理”方法的效果非常好。研究人员在四种截然不同的图像数据集上测试了他们的系统：日常物体（如汽车和猫）、显示情绪的人脸、陆地卫星视图以及器官的医学扫描。他们发现，没有任何单一的计算机模型能在所有领域都做到最好。例如，“老派”专家在医学扫描方面表现出色，但在处理人脸时却很吃力；而“精通语言”的专家在卫星照片方面表现得相当不错，但并不总是最顶尖的。
当 ARMDIL 经理观察一张图像时，它不仅仅是在靠直觉猜测；它还会使用一个循序渐进的推理过程。它会观察图片，同时检查一些基本统计数据，比如图像有多模糊、亮度如何以及有多少“噪声”（颗粒感）。基于此，它会做出决定：“这看起来像是一张医学扫描图，所以把它交给医学专家”或者“这是一个脸部，把它发给脸部专家”。论文表明，这种方法不仅准确，而且具有透明度。不像其他方法中计算机在无人理解的“黑盒”中做出决策，ARMDL 实际上可以告诉你它为什么做出选择，例如说：“我选择医学专家是因为图像颜色较暗且对比度高，这是 X 光片的典型特征。”
结果非常令人振奋。ARMDIL 团队击败了标准的“让所有专家投票决定答案”（即“多数票”系统）的方法。事实上，ARMDIL 在综合测试中达到了 90.78% 的总准确率，高于单一最佳专家模型（其准确率为 89.61%）。它在处理最难的数据集——情绪化的人脸时表现尤为出色，明显超越了其他团队。论文认为，这种方法之所以是一个巨大的进步，是因为它具有灵活性。如果你想在组合中加入一种新的图像类型，比如军事车辆的照片，你不需要重新训练整个系统。你只需要告诉经理：“嘿，如果你看到坦克，就把发给车辆专家。”系统就会立即适应。
然而，作者也谨慎地指出，该系统目前还不完美。它有时会对卫星图像感到困惑，会将约 12.72% 的图像归类为“不确定”类别，因为航拍视图看起来可能非常模糊且抽象。他们建议，通过一个更聪明的经理或更好的指令，这可以得到解决。论文总结道，虽然这并不是解决世界上所有问题的“万灵药”，但它展示了一个非常令人兴奋的前行方向：构建能够像由一位聪明的、会说话的经理所引导的专家团队一样的 AI 系统，使它们在现实世界中更加可靠且易于使用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。