TomaMMU: A Comprehensive Multimodal Understanding Benchmark for Tomato Leaf Diseases
本文介绍了 TomaMMU，这是一个包含超过 28,000 张图像和 213,000 个标注问答对的大规模多模态数据集，以及用于系统性评估和改进视觉语言模型在番茄叶片病害诊断方面的 TomaBench 基准测试，揭示了当前在细粒度识别与推理方面的显著局限性，而这些局限性可以通过针对性的微调得到实质性的解决。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下这样一个世界：你的智能手机只需看一眼枯萎的植物，就能立刻告诉你不仅它生病了，而且准确地说明了问题出在哪里、为什么会发生，以及如何修复。这就是“智能农业”的梦想——在这个领域，计算机试图学习大自然语言。长期以来，科学家们一直在教计算机识别图像，比如给它看一张猫的照片并告诉它，“那是一只猫”。这被称为计算机视觉。最近，我们也教会了计算机理解语言。当你将这两项技能——视觉与语言——结合在一起时，你就得到了视觉语言模型（VLMs）。它们就像超级智能助手，能够观察图像并就此进行交谈。但问题在于：虽然这些人工智能助手擅长处理通用事务，但在高风险的情况下却容易产生困惑，比如在农田中，一株生病的番茄植株可能意味着食物的损失和金钱的损失。现实世界是混乱的，有着奇怪的光照、肮脏的背景，以及因天气不同而呈现不同样貌的植物。大多数人工智能仅在实验室拍摄的完美、洁净的照片上进行过训练，因此当它们面对真实、肮脏的农场时，往往会失败。
这就是论文《TomaMMU》介入的地方。研究人员意识到，要治好生病的番茄，我们需要的人工智能不仅仅是猜测疾病名称，而是要像人类专家一样真正“理解”植物。他们构建了一个庞大的全新训练场——TomaMMU，这是一个包含 28,808 张番茄叶片照片的巨型图书馆，涵盖了从完全健康的叶片到布满斑点、卷曲和腐烂的叶片。但仅仅有图片是不够的，他们还需要一场对话。因此，他们针对这些图片创建了超过 213,000 个由人类编写的问题和答案。你可以把它想象成一场针对人工智能的大规模、严苛的学校考试。这些问题不仅仅是“它生病了吗？”，而是变得更加困难，例如询问：“这种疾病的科学名称是什么？”、“这张图片中有多少片叶子？”或者“这是真菌还是病毒引起的？”
研究人员让世界上最聪明的 14 个人工智能模型参加了这场考试，以观察它们的表现。结果令人警醒。即使是最先进的人工智能，通常能写诗或解数学题，但在番茄测试中也表现得非常吃力。当被要求在没有任何番茄专项训练的情况下诊断疾病时，大多数模型都答错了，经常将病毒误认为真菌，或者完全漏掉疾病。这就像是给一位杰出的物理教授一份园艺考试，却看着他们在考试中失败，因为他们从未真正接触过番茄植株。论文指出，目前的人工智能过于依赖简单的模式，缺乏现实农业所需的深度、专业知识。
然而，故事并没有以失败告终。研究人员选取了其中一个人工智能模型，并利用他们的新数据集 TomaMMU 给它进行了一次“速成班”训练。他们对其进行了“微调”，本质上是让它通过学习这 213,000 个问题和答案来掌握知识。结果如何？人工智能的表现大幅飙升。经过这次训练后，它正确回答了 96.09% 的难题选择题，超越了所有其他模型，包括那些此前被认为是最优秀的模型。这表明，虽然目前的人工智能尚不足以独立取代农民的专家眼光，但如果我们用现实世界的数据进行正确的教学，它可以变得极其可靠。论文总结道，要构建真正有用的农业工具，我们不能再用完美的、虚假的实验室照片来训练人工智能，而要开始向它们喂食实际农场中那些混乱且复杂的现实情况。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。