LEGO Co-builder: Exploring Fine-Grained Vision-Language Modeling for Multimodal LEGO Assembly Assistants
本文介绍了 LEGO Co-builder，这是一个旨在评估视觉语言模型在多模态乐高组装任务中细粒度视觉理解和状态检测能力的混合基准测试及统一框架，研究表明，尽管目标检测表现良好，但目前的模型在精确场景理解和组装状态推理方面仍然面临显著挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何搭建复杂的东西，比如用微小的塑料积木搭一座巨大的城堡。你不能只说：“搭一个城堡。”你必须给它一个分步的食谱：“拿起红色的 2x4 积木，找到蓝色的 2x2 积木，然后将它们卡在一起。”这就是**多模态组装（multimodal assembly）**的世界，在这里，计算机需要同时理解图像（积木长什么样）和文字（说明书内容）。
长期以来，计算机在处理简单任务方面已经变得非常出色，比如识别出一张图片中包含一只“狗”或一辆“车”。但当你要求它们遵循一份详细的分步手册，而成功与失败的区别仅仅在于一个积木放错了位置时，它们往往会感到困惑。这就是**细粒度视觉语言建模（fine-grained vision-language modeling）**的挑战。这就像是一个机器人能说“我看到一堆积木”，而另一个机器人能说“你漏掉了把绿色零件放在黄色零件下面的那一步”。科学家们之所以关注这一点，是因为如果我们能教会机器人这样做，它们就能成为学习新技能、修理物品、甚至帮助视障人士独立进行搭建的超级助手。
LEGO Co-builder：机器人构建者的现实检验
在这篇论文中，研究人员决定用一项非常具体且极其困难的任务来测试世界上最聪明的机器人大脑：搭建乐高（LEGO）套装。他们创建了一个新的“考试”，叫做 LEGO Co-builder。请不要把这项考试看作是选择题测试，而应将其视为一系列旨在测试机器人是否真的能“遵循”指令，而非仅仅是“猜测”的三个不同挑战。
研究人员利用 65 本官方乐高说明书构建了一个庞大的数据集。他们将这些手册拆解成极小的步骤，创造了一个拥有超过 35,000 个不同场景的游乐场。该考试分为三个等级：
- 场景理解（“发生了什么？”测试）： 机器人被展示一张半成品乐高模型的照片，并被问到：“下一步是什么？”它必须用语言描述场景和动作。
- 目标检测（“它在哪里？”测试）： 机器人被要求在一堆乱七八糟的积木中找到特定的积木，并用一个数字框（类似于在屏幕上画一个框）将其标出。
- 状态检测（“你搞错了吗？”测试）： 机器人被展示一张其中一个积木可能放置正确或错误的图片。它必须发现错误。如果积木位置不对，机器人需要说：“嘿，那不对！”
随后，研究人员选取了九个最著名且功能强大的 AI 模型（包括 GPT-4o、Gemini 和 Qwen-VL 等知名模型），并让他们参加这场考试。他们通过两种方式进行测试：首先，是在没有任何额外训练的情况下直接询问（就像学生参加一场从未见过的考试）；其次，是利用由乐高数据组成的“学习指南”来微调它们的大脑。
结果：擅长猜测，拙于精准
转折点在于：机器人在某些方面表现得相当不错，但在最重要的部分却表现得很糟糕。
在单纯寻找图片中的物体（任务 2）时，机器人在学习后表现得相当出色。其中一个模型 InstructBLIP 在识别正确物体方面的得分达到了 98.16%。这听起来像是个胜利，对吧？但问题在于：虽然它们知道物体“是什么”，却不知道它确切地“在哪里”。它们的“边界框”（即它们画出的数字框）与正确位置的重叠率仅为 47.20% 左右。这就像一个学生知道答案是“巴黎”，但却把圆圈画在了整个法国国土上，而不是仅仅圈住这座城市。
在理解场景并描述步骤（任务 1）时，机器人在精准度方面遇到了困难。即使是经过训练后表现最好的模型，在识别特定“主题实体”（即乐高零件的具体名称和属性）方面的 F1 分数也仅为 37.52%。它们经常给出模糊的回答，比如“把方块放在这里”，而不是“把透明的 2x2 信箱面安装在白色拱形的右侧”。
最难的测试是发现错误（任务 3）。这是机器人真正跌跤的地方。即使是最先进的商业模型 GPT-4o，在检测组装正确状态方面的 F1 分数也仅为 40.54%。事实上，许多模型因为太急于说“是的，看起来很好！”，以至于未能注意到积木明显放错了位置。一个名为 InstructBLIP 的模型，其假阳性率（False Positive Rate）实际上为 0.00%（意味着它从不错误地指责正确的步骤是错的），但它的 F1 分数也仅为 0.02%，这意味着它几乎从未正确识别出任何状态。它过于谨慎，以至于无法发挥作用。
这对未来意味着什么
论文指出，虽然 AI 在描述图片方面正在进步，但它仍然缺乏处理复杂、分步物理任务所需的“细粒度”注意力。研究人员发现，仅仅给模型提供更多数据（微调）有助于它们学习乐高的特定语言，但这并不能神奇地修复它们完美观察空间关系的能力。
作者谨慎地指出，这并不是一个“坏掉”的机器人，它只是还没有学会这个游戏的特定规则。他们向公众发布了他们的数据集、代码以及他们创建的这个“考试”。他们的目标是帮助其他科学家构建更好的助手。他们设想这样一个未来：这些工具可以帮助视障人士通过实时描述场景和捕捉错误，来学习搭建复杂的物品。
然而，论文也承认了自身的局限性。他们用于制作“错误”图片的程序是通过计算机程序轻微移动积木生成的，而不是由真实的人在真实操作中犯错拍摄的。此外，测试是在 2D（平面图片）中进行的，而不是在混乱的 3D 现实世界中。因此，虽然结果显示了当前技术的明显差距，但研究人员建议，下一步是在更真实的 3D 环境中测试这些模型，看看它们是否真的能成为我们所需的“协同构建者（Co-builder）”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。