Turning Adaptation into Assets: Cross-Domain Bridging for Online Vision-Language Navigation
本文提出 IDEA，一种新颖的视觉 - 语言导航测试时适应框架，通过将在线适应转化为动态资产库的积累，并利用软提示和域坐标构建跨域桥梁，从而缓解灾难性遗忘和负迁移问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人根据语音指令（例如“去浴室拿起毛巾”）在房子里导航。
在现实世界中，每栋房子都各不相同。一个浴室的墙上可能挂着一辆红色手推车的图片，而另一个浴室可能挂着一辆蓝色的。如果你的机器人是在挂有红色手推车的房子里训练的，那么当它进入挂有蓝色手推车的房子时，可能会完全困惑。它可能会停在错误的房间，或者彻底迷路。
目前的方法试图通过让机器人“即时学习”来解决这个问题。然而，该论文指出，这些现有方法就像一个学生，一旦今天学到了新东西，就立刻忘记了昨天所学的一切。它们还倾向于犯错误，将某个房间的教训生搬硬套到完全不同的房间（例如，试图用厨房地图来导航卧室）。
作者提出了一种名为IDEA（Inter-Domain BridgE with Historical Assets，基于历史资产的跨域桥接）的新系统。以下是其工作原理，使用简单的类比说明：
1. 将“学习”转化为“收集资产”
IDEA 不再每次机器人看到新房间时都微调其“大脑”，而是将每一次成功的调整视为一种可收集资产。
- 旧方式：想象一位厨师，每做一道新菜，就擦除对之前配方的记忆，以便为新菜腾出空间。结果，他们忘记了上周已经掌握的菜肴做法。
- IDEA 方式：想象这位厨师保留着一本数字食谱。每当他们弄清楚如何在特定厨房（具有特定炉灶或照明）中烹饪某道菜时，他们就会记下一条“提示”并将其保存在食谱中。这条提示被称为软提示（Soft Prompt）。它是一条小巧、轻量级的备注，写着：“当你看到红色手推车时，在这里寻找毛巾。”
2. “费舍尔引导”过滤器（筛选优质提示）
并非每条提示都有用。有些提示可能仅适用于某种奇怪的厨房灯光，对其他房间毫无帮助。
IDEA 使用一种特殊的过滤器（称为费舍尔引导加权）来决定哪些提示值得保留。它会问：“这条提示是否真的有助于机器人做出正确决策，还是仅仅是对随机噪声的反应？”
- 如果一条提示能帮助机器人更好地导航，它将获得高分，并被保存为高质量的资产。
- 如果一条提示只是偶然现象，它将被忽略。
3. 建造“桥梁”而非长途跋涉
当机器人进入一个全新的房间时，它不会从零开始。它会查看其资产库（即那本食谱）。
- 旧方式：机器人试图从零开始逐步学习新房间，这不仅耗时，而且容易失败。
- IDEA 方式：机器人观察新房间，并问道：“我保存的哪条提示最接近当前情况？”
- 如果新房间是它以前见过的两个房间的混合体（例如，它有来自房间 A 的红色手推车和来自房间 B 的蓝色地毯），IDEA 不会只选择一条提示。它会建造一座桥梁。
- 它在数学上融合来自房间 A 和房间 B 的提示，为这个新房间创建一个定制的即时指南。这被称为凸包投影（Convex-Hull Projection）。
这就像 GPS 导航。与其从你家开车到新的目的地全程行驶，GPS 会意识到你已经走到了一半路程，并立即根据你已走过的路线计算出完美的捷径。
4. 结果：无需训练且快速
由于 IDEA 利用数学和其过往经验库来构建这座“桥梁”，因此每当机器人进入新房子时，它无需花费时间进行“训练”或重新学习其“大脑”。
- 无“遗忘”：由于它将提示保存为资产，因此即使它花数周时间在挂有蓝色手推车的房子里导航，也永远不会忘记如何处理红色手推车。
- 无“错误建议”：通过仔细融合提示，它避免了给出与当前房间不符的错误建议。
- 速度：它利用“桥梁”而非重新学习一切，几乎瞬间解决了导航问题。
总结
该论文声称，通过将适应过程视为收集可重用资产并在它们之间建造桥梁，他们的机器人（IDEA）在导航新的、未见过的环境方面，比以前的方法表现更好、速度更快。它在标准的机器人导航基准测试中成功进行了验证，表明它能够在无需昂贵重新训练或人类帮助的情况下，在从未见过的房间中找到方向。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。