Retrieve in Time, Correct in Frequency
本文介绍了 RTCF，这是一个无需训练、低延迟的测试时修正框架，它通过将执行历史与成功轨迹进行因果对齐以检索相关经验，并仅传输低频运动残差，从而在无需模型重训或额外 GPU 资源的情况下，显著提升了冻结的视觉-语言-动作策略在长程操控任务中的成功率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何制作三明治。你并不想编写每一个细微的肌肉抽动；相反，你给了机器人一个“大脑”，它能观察厨房，阅读你的指令（“做一个火腿三明治”），然后一次性预测出一整套动作序列——就像是未来几秒钟的剧本。这被称为视觉-语言-动作（Vision-Language-Action, VLA）策略。它就像一个智能自动驾驶系统，可以处理复杂的任务。然而，就像会被分心的人类一样，这些机器人也会感到困惑。如果面包稍微掉落了一点，或者光照发生了变化，机器人可能会认为自己处于食谱的不同阶段。它可能会在应该切面包的时候，试图把火腿放在盘子里。问题在于，一旦机器人开始移动，微小的错误就会不断累积，导致最后出现一团糟的失败。科学家们希望在不从头开始重新训练机器人大脑的情况下，实时修复这些错误，因为重新训练既慢又昂贵。他们正在寻找一种方法，在机器人开始偏离航线时给它一个“提示”或“暗示”，利用它过去的成功经验作为引导。
这正是论文《时序检索，频率修正》（Retrieve in Time, Correct in Frequency, RTCF）所解决的问题。作者为这些“冻结”的机器人大脑提供了一个巧妙且免费的升级，不需要任何新的训练或额外的超级计算机。把机器人的记忆想象成一个记录了它以前看过的成功制作三明治视频的图书馆。当机器人正在制作三明治并开始摇晃时，RTCF 就像一位超级快速的图书管理员。但诀窍在于：它不仅仅是寻找一个看起来与当前厨房场景相似的视频。它会弄清楚机器人现在究竟处于食谱中的哪个位置。它会问：“我们是在‘切片’阶段还是‘烘烤’阶段？”这就是“时序检索”（Retrieve in Time）部分。它将机器人当前的历史记录与完美的过去视频进行对齐，从而找到最合适的时刻进行借鉴。
一旦找到了正确的时刻，它并不会强迫机器人去复制整个视频，因为那样可能过于僵化或不符合当前情况。相反，它使用了一个“频率”过滤器。想象一下机器人的运动计划是一首歌曲。低音是宏大的、平滑的趋势（比如“手臂向前移动”），而高音则是微小的、快速的细节（比如“手指摆动以抓握”）。RTCF 只从成功的记忆视频中窃取“低音”，以温柔地纠正机器人的整体方向。它让“高音”保持原样，让机器人自己的大脑来处理精细的动作和快速反应。这就是“频率修正”（Correct in Frequency）部分。
研究结果非常令人鼓舞。研究人员在四个挑战套件的 2,000 个机器人片段上测试了这一方法。他们发现，通过使用这种方法，机器人的整体成功率从 86.4% 上升到了 88.4%。最大的提升出现在最困难、最长的任务（称为 LIBERO-Long）中，成功率从 61.6% 跳升至 68.6%。这意味着机器人能够更成功地完成那些原本会失败的复杂多步骤任务。至关重要的是，这不需要任何新的 GPU 算力或重新训练；修正过程在标准计算机处理器上瞬间完成，每个动作块仅增加约 10.99 毫秒的延迟。论文明确反对仅仅简单地重放旧视频或覆盖机器人的整个计划，并指出这些方法往往会让情况变得更糟。相反，通过仔细选择“何时”借鉴以及借鉴“哪部分”动作，RTCF 帮助机器人在不失去自身反应灵敏度的前提下保持在正轨上。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。