Neurosymbolic Imitation Learning with Human Guidance: A Privileged Information Approach
本文提出了一种神经符号模仿学习框架，该框架结合了神经网络处理高维数据的能力与符号方法的泛化能力，并利用诸如注视数据之类的特权训练信息来提高效率并减少过拟合。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何玩电子游戏。你有两种主要方法，但两者都存在一个重大缺陷。
问题：两位有缺陷的导师
- “深度学习”导师：这位导师就像一位天才，观看了数百万小时的游戏录像。他们非常擅长观察屏幕并瞬间做出反应。然而，他们是一个“黑箱”。你无法询问他们为什么要那样行动，而且他们的泛化能力极差。如果你在屏幕上放置一个他们从未见过的新敌人，他们往往会僵住或惊慌失措。此外，他们也需要海量数据才能学习，就像一个学生必须读完图书馆里的每一本书才能理解一个概念。
- “符号”导师：这位导师就像一位逻辑教授。他们学习清晰、可解释的规则（例如，“如果敌人在左边，就向右移动”）。他们非常擅长解释自己的行动，并且能轻松应对新情况。但是，他们非常不擅长观察原始视频屏幕。他们无法理解像素；他们需要世界以完美、预先编写好的代码形式描述给他们。
解决方案：拥有“魔法凝视”的混合导师
这篇论文的作者，GRAIL，提出了一种教机器人的新方法，结合了两位导师的优点。他们称之为神经符号模仿学习。
这可以想象为一个两人团队：
- 眼睛（神经部分）：一个神经网络，它观察原始视频屏幕，并将像素转化为一系列逻辑事实（例如，“有一个玩家”，“有一个敌人”，“敌人在左侧”）。
- 大脑（符号部分）：一个逻辑引擎，它接收这些事实并应用规则来决定做什么。
秘密武器：特权信息（“凝视”）
这里是巧妙的转折。作者意识到，当人类玩这些游戏时，他们的眼睛并不会四处张望。他们会专注于重要的事物（比如即将开火的敌人），而忽略背景噪音。
在现实世界中，我们并不总能看清人类在玩的时候在看哪里。但是，对于这个实验，研究人员在训练阶段可以获取眼动追踪数据（一张显示人类确切注视位置的热点图）。
他们将这种眼动追踪数据视为**“特权信息”**。
- 训练期间：机器人既能看到游戏屏幕，也能看到人类的视线移动。它学习到：“啊，人类正在看敌人，所以那个敌人很重要。人类忽略了天空中的云朵，所以我也应该忽略它们。”
- 测试期间（真实游戏）：机器人不再看到眼动追踪数据。它只能看到屏幕。但由于它在训练期间学会了应该关注哪些事物，现在它会自动忽略背景噪音。
实际运作方式
想象机器人正在玩像《海战》（Seaquest，你需要游泳和射击）这样的游戏。
- 眼睛：机器人看着屏幕，看到了 50 个物体。它创建了一个包含 50 个事实的列表。
- 凝视过滤器：机器人记得：“在训练中，人类只看敌人和潜水员，不看气泡。”因此，它利用这段记忆来“调低”气泡的音量，并“调高”敌人的音量。
- 逻辑大脑：现在，拥有一份干净、聚焦的重要事实列表，逻辑大脑应用其规则：“如果敌人靠近，就开火。”
- 结果：机器人做出行动。
为什么这很重要
该论文在 Atari 游戏（如《阿斯特里克斯》和《海战》）上测试了这种方法，并发现了三大优势：
- 更好的性能：机器人的表现优于单独的“深度学习”导师和“符号”导师。
- 样本效率：它学习得快得多。虽然其他机器人需要玩数千次才能变好，但这个机器人只需很少的尝试就能变好，因为“凝视”帮助它立即专注于重要的事情。
- 泛化能力：当游戏发生变化时（例如，突然从 1 个敌人变成了 3 个敌人），机器人不会惊慌。因为它学习的是关系（例如，“敌人在左边”），而不仅仅是死记硬背像素模式，所以它能轻松应对新的、未见过的情况。
简而言之
这篇论文提出了一种系统，通过将“视觉翻译器”与“逻辑规则制定者”相结合，教机器人玩游戏。秘密武器是利用人类眼动追踪数据作为临时的训练指南，教机器人应该关注什么。一旦训练完成，机器人就能独自进行专家级的游戏，即使在新情况下，也不再需要人类的眼睛。这就像教学生如何学习，通过向他们展示教科书中哪些页面最重要，这样即使你不在场指着页面，他们也能学会有效地学习。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。