Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

当人类教导孩子骑自行车时，这堂课是一场由眼神、摇晃和鼓励之语构成的对话。孩子通过感受平衡的变化来学习，而父母则通过观察孩子如何理解他们的引导来学习。这种往复式的互动正是混合智能（hybrid intelligence）的本质：两种不同的思维共同协作，解决一个任何单一思维都无法独立掌握的问题。在机器人领域，这种伙伴关系被称为人机交互式机器人学习（human-interactive robot learning）。在这里，一个人充当教师的角色，通过反馈或演示来引导机器人完成一项任务。人们希望机器人能通过理解教师的信号，学会如何穿梭于房间、推箱子或清扫地板。然而，教师的意图与机器人实际理解的内容之间往往存在显著差距。如果人类认为机器人感到困惑，他们可能会提供一个提示，但机器人却可能将该提示误解为对完全不同动作的奖励。为了建立更好的伙伴关系，科学家必须首先了解，在无法直接与其交谈的情况下，人类是如何理解机器人的行为的。

一个研究小组致力于揭示人们在仅进行观察时，是如何解读机器人的学习过程的。他们并不感兴趣机器人如何在数学层面进行学习，而是关注人类观察者在心中为机器人构建的关于其“思维”的故事。为此，他们开发了一种新的研究人类感知的方法，排除了主动教学带来的复杂性。研究人员并非要求人们与机器人互动并给出反馈，而是简单地让他们观看机器人学习的视频，然后描述他们认为机器内部正在发生什么。这种方法使科学家能够观察到人们在试图理解一个人工学习者时，所产生的原始且未经滤过的假设。

在第一个研究中，研究人员采访了九名观看机器人学习在网格状环境中导航（避开洞穴并找到出口）的人。参与者被要求在观看机器人移动时大声说出他们的想法。研究人员倾听了这些观察者解释机器人行为的方式中的模式。他们发现，人们看到的不仅仅是随机的移动；他们构建了一个关于机器人内在生活的详细心理模型。这个模型始终可以归纳为四个主要类别。首先，人们假设机器人拥有特定的目标，例如想要尽可能快地到达出口，或者试图避免跌落。其次，他们相信机器人正在收集知识，即记住哪些地方是危险的，哪些地方是安全的。第三，观察者认为机器人正在做出决策，即权衡各种选项并根据策略选择路径。最后，人们推断机器人拥有一种学习机制，即一种基于过去的错误或成功来更新其理解的方式。这些发现表明，人类天生会将丰富的、类人的内在生活投射到机器上，以使其行为变得易于理解。

为了证实这些初步想法并观察它们在更复杂的情况下是否依然成立，研究人员进行了第二个规模更大的研究，共有三十四名参与者。他们扩大了实验范围，包含了两种不同类型的任务和两种不同类型的学习算法。在一种情境中，机器人通过在家具间导航并捡起污垢来学习清扫房间。在另一种情境中，另一台不同的机器人学习如何将一盒药物推过桌面，送到无法够取药物的患者面前。这些机器人使用了不同的学习方法：一个使用简单的、基于表格的试错法；另一个则使用更复杂的连续方法，模拟生物大脑处理平滑运动的方式。参与者在机器人学习的三个不同阶段（早期、中期和后期）观看视频。在每个视频结束后，他们会对目标、知识、决策和学习机制这四个主题与他们所见内容的关联度进行评分。

这项更大规模研究的结果证实，在第一个实验中发现的四个主题并非偶然。无论是在清扫任务还是推箱子任务中，也无论机器人使用的是哪种复杂的学习方法，人们始终依赖这四个类别来理解机器人。研究人员发现，随着机器人变得更加熟练，人们描述它们的方式也发生了变化。在早期阶段，观察者通常认为机器人缺乏知识或者仅仅是在瞎猜。随着机器人的进步，人们的观点发生了转变，开始认为机器人已经发展出了清晰的计划并正在进行深思熟虑的决策。研究表明，人类的理解并非静态的；它会随着机器人行为的变化而演变。人们看到的不仅仅是一个遵循代码的机器；他们看到的是一个正在学习、记忆和规划的智能体。

研究人员还发现，这些假设的具体细节具有相当大的流动性。例如，当人们思考机器人的目标时，有时会关注最终结果（如到达出口），有时则关注动作的质量（如高效清扫或安全移动）。同样，在考虑机器人如何学习时，人们有时想象它是在通过纯粹的探索进行学习，而有时则认为它是在通过反馈或通过推理来解决问题。这种灵活性表明，人类拥有一种动态的框架来解读机器人，并且会随着观察机器人的表现而不断调整。研究并未发现个人的背景（例如是否有孩子或宠物）会改变这些基本的思维模式。

这项工作凸显了未来人机协作面临的一个关键挑战。由于人类自然地假设机器人拥有与自身相似的目标、知识和决策过程，因此这些假设出错的风险很高。如果人类认为机器人是通过推理来学习，而实际上它只是在遵循一个简单的规则，那么人类给出的反馈可能会让机器感到困惑。研究人员建议，为了让机器人成为真正有效的伙伴，其设计者必须理解这些人类的假设。通过认识到人们不可避免地会将类人的思维投射到机器人身上，工程师可以创造出更具透明度的系统。他们可以设计出能够传达其实际学习过程的机器人，使其与人类的预期保持一致，从而缩小“机器人正在做的事”与“人类认为它正在做的事”之间的差距。这种一致性对于建立那种人类与机器可以真正协同工作、彼此理解对方在共同任务中所扮演角色的混合智能至关重要。