🤖 machine learning

Implicit Neural Representations of Individual Behavior

本文介绍了 Behavioral INR，这是一种自监督生成模型，它通过将策略表示为受潜变量调制的“状态-动作”函数，使隐式神经表示能够适应并从无标签、异构的行为数据中学习策略身份，从而在复杂的连续设置中提高策略的可辨识性，并处理可变的序列长度和分布外偏移问题。

原作者： Andrew Kang, Priya Narasimhan

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Andrew Kang, Priya Narasimhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你走进了一间巨大且混乱的舞蹈工作室。里面有数百人在同时跳舞。有人在跳芭蕾，有人在跳地板舞，还有人只是在随性地挪动。问题在于？这里没有姓名牌，没有音乐提示，也没有编舞表。你看到的只是动作的残影。

你的目标是弄清楚：谁在跳什么舞？ 更重要的是，即使“芭蕾舞者 A”在房间的不同位置或以不同的速度跳舞，你还能认出那是同一个人吗？

这正是 Andrew Kang 和 Priya Narasimhan 在其论文 《行为的隐式神经表示》（Implicit Neural Representations of Individual Behavior） 中解决的问题。他们引入了一种名为 Behavioral INR（行为隐式神经表示） 的新工具来破解这个谜题。

以下是通俗易懂的解析：

1. 旧方法：“相册”法

以往的方法试图通过拍摄舞蹈的“相册”来解决这个问题。它们会观察一段动作序列（步骤 1，步骤 2，步骤 3），并试图将整个过程总结为一个单一的标签。

缺陷： 如果舞者的速度改变了、房间大小变了或者灯光变了，“相册”看起来就会完全不同。计算机会感到困惑，认为这是一个新的舞者，尽管其实是同一个人。它依赖于捷径，比如“哦，这个舞者总是以旋转开始”，而不是理解舞蹈本身的“风格”。

2. 新方法：“食谱”法 (Behavioral INR)

作者意识到，一个舞者的风格不仅仅是一系列动作，它是一本规则手册或一份食谱。

类比： 想象一份巧克力蛋糕的食谱。
- 原料（状态/State）： 当前的情况（例如：“面糊很稀”或“烤箱很热”）。
- 动作（Action）： 你下一步要做什么（例如：“加入更多面粉”或“调低温度”）。
- 厨师（策略/Policy）： 正在制作蛋糕的具体那个人。

旧方法试图记忆制作出的每一份蛋糕的序列。而新方法 Behavioral INR 则试图学习那位厨师独特的食谱。它会问：“给定这个特定的情况，这位特定的厨师接下来最可能做什么？”

他们使用了一种被称为**隐式神经表示（Implicit Neural Representation, INR）**的数学技巧。

在视觉领域： 通常，INR 被用于将一组坐标 (x, y) 转换为颜色 (RGB)。这就像一个神奇的函数，无论你如何放大，它都知道图像中每个像素应该是什颜色。
在行为领域： 他们反转了这个逻辑。不再是从坐标到颜色，而是从状态（States）到动作（Actions）。该模型学习一个代表特定个体行为（即特定智能体的行为）的连续“函数”。

3. 核心秘诀：“潜码”（Latent Code）

为了让这套方法适用于许多不同的舞者（或策略），模型使用了一个潜码（Latent Code）。

可以把它看作是每个舞者的唯一身份证或DNA 链。
当模型观察一段新的动作序列时，它会尝试寻找正确的“身份证”，并将该身份证代入“食谱”中，从而完美解释为什么舞者会那样移动。
至关重要的一点是，模型不需要被告知“这是舞者 A”。它通过观察哪张身份证与数据最匹配，从而自行识别出来。

4. 为什么这意义重大（“缩放”测试）

论文在一些非常严苛的场景下测试了这一点：

变长序列（Variable Length）： 就像你可以放大或缩小一张高分辨率图像而不使其变得模糊一样，这个模型可以处理 10 步长的舞蹈，也可以处理 1000 步长的舞蹈。它不在乎长度，它在乎的是底层的规则。
“分布外”（Out-of-Distribution）测试： 想象你训练了一个在小房间里跳舞的舞者，然后去测试他在一个巨大的体育场里的表现。
- 旧方法会失败，因为房间的“照片”看起来不同了。
- Behavioral INR 则会成功，因为它学习的是“食谱”。它知道：“如果房间变大了，这位厨师还是会加入同样分量的盐。”它识别的是人，而不是环境。

5. 它在何处表现最佳

作者发现，当行为复杂且环境复杂时，这种“食谱”方法表现最为出色。

它胜在复杂的连续世界（如一级方程式赛车或机械臂）中，在这些场景下，行为的“规则”非常微妙，仅靠观察几步动作很难猜透。
它平手或落后于简单的世界（如国际象棋或简单的机器人任务）中，因为在这些场景下，行为非常直观或具有重复性，通过观察过去的动作（即“相册”法）就足以猜出是谁在操作。

总结

这篇论文引入了 Behavioral INR，它将一个人的行为视为一种连续的、无形的函数（即食谱），这种函数决定了他们如何对世界做出反应，而不是仅仅将其视为过去动作的列表。

通过学习这种“食谱”，AI 能够识别出是谁在行动，即使他们在新的环境中、以不同的速度或进行着不同数量的步骤。这就像是通过厨师调味时的独特方式来识别其烹饪风格，而不是仅仅通过背诵他们做过的菜谱。

技术摘要：个体行为的隐式神经表示

问题陈述

本文探讨了从无标签多策略行为数据中进行策略表示学习的挑战。在许多现实世界领域——如机器人游戏、体育运动、赛车和游戏日志中——数据集包含由多个不同策略（例如不同的玩家、驾驶员或演示者）生成的轨迹，但无法得知每个片段（episode）所对应的具体策略。

核心目标是在没有监督的情况下，推断出每个片段的潜在表示 $z_i$ ，从而恢复底层的策略身份。作者假设在单个片段内，策略是固定的，但在训练期间无法获得任何策略标签、成对约束或环境参数。该表示必须仅通过片段的“状态-动作”结构进行离线且自监督地推断。

一个关键的挑战在于识别出的策略级分布外（OOD）偏移。标准的行为 OOD 设置通常涉及不同的智能体或环境。然而，在多策略模仿数据中，存在两个额外的偏移维度：

状态分布偏移：同一策略在不同的状态分布下进行评估。
动作分布偏移：边际动作统计特性在训练/测试划分之间发生变化。

论文指出，许多现有方法在这些偏移下表现不佳，因为它们依赖于“捷径学习（shortcut learning）”——即通过边际状态分布 $p(s)$ 或动作分布 $p(a)$ 来识别策略，而非通过真实的条件策略映射 $\pi(a|s)$ 。

方法论：行为式 INR

作者引入了行为式 INR（Behavioral INR，隐式神经表示），这是一种自监督生成模型，它将 INR 的概念从计算机视觉领域迁移到了行为数据领域。

核心概念

在视觉领域，INR 将图像表示为将空间坐标映射到 RGB 值的连续函数。行为式 INR 则将策略表示为一个将状态映射到动作的函数。

函数表示：一个片段被视为来自底层“状态-动作函数”的一组样本。
潜在调制：一个共享的“状态-动作网络”（一个 MLP）通过 FiLM（特征线性调制） 层由片段级的潜在代码 $z_i$ 进行调制。
目标：潜在代码 $z_i$ 必须解释动作如何随状态的变化而变化，而不仅仅是总结轨迹的历史信息。

架构与训练

解码器：一个 3 块结构的 FiLM 调制 MLP，接收状态作为输入并预测随后的动作。
潜在推断：与直接将历史记录映射到潜在变量的摊销编码器（amortized encoders）不同，行为式 INR 将表示提取视为函数拟合。在测试时，共享的 INR 权重保持冻结，通过在特定片段观察到的状态-动作对上进行梯度下降来优化片段潜在变量 $z_i$ ，以最小化预测误差。
训练：模型使用回归损失（连续型）或交叉熵（离散型）在状态-动作历史、当前状态和下一动作的批次上进行训练。训练过程中不使用任何策略标签。

基准模型

论文将行为式 INR 与几种忠实适配且不需要策略标签的现有表示机制进行了对比：

CVAE-Transf./RNN：利用 Transformer 或 RNN 编码历史并解码动作的轨迹自动编码器。
VQ-VAE：离散轨迹编码。
历史条件 INR：一种 INR 解码器，其中潜在变量仍由标准的摊销历史编码器产生（旨在将 INR 解码器的优势与摊销潜在变量的优势区分开来）。
扩散模型：条件 DDPM 式的动作预测器。
行为嵌入图（BEM）：状态-动作对的非参数聚类。

核心贡献

行为式 INR 框架：一种全新的策略表示形式，将策略视为一个隐式神经函数，其中潜在代码调制一个共享的状态-动作映射。
策略级 OOD 定义：对多策略数据集中特有的 OOD 偏移进行了形式化定义（状态分布和动作分布偏移），旨在测试模型学习的是条件策略映射还是边际捷径。
捷径现象的实证分析：通过系统性评估表明，当策略身份可以通过状态/动作边际分布、符号重复或低维统计特性来恢复时，摊销历史编码器仍具有竞争力。然而，在必须恢复复杂的条件状态-动作函数等“困难”场景下，行为式 INR 显著优于这些基准模型。

结果

作者在合成高斯随机场（GRF）数据、MuJoCo（Minari 和增强版 Hopper）、DM Lab Seek-Avoid、Lichess（国际象棋）、DROID（机器人）和 FastF1（一级方程式赛车）上进行了评估。

合成与 MuJoCo 缩放实验：在控制变量的实验中（具有更长的片段、更多的策略以及 OOD 划分，如 Hopper 10x/20x 倍难度），行为式 INR 在策略身份恢复的**线性探测准确率（linear probe accuracy）**和 kNN 准确率方面始终高于摊销基准模型。当片段长度和 OOD 难度增加时，基准模型的性能往往会下降，而行为式 INR 能保持近乎完美的探测准确率。
现实世界领域：
- FastF1：行为式 INR 是表现最强的模型，证明了当策略数量增加且捷径较弱时，拟合得到的函数表示具有更好的扩展性。
- DROID：结果具有竞争力，但在这种低维设置中，动作边际分布提供了较强的捷径。
- Lichess：表现低于基准模型。作者将其归因于该领域的结构特性：符号化的棋盘状态、重复的开局以及稀疏的走子分布，使得其他方法能够利用行为式 INR 不依赖的捷径。
OOD 鲁棒性：当任务需要推断复杂的条件映射 $\pi(a|s)$ 而非依赖 $p(s)$ 或 $p(a)$ 时，行为式 INR 最为有效。在策略在状态或动作上存在重叠的设置中，行为式 INR 成功恢复了身份，而其他方法则失败了。

重要性与主张

论文声称，行为式 INR 为连续、复杂的状态-动作空间中的策略身份提供了一种更鲁棒的表示，特别是在数据无标签且存在分布偏移的情况下。

作者强调，其结果并不意味着行为式 INR 在所有领域都占据统治地位。相反，他们确定了一个特定的适用区间：

最佳适用场景：当策略身份必须通过复杂的、非线性的状态条件函数来推断，且边际捷径（状态或动作频率）不足以或容易产生误导时。
具备竞争力场景：当策略身份可以通过状态/动作捷径、符号重复或低维动作统计特性来恢复时，摊销历史编码器仍然有效。

这项工作表明，将行为视为一个待拟合的函数，而非一个待总结的序列，对于理解机器人、游戏和体育领域中异构数据集的潜在优势，前提是底层的策略结构足够复杂，足以防止捷径学习。