技术摘要：将“单元”作为原语迈向机器学习

问题陈述

标准的监督学习形式化通常始于一个记录数据集 $D = \{(x_i, y_i)\}_{i=1}^N$ 和一个映射 $f: \mathcal{X} \to \mathcal{Y}$。在这种记法中，索引 $i$ 标识的是一条记录，而非该记录所指向的持久性个体（即“单元”）。虽然这种遗漏在处理行级问题时是无害的，但当事件共享同一个个体、当查询在固定个体的情况下发生变化、或当对特定实体的归因存在不确定性时，这一问题就会变得至关重要。

至关重要的是，标准形式化并未明确说明不同的个体是否共享同一个响应律（response law），或者观察到的行级律是否仅仅是不同单元条件下的关系的边缘聚合。现有的传统——如重复测量模型、潜在结果框架和推荐系统——通过特定的假设在局部解决这些问题，但缺乏一个统一的语义原语，来将持久性引用对象提升为学习问题的核心。

方法论：将单元作为原语

本文建议将单元（Unit, $U$）提升为任务语义层面的显式原语。一个学习任务通过声明以下内容来定义：

1. 一个持久性引用对象群体 ($\mathcal{U}$)。
2. 一个同一性准则（何时事件涉及同一个引用对象）。
3. 该关系得以保留的时间跨度。

实现的数值 $U=u$ 表示一个被选定的引用对象。监督学习的语义对象是一个单元条件响应律族：
$$u \mapsto \left[ x \mapsto P^*_u(dy | x) \right]$$
其中 $P^*_u(dy | x) := P^*(Y \in dy | X=x, U=u)$。改变 $x$ 是在同一个固定的单元响应曲面上进行查询；改变 $u$ 则是从该族中选择不同的成员。

为了使该族在有限数据下可学习，本文引入了一种计算分解（假设 1）和一个结构化类：

• 上下文单元标记 ($Z^c_u$)： 分词器 $T_\phi$ 通过事实证据 $O$ 和上下文 $c$ 生成学习侧的表示。该标记介导了从单元到预测的所有路径。
• 共享响应律形式 ($R_\theta$)： 所有单元共享一个单一的响应机制 $R_\theta$，该机制读取该标记。结构化类要求 $R_\theta$ 仅通过声明的低复杂度映射（例如线性预测器）依赖于标记 $z$。

学习到的对象是二元组 $(T_\phi, R_\theta)$。分词器将单元特有的规律组织进一个简单的标记空间，从而使共享形式能够进行泛化。

访问模式

本文区分了两种访问单元的模式：

1. 直接单元访问： 一个受信任的解析器使用键 $k$ 来固定引用对象 $u(k)$ 并提供查找标记（例如，学习到的嵌入 $z_\theta(k)$）。这消除了“哪个单元”的不确定性，但留下了标记与形式的近似误差。
2. 单元溯因： 当没有解析器识别出单元时，通过事实证据 $O$ 形成一个标记 $Z^c = T_\phi(O, c)$。该标记作为一种上下文表示，在特定特化场景下（如身份混合学习器）可被解释为近似的身份后验。

核心贡献

1. 单元的形式化： 本文将单元形式化为任务声明的群体原语，将持久性引用对象与事件记录分离。它阐明了样本记录的是一次事件，而任务声明的是属于该事件的引用对象。
2. 共享形式接口： 它建立了一个共享形式接口（假设 1），其中结构化类是关于标记的简单关系。运行实例是一个线性预测器（定义 2），其学习对象是二元组 $(T_\phi, R_\theta)$。
3. 预测价值的分解： 本文将预言价值分解为专家预测价值、证据可及性、学习器近似以及组件可辨识性。它证明了行级边缘拟合无法识别内部单元结构。
4. 不可能与分离结果： 本文证明了未链接的单行观测值无法区分异质单元世界与同质聚合世界。相反，受信任的同单元对（已链接的观测值）可以通过单元内协方差分离这两个世界。

形式化结果与理论界限

价值–访问分解

在对数损失下，本文将单元信息的专家预测价值 ($V_{oracle}$) 分解为可及价值 ($V_{accessible}$) 和残余价值 ($V_{residual}$):
$$R^*_W - R^*_{U,W} = (R^*_W - R^*_{O,W}) + (R^*_{O,W} - R^*_{U,W})$$
其中 $R^*_W$ 是无单元信息的风险，$R^*_{O,W}$ 是具有证据 $O$ 的风险，$R^*_{U,W}$ 是具有完美单元知识的专家风险。残余项代表了关于单元的信息，这些信息具有预测价值，但在给定的证据下是不可及的。

端到端误差界限

部署后的预测误差受限于单元信念误差和固定单元响应误差之和。具体而言，真实边缘分布与学习到的边缘分布之间的 Kullback-Leibler 散度由下式界定：
$$E_{pred} \leq E_O [ D_{KL}(P(\cdot|O) \| Q_\phi(\cdot|O)) ] + E_{O,W} \left[ \int D_{KL}(K_{u,W} \| \hat{K}_{u,W}) P(du|O) \right]$$
这分离了由于不完美的单元识别（信念误差）产生的误差与在固定单元下建模响应律（响应律误差）产生的误差。

单行不可辨识性

命题 4 表明，在不受限制的响应核类中，每个样本仅有的律 $R(dy|x)$都有一个单元常数表示$K^R_u(dy|x) = R(dy|x)$。因此，仅凭边缘拟合无法识别世界是同质的还是异质的。

• 不可辨识性： 如果观测值来自全新的、未链接的单元，那么基于单行边缘分布，异质世界（其中单元具有不同的响应概率）在统计上与同质世界（其中所有单元共享相同的概率）是不可辨识的。
• 分离： 受信任的同单元对（重复链接）允许通过单元内协方差识别单元特定参数的方差 ($Var(p_U)$)，从而分离这两个世界。

评估启示

本文推导了评估协议的推论：

• 权重： 只有当所有观测到的单元具有相等的记录多重性时，行加权和单元加权的经验风险才会一致。
• 拆分： 行级拆分混合了对已知单元的新事件预测与对未知单元的预测。若要针对对未知单元的泛化进行目标化，则需要进行显式的单元不相交拆分。

意义与范围

本文声称，机器学习是从带有噪声的、选择性观测的、单元链接的事件中，学习跨任务声明单元的共享结构。其主要贡献在于提供了一个显式处理持久性引用对象的语义与计算框架。

• 适度声明： 作者强调，假设 1 是一个计算接口，而非可学习性定理。本文并未证明特定的学习规则能将近似惩罚驱动至零；而是定义了在何种条件下，共享形式足够简单以实现泛化。
• 与现有工作的区别： 该框架并非取代经典的统计学习或因果推理，而是增加了一个显式的问题：分词器如何组织单元，使得一个共享的响应律形式能够实现泛化。它区分了单元变异与环境变异（领域自适应），并澄清了“单元溯因”（通过证据形成标记）与经典因果溯因（推断外生噪声）的区别。
• 实践意义： 形式化结果表明，未链接的单行观测值无法验证单元结构。若要分离异质世界与同质世界，需要受信任的同单元链接。此外，评估必须区分行级与单元级估计量，以及已知单元与未知单元的泛化。

本文得出结论：当保留单元不会改变任何声明的目标、估计量或评估协议时，单元边缘化形式足以适用。然而，当持久性、归因或单元级评估变得重要时，必须将单元作为原语进行声明，以正确构建学习问题。