技术摘要：基于贝叶斯更新的概率分布比例类比

问题陈述

类比推理被定义为四元关系“A之于B，如同C之于D”（$a:b::c:d$），目前已在布尔、符号和实值领域得到了广泛的形式化。然而，将比例类比扩展到概率分布领域仍处于探索阶段。现有的定义分布间类比的尝试面临显著局限性：

• Murena, Cornuéjols, and Dessalles (2018) 利用信息几何中的平行移动。这种方法计算量巨大，且仅限于同一参数族内的分布，并且无法满足非平坦流形上比例类比的基本公理。
• Prade and Richard (2025) 通过算术-几何约束将经典的比例类比扩展到了分类分布（categorical distributions）。该框架局限于分类分布，施加了过于严格的条件，从而减少了有效类比的集合，且未能利用概率分布的统计特性。

核心挑战在于如何定义一种适用于任意分布、满足经典比例类比公理、并植根于概率推理基本机制的概率分布比例类比概念。

方法论

以贝叶斯更新为基础

本文引入了一种基于贝叶斯的比例类比。其核心假设是：如果一个分布可以通过由一组合适的观测所诱导的贝叶斯更新转化为另一个分布，则这两个分布是相关的。

令 $\mathcal{P}$ 为参数空间 $\Theta$ 上的概率分布空间，$\mathcal{L}$ 为统计模型，其似然函数为 $p(x|\theta)$。作者定义了一个对称关系 $p \xleftrightarrow{x}_{\mathcal{L}} q$，即 $q$ 是 $p$ 在给定观测 $x$ 下的后验分布，反之亦然。

一个基于贝叶斯的比例类比 $R_{\mathcal{L}}(p_A, p_B, p_C, p_D)$ 成立，当且仅当存在观测值 $x_1, x_2 \in \bar{\mathcal{X}}$（其中 $\bar{\mathcal{X}}$ 包含空观测 $\emptyset$），使得：

1. $p_A \xleftrightarrow{x_1}_{\mathcal{L}} p_B$ 且 $p_C \xleftrightarrow{x_1}_{\mathcal{L}} p_D$
2. $p_A \xleftrightarrow{x_2}_{\mathcal{L}} p_C$ 且 $p_B \xleftrightarrow{x_2}_{\mathcal{L}} p_D$

该定义依赖于统计可达性（statistical reachability）：如果（在 terms of 所需更新的意义上）$A$ 与 $B$ 之间的“距离”等同于 $C$ 与 $D$ 之间的距离，且两者都由相同的似然模型介导，则类比成立。

理论特征化：指数族

作者证明，对于属于指数族的分布，这种类比在自然参数空间中具有简单的算术特征。

• 命题 4 与定理 1： 对于具有自然参数 $\eta(\xi)$ 的指数族分布 $p(.|\xi)$，类比 $p_A : p_B :: p_C : p_D$ 成立，当且仅当：
  1. 自然参数满足算术比例：$\eta(\xi_B) - \eta(\xi_A) = \eta(\xi_D) - \eta(\xi_C)$。
  2. 或者满足“反向解”：$\eta(\xi_A) = \eta(\xi_D)$ 且 $\eta(\xi_B) = \eta(\xi_C)$。
  3. 关键条件： 差分向量必须属于似然模型充分统计量 $S(x)$ 的像空间，记作 $\text{Im}(S)$。

这一结果意味着，可能存在的类比的“丰富度”是由 $\text{Im}(S)$ 的几何结构决定的。如果 $\text{Im}(S)$ 覆盖了整个参数空间，则该类比是**极大（maximal）**的。

针对任意分布的近似求解器

为了将该框架扩展到非解析可解的指数族之外，本文提出了一种受近似贝叶斯计算（ABC）启发的基于采样的算法。

• 输入： 来自分布 $p_A, p_B, p_C$ 的有限样本。
• 目标： 寻找一个分布 $p_D$（以样本形式表示）以及潜在观测值 $x, x'$，以满足类比的一致性条件。
• 机制：
  1. 后验采样： 使用重要性采样从先验样本中近似后验分布 $p(\theta|x)$。
  2. 逆更新： 通过允许反向更新（利用与 $1/p(x|\theta)$ 成比例的权重进行重采样来恢复先验）来处理该关系的对称性。
  3. 优化： 搜索潜在数据集 $(x, x')$，以最小化经验分布与重建样本之间的差异（例如 Wasserstein 距离）。
  4. 验证： 只有当有效样本量（ESS）足够且重建误差低于阈值时，解才会被接受。

核心贡献

1. 新颖定义： 引入了一种基于贝叶斯更新的概率分布比例类比定义，该定义满足比例类比的基本公理（自反性、对称性和中心置换性）。
2. 算术特征化： 证明了对于指数族，只要参数差值位于似然充分统计量的像空间内，类比即可简化为自然参数之间的算术比例。
3. 泛化能力： 开发了一种基于采样的算法，用于求解任意概率分布的类比方程，绕过了对闭式解析解的需求。
4. 表达能力的理论分析： 证明了类比的表达能力直接取决于充分统计量像空间的几何结构，并定义了特定似然模型（如高斯线性回归）下的“极大”类比。

实验结果

作者在涉及多元正态分布的合成基准测试上评估了该基于采样的求解器，其中解析解是已知的。

• 设置： 生成了 3,121 个类比方程。测试了两种似然模型：标准正态似然和线性回归似然。
• 在正态似然下的表现： 算法在正态似然下回收了 0% 的解。这符合预期，因为该模型的类比支撑集是零测度的，这证实了算法不会产生假阳性。
• 在回归似然下的表现： 通过使用贝叶斯优化在潜在观测空间中进行搜索，求解器成功回收了 3,121 个方程中的 1,918 个（61.45%）。
• 准确性： 对于成功的运行，解析解与回收解之间的中位数 Wasserstein 距离为 0.132。均值估计显示出与地面真值极强的 Pearson 相关性（0.997），而方差估计往往被低估。
• 观察到的局限性：
  • 搜索空间： 对于复杂的似然函数，穷举网格搜索在计算上是不可行的；因此使用了贝叶斯优化以提高效率。
  • 粒子退化： 近似误差与低有效样本量（ESS）强相关，表明重要性采样步骤中的粒子退化是误差的主要来源。
  • 非极大类比： 算法正确地未能找到基于非极大似然（其支撑集为零测度）的类比解，证实了它不会产生假阳性。

意义与主张

本文声称提供了一个原则性的基础，通过将类比植根于概率推理的内在机制，将类比推理与机器学习联系起来。

• 理论贡献： 不同于以往依赖几何流形或在概率上进行权宜算术的方法，本框架能够自然地扩展到任意分布，并满足类比推理的公理化要求。
• 实际效用： 该框架为迁移学习、数据增强、分布重建、基于案例的推理和元学习等应用开辟了新视角，在这些领域中，直接对概率分布进行推理提供了知识迁移的自然机制。
• 谦逊态度： 作者承认当前的实现受限于重要性采样的近似质量。他们明确指出，“反向解”（即 $A=D$ 且 $B=C$）是由于对称性定义的后果，尽管有人可能会对此有争议，但这在他们的理论框架中是自然涵盖的。作者建议未来研究更先进的推理技术（如后验采样）以提高鲁棒性和可扩展性。