Fair Multi-View Determinantal Coresets via Adaptive NEPv

技术摘要：通过自适应 NEPv 实现公平多视图行列式核心集

问题陈述

在监督式多模态学习中，在固定预算下的策展通常需要选择一组具有多种表示（视图）的候选子集，例如文本描述和 Logo 图像。一个关键的瓶颈在于，单一核函数或平均核函数无法同时捕捉所有视图的多样性。例如，针对文本多样性选择的子集可能会在视觉多样性上发生坍缩，反之亦然。标准方法（如在单一视图下进行选择或对核进行平均）要么忽略特定视图，要么通过高聚合得分来掩盖某一视图的失效。

本文研究了公平多视图行列式选择（Fair Multi-View Determinantal Selection）问题：即选择一个大小为 $k$ 的子集 $S$，以最大化最弱的单视图归一化对数行列式。形式上，给定具有核 $L^{(1)}, \dots, L^{(M)}$ 的 $M$ 个视图，目标是最大化：
$$\min_{q} \left( \frac{1}{k} \log \det(L^{(q)}_S) \right)$$
该目标确保不会为了其他视图而牺牲任何单一视图，从而防止出现某一模态覆盖不足的“盲点”。

方法论

作者提出了一种利用 Stiefel 流形 进行连续松弛的方法，并通过 自适应非线性特征值问题（Adaptive Nonlinear Eigenvalue Problem, NEPv） 来求解该问题。

1. Stiefel 松弛：
   该方法并非使用分数隶属度权重（单纯形松弛），而是将离散指示矩阵 $V_S \in \{0,1\}^{n \times k}$ 松弛为正交框架 $V \in \text{St}(n, k)$（其中 $V^\top V = I_k$）。

   • 这保留了每个视图下 $k$ 维体积的精确几何结构。
   • 至关重要的是，它分别评估每个原始对数行列式，而不是用单一的平均核来替换它们。
   • 目标函数使用软最小（soft-min）近似（有限温度 $\tau$）来处理不可微的 $\min$ 算子：
     $$f_\tau(V) = -\tau \log \left[ \frac{1}{M} \sum_{q=1}^M \exp\left( -\frac{g_q(V)}{\tau} \right) \right]$$
     其中 $g_q(V) = \frac{1}{k} \log \det(V^\top L^{(q)} V)$。

2. 自适应 NEPv 公式化：
   不同于具有闭式谱解（前 $k$ 个特征向量）的单视图 DPP-MAP，多视图公平目标产生的平稳条件取决于当前的子空间。

   • 目标的梯度导致了视图自适应权重 $w_q(V)$，这些权重会为对数行列式较低的视图分配更高的权重（即“最弱”的视图）。
   • 平稳条件被推导为一个规范不变（gauge-invariant）的 NEPv：
     $$H_\tau(V) V = V \Lambda$$
     其中 $H_\tau(V)$ 是由视图特定逆 Gram 矩阵的加权和构成的对称算子。该算子依赖于 $V$ 本身，因此是一个非线性问题。

3. 求解器 (FairNEPv)：
   作者开发了一个自适应自洽场（Self-Consistent Field, SCF）迭代过程来求解该 NEPv：

   • 迭代： 在每一步中，计算特定于视图的 Gram 矩阵和权重，构建算子 $H_\tau(V_t)$，并提取前 $k$ 个特征向量以更新 $V_{t+1}$。
   • 稳定性： 求解器采用了阻尼（damping）技术（以处理当“最差”视图发生变化时产生的振荡）和水平平移（level shifting）（以确保存在统一的特征间隙下界，从而保证前 $k$ 个子空间是定义良好且唯一的）。
   • 舍入（Rounding）： 通过杠杆得分筛选（leverage-score screening）以及随后的局部贪婪细化（单元素交换）将连续子空间 $V^*$ 舍入为离散集合 $S$，以最大化离散公平目标。

核心贡献

1. 公平多视图 Stiefel 松弛： 本文提出了一种保留各视图独立行列式并最大化其平滑近似值的松弛方法。作者证明了离散子集可以精确嵌入到此松弛中，尽管所得的平稳方程与固定权重核问题有所不同。
2. 自适应 NEPv 与 SCF 求解器： 作者推导出了一个算子依赖于通过软最小权重变化的子空间的规范不变 NEPv。他们提供了理想化子空间映射的局部收敛定理，证明了在特定敏感性条件下相对于特征间隙的收缩性。
3. 可复现的多模态协议： 本文规定了 USPTO 商标数据集的协议，将文本描述与 Logo 嵌入对齐。它概述了一个包括内在公平性指标在内的严格评估框架；然而，作者明确指出，由于对齐的图像特征和拆分数据尚未发布，当前版本的论文未包含实际数据的多模态结果及下游评估。

结果

• 合成实验： 在一个受控的“质量冲突”压力测试中（其中候选者要么是文本专家，要么是视觉专家，要么是平衡型），FairNEPv 成功选择了平衡的混合项。
  • 单视图选择器导致其中一个视图完全坍缩。
  • 平均核和固定权重求和未能强制执行平衡，通常只会选择来自某一侧的专家。
  • FairNEPv 达到了 1.120 的公平得分（$F_\tau$），显著优于基准方法（例如，单视图选择器的得分为 $-2.199$）。与离散最优解（1.141）的差距很小（0.021）。
• 真实世界数据： 本文并未报告 USPTO 数据集的结果。文中明确说明，由于对齐的 Logo 嵌入和图像特征尚未在仓库中发布，因此省略了真实数据的多模态结果。相关的实证研究已明确说明，将在必要的资料可用时再行开展。

意义与声明

本文谦虚地声称提供了一个用于公平多视图策选的理论框架和算法求解器。

• 它确立了 Stiefel 松弛允许离散子集的精确嵌入，同时实现连续优化。
• 它证明了多视图公平问题本质上会导致一个非线性特征值问题，因此需要提出的自适应 SCF 方法而非标准的谱方法。
• 作者明确表示，其工作并不声称具有全局收敛性、舍入近似保证或在真实数据上的下游效用增益证明。其意义在于在合成设置中隔离出公平性机制，并为未来的多模态评估定义协议。真实数据的验证已推迟至必要的资料发布之后。