Feature leakage and the identifiability of direct-dependency entropy models of neural activity

技术摘要：特征泄漏与神经活动直接依赖熵模型的可识别性

问题陈述
生物神经元通过复杂的树突非线性机制整合数千个突触输入。然而，群体活动经常使用“直接”或加性输入-输出规则（例如逻辑单位）进行建模，其中每个输入都独立地贡献于一个标量驱动。在直接最大熵（Maxers）模型能够预测很大一部分高阶和时滞共活动性的背景下，存在一个关键的差距，即这些模型的“预测成功”与“机制解释”之间的差距。本文探讨的问题是：这种预测准确性是否意味着底层的神经机制确实是加性的，还是仅仅是特定采样输入状态分布下的产物。

本文认为，在稀疏的二值化神经记录中，遗漏的高阶相互作用、时间滞后或隐藏状态可以被“吸收”到拟合的一阶参数中，如果这些遗漏项与所包含的统计量在经验输入分布下相关。这种现象被称为特征泄漏（feature leakage），这意味着具有高拟合优度的模型在机制上可能是错误的。具体而言，对于稀疏二值输入，一种“共偏斜（coskewness）”通道允许相互作用项投影到一阶特征上，从而创造出一种加性的错觉。

方法论
作者开发了一个用于条件最大熵模型的识别性框架，利用信息几何学和特定的诊断工具，将分布内的预测与真实响应规则（$P(y|x)$）的恢复区分开来。

1. 信息投影分析： 作者形式化了在受限最大熵模型中，遗漏的充分统计量（$G$）如何偏移拟合的一阶参数（$\hat{\theta}$）。他们推导出，这种偏移取决于在采样输入分布（$P_{emp}$）下，包含的统计量（$F$）与遗漏的统计量（$G$）之间的费舍尔交叉协方差。如果该协方差非零，遗漏效应就会泄漏到拟合的参数中。
2. 共偏斜恒等式： 对于稀疏二值输入，作者推导出一个闭式恒等式，表明中心化的二阶乘积（$\delta_i \delta_j$）在向一阶特征（$\delta_i$）的投影与输入协方差以及稀疏因子 $(1-2p_i)$ 成正比。在稀疏机制下（$p_i \ll 0.5$），该因子接近 1，从而为高阶特征伪装成一阶特征创造了一个强有力的通道。
3. 诊断工具： 为了区分稳定的一阶机制与依赖于分布的伪影，论文引入了三种控制方法：
   • 状态重加权（State Reweighting）： 在保持估计的响应表 $P(y|x)$ 固定不变的情况下，将输入状态权重 $P(x)$ 从经验权重（$q_{emp}$）更改为乘积边缘分布权重（$q_{prod}$）或平衡权重（$q_{bal}$）。如果在一阶归因在重加权后显著下降，则说明最初的成功是依赖于分布的。
   • 条件对数几率对比（Conditional Log-Odds Contrasts）： 通过 $\Delta_{ij}$（对数几率中的相互作用项）直接测试局部响应表的加性。该项独立于 $P(x)$。
   • 时间泄漏模拟（Temporal Leakage Simulation）： 量化当输入具有自相关性时，瞬时统计量如何吸收滞后机制。

关键结果

• 基准真相模拟： 在具有纯高阶生成器（零线性驱动）的模拟中，直接模型所能捕获的可恢复信息表观比例（$\phi_{dir}$）随输入表示和相关性的不同而剧烈变化。对于稀疏且相关的二值输入，尽管基准真相是纯粹基于相互作用的，但 $\phi_{dir}$ 可达 ~0.84。相反，在平衡采样或对称表示下，$\phi_{dir}$ 降至 ~0。状态重加权控制成功分离了这些情况：高阶响应在平衡权重下失去了其一阶归因，而真正的加性响应则保持稳定。
• CA1 海马体记录： 应用于来自小鼠 CA1 记录的局部三输入“立方体”（因具有高共活动性和被充分采样的状态而被选中），诊断结果显示，大约一半在经验权重下表现为一阶的表格在经过分布敏感性测试后，在平衡重加权下表现出了分布敏感性。
  • 在经验权重下，中位数一阶归约为 0.754。
  • 在乘积边缘分布控制下，该值降至 0.679。
  • 在平衡压力测试权重下，该值降至 0.459。
  • 一个匹配的加性代理零假设（additive-surrogate null）证实，这种下降并非有限样本伪影；真正的加性表保持稳定，而观察到的“敏感”比例（48%）远高于零假设预期。
  • 至关重要的是，即使是那些在重加权后仍保持“成功”的表格，也显示出显著的条件对数几率对比（$\Delta_{ij}$），表明尽管它们具有预测能力，但并非真正具有加性。
• 视觉皮层记录： 对小鼠视觉皮层数据的分析显示了一个较小但可测量的分布敏感成分。大多数局部成功案例比 CA1 更稳健，但该效应依然存在，表明这并非海马体所特有。
• 原始共活动预测： 论文证明，预测原始高阶共活动（例如 $\langle y x_i x_j \rangle$）的高 $R^2$ 值并不能确认条件加性。这些指标是关于 $P_{emp}(x)$ 的平均值，即使在条件响应纯粹是交互式的条件下，只要采样几何结构将这些相互作用投影到一阶特征上，这些值也可以很高。

意义与主张
本文主张，直接熵解释比例和原始共活动预测，最好被解释为关于在观测到的状态分布（$P_{emp}$）下的预测陈述，而非作为不存在或微小的高阶、时间或潜在机制的证据。

作者并非声称直接模型是无用的；相反，他们认为成功的预测并不代表识别出了不存在更高阶、时间或潜在机制。该框架提供了定量工具，用以界定直接依赖最大熵模型的预测贡献范围。核心结论是，如果没有状态重加权和条件对数几率对比等控制手段，人们无法区分一个生物神经元是在非线性地整合突触信息，还是在特定的实验采样条件下实际上是一个加性的逻辑单位。观察到的许多数据集中的“一阶”行为，很大程度上反映了采样输入的几何结构，而非神经元的内在生物物理特性。