Impact Range Assessment (IRA): An Interpretable Sensitivity Measure for Regression Modelling

技术摘要：影响范围评估 (Impact Range Assessment, IRA) 用于回归建模

问题陈述
回归模型广泛用于模拟预测变量与数值响应变量之间的关系；然而，解释单个预测变量的影响力仍然具有挑战性。在线性回归中，系数具有尺度依赖性，在标准化后会失去其原始单位的解释性。在非线性模型（特别是机器学习算法）中，由于缺乏可解释的参数，难以比较不同预测变量的影响程度。现有的敏感性分析方法存在局限性：基于局部导数的方法仅能捕捉输入空间内受限区域内的效应，而全局方法（如 Sobol 或 Morris 方法）通常计算量大且数学逻辑复杂。此外，散点图等视觉检查方法缺乏用于对预测变量重要性进行排序的定量指标。因此，需要一种直观、高效且与模型无关的方法，来量化预测变量在其完整观测范围内的影响力。

方法论：影响范围评估 (IRA)
作者提出了影响范围评估 (IRA)，这是一种与模型无关的敏感性度量方法，旨在量化每个连续数值预测变量对回归模型响应变量的最大影响。该方法通过测量当特定预测变量在其观测数据范围内变化，同时保持其他预测变量基于背景观测值不变时，响应变量产生的总潜在变化来进行运作。

IRA 算法包含五个步骤：

1. 选择 (Selection)： 选择一个单一预测变量作为“目标预测变量”。
2. 插值 (Interpolation)： 在目标预测变量的观测最小值和最大值之间生成 $M$ 个等间距的值。
3. 背景采样 (Background Sampling)： 从原始训练数据集中有放回地随机抽取 $K$ 个观测值，作为背景上下文。
4. 修改 (Modification)： 对于每个背景观测值，用 $M$ 个插值点替换目标预测变量，从而为每个背景样本创建 $M$ 个修改后的输入集。
5. 计算 (Calculation)： 模型对所有修改后的集合进行预测。对于每个背景观测值 $k$，计算预测输出的范围（$\max \hat{y}_i^k - \min \hat{y}_i^k$）。预测变量 $i$ 的 IRA 值是所有 $K$ 个背景观测值中这些范围的平均值：
   $$IRA_i = \frac{1}{K} \sum_{k=1}^{K} (\max \hat{y}_i^k - \min \hat{y}_i^k)$$

该方法支持两种执行模式：

• 单次执行 (Single-execution)： 提供预测变量影响的点估计。
• 重复执行 (Repeated-execution)： 使用不同的随机背景样本多次重复该过程，以生成 IRA 值的分布，从而允许计算 95% 置信区间 (CI)，以评估稳定性和不确定性。

关键结果
该方法使用合成数据集（线性与非线性）以及一个涉及饲料厂数据集的真实案例研究进行了评估。

• 合成线性数据： 当应用于线性回归模型时，单次执行的 IRA 成功区分了相关预测变量与无关噪声变量。相关预测变量（$X_1, X_3, X_4, X_6, X_7$）产生的 IRA 值显著高于无关变量（$X_2, X_5, X_8$）。结果具有鲁棒性，并且在各种插值点配置（50–500）和背景样本量（50–500）下表现一致，表明对于简单的线性模型，无需进行重复分析。
• 合成非线性数据： 应用于随机森林回归器时，IRA 同样正确识别了相关预测变量，其数值高于无关变量。研究发现，使用 50 个插值点会略微低估非线性关系中的影响，而使用 100 个或更多点则能提供稳定的估计。同样，将背景观测值从 50 增加到 100 提高了稳定性，但超过 100 后收益递减。100 个插值点和 200 个背景观测值的配置被认为是平衡稳定性与计算成本的最佳方案。重复 IRA 分析（50–90 次重复）证实了排序的稳定性，并提供了较窄的置信区间。
• 案例研究（颗粒耐受指数）： 在一个通过饲料制造数据预测颗粒耐受指数 (PDI) 的多元线性回归模型中，IRA 对预测变量的影响进行了排序。结果强调“脂肪含量”、“ADL 含量”和“室内湿度”是影响最大的因素。
  • 与先前方法的比较： 作者将 IRA 与之前的一种局部敏感性分析（You 等人）进行了对比，后者通过围绕均值 $\pm 20\%$ 变化预测变量。局部方法基于狭窄的范围将“膨胀温度”识别为最显著的影响因素，而 IRA 考虑了完整的观测范围（62.5°C 至 111.7°C），揭示了“脂肪含量”具有更大的总影响（约 5.5 个 PDI 单位的变化），尽管“累计产量”的数值范围更宽（约 1.6 个单位的变化）。这证明了 IRA 提供全局汇总指标的能力。

意义与主张
论文声称，IRA 提供了一种简单、直观的方法来解释和排序预测变量的影响，从而提高了模型的透明度和可靠性。其主要贡献包括：

1. 可解释性： 它提供了一个单一且可解释的数值，代表由于预测变量变化而导致的响应变量的最大可能变化，易于技术人员和非技术用户理解。
2. 模型无关性： 该方法适用于包括经过变量转换或具有不同尺度的预测变量在内的线性与非线性模型。
3. 交互作用捕获： 通过利用背景观测值，IRA 能够部分捕捉基于现实预测变量组合的交互效应，这与仅孤立改变单个预测变量而不考虑上下文的方法不同。
4. 鲁棒性： 该方法允许通过重复分析来评估结果的稳定性并生成置信区间，解决了随机采样带来的不确定性。

局限性
作者承认存在以下约束：

• 在未经调整的情况下，IRA 不适用于离散数值型或分类预测变量。
• 由于输出的概率性质，该方法难以应用于逻辑回归。
• IRA 值具有数据集依赖性，无法在具有不同预测变量范围的不同数据集之间进行比较。
• 结果可能对极端值敏感；作者建议如果存在异常值，应限制分析范围（例如 25 百分位数至 75 百分位数）。
• 对于不同的模型，可能需要进行参数调优（插值点数量和背景样本量）。