Small Area Estimation under Spatial Regimes: Spatially Clustered Fay-Herriot Models for Agricultural Indicators

技术摘要：空间机制下的小区域估计

问题陈述
区域级小区域估计（SAE）通常依赖于 Fay–Herriot (FH) 模型，该模型通过协变量和随机效应在不同域之间借用强度。标准 FH 模型的一个关键局限在于其空间同质性的假设：它假定存在单一的、全局平稳的回归关系以及全局参数化的随机效应方差。然而，在许多社会经济和环境应用中，协变量与结果之间的关系具有空间异质性，这是由未观测到的机制、结构性断裂或局部机制驱动的。假设具有平滑空间依赖性（例如通过条件自回归结构）的全局模型会导致在机制边界处出现过度平滑，从而掩盖了具有实质意义的间断性。现有的替代方案，如空间非平稳 FH 模型或专家混合（MoE）方法，通过允许连续变化或概率性机制切换来解决这一问题。本文旨在建立一个框架，该框架能够明确识别出具有不同回归关系的、在空间上连贯的区域簇，而非仅仅假设连续变化或纯粹潜在的非空间混合。

方法论：空间聚类 Fay–Herriot (SC-FH) 模型
作者提出了 SC-FH 框架，该框架将簇内回归集成到 FH 结构中，同时强制执行空间连贯性。模型假设 $D$ 个小区域属于 $K$ 个潜在簇中的一个。在每个簇 $k$ 内，各区域共享特定的回归系数向量 $\theta_k$ 和特定的随机效应方差 $\sigma^2_{uk}$。

估计策略通过最大化惩罚对数似然函数来实现：
$$Q(\theta, \sigma^2_u, \hat{P}) = \sum_{d=1}^D \log f_{kd}(y_d | x_d; \theta_{kd}, \sigma^2_{ukd}) + \phi \sum_{d<d'} w_{dd'} I(k_d = k_{d'})$$
其中第一项是分配给该簇的 FH 似然项，第二项是 Potts 型惩罚项。这里，$w_{dd'}$ 表示邻接关系，$I(\cdot)$ 是指示函数，且 $\phi \geq 0$ 控制空间凝聚力的强度。该惩罚项鼓励相邻区域共享相同的簇标签，但并非强制要求一致，从而允许根据模型拟合度和空间凝聚力共同确定边界。

估计算法
由于参数与潜在簇标签之间存在纠缠，作者采用了交替优化方案：

1. 参数更新： 在给定当前划分的情况下，对每个簇子集分别使用极大似然法 (ML) 或限制极大似然法 (REML) 进行拟合 FH 模型。为了防止边界退化（即估计方差塌陷至零），作者使用了调整后的 REML 估计量 (Li and Lahiri, 2010)，通过最大化 $\sigma^2_{uk} \cdot L_R(\sigma^2_{uk})$ 来确保严格正的方差估计。
2. 标签更新： 在给定当前参数的情况下，为每个区域顺序更新簇标签（类似于迭代条件模式法，Iterated Conditional Modes），以最大化其局部惩罚贡献，从而在模型拟合度与邻居标签的一致性之间取得平衡。

模型选择与推断
论文概述了用于超参数 $K$（簇的数量）和 $\phi$（空间惩罚）的两步选择规则：

• $K$ 的选择： 通过在适度的惩罚带内使用贝叶斯信息准则 (BIC) 进行选择，以避免内生划分带来的乐观偏差。
• $\phi$ 的选择： 选择在“稳定性平台”起始处的数值，该平台定义为能产生可重复划分（通过相邻网格值间的调整兰德指数衡量）的最小惩罚值。
• 推断： 提出了一种参数化自助法（Bootstrap）程序来传播标签不确定性。不同于基于固定划分进行条件的常规方法，该方法为每次自助抽样重新运行整个聚类过程，从而生成簇特定系数和经验最佳线性无偏预测量 (EBLUP) 的经验变异性。

模拟结果
在波河平原（意大利北部）的真实地理环境下进行了广泛的蒙特卡洛模拟，测试了多种空间异质性场景（基于经度或基于海拔的簇）以及信号强度（协变量-响应空间中清晰或微弱的分离）。

• 恢复能力： 当机制在协变量–响应空间中分离时，该方法在适度惩罚（$\phi \in [0.25, 0.75]$）下几乎能完全恢复潜在划分。
• 稳定性： 空间惩罚起到稳定器的作用，通过修正偶发性的错误分配，降低了分类率和参数估计的蒙特卡洛离散度。
• 预测： 簇式 EBLUP 一致优于标准的合并 FH 基准（在分离良好的场景下，RMSE 降低了 12–22%），并避免了合并模型的过度收缩问题。
• 局限性： 在协变量信号较弱且空间结构破碎的场景下，该方法会表现出优雅的降级，无法完全恢复划分；在这种情况下，应保持最小化惩罚。
• 鲁棒性： 该框架对非对称抽样误差、非对称随机效应、低估的抽样方差以及中度残差空间相关性表现出鲁棒性。仅当底层数据生成过程是平滑梯度而非离散机制时，该方法才无法提供增益。

实证应用
该模型被应用于利用 SCARFACE 数据库进行的波河平原农场平均标准产出的分析。分析识别出了两个空间紧凑的生产机制：

1. 机制 C1（中东部平原）： 一个集约化畜牧带，其标准产出由畜牧禀赋驱动。该机制对应于高氨浓度和 PM2.5 浓度。
2. 机制 C2（皮埃蒙特平原与山脉弧带）： 一个耕作与山地机制，其产出由可耕地面积驱动，畜牧效应微乎其微。
   簇式预测器在 98% 的区域中优于直接估计，并避免了合并模型中观察到的过度收缩现象，且估计的系数与已知的结构性和环境异质性相吻合。

意义与主张
本文声称提供了一个“中间地带”，介于独立区域 FH 模型（未能充分利用空间信息）与全局平滑空间 SAE 模型（未能体现空间机制）之间。其主要贡献在于：

1. 概念层面： 将空间机制形式化为 FH 框架内连续的潜在簇，允许回归效应和方差呈现分段同质的变化。
2. 方法论层面： 提供了一种计算上可行的估计策略，处理了内生划分、通过调整后 REML 处理边界退化，以及通过全重拟合自助法处理标签不确定性。
3. 实践层面： 证明了显式建模空间机制可以显著提高预测精度和可解释性，特别是在存在剧烈空间间断性的农业和环境背景下。

作者对该方法的极限保持了谦逊的态度，承认当信号过弱或底层过程确实是平滑过程时，该方法无法恢复机制，并指出未来的工作可以探索软隶属度（模糊聚类）或时空扩展。