📊 statistics

Discussion of "Matrix Completion When Missing Is Not at Random and Its Applications in Causal Panel Data Models"

本文在肯定 Choi 和 Yuan（2025）关于在“非随机缺失”条件下利用矩阵补全进行面板数据因果推断的新方法的同时，从“拆分 - 应用 - 组合”策略的视角将其与现有估计量相联系，探讨了理论与实践间的“最后一公里”问题，并结合右携枪法对暴力犯罪影响的研究案例，进一步阐述了该方法在公共政策评估中的应用与挑战。

原作者： Eli Ben-Michael, Avi Feller

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Eli Ben-Michael, Avi Feller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章其实是在讨论如何更聪明地“猜”出缺失的数据，以便我们更好地评估政策（比如法律）的效果。作者们是在评论一篇新论文（Choi & Yuan, 2025，简称 CY），并提出了自己的看法和实际测试。

为了让你轻松理解，我们可以把这篇论文的内容想象成**“修补一张破旧的拼图”和“预测天气”**的故事。

1. 核心问题：拼图缺了一块，怎么补？

想象你有一张巨大的拼图，代表过去几十年的数据。

拼图块：每个州（单位）在每一年（时间）的犯罪率。
缺失的部分：有些州在某个时间点通过了“携带枪支法”（RTC 法律）。一旦法律通过，我们就永远无法知道“如果这个州当时没有通过法律，犯罪率会是多少”。这就是拼图缺掉的那一块（反事实数据）。

传统的做法（CY 论文的新方法）：
以前的方法可能试图用一条简单的直线（线性回归）去硬套所有数据，但这往往不准，因为每个州的情况太复杂了。
CY 提出的新方法是**“矩阵补全”**。这就好比：

你有一张巨大的表格，大部分格子是填好的（没通过法律的州），只有少部分格子是空的（通过法律的州）。
作者发现，虽然缺失的数据是有规律的（只有通过法律的州才缺），但只要没通过法律的州（控制组）足够多，我们就能利用这些“好邻居”的数据，通过数学算法（低秩矩阵补全），把缺失的格子“猜”出来。

他们的核心洞察是： 只要“没吃药的人”（对照组）足够多，我们就能很准地推算出“吃药的人”（处理组）如果没吃药会是什么样。

2. 作者的评论：好主意，但落地有“最后一公里”的坑

作者 Ben-Michael 和 Feller 对 CY 的方法表示赞赏，认为这是一种聪明的“分而治之”策略：

拆分 (Split)：把大问题拆成小问题（比如按时间、按州拆分）。
应用 (Apply)：对每个小问题用数学工具去“猜”缺失数据。
合并 (Combine)：把结果拼回去，算出最终的政策效果。

但是，他们指出了三个“落地难题”（最后一公里问题）：

难题一：时间怎么算？（日历时间 vs. 事件时间）
- 比喻：如果你问“今天大家吃了多少药？”，这很难回答，因为有人刚吃第一口，有人已经吃了十年。
- CY 的方法算的是“日历时间”（比如 2005 年所有州的效果）。但作者认为，算“事件时间”（比如“法律通过后的第 1 年”）更有意义，因为这样比较的是处于相同阶段的州。但在数学上，把不同年份的数据混在一起算，会让数学证明变得很复杂。
难题二：参数怎么调？（超参数选择）
- 比喻：就像烤蛋糕，你需要决定放多少糖（正则化参数）。放少了蛋糕塌了（欠拟合），放多了太甜了（过拟合）。
- 在数据缺失有规律的情况下，怎么选这个“糖量”是个大难题。作者建议需要更简单的自动化工具来帮大家选。
难题三：怎么检查是不是猜错了？（诊断工具）
- 比喻：你猜出了缺失的拼图，怎么知道猜得对不对？
- 通常我们会看“法律通过前”的数据（安慰剂检验）。如果法律还没通过，你的模型应该猜出“没效果”。如果模型在通过前就猜出“有大效果”，说明模型瞎猜了（过拟合）。作者建议要增加更多类似的检查工具。

3. 实战演练：用“携带枪支法”测试一下

为了验证这个方法好不好用，作者拿美国各州的“携带枪支法”（RTC）对暴力犯罪的影响做了一个实验。

背景：美国各州在不同年份通过了这个法律。有的州早，有的州晚。
数据特点：只有 50 个州（样本少），时间跨度 30 多年。数据很“病态”（数学上很难处理，稍微动一下结果就大变）。

实验结果大反转：

直接套用新方法（没做预处理）：
- 结果吓死人：模型算出，法律通过后，暴力犯罪率暴涨了 200 多起/10 万人。
- 比喻：这就像你给病人吃感冒药，结果算出病人第二天长出了翅膀。这显然不符合常识，说明模型过拟合了（它太想拟合数据，反而把噪音当成了信号）。
先“洗个澡”再套用（加上固定效应预处理）：
- 作者建议：在算之前，先把各州固有的差异（比如有的州本来就犯罪率高，有的州本来就低）和年份的普遍趋势（比如某年经济不好大家都犯罪率高）先减掉。
- 结果：算出来的效果变成了犯罪率下降了 8-10 起/10 万人。
- 这个结果和其他主流方法（如合成控制法）的结果非常接近，看起来靠谱多了。

总结：这篇论文想告诉我们什么？

新工具很强大：CY 提出的“矩阵补全”方法，在数据缺失有规律时，理论上非常厉害，能帮我们填补巨大的数据空白。
但别盲目用：就像给病人开药，不能直接扔一大把药。如果数据本身有“脏东西”（比如各州基础水平差异大），直接算会得出荒谬的结论（比如犯罪率暴涨）。
预处理是关键：在使用这种高级数学工具前，必须先像“洗数据”一样，把各州和年份的基础差异剔除掉（固定效应），否则再高级的算法也会算出“长翅膀”的荒谬结果。

一句话总结：
这篇论文是在说，“矩阵补全”是个很棒的数学魔术，能把缺失的数据变出来；但在把它用在真实的政策评估前，我们必须先给数据“洗个澡”，否则魔术变出来的可能是个怪物，而不是真相。

论文技术总结：矩阵补全在因果面板数据中的应用与反思

1. 研究背景与核心问题

背景：在面板数据因果推断中，处理效应（Treatment Effect）的估计常面临“缺失非随机”（Missing Not at Random, MNAR）的问题，即处理分配（Treatment Assignment）与潜在结果相关。传统的矩阵补全（Matrix Completion）方法通常假设缺失是随机的，这在政策评估（如 staggered adoption，交错处理）中往往不成立。
CY 的提议：Choi and Yuan (2025) 提出了一种新的矩阵补全方法，旨在解决结构化缺失（即处理选择）下的因果效应估计问题。其核心洞察是：即使存在结构化缺失，只要处理组观测值的数量远小于控制组观测值的数量，矩阵补全方法仍然有效。
本文目的：Ben-Michael 和 Feller 对 CY 的方法进行了评价，将其置于“拆分 - 应用 - 组合”（Split-Apply-Combine）的框架下，探讨了理论到实践的“最后一公里”问题，并通过“拥枪法”（Right to Carry, RTC）对暴力犯罪影响的实证案例，展示了该方法在实际应用中的挑战与改进方向。

2. 方法论框架：拆分 - 应用 - 组合策略

文章将 CY 的方法归类为现代面板数据估计器（如双重差分 DiD、合成控制法）通用的**“拆分 - 应用 - 组合”（Split-Apply-Combine）**策略：

拆分（Split）：
- 传统 DiD：将面板数据拆分为多个“两期两组”的子集（基于处理时间），分别估计处理效应，避免“禁止比较”（forbidden comparisons，即已处理组与未处理组的错误对比）。
- CY 的矩阵补全：
  1. 选择一个焦点时间点和一组具有相同处理时间的单元。
  2. 构建子矩阵：包含选定的处理单元、所有尚未处理的单元，以及焦点时间点之前的预处理时期和焦点时间点。
应用（Apply）：
- 使用**核范数正则化（Nuclear-norm regularized）**的矩阵补全技术，对缺失的反事实结果（Counterfactuals）进行插补。
组合（Combine）：
- 计算观测结果与插补反事实之间的差异，并对所有处理单元取平均，得到最终估计量。

关键理论探讨：

个体处理效应（ITE）vs. 处理组平均处理效应（ATT）：由于个体层面的异质性误差项（idiosyncratic error term），无法对单个单元的反事实进行有界的插补（因果推断的基本问题）。因此，文章建议关注 ATT。
“先组合后应用”（Combine-Apply）的潜力：文章指出，如果潜在结果具有平滑性，先将处理单元聚合（如合成控制法中的加权平均），再寻找匹配的控制组进行插补，可能比“先拆分后应用”（针对每个单元单独插补）更有效率（Fine Balance 策略）。

3. 统计“最后一公里”问题（The Last Mile Problem）

文章指出，尽管 CY 的方法在理论上具有保证，但在实际部署中面临以下挑战，并提出了解决思路：

时间维度的选择（日历时间 vs. 事件时间）：
- CY 针对**日历时间（Calendar Time）**的平均处理效应（ $\tau^{cal}_{t0}$ ），即同一时间点所有处理单元的平均。这在处理效应随时间动态变化时难以解释（混合了刚处理和处理很久的单元）。
- 应用研究更倾向于事件时间（Event Time）（ $\tau^{event}_{k}$ ），即处理开始后第 $k$ 期的平均效应。
- 挑战：在低秩矩阵模型中，按事件时间聚合涉及跨越不同日历时间（即不同的奇异值/因子），这可能导致渐近正态性和方差形式的理论推导变得复杂。
异方差稳健推断（Heteroskedastic-robust Inference）：
- 社会科学数据通常存在异方差。文章赞赏 CY 在补充材料中扩展了块状缺失（block missingness）下的异方差稳健渐近结果，并建议将其推广到交错处理（staggered adoption）情形，这对实践者至关重要。
超参数选择（Hyper-parameter Selection）：
- 核范数正则化需要调节参数。传统的交叉验证（随机子采样）可能破坏缺失数据的结构。
- 建议：借鉴合成控制法中的“留出预处理期”（hold-out pre-treatment periods）策略，评估插补在留出期的表现，以选择更稳健的超参数。
诊断工具（Diagnostics）：
- 除了标准的“事件研究图”（Event Study Plot）和安慰剂检验（Placebo Check，即 $k<0$ 时效应应接近 0），文章强调需警惕过拟合（Over-fitting）导致的虚假零效应。
- 建议：引入**“时间内安慰剂”（In-time-placebo）**检查，即人为设定虚假的处理时间，检验模型是否能识别出非零效应，以此验证假设的稳健性。

4. 实证应用：拥枪法（RTC）对暴力犯罪的影响

文章利用美国各州 1977-2014 年的数据，评估 RTC 法律对暴力犯罪率的影响，以此测试 CY 方法在实际政策评估中的表现。

数据特征：
- 单位少（ $N \approx 50$ ），时间长（ $T \approx 50$ ），属于小样本面板。
- 处理时间差异巨大（最早与最晚相差 29 年），导致预处理期长度不一。
- 数据条件数（Condition Number）较高（100-10,000），表明数据病态，存在长尾的潜在因子。
实验设置：
- 比较了四种方法：(i) 全矩阵核范数补全；(ii) CY 估计量；(iii) 部分池化合成控制法（PP-SCM）；(iv) Gsynth 估计量。
- 进行了两种预处理：(a) 无预处理；(b) 先去除单元和时间固定效应（Residualization）。
主要发现：
1. 无预处理时的失效：
  - 矩阵补全方法（包括 CY）估计出的处理后效应极其巨大且不切实际（例如，全矩阵方法估计暴力犯罪增加 205/10 万，CY 估计增加 136/10 万）。
  - 相比之下，合成控制法和 Gsynth 估计的效应较小（约 3-11/10 万）。
  - 这表明在存在显著水平差异（Level Differences）时，直接对原始数据应用矩阵补全会产生严重偏差。
2. 固定效应预处理的有效性：
  - 当先去除单元和时间固定效应（即对残差进行矩阵补全）后，结果发生了显著变化。
  - 矩阵补全估计值与合成控制法、Gsynth 的结果更加一致，且估计出的是犯罪率的下降（约 -8.5 至 -10.1/10 万），而非之前的巨大上升。
  - 这一结果强调了在应用矩阵补全前，先通过固定效应去除数据中的结构性水平差异的重要性。

5. 结论与意义

理论贡献：文章确认了 CY 提出的“拆分 - 应用 - 组合”策略在矩阵补全中的有效性，并将其与现有的 DiD 和合成控制法统一在同一个框架下。
实践意义：
- 警示：直接应用矩阵补全处理政策评估数据（特别是存在异质性和水平差异时）可能导致灾难性的估计偏差。
- 改进方向：
  1. 必须重视预处理（如去除固定效应）以消除水平差异。
  2. 需要开发针对交错处理设计的异方差稳健推断方法。
  3. 需要更完善的诊断工具（如时间内安慰剂检验）来识别过拟合和假设违背。
  4. 在估计目标上，应优先考虑事件时间平均效应而非日历时间平均效应，以增强可解释性。
总体评价：CY 的方法为解决非随机缺失下的面板数据问题提供了强有力的新工具，但要将其成功应用于公共政策评估，仍需解决从理论保证到实际部署之间的“最后一公里”问题，特别是数据预处理和诊断验证环节。