Finite-Sample Inference for Sparsely Permuted Linear Regression

技術要約：疎な置換を伴う線形回帰における有限標本推論

問題設定
本論文は、共変量と応答の対応関係が未知の置換によって乱されている線形回帰における統計的推論の問題を扱う。具体的には、著者らは以下のモデルを検討している：
$$Y_{\text{obs}} = \Pi_0 X \beta_0 + \sigma_0 u_{\text{rel}}$$
ここで、$Y_{\text{obs}} \in \mathbb{R}^n$ は観測された応答ベクトル、$X \in \mathbb{R}^{n \times p}$ は決定論的なデザイン行列、$\beta_0 \in \mathbb{R}^p$ は未知の係数ベクトルであり、$\Pi_0$ は未知の $n \times n$ 置換行列である。ノイズ $u_{\text{rel}}$ は標準正規分布に従う。

焦点は**疎な置換（sparsely permuted）**のレジームにあり、ここでは不一致の数（恒等行列 $I_n$ とのハミング距離）が小さな整数 $k$ によって抑えられている（すなわち、$d(\Pi_0, I_n) \leq k$）。本論文は、有限標本の設定において、主に以下の2つの推論目標を解決することを目指している：

1. 仮説検定： 不一致が存在するかどうかを判定する（$H_0: \Pi_0 \in \mathcal{P}_{n, k_0}$ 対 $H_1: \Pi_0 \in \mathcal{P}_{n, k} \setminus \mathcal{P}_{n, k_0}$）。
2. 信頼集合： $\Pi_0$ の推定に伴う不確実性を考慮した、回帰係数 $\beta_0$ の妥当な信頼集合を構築する。

手法
提案されるフレームワークは、置換空間 $\mathcal{P}_{n,k}$ の組合せ爆発（$n$ に対して階乗的に増大する）に対処するために、**再生成サンプル法（repro samples method）と局在化ステップ（localization step）**を組み合わせたものである。

1. 再生成サンプルによる局在化：
   全置換空間を探索する代わりに、データ依存的な候補集合 $\mathcal{C}(L) \subset \mathcal{P}_{n,k}$ を生成する。これは、$L$ 個の人工的なノイズベクトル $u^*_1, \dots, u^*_L \sim N(0, I_n)$ を生成し、各々に対して以下の最適化問題を解くことで実現される：
   $$\hat{\Pi}_\ell = \arg\min_{\Pi \in \mathcal{P}_{n,k}} \|(I_n - M(\Pi X, u^*_\ell))Y_{\text{obs}}\|_2^2$$
   ここで $M(\cdot)$ は直交射影行列を表す。候補集合は $\mathcal{C}(L) = \{\hat{\Pi}_1, \dots, \hat{\Pi}_L\}$ と定義される。理論的結果によれば、$L$ が十分に大きければ、$\mathcal{C}(L)$ は高い確率で真の $\Pi_0$ を含み、除外される確率は $L$ に対して多項式的に減少する。

2. 計算上のサロゲート（スコア重み付きLAP）：
   置換上の最小二乗目的関数を解くことは計算量的に困難である。著者らは、元の最小二乗目的関数のグローバルな最小値と高確率で一致する、**スコア重み付き線形割当問題（Linear Assignment Problem: LAP）**をサロゲートとして提案している。コスト行列 $\Omega$ は、スパース性を誘導する項を組み込みながら、対角成分以外の割り当てをペナルティ化し、対角成分の一致を報酬化するように構成される。このサロゲート問題は、ハンガリアン法を用いて $O(n^3)$ の時間で厳密に解かれる。本論文は、特定の有限標本条件下において、このLAPの解が元の最小二乗目的関数のグローバルな最小値と高確率で一致することを証明している。

3. 有限標本推論手続き：

   • 置換検定： 置換の疎性を検定するための条件付きモンテカルロ検定が開発された。検定統計量 $D(Y)$ は、$\mathcal{C}(L)$ 内の最良適合置換と恒等行列との間のハミング距離を測定する。臨界値は、摂動パラメータ（$\beta, \sigma$）を排除する条件付き分布を用いて、局在化された零仮説集合 $\hat{\mathcal{P}}_{n, k_0} = \mathcal{C}(L) \cap \mathcal{P}_{n, k_0}$ 上で一様に較正される。
   • 係数推論： $\beta_0$ の信頼集合は、すべての $\Pi \in \mathcal{C}(L)$ に対して標準的な $F$ 統計量に基づく信頼領域の和集合を取ることによって構築される。この「局所的同時（locally simultaneous）」アプローチは、真の $\Pi_0$ が $\mathcal{C}(L)$ 内にある限り、真の整列（alignment）が不確実であっても妥当な被覆率を保証する。

主な貢献

• 理論的保証： 本フレームワークのすべての構成要素に対して非漸近的な保証を提供している。
  • 定理 4.1： 候補集合 $\mathcal{C}(L)$ の被覆失敗確率が、再生成サンプルの数 $L$ に対して多項式的に減少することを確立する。
  • 定理 4.3： 提案された検定が、局在化イベントを条件として、有限標本においてレベル $\alpha$ で Type-I Error（第一種の過誤）を制御することを証明する。
  • 定理 4.4： $\beta_0$ の和集合に基づく信頼集合が、局在化確率に関連する消失する誤差項を除いて、公称被覆率を達成することを実証する。
  • 定理 4.5： 計算効率の高いスコア重み付きLAPと、元の組合せ的最小二乗問題との間の高確率な等価性を提供する。
• 計算効率： 探索を局在化された集合に限定し、ハンガリアン法を利用することで、全探索の階乗的な複雑さを回避し、サンプルサイズに対して多項式時間（$O(n^3)$）でスケールする。
• 拡張性： 本手法は、部分的に置換されたデザイン（共変量の一部のみが不一致である場合）や、リッジ正則化を用いた置換回帰にも拡張可能である。

結果

• シミュレーション： 様々なサンプルサイズ ($n$)、不一致数 ($k$)、およびノイズレベル ($\sigma_0$) にわたる広範なシミュレーションにより、理論的特性が確認された。
  • 候補集合のサイズは管理可能な範囲に留まり、真の置換が高い頻度で含まれている。
  • 置換検定は妥当な Type-I Error 制御（$k=0$ のとき棄却率 $\leq 0.05$）を維持し、不一致が増えるにつれて検出力が増大する。
  • $\beta_0$ の信頼集合は、すべてのレジームにおいて公称レベルに近い経験的被覆率（例：95%）を達成し、そのボリュームは過度な保守性を示さない。
• 実データへの適用： 本手法は、北京の空気質データ（PM2.5濃度と気象共変量）に適用された。
  • 人工的に局所的な不一致を導入したシナリオ（3時間のウィンドウ内で8%の行をシャッフル）では、本手法は「不一致なし」の帰無仮説を正常に棄却した。
  • 摂動のないシナリオでは、候補集合は恒等行列へと収束し、帰無仮説は棄却されなかった。これは実用における Type-I Error 制御を確認するものである。

意義
本論文は、置換のような離散的・組合せ的なパラメータを含む統計モデルにおいて、厳密な有限標本妥当性のための一般的かつ計算可能な基礎を提供すると主張している。局所漸近展開や選択的推論（置換選択の非多面体的な性質に苦慮するもの）に依存する従来の漸近的手法とは異なり、本フレームワークは以下の特徴を持つ：

1. 局所漸近性や滑らかな尤度展開に依存しない。
2. 仮説検定とパラメータ推定の両方に対して、厳密な有限標本エラー制御を提供する。
3. 整列の不確実性が存在する状況において、統計理論と計算の実行可能性の間の溝を埋める。

著者らは、データのペアリングが部分的に未知であるか、あるいは破損している（プライバシー保護型のデータ統合やレコードリンケージなどでよく見られる問題）場合に、この研究が解決策となることを示している。