Diagnostic Tools for Extreme Value Regression Models

タイトル：極値回帰モデルのための診断ツール

問題提起
極値回帰モデルは、応答変数の観測範囲を超えた外挿を行うために不可欠であり、水文学、気候科学、オフショア工学などの分野で特に重要である。統計モデリングにおける重要なステップは、モデルが観測データにどの程度適合しているかを評価することであるが、もしモデルが劣漸近的な極値事象の分布と一致しない場合、外挿に対する信頼性は損なわれる。可視化および定量的な診断手法は定常的な一変量極値モデルに対して存在するが（例：PPプロットやQQプロット）、これらを回帰の設定へと拡張することには大きな課題が伴う。

回帰においては、共変量のドメイン $X$ に応じて条件付き分布 $Y|X$ が変化する。標準的な診断プロットは観測値の順序付けに依存しているが、非定常の設定では、応答変数を順序付けしても条件付き確率積分変換（PIT）値の順序付けにはならない。そのため、既存の手法では、適合性を評価するために共変量ドメインを複数の領域に分割する必要があることが多い。しかし、このアプローチには以下の限界がある：

1. スケーラビリティ： 領域の数が増えるにつれ、個別のプロットを手動で検査することが不可能になる。
2. 不整合性： 領域によってサンプルサイズが異なることがあり、また条件付きの裾（テイル）の形状やスケールも異なるため、診断結果を一貫して比較することが困難である。
3. グローバル対ローカル： グローバルな診断（全データを集計したもの）は、特定の局所的または領域的なサブセットにおける性能低下を覆い隠してしまう可能性がある。
4. バイアス： ワームプロットのような既存の領域別診断は、極値統計量に対して不正確な漸近近似に依存しており、サンプルサイズやプロット位置の選択に対して敏感である。

手法
著者らは、共変量ドメイン全体にわたる極値回帰モデル（パラメトリック、セミパラメトリック、またはノンパラメトリック）の適合度を評価するための、2つの新しい可視化診断法と一連の要約統計量を提案している。中心となる手法は、条件付きPIT、$P_x = F_{Y|X}(Y|x)$ に基づいている。これは真のモデルの下では $[0,1]$ 上で一様分布となる。

1. 標準化テイルプロット（Standardised Tail Plot）：

   • 概念： 超過確率を標準指数型マージン（$Z = -\log(1-P)$）に変換した、デトレンド（傾向除去）された分位点-分位点（QQ）プロットである。
   • 標準化： 様々なサンプルサイズを持つ領域に対処するため、著者らは超過確率の標本分布に関する漸近的性質を利用している。彼らは、第 $k$ 番目の指数型順序統計量の期待値と観測値の差（$D_k = E[Z_{(k)}] - Z_{(k)}$）が、サンプルサイズ $n$ に依存せず（ランク $k$ にのみ依存する）、対数ガンマ分布に収束することを示している。
   • 可視化： 指数型残差（$z_k - \hat{z}_k$）をランク $k$ に対して、複数の領域を単一のプロット上に重ねて表示する。漸近的な信頼区間（対数ガンマ分布から導出）を用いることで、領域ごとのサンプルサイズに関わらず、一貫した有意性の視覚的評価が可能となる。

2. 正規化残差プロット（Normalised Residual Plot）：

   • 概念： このプロットは、裾の部分だけでなく、すべての確率レベルにおける偏差を可視化する。
   • 変換： 順序付けられた超過確率の正確なベータ分布に基づく確率積分変換を適用し、それらを標準正規スケール（$\nu_k = \Phi^{-1}(F_{\beta_k}(\hat{q}_{(k)}))$）へと写像する。
   • 利点： 標準化テイルプロットとは異なり、サンプルサイズに関する漸近的な仮定に依存せず、すべての確率レベルにおけるモデル適合の有意性を可視化できる。

3. 要約統計量：

   • 著者らは、指数型順序統計量の平均絶対偏差として定義される**指数型平均絶対偏差（EMAD）**統計量を導入している。彼らはその漸近分布を導出し、感度分析を通じて、EMADが標準的なアンダーソン・ダーリング（AD）統計や右裾重み付きAD（ADR）統計よりも、上裾（超過確率 $< 0.155$）の偏差に対して高い感度を持つことを示した。
   • また、正規化残差の平均二乗も用いている。これはAD統計量と漸近的に等価であることが示されている。
   • 領域およびグローバルな要約： 領域間の均一性を評価するために、領域ごとのp値（EMADまたはADRテストから）を密度ヒストグラムに集計することを提案しており、さらに全データを統合してグローバルな診断を行う。

主な結果と応用
提案された診断法は、深層学習ベースの推論（人工ニューラルネットワーク）を用いた極値回帰の2つの例を用いて検証された。

1. 多変量極値（SPARモデル）：

   • 設定： 多変量正規コピュラとラプラス・マージンを用いた5次元のシミュレーションデータに対して、ピーク・オーバー・スレッショルド（POT）モデルを適合させた。径方向成分は疑似角度（pseudo-angle）に条件付けられた。
   • プロセス： 様々なハイパーパラメータ（閾値、ネットワーク構成）を持つ5,000個の候補モデルを適合させた。
   • 知見： グローバルな診断（例：グローバルADR p値）は良好な適合を示したが、領域別診断は重大な局所的失敗を明らかにした。具体的には、あるモデル（モデル1）はグローバルな適合性は極めて高いものの、領域的な適合性が低く（グローバルの平均によって隠されていた）、一方で別のモデル（モデル3）は両方の診断をパスした。これらの診断法は、最適な閾値レベル（$\tau \approx 0.825$）を特定することに成功し、非定常設定においてグローバルな指標だけではモデル選択に不十分であることを浮き彫りにした。

2. オフショア風力タービン・サロゲートモデル：

   • 設定： 3つの環境変数（風速、波高、周期）に条件付けられた、係留索の極値張力に関する確率的サロゲートモデル。
   • 比較： 深層ガウス過程回帰モデル（ANN）を、より単純な一般化加法モデル（GAM）構成と比較した。
   • 知見： いくつかの深層学習モデルは高いグローバルp値を達成したが、標準化テイルプロットは共変量ドメインの境界に対応する外れ値を示しており、過学習を示唆していた。対照的に、より単純なGAM構成は、グローバルな性能を維持しつつ、ドメイン全体にわたって優れた局所的適合性を示した。これは、モデル設計やチューニングを導くための診断法の有用性を実証した。

意義と主張
本論文は、提案された診断法が、共変量ドメインが非定常でありサンプルサイズが変動する極値回帰モデルを評価するための、実用的かつスケーラブルな解決策を提供すると主張している。主な貢献は以下の通りである：

• 視覚的一貫性： 異なるサンプルサイズを持つ領域の診断を、有効な不確実性境界を持つ単一のプロット上に重ね合わせる能力を備えており、ワームプロットのような既存の領域別診断の限界を克服している。
• 裾への感度： 従来の適合度検定よりも上裾の偏差に対して高い感度を持つEMAD統計量を導入した。
• 実行可能な洞察： 提案された診断法は、数千の候補モデルの比較を容易にし、適合性の低い特定の領域を特定することを助け、モデル設計（例：ドメイン境界での過学習の回避）における実行可能な意思決定をサポートする。
• 汎用性： これらのツールは、推論スキームに関わらず、条件付き分布関数を提供するあらゆる極値回帰モデル（閾値超過型またはブロック最大値型）に適用可能である。

著者らは、有効な信頼境界を確保するために、評価には独立したホールドアウト・サンプルを使用するワークフローを前提としているが、そのようなデータが利用できない場合にはブートストラップ法も使用できることを認めている。結論として、これらのツールは、グローバルな指標のみを用いるよりも、極値モデルのより厳密で微細な評価を可能にすると述べている。