Conformal calibration and look-elsewhere effect in anomaly detection for new-physics searches

本論文は、未較正の機械学習によるアノマリースコアを、統計的に厳密かつ分布に依存しない局所的および大域的なp値へと変換する、共形予測に基づく較正層を提案しており、これにより、新物理探索における偽発見を防ぐための背景事象の誤モデル化およびルック・エルスウェア効果（look-elsewhere effect）の補正を効果的に行う。

要約

あなたは、大量の本物のコインの中に隠された特定の種類の偽造コインを見つけ出そうとしている探偵だと想像してください。あなたには、新しいハイテクな「異常検知器」（機械学習モデル）があります。この装置は、すべてのコインに「奇妙さスコア」を与えます。スコアが高いほど、偽物である可能性が高くなります。

問題は、この検知器がまるで「当てずっぽう」のように振る舞うことです。例えば「17.5」というスコアを出したとしても、その数字自体は何の意味も持ちません。17.5は珍しい数値なのか？ それとも一般的なのか？ 定規による測定がなければ、それが偽物を見つけたのか、それとも単に少し変わった見た目の本物のコインを引いただけなのかを判断できません。

さらに、この検知器は何千ものコインをスキャンするため、純粋な運によって、たまたま「奇妙に見える」コインを見つけてしまうことがあります。もし、何回調べたのかを考慮に入れなければ、単に運が良かっただけなのに、偽物を見つけたと思い込んでしまうかもしれません。

この論文は、これらの問題を解決するための新しい「キャリブレーション・レイヤー（校正層）」を提案しています。以下に、簡単な比喩を用いてその仕組みを説明します。

1. 壊れた定規（キャリブレーションの問題）

あなたの検知器が、コインの重さを測るスケール（秤）だと想像してください。しかし、そのスケールは壊れています。ある普通のコインに対して「17.5グラム」と表示しました。しかし、基準を設定するために、あらかじめ多くの「既知の正常なコイン」を計量していないため、それが重いのか軽いのかが分かりません。

著者らは、共形予測（Conformal Prediction）という統計ツールを使用して、新しい「定規」を作成します。彼らは、正常であることが分かっているコインの山（キャリブレーション・セット）を取り、検知器がそれらをどのようにスコア付けするかを確認します。そして、検知器の生のスコアをp値へとマッピングします。

• 比喩: 「このコインは17.5の奇妙さだ」と言う代わりに、新しい定規は「正常なコインのうち、これほど奇妙に見えるものはわずか1%である」と伝えます。これで、明確で誠実な数値が得られます。

2. 「ルック・エルスウェア（よそ見）」の罠

袋の中にあるコイン全体をスキャンしていると、偶然、少し変わった見た目のコインに遭遇することは避けられません。1,000枚のスキャン中に1枚「奇妙なもの」が見つかるのは大したことではありません。しかし、もし1枚しか見ていなかったとしたら、それは重大なニュースになります。

この論文は、彼らの新しい定規を、Gross–Vitells補正と呼ばれる手法と組み合わせています。

• 比喩: これは、あなたがコインを1,000回投げたことを知っている裁判官のようなものです。もしあなたが「10回連続で表が出た！」と言ったとしても、裁判官はその連続した記録だけを見るのではなく、1,000回の試行全体を見ます。裁判官は、袋の中の「どこかで」そのような連続が起こる確率を計算します。これにより、単に運が良かっただけなのに「偽造コインだ！」と騒ぎ立てることを防ぎます。

3. 「彫刻」の詐欺（交換可能性の失敗）

これは、この論文における最大の発見です。素粒子物理学において、科学者たちはしばしば「サイドバンド（ターゲット領域の隣にある領域）」を使用し、背景（バックグラウンド）がどのようなものかを推測します。彼らは、サイドバンドの背景はターゲット領域の背景と同じであると仮定しています。

著者らは、多くの機械学習モデルにおいて、この仮定が間違っていることを発見しました。モデルは、場所と密接に関連した特徴を密かに利用するように学習してしまうのです。

• 比喩: あなたが特定の瓶の中にある偽造コインを探していると想像してください。検知器を校正するために、その隣にある瓶のコインを見ます。しかし、あなたの検知器は「左の瓶のコインは通常重く、右の瓶のコインは通常軽い」ということを学習してしまっています。たとえすべてのコインが本物であっても、検知器は、単に「右の瓶にあるから」という理由だけで、右の瓶のコインを「奇妙だ」と判断してしまいます。
• 結果: これを修正しない限り、検知器は「ゴースト信号」を作り出します。論文のテストでは、この「ゴースト」は46シグマの発見（銀河の中で針を見つけるような、天文学的に巨大な数値）として現れました。これは、検知器のバイアスによって引き起こされた完全な幻影でした。

4. 解決策：「重み付け」による補正

著者らは、校正に**重み（ウェイト）**を適用することでこれを修正します。

• 比喩: 彼らは、「左の瓶」と「右の瓶」のコインがわずかに異なっていることに気づきました。そのため、左の瓶のコインを使って右の瓶を校正する際、左の瓶のコインに「割引」や「調整」を適用し、右の瓶のプロファイルに一致させるようにします。
• 結果: この重みを適用すると、偽の46シグマの信号は完全に消え去りました。それは0.2シグマまで低下し、単なる通常の背景ノイズとなりました。検知器は嘘をつくのをやめたのです。

5. 「フェイルセーフ（安全装置）」機能

この手法の優れた点の一つは、状況が悪化した場合でも、誠実であり続けることです。

• 比喩: もし校正用のコインに、少数の偽造品が混入していた場合、標準的な検知器は黙って「偽物だ！」と叫び始め、あなたはそれに気づくことができません。しかし、この新しい手法には自己チェック機能があります。もし校正が不適切であれば、「定規が曲がっている」ことを示します。つまり、誤った発見を提示するのではなく、「私の定規は壊れている」と警告してくれるのです。

結果の要約

著者らは、LHC（大型ハドロン衝突型加速器）の公開データを用いてテストを行いました。

1. 標準的な手法: 標準的な手法をこのデータに使用すると、信号が存在しない領域で、10シグマや5シグマといった偽の信号を捏造してしまいました。それは発見を幻視していたのです。
2. 新しい手法: 校正レイヤーを追加すると、これらの偽の信号は消失しました。検知器は正しく「信号は見つからなかった（null result）」と報告しました。
3. 本物の信号: 実際に強い信号を投入した場合、この手法は（信号が十分に強ければ）依然として信号を見つけることができました。これは、この手法が単に検知器を「オフ」にしたのではなく、単に「嘘をつくのをやめた」ことを証明しています。

結論:
この論文は、新しい粒子検出器を発明しているのではありません。代わりに、あらゆる検知器の上に載せることができる**「真実を語るレイヤー」**を発明したのです。これにより、検知器が「何かを発見した」と言ったとき、それが単に「運が良かった」とか「数学的なバイアスがあった」ということではなく、本当に「何かを発見した」ことを意味するように保証します。それは、生の混乱したスコアを、防御可能で監査可能な科学的声明へと変えるのです。

技術概要

技術要約：新物理探索における異常検知のための共形校正（Conformal Calibration）とルック・エルスウェア効果

問題提起
機械学習を用いた異常検知（AD）は、標準模型を超える物理の探索における主要な戦略となっている。しかし、ADスコアの統計的解釈は、その発展に遅れをとっている。生の異常スコアには校正された意味が欠如している。ある値が、背景事象のゆらぎである確率を本質的に伝えているわけではない。複数の領域、観測量、および潜在的な方向をスキャンする柔軟なモデルは、深刻な「ルック・エルスウェア効果（多重性）」に直面しており、これが偽発見率を増大させる。既存の実験ワークフローは、正しくモデル化された背景事象を前提とする漸近的なプロファイル尤度公式や試行因子（例：Gross–Vitells理論）に依存している。これらの手法は、背景事象の誤モデル化に対して盲目であり、これはADが特に陥りやすい失敗モードである。訓練データと評価データが共有されている場合や、特徴量が共鳴変数（例：不変質量）と相関している場合、標準的なパイプラインは校正されていない$p$値を生み出し、偽の発見を捏造する可能性がある。

手法
著者らは、**共形予測（conformal prediction）**に基づいた校正層を提案しており、これにより、いかなる異常スコアも、分布に依存しない有限標本の保証を持つ、正当な有意性に変換される。この手法は、以下の主要な段階を経て進行する：

1. 分割共形校正（Split Conformal Calibration）： 著者らは、$n$個の背景のみのスコアからなる校正セットに基づき、テストスコア$s$に対する片側共形$p$値$\hat{p}(s)$を定義する。これは、交換可能性の下で、$p$値が超一様（$P(\hat{p} \le \alpha) \le \alpha$）となるように生のスコアを$p$値へと写像する。これにより、スコアの分布の形状に依存しない有限標本の保証が提供される。
2. 交換可能性の失敗への対処： 共鳴探索では、ジェットのサブストラクチャ特徴と共鳴変数（質量）の間の相関により、信号領域（SR）における背景スコアの分布がサイドバンド（SB）と異なるため、交換可能性の仮定が破れることが多い。
   • 重み付き共形予測： この共変量シフトを補正するために、著者らは尤度比$w(x) = dQ/dP$（ここで$Q$はSRの分布、$P$はSBの分布）を用いた重み付き共形$p$値を採用している。この重みは、データからラベルフリーで推定される。
   • モンドリアン校正（Mondrian Calibration）： 背景事象が共鳴変数のビンごとに変化する不均一性に対して、著者らはモンドリアン（グループ条件付き）校正を提案している。これは、局所的な妥当性を確保するために、各ビン内で個別に校正を行うものである。
3. 汚染に対する堅牢性： 本フレームワークは、制御領域への信号のリークに対処する。定理5は、もし校正セットにおける信号の汚染が確率的である場合（信号イベントがより高いスコアを持つ場合）、この手順は有効であり、偽の警告を出すのではなく、安全に失敗する（保守的になる）ことを確立している。
4. ルック・エルスウェア補正： 局所的な共形$p$値は、スキャニングウィンドウにわたるカウント場$Z(m)$へと集約される。著者らは、この場に対して**Gross–Vitellsのアップクロッシング理論（up-crossing theory）**を適用し、グローバルな有意性を計算する。局所的な$p$値は有限標本の保証を持つが、グローバルなステップは、背景のみの擬実験によって検証された漸近的な境界として扱われる。
5. 偽発見率（FDR）の制御： マルチリージョンのショートリストに対しては、共有された校正セットから導出された共形$p$値の正の依存性を利用して、Benjamini–Hochberg法が統合されている。

主な貢献

• 校正層： 既存の異常検定器自体を再学習させることなく、既存の異常検知器に適用できるモジュール式の層を導入した。これは、校正されていないスコアを有効な局所$p$値へと変換する。
  المرح。
• 交換可能性の診断と補正： 本手法は、特徴量と質量の相関によって引き起こされる交換可能性の失敗を検出するための診断ツール（背景$p$値の一様性のチェック）を提供する。また、妥当性を回復するためのラベルフリーの重み付き補正を提供する。
• 有限標本の保証： 漸近的な手法とは異かり、共形層は、交換可能性または補正可能な共変量シフトの仮定が満たされている限り、厳密な有限標本の妥当性を提供する。
• 試行因子との統合： 本研究は、有限標本の局所校正とGross–Vitellsのグローバル有意性フレームワークを組み合わせることで、共形予測と高エネルギー物理学（HEP）の発見統計学の間の溝を埋めるものである。

結果
本手法は、LHC Olympics 2020 R&Dデータセット（QCDダイジェット背景事象に注入された$Z' \to XX$共鳴）を用いてテストされた。

• 誤校正の検出： 実データにおいて、標準的なサイドバンド校正済みの分類器は、顕著な交換可能性の失敗を示した。背景$p$値は反保守的であり、$P(\hat{p} \le 0.05) \approx 0.087$となり、公称値の0.05を下回らなかった。
• 偽の過剰の補正：
  • 信号領域において$p \le 0.05$となるイベントを単純にカウントすると、偽の$\sim 46\sigma$の過剰が算出された。
  • ラベルフリーの重み付き補正を適用することで、背景率が公称値に戻り、有意性は正直な帰無仮説（$Z \approx 0.2$）へと減少した。
  • ブロードな質量スキャン（各ウィンドウで検知器を再学習）において、標準的な漸近的手法および重みなしの共形手順は、信号のないウィンドウにおいて$\gtrsim 10\sigma$の過剰を捏造した。重み付き共形層は偽の警告を出さず、グローバルな有意性は帰無仮説と一致していた。
• グローバル有意性の検証： 重み付き共形手順のグローバルな偽陽性率は、背景のみの擬実験によって検証され、公称レベル付近での経験的な制御が示された。
• 信号の回収： 強力な信号注入（$S/B \approx 1.3\%$）かつ最小限のサイドバンド汚染を伴うポジティブコントロール研究において、重み付きチェーンは$\sim 7.4\sigma$のグローバル有意性を正常に回収した。これは、本手法が真の信号を抑制するのではなく、系統的なバイアスのみを補正することを示している。

意義と主張
本論文は、校正されていない異常スコアから、試行因子を考慮したグローバルな有意性への、監査可能で検知器に依存しない経路を提供すると主張している。

• 主要な価値は新しい検知器ではなく、仮定を明示的かつ検証可能にする校正および有意性レイヤーにある。
• それは、標準的な漸近的パイプラインが見逃す「静かな」失敗（背景の形成など）を露呈させ、それらを可視的な非一様性へと変換するか、あるいは重み付けによって補正する。
• 著者らは、局所的な$p$値は有限標本の保証を持つ一方で、グローバルな有意性は（経験的に検証された）漸近的な仮定（Gross–Vitells）に依存していることを強調している。
• 本研究は、異常検知における「ルック・エルスウェア効果」が、領域の多重性と特徴量と共鳴変数の相関によって悪化することを示しており、共形予測がこれらの特定の失敗モードに対処するための厳密なフレームワークを提供することを浮き彫りにしている。

結論として、本手法はすべての背景系統誤差（例：未知のパラメータ化されていない誤モデル化）を解決するものではないが、校正の失敗によるアーティファクトではないことを保証することで、異常検知探索の信頼性を大幅に向上させる。今後の課題として、摂動パラメータ（検出器の系統誤差）を共形フレームワークに統合すること、およびこのアプローチを質量デコリレーションされた検知器と直接比較することが挙げられている。