📊 statistics

Optimal Hold-Out Size in Cross-Validation

本論文は、訓練サンプルサイズと評価の不確実性を明示的に均衡させることにより、任意の慣習をコンテキストに応じた選択へと置き換え、モデル選択の信頼性と下流の科学的推論を向上させる、クロスバリデーションにおける最適なホールドアウト・サイズの選択のための、原理に基づいた効用ベースのフレームワークを提案するものである。

原著者： Kenichiro McAlinn, Kōsaku Takanashi

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kenichiro McAlinn, Kōsaku Takanashi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文「Optimal Hold-Out Size in Cross-Validation」の解説：日常的な例えを用いた平易な説明

大きな問題：「ゴールディロックス（至適）」のジレンマ —— テストの難しさ

あなたは、新しいスープのレシピを完成させようとしているシェフだと想像してください。手元には材料（データ）の鍋があります。スープが美味しいかどうかを知るためには、味見をする必要があります。しかし、ここに落とし穴があります。料理を完成させる前に味見をしてはいけませんし、かといって、何度も味見のために手を止めていては、完璧に料理を仕上げることもできません。

データサイエンスでは、これを**交差検証（クロスバリデーション）**と呼びます。データを2つの山に分けます：

学習用の山（Training Pile）： モデル（シェフ）にスープの作り方を教えるために使われます。
テスト用の山（Hold-out/Testing Pile）： スープを実際に味わい、本当に美味しいかどうかを確認するために使われます。

この論文は、長年、科学者たちはこれらの山の大きさをどうすべきか、単に推測してきたのだと主張しています。多くの人は、「学習に80%、テストに20%」といった標準的なルール（あるいは5分割や10分割といったルール）をただ選んでいるだけです。著者は、これはまるで、シェフが「美味しい一杯を作るための材料が十分に足りているか」を知ることなく、味見のためにどれだけのスープを残しておくべきかを盲目的に推測しているようなものだと述べています。

トレードオフ：調理 vs 味見

この論文は、相反する2つのニーズの間の「綱引き」を特定しています。

もっと学習させたい（テストの山を小さくする）： シェフにほとんどすべての材料を使って練習させれば（テストの山を極めて小さくすれば）、彼らはレシピを完璧に習得します。スープはおそらく非常に美味しくなるでしょう。しかし、味見をするためのスプーン一杯分が極めて少ないため、その一口が鍋全体の味を代表しているのか確信が持てません。それはたまたま運良く美味しい一口だったのか、あるいはまずい一口だったのかもしれません。つまり、「確信度」が低くなります。
もっとテストしたい（テストの山を大きくする）： 味見のために大きなボウル一杯分のスープを残しておけば、スープの味について非常に高い確信を持つことができます。あなたの「確信度」は高まります。しかし、シェフはより少ない材料で調理しなければならなかったため、スープ自体が味付け不足だったり、出来が悪かったりする可能性があります。つまり、モデルの精度（正確さ）が下がります。

論文の目的： 「よく調理されたスープ」と「信頼できる味見」のバランスが取れた、完璧な「ゴールディロックス（ちょうど良い）」の地点を見つけることです。

隠し味：「不可避なノイズ」 ( $\sigma^2$ )

著者らは、答えが**不可避なノイズ（Irreducible Noise）**と呼ばれるものに依存していることを発見しました。

これは、材料に含まれる「混沌」や「ランダムさ」だと考えてください。

ノイズが低い場合： 温度や湿度が厳密に管理された完璧な研究所でケーキを焼いている様子を想像してください。材料は期待通りに振る舞います。このとき「ノイズ」は低いです。
ノイズが高い場合： 天気を予測したり、人間の行動を予測したりする場合を想像してください。そこには膨大なランダムさがあり、完璧なモデルであっても100%の確信を持つことはできません。このとき「ノイズ」は高いです。

論文は、**「テスト結果をどの程度信頼すべきかは、データのノイズ量に依存する」**と主張しています。

データがクリーンで予測可能（低ノイズ）であれば、結果が安定しているため、モデルにより多くのデータを与えて学習させることができます（テストの山を小さくできます）。
データが乱雑で混沌としている（高ノイズ）場合、モデルが単に勘で当たっているのではないと確信するためには、モデルに練習の機会を減らしてでも、より大きなテストの山が必要になります。

解決策：ルールブックではなく「チューニング・ノブ」を

著者らは、「常に5分割（5-fold）を使う」といった方法ではなく、研究者がラジオのチューナーのように振る舞う新しい手法を提案しています。

ノイズを推定する： データのノイズがどの程度かを決定（または推測）する必要があります。これがあなたの「チューニング・ノブ」になります。
計算を実行する： 論文には、あなたのノイズレベルを入力すると、最適なテストの山（ホールドアウト）のサイズを教えてくれる数式が用意されています。
結果： これにより「マップ」が得られます。例えば、「データが非常にノイズが多い場合は2分割（2-fold）を使いなさい。データがクリーンな場合は20分割（20-fold）を使いなさい」といった指示が得られます。

論文内の実世界の例

著者らは、現実のデータを用いて、「一律のルール」が間違っていることを証明するためにテストを行いました。

アバロン（貝）の例： 彼らはアバロンの年齢を予測しようとしました。
- 単純なモデル（線形回帰）の場合、最適なテストサイズは、想定されるノイズレベルによって大きく変化しました。
- 複雑なモデル（ランダムフォレスト）の場合、最適なテストサイズはまた別のものになりました。
- 教訓： 両方のモデルに対して同じテストサイズを使用することは、誤解を招く行為でした。複雑なモデルはより多くの練習（小さなテストの山）を必要とし、単純なモデルはより多くの確信（大きなテストの山）を必要としたのです。
がん変異の例： 彼らは遺伝子データを用いて、がんのパターンを調査しました。
- テストのサイズ（Kの値）を変更すると、「重要な」がん遺伝子のリストが変わってしまいました。
- 教訓： データの分割方法をわずかに変えるだけで、どの遺伝子が疾患の原因であるかという科学的な結論が変わってしまう可能性があるのです。

なぜこれがすべての人にとって重要なのか

論文は、**「データを分割するための唯一の正解（ベストな数字）は存在しない」**と結論付けています。

科学者へ： 「5分割」や「10分割」といった交差検証を盲目的に使うのはやめましょう。「自分のデータのノイズはどの程度か？」「自分のモデルの複雑さはどの程度か？」と自問する必要があるのです。
要点： データの分割方法の選択は、単なるコンピュータの設定ではなく、一つの「科学的な決定」です。「ノイズ」に関する仮定を明示的にすることで、研究者はデータの切り分け方によって生じる誤った結論を避けることができます。

要約すると： この論文は、モデルに教えることとテストすることの完璧なバランスを、推測ではなく計算によって導き出すための新しいツールを科学者に提供しています。これにより、彼らの科学的発見が、単なるデータの切り分け方の偶然によるものではなく、真実であることを保証できるのです。

技術要約：交差検証における最適なホールドアウト・サイズの決定

問題提起

交差検証（CV）は、モデル選択やパラメータチューニングにおける標準的な手順であるが、ホールドアウト・サイズ（あるいは $K$ 個のフォールド数）の選択は、原理的な基準ではなく、通常は慣習（例： $K=5, 10$ 、または80/20の分割）に従って決定されている。本論文は、CVの手順に内在する根本的なトレードオフを特定している。すなわち、訓練サンプルサイズ（ $n$ ）を増やすことはモデルの精度を向上させ（予測バイアスの低減）、テストサンプルサイズ（ $m$ ）を減らすことは、性能推定の分散（不確実性）を増大させるというものである。

多くの現代的な文脈、特に柔軟なモデル、高次元データ、あるいは平坦な性能曲線を持つケースにおいては、 $K$ のわずかな変化が、推定された損失がほぼ同一である場合であっても、異なる選択モデルや乖離した科学的結論を導く可能性がある。核心となる問題は、 $K$ 分割CVにおける評価の不確実性は、追加の仮定なしには観測データから普遍的に推定できない（Bengio and Grandvalet, 2004）ことであり、その結果、研究者は精度と評価の確実性のバランスを取るための、一般的かつ有限サンプルに基づいたデータ固有のルールを持たない状態にある。

手法

著者らは、ホールドアウト・サイズの選択を、生の経験的損失ではなく、純粋な予測性能（不可避なノイズを除いた性能）を標的とする決定問題として定式化している。手法は以下の4つの主要なステップで進行する。

1. 不確実性の理論的特性化

著者らは、純粋な損失の不偏推定量の分散に関する有限サンプル表現を導出している。

対称誤差： 誤差 $\epsilon_i$ が対称分布（例：ガウス分布）であるという仮定の下で、損失の分散の厳密な式を導出している。
非対称誤差： 一般的なケース（例：ガンマ分布、二値結果）に対して、保守的な上限を導出している。
重要な洞察： 損失の分散は、モデルのバイアス、不可避な誤差（ $\sigma^2$ ）、およびホールドアウト・サイズ（ $m$ ）の関数であることが示されている。具体的には、分散は $1/m$ および二乗されたモデルバイアスに比例してスケールする。著者らは、 $K$ 分割CVは相関のある損失を平均化するものの、単一のフォールドの分散が、フル $K$ 分割CVの妥当かつ保守的な上限として機能することを指摘している。

2. 平均・分散ユーティリティ・フレームワーク

最適なトレードオフを決定するために、著者らはフォン・ノイマン＝モルゲンシュテルンの期待効用フレームワークを採用している。彼らは、期待損失と、その損失の分散の両方にペナルティを課す効用関数を定義する：
$\text{Utility}(n, m) = - \left( E[\hat{L}_k] + \text{Var}[\hat{L}_k] \right)$
この定式化では、不可避なノイズ・パラメータ $\sigma^2$ を、分析者の評価の不確実性に対する許容度を反映する「調整ノブ」として扱う。

3. 推定戦略

最適な $m$ （したがって $K$ ）を見つけるための提案戦略は、以下の手順を含む：

損失曲線の推定： 3つのアンカーポイント、すなわち、Leave-One-Out CV ( $m \approx 1$ )、Leave-Most-Out CV ( $m \approx N/2$ )、および中間点（例：5分割CV）において、経験的な予測損失を推定する。これらの点は、テストセット・サイズの関数としての損失曲線 $E\hat{L}(m)$ を補間するために使用される。
分散曲線の計算： 導出された理論的境界を用い、推定された損失と仮定された $\sigma^2$ の関数として、分散曲線 $V\hat{L}(m)$ を計算する。
最適化： 最適なホールドアウト・サイズは、推定された損失とその分散の上限の和を最小化（ユーティリティを最大化）する $m$ の値である。

4. パレート・フロンティア

仮定された不可避なノイズ $\sigma^2$ を変化させることにより、著者らはパレート・フロンティアを構築している。このマップは、異なるノイズ・レジームにおける最適な $K$ を示しており、研究者がデータ品質に関する仮定に基づいて、最適な分割がどのように変化するかを可視化することを可能にする。

主な結果

複数のドメイン（生物学、材料工学、社会科学）およびモデル（線形回帰、ランダムフォレスト）にわたる経験的分析により、以下の知見が得られた。

文脈依存性： 最適な $K$ は普遍的なものではない。それは特定のデータセット、モデルクラス、および仮定された不可避なノイズのレベルに基づいて大きく変化する。
モデルの複雑性： 複雑なモデル（例：ランダムフォレスト）は、バイアスを減らすために一般に大きな訓練セット（小さな $K$ ）を必要とする一方、単純なモデル（例：線形回帰）は、評価の分散を減らすために大きなテストセット（大きな $K$ ）を許容できる。
慣習の失敗： 従来の選択（例： $K=5$ ）は、しばしば最適ではない。いくつかの実験において、 $K=5$ は複雑なモデルに対して決して最適な選択ではなく、単純なモデルに対しても、特定のノイズの仮定の下でのみ最適であった。
$\sigma^2$ の逆エンジニアリング： 本フレームワークにより、研究者は慣習的な分割が暗黙的に仮定しているノイズレベルを「逆エンジニアリング」することができる。著者らは、標準的な分割が、観測されたモデル性能と矛盾するノイズレベル（例：観測された低い誤差を支えるには $\sigma^2$ が高すぎることを示唆するレベル）を暗示していることが多いことを見出し、従来の $K$ の選択が特定の問題に対して不適切であることを示した。
科学的影響： 高次元ゲノミクスへの応用（TCGA変異シグネチャ属性決定）において、 $K$ の選択は「信頼できる存在」とされる変異シグネチャの集合を変化させた。高不確実性レジーム（小さな $K$ を好む）では、低不確実性レジーム（大きな $K$ を好む）で検出されたシグネチャが除外された。これは、 $K$ がスパース性と下流の科学的推論に対するレバーとして機能することを実証している。

意義と主張

本論文は、「一律の」交差検証の慣習を、文脈依存的で仮定を明示したフレームワークに置き換えることを主張している。その主な貢献は以下の通りである：

明示的なトレードオフ： 訓練の精度と評価の確実性の間の暗黙的なトレードオフを明示し、 $K$ を選択するための透明なユーティリティに基づくルールを提供する。
有限サンプル理論： （対称性の条件下での）厳密な有限サンプル分散式と一般的な上限を提供し、これまでの理論が漸近的な記述や特定のケースのガイダンスのみを提供していたというギャップを埋める。
診断ツール： $\sigma^2$ をパラメータとして扱うことで、本フレームワークは感度分析を可能にする。研究者は、異なるノイズの仮定の下で結論が保持される $K$ の堅牢な範囲を特定したり、従来の分割が非現実的なノイズレベルを暗示していることを検知したりできる。
科学的厳密性： 著者らは、CVがしばしば推論パイプラインの一部（どの変数やメカニズムが「支持されるか」を決定するプロセス）であるため、 $K$ の選択はデフォルトの計算設定ではなく、データ品質に関するドメイン知識に沿った科学的な決定であるべきだと主張している。

本論文は、最適な $K$ の値を普遍的に特定することは困難であるが、本フレームワークは、最適な分割が（LOOCVや2分割のような）極端な慣習とは滅多に一致せず、またあらゆる文脈において 5 や 10 といった標準的な値に固定されることも稀であることを示している。むしろ、研究者は自身のデータとモデルの特性に合わせた、合理的なホールドアウト・サイズの範囲を特定すべきであると結論付けている。