A note on closed-form solutions for estimating sample size when externally validating a binary prediction model based on $C$-statistic precision

技術的サマリー：二値予測モデルの外部検証におけるサンプルサイズ推定のための閉形式解

問題提起
外部検証は、二値アウトカムに対する臨床予測モデルの使用適性を判断する上で不可欠なステップである。適切な検証を行うための重要な要件は、モデル性能指標、特に C 統計量（ROC 曲線下面積に相当）を精密に推定するために十分なサンプルサイズを確保することである。Riley らは以前、所望の精度で C 統計量を推定するために必要な最小サンプルサイズを決定する式を提案したが、そのアプローチは反復的な数値解に依存していた。これは、C 統計量の標準誤差 $SE(C)$ に関する Newcombe の式を直接代数的に整理して解くことが「不可能である」という仮定に基づいていたためである。その結果、既存のソフトウェア実装（R および Stata）は、サンプルサイズ ($N$) を解くために計算集約的な反復法を採用している。

方法論
著者らは、閉形式解が得られないという仮定に異議を唱えた。彼らは、C 統計量 ($C$)、予想されるアウトカム事象の割合 ($\phi$)、および目標とする標準誤差 ($SE(C)$) の関数として$N$ を解くために、Newcombe の式を代数的に整理する試みを体系的に行った。

方法論において、2 つの異なるカテゴリの計算ツールが用いられた：

1. コンピュータ代数システム (CAS)：著者らは、商用（Mathematica 12.0）およびオープンソース（Maxima 23.05.1）のソフトウェアを活用し、式の二乗化、分数の簡略化、および根の求解といった記号操作を行った。
2. 人工知能 (AI) モデル：著者らは、Perplexity の Sonar、Anthropic の Claude Sonnet 4.0、OpenAI の GPT 4.1、xAI の Grok 3 Beta、Google の Gemini 2.5 Pro、および MathGPT を含む複数の大規模言語モデル (LLM) にプロンプトを送った。これらのモデルには、閉形式解を導出すること、置換のための反復パターンを特定すること、および結果を数値的に検証することが指示された。

著者らは、AI モデルが代数的構造を成功裡に生成したものの、いくつかのモデルが代数的には妥当だが数値的に誤った結果を生成したり、式を最適に簡略化できなかったりしたため、手動による検証と修正が頻繁に必要であったと指摘した。

主要な貢献
この研究の主な貢献は、必要なサンプルサイズ ($N$) を計算するための7 つの新たな閉形式解の提示である。これらの解は、異なる計算経路（CAS および各種 AI モデル）を用いて導出されたものであり、構造的には異なるが数学的には同等の式となっている。

導出の主要な側面は以下の通りである：

• 数学的同等性：代数的形式が異なっても（一部は二次方程式の構造を利用し、他は複雑な置換を含む）、7 つのすべての解は $N$ に対して同一の数値推定値を与える。
• 検証：著者らは、これら 7 つの解を Riley らが用いた反復法と比較検証した。検証には 5 つの例示例と、パラメータの 450 組み合わせ（$C$ は 0.55 から 0.95、$\phi$ は 0.01 から 0.5）を含むグリッドベースの感度分析が含まれた。すべてのケースにおいて、閉形式解は反復法による結果と一致した（整数丸め慣習による絶対差は 1 以下）。
• 実装：著者らは、7 つのすべての閉形式解および元の反復法を実装した R 言語の関数コードを提供している。

結果

• 精度：閉形式解は、確立された反復アプローチと同一のサンプルサイズ推定値を生成する。
• 計算効率：ベンチマーク分析により、莫大な性能差が明らかになった。中央値の実行時間において、閉形式解は反復実装よりも平均して148,000 倍から 264,000 倍高速であった。
• 性能のばらつき：閉形式解の間では、AI（特に GPT 4.1 および MathGPT）によって導出されたものが、従来の CAS（Mathematica および Maxima）によって導出されたものよりもわずかに短い実行時間を示したが、すべてが同じ「ナノ秒」レベルの性能範囲内で動作していた。
• 頑健性：これらの解は広いパラメータ空間において安定しており、数値的不安定性は観察されなかった。

意義と主張
本論文は、閉形式解の存在により、検証サンプルサイズの計算が反復的な計算タスクから、直接的かつ瞬時の計算へと変容すると主張している。単一の計算においては速度差は無視できるかもしれないが、著者らは、閉形式解の効率性と安定性が、以下のような計算集約的なタスクにおいて決定的に重要であると強調している：

• グリッド探索を含む感度分析。
• 関数が数百万回呼び出される大規模なシミュレーション研究。

著者らは、日常的な利用にはMathGPTによって導出された解を推奨している。彼らは、この特定の定式化が最も「エレガント」であり、2 つの中間変数（$A$ および $\delta$）を介して最終式をコンパクトな二次形式にまで簡略化していると論じている。このモジュール性は、コーディング中の転記エラーのリスクを最小化し、CAS 由来の解に見られる展開された高次多項式と比較して、優れた代数的明瞭性を提供する。

最後に、本論文は、Riley らの枠組み内において Newcombe の式の逆変換がその複雑さにおいて特異であるものの、CAS と AI を活用して「扱いにくい」代数的問題を解決する戦略は、数学的複雑さが歴史的に正確な解の開発を妨げてきた他の生物統計学的課題にも広く適用可能であると指摘している。ただし、著者らは、AI ツールは数学的に誤った導出であっても説得力のあるものを作成する傾向があるため、慎重な人間による評価が必要であると警告している。