One of the Above, None of the Above: Why the Same Model Should Not Predict Both

技術要約：「どちらか一方、あるいは、いずれでもない：なぜ同一のモデルが両方を予測すべきではないのか」

問題提起
新規性検出（Novelty detection）は、しばしば二項的な分割・拡張問題としてモデル化される。すなわち、新しい観測値が既存のカテゴリに属するか（「上記のいずれか」）、あるいは新しいカテゴリを必要とするか（「上記のいずれでもない」）を判定する問題である。中国語レストラン過程（CRP）やピットマン・ヨー（PY）過程のような標準的なベイズ種サンプリングモデルは、「新しいカテゴリを開く（opening）」ことを、既存のパーティションに項目を「吸収（absorbing）」することの確率的な残差として扱う。

本論文は、この定式化が根本的な認識論的非対称性を隠蔽していると主張する。吸収とは、項目が既に生成されたパーティション内に解決可能かどうかの判断であるのに対し、開拓（opening）とは、能動的なコンテキストが新しい応答アイデンティティを許容するかどうかという判断である。これらを単一の生成過程の二つの側面として扱うことは、異なる依存関係を単一の確率へと崩壊させるリスクを孕んでいる。さらに、標準的なモデルは、新規性の判断を意味のあるものにする特定の「コンテキスト」（ローカルなストリーム単位、等価関係、およびタスク・プロトコル・インベントリのサイズ）を考慮できていないことが多い。

手法
本研究では、予測行を「依存性アトム」 $a_t = (C_u, H_{<t}, r_t, z_t)$ によって定義する、依存論理に着想を得たフレームワークを用いて新規性予測を操作化する。

• コンテキスト ($C_u$): ローカルなストリーム単位 ($u$)、応答の同一性を定義する等価関係 ($R_u$)、およびタスク・プロトコル・インベントリのサイズ ($\kappa_{task}$) を含む。
• 履歴 ($H_{<t}$): 同一のローカル単位内における、過去のエピソードのプレフィックス。
• ターゲット ($z_t$): 二値ラベルであり、$z_t=1$ は「開拓（新しいアイデンティティ）」を、$z_t=0$ は「吸収（既存のアイデンティティの再利用）」を示す。

本論文では、保持データ（held-out data）に対して、5つの自然なデータセット（GUM照応解析、GUM語彙再帰、SWDA語彙再再帰、SWDA対話行為、およびKinetics-GEBD）を用い、以下の2つの主要な予測器を比較する。

1. 組合せ論的ヌル ($x_{comb}$): 対数スターリング数から導出された、ブロックサイズに依存しないスコア（$\log S(N_t, K_t-1) - \log S(N_t, K_t) - \log K_t$）。これは、既存クラスの占有分布（「富める者がさらに富む」効果）を無視し、許容可能なパーティション数の変化のみに基づいて新規性を予測する。
2. ピットマン–ヨー過程 (PY): 「富める者がさらに富む」ダイナミクスを取り入れた標準的な種サンプリングモデル。ここでは、既存のブロックに加わる確率は、その現在の占有数に比例する。

分析では、吸収（$z_t=0$）と開拓（$z_t=1$）のレジームに性能を分解し、「勝者」がタスク・プロトコル・インベントリのサイズ ($\kappa_{task}$) に依存するかどうかを検証する。

主要な貢献と結果

1. コンテキストの必要性: ローカルな履歴をグローバルなコーパス履歴に置き換えると、 $x_{comb}$ と PY 両方の性能が著しく低下する。これは、新規性予測がパーティションのみによって定義されるのではなく、そのパーティションが拡張されるローカルなコンテキストによって定義されることを裏付けている。
2. 交差レジーム・パターン: 単一のモデルが、吸収と開拓の両方において普遍的に他方を上回ることはないことを本論文は示している。代わりに、最適な予測器はタスク・プロトコル・インベントリのサイズに応じて逆転する：
   • 開いたインベントリ ($\kappa_{task} = \infty$): 開いた語彙を持つデータセット（例：GUMの語彙および照応解析）では、組合せ論的ヌル ($x_{comb}$) が吸収において PY を上回る一方、ピットマン–ヨー (PY) が開拓において $x_{comb}$ を上回る。
   • 閉じたインベントリ ($\kappa_{task} < \infty$): 固定された有限のインベントリを持つデータセットでは、吸収に関するパターンが逆転する：ピットマン–ヨー (PY) が $x_{comb}$ を上回る。開拓については、結果は混在している：Kinetics-GEBD（最小の有限インベントリ事例）では $x_{comb}$ が PY を上回るが、SWDA対話行為（42個のタグを持つより大きな有限インベントリ）の結果は未解決であり、ブートストラップ信頼区間にゼロが含まれている。これは、SWDA対話行為が明確な逆転パターンではなく、境界事例であることを示唆している。
3. 関数形式の微細な差異: 正確なスターリングに基づく組合せ論的スコアは、単純な密度代替物（$\log(N/K)$ など）と単に置き換え可能なものではない。低カウントのストリーム（特にKinetics）において、正確な有限カウント補正は、密度近似に対して実質的な優位性を提供しており、これは正確な形式が単純な密度を超えたストリームの構造的特性を捉えていることを示唆している。
4. 制御実験の再分析: Navarro and Kemp (2017) の実験4の再分析において、「タスク・ゲート」（「上記のいずれでもない」が許容されるかどうかを示す）とパーティション密度を組み込んだ構造モデルは、リッチ・ゲット・リッチャー項を含まない状態でも、HG–CRP ベンチマークを上回った。さらに、分解分析により、HG–CRP は「上記のいずれか」（吸収）においてより優れた性能を示し、ゲート・モデルは「上記のいずれでもない」（開拓）においてより優れた性能を示すことが判明した。これは、自然なコーパスで見られた交差パターンを反映している。

意義と主張
本論文は、カテゴリの開拓が単一の吸収過程の残差であるという見解に異議を唱える。むしろ、開拓と吸収は異なる依存構造によって支配される、別個のレジームであると断じている：

• 開いたシステムにおける吸収は、パーティション拡張の組合せ論によって最もよく予測される（特定の占有数は無視される）。
• 開いたシステムにおける開拓には、「富める者がさらに富む」情報（占有度／持続性）が必要となる。
• 閉じたシステムでは、吸収に関するダイナミクスが逆転し、占有情報が吸収を助ける。開拓において、$x_{comb}$ の優位性が最も明確になるのはKineticsのような小さなインベントリであり、SWDA対話行為のような大きな有限インベントリでは、未解決のパターンが見られる。これは境界事例であることを示唆している。

著者は、将来の新規性モデルはこれらのレジームを明示的に分離すべきであると結論づけている。組合せ論的なパーティション・スコアは、「固定コンテキスト・ヌルモデル」として扱うべきである。その失敗は単なるエラーではなく、ローカルなストリーム構造に関する情報であり、アイデンティティ固有の持続性（リッチ・ゲット・リッチャー効果）が必要とされる局面を示している。これらの結果は、「上記のいずれか」対「上記のいずれでもない」の区別を、単一の生成過程を持つ単一の確率として扱うのではなく、異なる表象および制御プロセスを動員する可能性のある、二つの異なる操作として扱うべきであることを示唆している。