技術要約：単位（Unit）をプリミティブとする機械学習に向けて

問題提起

標準的な教師あり機械学習の定式化は、通常、データセットのレコード $D = \{(x_i, y_i)\}_{i=1}^N$ と写像 $f: \mathcal{X} \to \mathcal{Y}$ から始まる。この表記において、インデックス $i$ はレコードを特定するものであり、そのレコードが参照している持続的な個体（「単位（unit）」）を特定するものではない。この欠落は、行レベルの問いに対しては無害であるが、イベントが同一の個体を共有する場合、あるいは個体を固定したままクエリが変化する場合、または特定のエンティティへの帰属が不確実な場合には、重大な結果をもたらす。

決定的なことに、標準的な定式化では、異なる個体が単一の応答則を共有しているのか、あるいは観測された行レベルの法則が、個体に条件付けられた異なる関係性を単に周辺的に集約したものに過ぎないのかという点が明示されていない。既存の伝統（反復測定モデル、潜在的結果フレームワーク、推奨システムなど）は、特定の仮定の下でこれらの問題に局所的に対処しているが、学習問題の核心として持続的な参照元を昇格させる統一的な意味論的プリミティブを欠いている。

手法：プリミティブとしての単位

本論文は、単位 ($U$) をタスクの意味論のレベルで明示的なプリミティブへと昇格させることを提案する。学習タスクは以下を宣言することによって定義される：

1. 持続的な参照元の集団 ($\mathcal{U}$)。
2. 同一性基準（いつイベントが同一の参照元に関するものであるか）。
3. この関係が保持されるスパン（期間）。

実現された値 $U=u$ は、選択された参照元を表す。したがって、教師あり学習の意味論的対象は、単位に条件付けられた応答則の族となる：
$$u \mapsto \left[ x \mapsto P^*_u(dy | x) \right]$$
ここで $P^*_u(dy | x) := P^*(Y \in dy | X=x, U=u)$ である。$x$ を変更することは、固定された単位における応答曲面上の位置をクエリすることであり、$u$ を変更することは、この族の異なるメンバーを選択することを意味する。

この族を有限のデータから学習可能にするために、本論文は計算上の因子分解（仮定1）と構造化されたクラスを導入する：

• 文脈的単位トークン ($Z^c_u$): トークナイザ $T_\phi$ が、事実的証拠 $O$ と文脈 $c$ から学習者側の表現を生成する。このトークンは、単位から予測に至るすべての経路を媒介する。
• 共有応答則の形式 ($R_\theta$): すべての単位は、単一の応答メカニズム $R_\theta$ を共有し、それはトークンを読み取る。この構造化されたクラスは、$R_\theta$ が宣言された低複雑度な写像（例：線形予測器）を通じてのみトークン $z$ に依存することを要求する。

学習される対象は、ペア $(T_\phi, R_\theta)$ である。トークナイザは単位固有の規則性を単純なトークン空間へと整理することで、共有された形式が汎化することを可能にする。

アクセスモード

本論文は、単位へのアクセスとして2つのモードを区別する：

1. 直接的単位アクセス: 信頼できるリゾルバがキー $k$ を用いて参照元 $u(k)$ を固定し、ルックアップ・トークン（例：学習された埋め込み $z_\theta(k)$）を供給する。これにより「どの単位か」という不確実性は排除されるが、トークンおよび形式の近似誤差は残る。
2. 単位のアブダクション（仮定）: リゾルバが単位を特定できない場合、トークンは事実的証拠 $O$ を通じて $Z^c = T_\phi(O, c)$ として形成される。このトークンは文脈的表現として機能し、特定の特化（例：識別混合学習器）においては、近似的な同一性事後分布と解釈され得る。

主な貢献

1. 単位の定式化: 本論文は、単位をタスクによって宣言された集団プリミティブとして定式化し、持続的な参照元とイベントのレコードを分離した。サンプルはイベントを記録するものである一方、タスクはそれらのイベントが属する参照元を宣言するものであることを明確にした。
2. 共有形式インターフェース: 構造化されたクラスがトークンに対する単純な関係であるという共有形式インターフェース（仮定1）を確立した。実行中のインスタンスは線形予測器であり（定義2）、学習される対象はペア $(T_\phi, R_\theta)$ である。
3. 予測価値の分解: 本論文は、オラクル予測価値、証拠のアクセシビリティ、学習者の近似、および構成要素の識別性を分離した。行レベルの周辺適合度（marginal fit）は、内部的な単位構造を識別しないことを確立した。
4. 不可能性と分離の結果: 連結されていない単一行の観測では、異質な単位の世界と均質な集約された世界の区別ができないことを証明した。逆に、信頼できる同一単位のペア（連結された観測）は、単位内の共分散を露出させることで、これら2つの世界を分離することができる。

形式的な結果と理論的境界

価値とアクセスの分解

ログ損失の下で、本論文は単位情報のオラクル予測価値 ($V_{oracle}$) を、アクセシブルな価値 ($V_{accessible}$) と残留価値 ($V_{residual}$) に分解する：
$$R^*_W - R^*_{U,W} = (R^*_W - R^*_{O,W}) + (R^*_{O,W} - R^*_{U,W})$$
ここで $R^*_W$ は単位情報なしのリスク、$R^*_{O,W}$ は証拠 $O$ を伴うリスク、$R^*_{U,W}$ は完全な単位知識を持つオラクルリスクである。残留項は、宣言された証拠からアクセス可能ではあるが、予測的に価値のある単位に関する情報を表している。

エンドツーエンドの誤差境界

展開された予測誤差は、単位信念誤差と固定単位の応答誤差の和によって抑えられる。具体的には、真の周辺分布と学習された周辺分布の間のカルバック・ライブラー（KL）ダイバージェンスは、以下のように抑えられる：
$$E_{pred} \leq E_O [ D_{KL}(P(\cdot|O) \| Q_\phi(\cdot|O)) ] + E_{O,W} \left[ \int D_{KL}(K_{u,W} \| \hat{K}_{u,W}) P(du|O) \right]$$
これは、不完全な単位特定に起因する誤差（信念誤差）と、固定された単位に対する応答則のモデリングに起因する誤差を分離している。

単一行の不可能性

命題4は、制限のない応答カーネルのクラスにおいて、すべてのサンプルのみの法則 $R(dy|x)$は、単位一定の表現$K^R_u(dy|x) = R(dy|x)$ を持つことを示している。したがって、周辺適合度のみでは、世界が異質であるか均質であるかを識別することはできない。

• 識別不能性: 観測が新しく連結されていない単位から得られる場合、異質な世界（単位ごとに異なる応答確率を持つ世界）は、単一行の周辺分布に基づくと、均質な世界（すべての単位が単一の確率を共有する世界）と統計的に区別がつかない。
• 分離: 信頼できる同一単位のペア（反復的な連結）を用いることで、単位内の共分散を通じて、単位固有のパラメータの分散 ($Var(p_U)$) を特定することが可能となり、これら2つの世界を分離できる。

評価への含意

本論文は評価プロトコルに関する系を導出している：

• 重み付け: 行重み付けの経験リスクと単位重み付けの経験リスクは、観測されたすべての単位のレコード多重度が等しい場合にのみ一致する。
• 分割: レコード単位の分割は、既知の単位に対する新しいイベントの予測と、未知の単位に対する予測を混在させる。未知の単位への汎化を対象とするには、明示的に単位が互いに素である（unit-disjoint）分割が必要である。

意義と範囲

本論文は、機械学習が、タスクによって宣言された単位から、ノイズを含み、選択的に観測された、単位連結型のイベントを通じて、共有された構造を学習することを主張している。その主要な貢献は、持続的な参照元を明示的に扱う、意味論的かつ計算的なフレームワークを提供したことにある。

• 控えめな主張: 著者は、仮定1は計算上のインターフェースであり、学習可能性の定理ではないことを強調している。本論文は、特定の学習規則が近似ペナルティをゼロに追い込むことを証明するのではなく、共有された形式が汎化するために十分に単純であるための条件を定義している。
• 既存研究との区別: 本フレームワークは、古典的な統計学習や因果推論を置き換えるものではなく、どのようにトークナイザが単位を整理して単一の共有応答則の形式を汎化させるかという、明示的な問いを加えるものである。また、単位の変動を環境の変動（ドメイン適応）と区別し、「単位のアブダクション（仮件）」が古典的な因果的アブダクション（外生的なノイズの推論）とは異なることを明確にしている。
• 実用的な含意: 形式的な結果は、連結されていない単一行の観測では、単位構造を検証できないことを示している。単位構造を分離するには、信頼できる同一単位の連結が必要である。さらに、評価においては、行レベルの推定量と単位レベルの推定量を、また既知の単位への汎化と未知の単位への汎化を区別しなければならない。

本論文は、宣言されたターゲット、推定量、または評価プロトコルを変更しても、単位を保持することが影響を与えない場合、単位による周辺化の定式化で十分であることを結論づけている。しかし、持続性、帰属、または単位レベルの評価が重要となる場合には、学習問題を正しく構成するために、単位をプリミティブとして宣言する必要がある。