技術的概要：容量制約を有するエージェントへの予測タスク割り当ての学習

問題定義

本論文は、タスクが逐次到来し、利用可能なエージェント（人間または AI）のセットに割り当てられなければならない環境における、オンライン逐次タスク割り当ての問題を取り扱っている。核心的な課題は、以下の 2 つの同時制約に関わっている：

1. 異質性かつ文脈依存の専門性：エージェントは、タスクの具体的な文脈に依存する多様な専門性レベルを有する（例：放射線科医は特定の医療症例では卓越するが、他の症例ではそうではない；大規模言語モデル（LLM）は特定のクエリタイプにおいてより良好に機能する）。この専門性は当初未知であり、オンラインで学習されなければならない。
2. 容量制約：単一の安価なエージェントが理論上すべてのタスクを処理できるコスト予算制約とは異なり、この設定では個々のエージェントに長期的な容量制限を課す。各エージェント $a$ は、処理可能な総作業量の目標割合 $\alpha_a$ を有する。これは、人間の疲労、燃え尽き症候群、または人員配置レベルといった現実世界の運用限界を反映しており、単一の高性能エージェントへのタスクの過剰割り当てを防ぐ。

目的は、エージェントのパフォーマンスに関する初期の不確実性にもかかわらず、これらの長期的容量制約を厳密に遵守しつつ、全体の期待報酬（例：予測精度）を最大化する割り当てポリシーを学習することである。

手法

理論的枠組み

著者らは、この問題を**文脈付き多腕バンディット（MAB）**としてモデル化する。

• 最適無制約ポリシー：エージェントの専門性 $\mu_a(x)$ が既知であるオラクル設定では、最適ポリシーは、各文脈 $x$ を条件付き期待報酬が最も高いエージェントに割り当てる。
• 最適制約付きポリシー：容量制約 $\alpha_a$ が導入されると、著者らはラグランジュ乗数を用いて最適ポリシーを導出する。彼らは、最適制約付きポリシーが以下の形式をとることを証明する：
  $$\phi^*(x) = \arg\max_{a} \{ \mu_a(x) - \lambda_a \}$$
  ここで、$\lambda_a$ は容量制約に対する「シャドウプライス」として機能する。これは、最適戦略が、調整された報酬が最も高いエージェントにタスクを割り当てること、つまり容量限界に近づいているエージェントを実質的にペナルティ化することを意味する。
• 2 エージェント分析：本論文は 2 エージェントの場合の具体的な特徴付けを提供し、容量 $\alpha$ を有するエージェントが、報酬ギャップ $\Delta(x) = \mu_1(x) - \mu_2(x)$ が最大となる $\alpha$ 質量の文脈に割り当てられることを示す。理論的解析は、エージェントのパフォーマンスが文脈とともに変化する限り、文脈付きポリシーが非文脈的（ランダムまたは固定エージェント）なベースラインを厳密に上回ることを示している。

オンライン学習アルゴリズム

$\mu_a(x)$ が未知である実用的なシナリオに対処するため、著者らはキューベースのオンライン学習フレームワークを提案する：

1. 文脈モデリング：エージェントの専門性は、ロジスティック回帰（事後推定のためのラプラス近似付き）または樹木ベースモデル（ランダムフォレスト）を用いてモデル化される。このフレームワークは、事後サンプリングによる探索のためのトムソンサンプリングと、点推定を用いる貪欲選択の両方をサポートする。
2. キューベースの制約執行：未来を知らずに長期的容量制約を執行するため、アルゴリズムは各エージェントに対して仮想的なキュー $Q_{t,a}$ を維持する。このキューは、実現された割り当てと目標容量 $\alpha_a$ との累積偏差を追跡する：
   $$Q_{t+1,a} = [Q_{t,a} + \mathbb{I}(a_t = a) - \alpha_a]_+$$
3. 決定則：各ステップ $t$ において、エージェントは、推定された報酬とキューの圧力のバランスを取る調整済みスコアを最大化することで選択される：
   $$a_t = \arg\max_{a} \{ \mu_{a,t}(x_t) - \eta Q_{t,a} \}$$
   ここで、$\eta$ は報酬最大化と制約満足度の間のトレードオフを制御するペナルティパラメータである。キューの長さ $Q_{t,a}$ は、シャドウプライス $\lambda_a$ の動的かつ時間変化する推定値として機能する。

著者らは、このアルゴリズムが仮想的キューの追加的な複雑さにもかかわらず、文脈付きトムソンサンプリングの文献から標準的な部分線形後悔の上限を継承することを証明している。

実験結果

このフレームワークは、機械学習分類器、大規模言語モデル（LLM）、および人間のアノテータ（実在およびシミュレーションの両方）を用いて、表形式、画像、およびテキストの予測タスクを含む多様な設定で評価された。

• データセット：実験には、Camelyon17（医療画像）、MMLU（LLM ルーティング）、ImageNet16H（人間対 AI）、および 4 つの表形式データセット（銀行、クレジット、クーポン、心臓血管）が含まれた。
• パフォーマンス：文脈付き割り当てポリシー（トムソンサンプリングまたは貪欲戦略を使用したロジスティックおよび樹木ベースの両方）は、すべての容量レベルにおいて非文脈的ベースラインを体系的に上回った。
  • 組み合わせポリシーは、しばしば最良の個々のエージェントの限界誤り率よりも低い誤り率を達成し、相補的な専門性を活用することがシステム全体の性能を向上させるという理論的主張を検証した。
  • 樹木ベースモデルは一般的にロジスティックモデルを上回り、エージェントの専門性における非線形パターンの捕捉の重要性を示唆した。
  • 貪欲法とトムソンサンプリングは同様に機能し、制約自体が十分な暗黙的な探索を提供した。
• ミニバッチ設定：著者らは、結果を観測する前にバッチのタスクに対して割り当てを行うミニバッチ設定を調査した。バッチサイズに対する U 字型の誤り曲線が見つかった：小規模バッチは頻繁な更新を可能にするが容量執行にノイズが生じ、大規模バッチは学習を遅延させる。中間的なバッチサイズが最良のトレードオフを提供したが、その代償としてレイテンシが増加した。
• 感度分析：キューペナルティパラメータ $\eta$ に対する感度分析は、より小さな値が報酬最大化を優先し（無制約のパフォーマンスに接近）、より大きな値が容量をより攻撃的に執行すること（非文脈的ランダム割り当てに接近）を示した。

主要な貢献

1. 理論的特徴付け：本論文は、容量制約付きエージェントに対するタスク割り当ての一般的な理論的枠組みを提供し、シャドウプライスと文脈依存の専門性の差異の観点から最適ポリシーを特徴付ける。
2. アルゴリズム的枠組み：これは、エージェントの専門性を共同で学習し、キューベースのメカニズムを用いて長期的容量制約を執行する実用的なオンライン学習アルゴリズムを導入するものであり、人間および AI エージェントの両方に適用可能である。
3. 実証的検証：複数のモダリティ（テキスト、画像、表形式）およびエージェントタイプ（LLM、人間、分類器）にわたる広範な実験を通じて、本論文は、文脈付き容量制約ポリシーが非文脈的ベースラインに対して体系的な利益をもたらすことを実証している。

意義と主張

本論文は、効果的な人間-AI 協力および大規模組織のタスク割り当ては、個々のエージェントのパフォーマンスを向上させることだけでなく、異質的な専門性を学習しつつ現実世界の容量制限を尊重する割り当てポリシーを設計することに依存すると主張している。

著者らは、彼らのアプローチが、しばしばオフライン学習を仮定するか、またはエージェント固有の作業量制限を無視する先行研究（遅延学習や LLM ルーティングなど）における重要なギャップに対処していると強調している。専門性の学習と容量管理の結合問題をオンラインでモデル化することにより、このフレームワークは、システムが分布のシフトや運用制約に動的に適応することを可能にする。結果は、文脈または容量制約を無視することが最適ではないパフォーマンスにつながることを示唆しており、それらを共同でモデル化することはエージェントの相補性の活用を可能にし、システム内の最良の単一エージェントさえも上回る可能性を示している。

本論文はその範囲に関して控えめであり、評価は比較的低次元の文脈を持つ制御された環境におけるプロキシエージェントを用いて行われたことを指摘している。現実世界への応用には、高次元かつ多モーダルな文脈、遅延フィードバック、および変化するエージェントの行動が含まれる可能性があり、これらを将来の課題として認識している。