Learning to Decide with AI Assistance under Human-Alignment

技術的サマリー：人間との整合性下での AI 支援による意思決定の学習

問題定式化
本論文は、AI モデルによって支援される人間意思決定者が存在する高リスク領域において、最適な意思決定方策を学習するという課題に取り組む。この設定は、二値予測と二値意思決定によって定義される。各相互作用 $t$ において、意思決定者は特徴ベクトル $(x, v)$、分類器の予測 $\hat{y}$、および分類器の信頼度 $b \in B$（ここで $B \subseteq [0, 1]$）を観測する。また、意思決定者はラベル $y=1$ に関する個人の信頼度 $h \in H$ を有しており、ここで $H$ は有限かつ全順序付けされた離散集合である。目的は、意思決定 $a$ が真のラベル $y$ と一致するときに効用 $u(a, y)$ が高くなるという条件下で、期待効用を最大化する方策 $\pi(h, b) \in \{0, 1\}$ を学習することである。

核心的な難しさは、AI が伝達する信頼度のみに基づいて意思決定者が効果的に信頼を調整できない点にある。先行研究（Corvelo Benz and Gomez-Rodriguez, 2023, 2025）は、AI の信頼度と人間の信頼度の間の「整合性」の度合いが、AI 支援型意思決定の効用に大きく影響することを示唆している。しかし、この整合性が反復相互作用を通じて最適な方策を学習する際の複雑性にどの程度影響するかは、未解明であった。

手法と理論的枠組み
著者らは、AI 支援による意思決定の学習の問題を、完全フィードバックを伴う2 腕のオンライン文脈学習問題として定式化する。

• 文脈: 信頼度のペア $(h_t, b_t)$。
• 腕: 二値の意思決定 $a \in \{0, 1\}$。
• フィードバック: ラベル $y_t$ が与えられれば、意思決定者は両方の可能な行動に対する効用を計算できるため、完全フィードバックが利用可能である。

本論文は、一般的な場合（整合性を仮定しない）における任意の学習者の期待後悔の下限を確立し、その後に完全整合性を仮定した場合の複雑性を分析する。完全整合性は、任意の $h < h'$ および $b < b'$ に対して、条件付き確率 $P(Y=1 | H=h, B=b)$ が信頼度レベルに関して非増加となるように定義される。

主要な貢献と結果

1. 一般的な下限:
   著者らは、整合性の仮定なしに、任意の学習者に対する期待後悔 $E[R(T)]$ が $\Omega(\sqrt{|H| \cdot |B| \cdot T})$ によって下方から抑えられることを証明した。これは、学習の複雑性が人間と AI の信頼度集合のサイズの積に比例して増大することを示している。

2. 完全整合性下での後悔の低減:
   完全整合性を仮定すると、最適な方策 $\pi^*$ は AI 信頼度 $b$ に対する閾値関数であることが示され、その閾値 $b^*(h)$ は人間の信頼度 $h$ に依存する。

   • アルゴリズム: 著者らは、これらの閾値を学習するオンライン学習アルゴリズム（アルゴリズム 1）を提案する。これは、各人間の信頼度レベルに対して独立した多腕バンディット問題（$|H|$ 個）として問題を扱い、ここで「腕」は $B$ 内の候補閾値となる。
   • 後悔の上限 1: 閾値全体にわたって推定誤差を一様に抑えるために Dvoretzky-Kiefer-Wolfowitz (DKW) 不等式を用いることで、このアルゴリズムは $O(\sqrt{|H| \cdot T \log T})$ の期待後悔を達成する。注目すべきは、この上限が AI 信頼度集合のサイズ $|B|$ に依存しない点である。
   • 後悔の上限 2: $\sqrt{|H|} = O(\log T)$ かつ $B$ が可算である場合、著者らは閾値方策に対する DKW 不等式の非自明な一般化を導出する。これにより、$|H|$ 個の独立した閾値を学習するのではなく、単一の関数 $\ell: H \to B$ を学習する問題として問題を再定式化できる。これにより後悔の上限は $O(\sqrt{T} \log T)$ に改善され、$|H|$ と $|B|$ の両方への依存性が除去される。

3. 不完全整合性に対する頑健性:
   本論文は理論的に、完全整合性が成り立たない場合、整合性の欠如の度合い（最大整合性誤差 MAE によって測定される）が、学習された方策の効用と最適方策の効用との間のギャップを上限付けることを示している。具体的には、学習された方策は準最適であり、性能ギャップは MAE に比例して増大する。

実験的検証
理論的知見は、2 つの人間被験者研究からの実データを用いて検証された。

• 人間 - 整合性データセット（Corvelo Benz and Gomez-Rodriguez, 2025）: 参加者は、異なるグループ間で AI と人間の信頼度の整合性の度合いが変化するカードゲームの結果を予測した。
• 人間 - AI 相互作用データセット（Vodrahalli et al., 2022a）: 参加者は、AI 支援を受けながら二値分類タスク（芸術、皮肉、都市、国勢調査）を実行した。

結果:

• 提案されたアルゴリズム（アルゴリズム 1）は、単調性が破られた「国勢調査」タスクを除くすべてのグループとタスクにおいて、素朴な文脈オンライン学習のベースライン（アルゴリズム 2）と比較して、一貫して低い経験的平均後悔を達成した。
• 結果は、完全整合性が厳密に存在しない場合でも、より弱い整合性の概念（$B$ に関する $P(Y=1|H, B)$ の単調性）が成り立つ限り、完全整合性を仮定しない場合よりも、完全整合性を仮定した方が良好なパフォーマンスをもたらすことを確認した。

重要性
本論文は、AI と人間の信頼度の間の整合性が、AI 支援による意思決定の学習の複雑性を根本的に低減し得ると主張している。整合性によって誘発される構造的性質（具体的には、最適方策の閾値性）を活用することで、学習者は AI の信頼度出力の粒度に依存しない、はるかにtight な後悔の上限を達成できる。これは、人間の直感と整合する信頼度指標を備えた AI システムを設計することが、単なる使いやすさの機能ではなく、反復相互作用における最適意思決定方策の学習を加速するメカニズムであることを示唆している。