Human Capital, Not Model Benchmarks, Predicts Hybrid Intelligence in Forecasting

技術要約：モデルのベンチマークではなく、人的資本がハイブリッド・インテリジェンスを予測する

問題提起
人間とAIの協調に関する現在の文献は、生産性と正確性に関して相反する結果を示している。AIが低スキルの労働者を増強するという研究もあれば、経験豊富なユーザーにのみ利益がもたらされるとする研究、あるいは、有能なモデルへのアクセスが、モデル単独での作業と比較して人間のパフォーマンスを実際には低下させるという研究もある。これらの研究における繰り返される混同要因は、評価指標である。すなわち、「能力」が（AIによって既に解がエンコードされている）汚染された問題に対して測定されていたり、「質」が実質的な推論ではなくAI生成文の流暢さに影響されやすい評価者によってスコア付けされていたりすることである。本パイロット研究は、客観的かつ外部で解決されるベンチマークを用いて、人間による資本が予測におけるAI支援の価値を調整するかどうか、また、異なる相互作用スタイルがこの効果を媒介するかどうかを判断する必要性に対処するものである。

方法論
本研究では、専門家の評価者や静的なベンチマークのバイアスを避けるため、客観的な真実として実金を用いた予測市場（Polymarket）を利用した。

• 参加者と設計: 78名の参加者（UCバークレーの学生42名、一般成人36名）を26の3人組チームに編成した。彼らは、人間のみの条件（12チーム）または、4つの大規模言語モデル（Llama 3.1, Qwen3, GPT-4o, Gemini 3 Pro）へのアクセスを伴うハイブリッド条件（14チーム）のいずれかに割り当てられた。別途、回答を控える「ソクラテス型」モデルを使用する30名の参加者グループを用意した。
• タスク: チームは、経済、国際関係、ビジネスを網羅する30のライブPolymarketコントラクト（2025年11月〜2026年1月の解決予定）のプールからランダムに抽出された10の質問に対して予測を行った。
• 指標: 予測の正確性は、スケーリングされたブライア・スコア（確率的予測の平均二乗誤差。低いほど良い）を用いて測定された。
• 人的資本の測定: 参加者は、流動的推理（レイヴン漸進行列）、一般的知能（$g$）、視点取得（IRI）、知的謙遜、認識的好奇心、レジリエンス、およびビッグファイブの性格特性に関するアセスメントを実施した。
• 相互作用スタイル: ハイブリッド参加者を、事後的に以下の3つの創発的スタイルに分類した：
  • オートメーター（自動化型）: 最小限の推論でモデルの回答を採用する。
  • バリデーター（検証型）: 事前の推測を確認するためにモデルを使用する。
  • サイボーグ（融合型）: 反復的かつ相補的な推論に従事する。
• 分析: 分析は、非パラメトリックなオムニバス検定（クラスカル・ウォリス検定）および対比較のためのウェルチのt検定、ならびに人的資本特性のためのピアソン相関を用いて、個々の予測者のレベルで行われた。

主な結果
本研究は、ハイブリッド・パフォーマンスの「三峰分布」を特定し、人間とAIの協調における単一の平均的な効果という概念に異を唱えた。

1. 人間のみ: スコアは14.7（ブライア）であり、モデルよりは劣るものの、チャンス（偶然）よりは有意に高いパフォーマンスを示した。
2. オートメーター: スコアは10.4であった。彼らはモデルの挙動を再現したが、モデルの正確性には達せず、AI単独のベースライン（5.5）よりも劣る結果となった。
3. バリデラー: スコアは31.7であった。事前の推測を追認するためにAIを使用するこのグループは、人間のみの場合よりも有意にパフォーマンスが悪化し、AIのベースラインを大きく下回った。
4. サイボーグ: スコアは3.8であった。この少数派グループは、個々のAIモデルのすべてのエラー率を下回り、市場のベンチマーク（3.5）と統計的に区別がつかず、数値的にもそれを上回った。

成功の予測因子

• 能力と結果のデカップリング: 人間のみの条件では、生の認知能力（$g$、流動的推理）が正確性を強く予測した（$r \approx -0.45$）。しかし、ハイブリッド条件においては、生の認知能力は正確性を予測しなかった（$r \approx -0.10$）。モデルがパフォーマンスのフロア（底）を提供し、生の知能と最終的な結果を切り離した。
• 協調的人的資本: ハイブリッド条件における成功は、ベンチマークではなく、協調的な特性によって予測された。視点取得（$r = -0.32$）、好奇心、および知的謙遜が主要な差別化要因であった。
• サイボーグの出現: 「サイボーグ」モードは、人的資本によって厳格にゲートされていた。サイボーグは、他のハイブリッド予測者と比較して、有意に高いレベルの知的謙遜、好奇心、および視点取得を示した（効果量 $d > 3.0$）。

意義と主張
本論文は、AIの生産性に関する問いは、「AIが助けになるか」から「いつ、どのように助けになるか」へと移行しなければならないと断じている。主要な貢献は、すべてのハイブリッドな相互作用を一つの平均に集約すると、パフォーマンスを悪化させる「バリデーター」モードを含む、強い三峰分布の結末を見落としてしまうことを示した点にある。

本研究は、協調的人的資本（具体的には視点取得、知的謙遜、および好奇心）こそが、人間とAIのチームが成功するか失敗するかを決定する決定的なモデレーターであると主張している。決定的なのは、モデルが優れたパフォーマンスを発揮する特性や、人間が単独で推論を行う際に優れたパフォーマンスを発揮する特性は、人間とAIのチームが効果的であるために必要な特性とは異なるということである。結果は予備的なものとして提示されているが、統計的に堅牢であり、効果量と因果メカニズムを確認するための事前登録された再現実験（現在準備中）を動機付けるものである。

限界
著者らは、本研究のパイロット的な性質を明記している。すなわち、サイボーグおよびバリデーターのグループのサンプルサイズが小さいこと（$n=9$ずつ）、相互作用スタイルが操作されたものではなく創発的なものであるため、人的資本との共線性が発生していること、および条件内の分散が低いことである。したがって、スタイル間の比較は記述的なものであり、因果的なものではない。本研究は、将来の確認試験に向けて効果量の推定値を提供することを目的としている。