Disagreement Is Not Debiasing: Human–AI Views in Portfolio Decisions
本論文は、独立したAI予測を人間のアナリストによる予測に加えることは、不一致を通じて不確実性の推定値を精緻化することにより確率的な正確性を向上させる一方で、実現した結果に対するキャリブレーション（較正）なしには、共通の系統的なバイアスを修正したり、ターゲットに基づいたポートフォリオの意思決定を強化したりすることには失敗することを実証している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
投資という極めて重要な世界において、意思決定を行うことは、しばに動く標的を狙いながら、揺れ動くプラットフォームの上に立っているかのような感覚を伴います。投資家は、企業がどれほどの利益を上げるかを推測するために予測に頼りますが、これらの推測が完璧であることはめったにありません。数十年にわたり、標準的なアプローチは、人間の専門家の意見とコンピュータモデルの計算を組み合わせ、一方が犯す間違いが他方の間違いを相殺することを期待するというものでした。この「予測の結合（フォアキャスト・コンビネーション）」として知られる考え方は、もし2つの不完全な予測を取り上げて平均をとれば、その結果はどちらか一方のみを用いるよりも正確になるはずだというものです。しかし、この論理は、2つの情報源が異なる種類の誤りを犯していることを前提としています。もし人間も機械も同じ文書を見ており、同じ楽観的な気分に影響されているのであれば、彼らは全く同じタイミングで、全く同じ間違いを犯す可能性があります。このような場合、単に両者の見解を平均したとしても、問題は解決しません。それは単にエラーを強化してしまうだけなのです。
この現実は、厦門大学タンカーシー・カレッジの研究者らによる新しい研究の背景となっています。彼らは、人工知能（AI）システムが、人間の金融アナリストの系統的なバイアスを修正できるかどうかを検証することを目指しました。研究者たちは中国の株式市場に焦点を当てました。そこは、数千の企業がプロのアナリストによって追跡されている、広大かつ活発な舞台です。彼らは数十年分のデータを収集し、人間の専門家が行った収益予測と、大規模言語モデル（高度なAIの一種であり、同じ企業のレポートを読み込むが、アナリスト自身の予測を見ることは厳格に禁止されている）によって生成された予測を比較しました。その目的は、AIが人間のエラーを浄化する独立した「セカンドオピニオン」として機能できるのか、それとも両者が同じ方向にバイアスを持っており、その不一致が核心的な問題を解決するためには無意味なものになるのかを見極めることでした。
研究は、よく知られた事実を認めることから始まりました。それは、人間の金融アナリストは一貫して楽観的すぎるということです。調査されたデータでは、これらの専門家は、実際の出来事よりも高い利益を予測したケースが約4分の3に及びました。次に、研究者はAIを導入しました。AIには同じ生財務データが入力されましたが、情報の独立性が保たれるよう設計されており、つまり人間のコンセンサスを覗き見ることはできないようになっています。自然な仮定としては、もしAIと人間が意見を異にするならば、その相違こそが人間のバイアスを明らかにすると考えられがちです。もし人間が「この会社は多くの利益を上げる」と言い、AIが「より少ない」と言えば、人間が間違っていると推測されるかもしれません。しかし、研究者たちはこの直感には欠陥があることを発見しました。人間とAIの両方が同じ基礎となるレポートを読んでいるため、彼らは共通の盲点を持っていたのです。彼らは、程度こそ違えど、同じ方向へと偏っていたのです。
この論文の核心的な発見は、2つのバイアスのある情報源間の不一致が、自動的にバイアスを修正するわけではないということです。2つの予測者が共通のエラーを共有している場合、その不一致は、彼らが互いにどの程度異なっているかを教えてくれるだけであり、真実がどこにあるかは教えてくれません。真実を見つけるためには、2つの現在の推測の差を見るのではなく、過去に実際に何が起きたかを見る必要があります。研究者たちは、これをテストするために精巧なモデルを構築しました。まず、歴史的データに基づいて人間とAIの両方の予測を調整し、本質的に、それぞれの情報源に見られる典型的な過度な楽観主義を認識して差し引くようモデルに学習させました。このキャリブレーション（較正）が行われた後、彼らは2つの見解を組み合わせて、その結果が人間による予測のみを使用する場合よりも優れているかどうかを確認しました。
結果は微妙なものであり、「AIを加えることは単にすべてを改善する」という期待に異を唱えるものでした。純粋な予測精度のレベルにおいて、校正された人間とAIの予測を組み合わせることは、不確実性の統計的な記述を改善しました。モデルは、起こりうる結果の範囲を記述することにおいてより優れたものとなりました。これは主に、2つの情報源の間の不一致が、モデルに対して「いつ慎重になるべきか」を理解させる助けとなったためです。人間とAIが意見を異にする際、モデルはその不一致を、状況が不確実であるというサインとして正しく解釈し、安全マージンを広げました。これにより、予測の確率的な正確性が向上し、リスクを理解するためのより優れたツールとなりました。
しかし、研究者がこの改善された予測がより良い投資判断につながるかどうかをテストしたとき、物語は変わりました。彼らは、特定の絶対的な目標収益率を必要とするポートフォリオ戦略をシミュレートしました。このシナリオにおいて、AIの予測を加えることは、校正された人間の予測のみを使用する場合と比較して、検出可能なメリットをもたらしませんでした。その理由は、共有されたバイアスの性質にあります。AIはモデルが起こりうる結果の「広がり（スプレッド）」を理解する助けにはなりましたが、予測の「水準（レベル）」を修正することはできませんでした。人間とAIの両方が依然として平均してやや楽観的であったため、結合された予測は依然として高すぎたのです。特定の数値を達成することに依存する決定においては、このわずかに残ったエラーが、改善を妨げるのに十分な要因となりました。2つの情報源の間の不一致は、現実世界の成果に対する厳格なキャリブレーションという困難な作業の代わりにはなり得なかったのです。
また、この研究は、AIの予測自体が中立でバイアスのない神託（オラクル）ではないことも明らかにしました。人間のアナリストと同様に、AIも上方へのバイアスを持っており、実際に起こったよりも高い利益を予測していました。この発見は極めて重要です。なぜなら、AIが人間のエラーを修正できる自動的な「真実の語り手」であるという概念を打ち砕くものだからです。むしろ、AIは独自の系統的な欠陥を抱えた、もう一つの情報源であったのです。研究者たちは、AIのバイアスが約1パーセントポイントであり、アナリストのバイアスである1.45パーセントポイントとは異なるものであることを見出しました。これは、単にAIを混ぜ合わせることが、金融予測を悩ませる楽観主義を魔法のように取り除くわけではないことを意味しています。
結局のところ、この論文は、2つ目の意見の価値は、行われる意思決定の種類に完全に依存することを証明しています。もし目的が、企業を優劣の順にランク付けすることであれば、共有されたバイアスは問題になりません。なぜなら、人間とAIはおそらく同じ順序でランク付けを行うからです。しかし、もし最小リターン率のような特定の目標を達成することが目的であれば、その共有されたバイアスは決定的な障害となります。研究は、2つの予測の差を利用して共有されたエラーを修正することはできず、過去の実際の成果から学ばなければならないことを示しています。結論として、人工知能は不確実性の理解やリスクの記述を改善することはできますが、歴史的な現実に対する厳格なキャリブレーションの必要性を代替することはできません。結局のところ、協調的なインテリジェンス・デザインは、学習のタスクと新しい情報を収集するタスクを分離し、不一致は不確実性のシグナルであって、バイアスの治療薬ではないということを認識しなければならないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。