Proxy reliance in large language model decisions is uncalibrated to predictive evidence

現代社会において、アルゴリズムは、誰にローンを貸すべきか、あるいはどの病院の患者を優先的に治療すべきかといった、人々に関する重大な決定を下すようますます求められるようになっています。これらのシステムが、膨大な量のテキストで学習された強力なコンピュータプログラムである大規模言語モデル（LLM）を用いて構築されるとき、「公平性」の問題は複雑になります。法律は一般的に、血圧を用いて心臓発作のリスクを予測するように、ある情報が良好な結果を予測するのに役立つのであれば、意思決定者がその情報を使用することを認めています。しかし、たとえその情報が統計的に有用であったとしても、人種や性別といった保護されるべき特性の代わりとなるだけの情報を使用することは禁じています。これは「プロキシ（代理）差別」として知られています。困難な点は、例えば「居住地域」という一つのデータが、正当な医学的指標であると同時に、人種の隠れたシグナルにもなり得るという事実にあります。アルゴリズムが公平であるかどうかをテストする現在の手法の多くは、単純なチェックに依存しています。つまり、プロンプト内の人物の人種を変更したときに決定が変われば、そのシステムには偏りがあるというものです。しかし、このアプローチは現実のニュアンスを見落としています。合理的な意思決定者であれば、新しい情報が真に有用であれば考えを変えるべきであり、決して考えを変えないシステムは、公平であるどころか、重要な証拠を無視している可能性があります。

大阪大学の研究者たちは、単純な「イエスかノーか」のチェックを超えて、アルゴリズムが特定のヒントにどの程度依存すべきかをより精密に測定することで、この問題を解決しようと試みました。彼らは、すべての患者とすべての結果に関する正確な真実を知っているシミュレーションの世界を作り出し、あらゆる与えられた情報に対して最適な依存度を算出できるようにしました。この制御された環境において、彼らは4つの異なる大規模言語モデルに対し、トリアージの専門家として振る舞い、治療の優先順位をつけるために患者のペアをランク付けするよう求めました。患者は数値的な指標によって記述され、その中には正当な医学的シグナルもあれば、隠れた保護属性と相関しているものの医学的な価値を持たない「プロキシ（代理）」も含まれていました。研究者たちは、モデルの挙動を、同じ情報を用いた場合の完璧に合理的な意思決定者が行うであろう数学的基準と比較することができました。

研究の結果、モデルが利用可能な証拠と、実際にそれを利用する方法との間に、驚くべき乖離があることが明らかになりました。研究者がモデルに対して全く予測価値のないヒントを与えたときでも、モデルはそれを利用し、無用な情報をあたかも重要であるかのように扱いました。これは、プロバイダーに関わらず、テストされた4つのモデルすべてにおいて一貫して見られました。ヒントが真に有用であった場合、モデルは証拠の強さに合わせて依存度を調整することはありませんでした。代わりに、モデルは高い正のベースラインレベルの依存度で動作しており、証拠の予測価値が高まるにつれて、その証拠を著しく過小評価していました。言い換えれば、モデルはデータを聴いているのではなく、変化する現実を無視した、硬直した内部スクリプトに従っていたのです。これは、ある特定のテストにおいては公平に見えるシステムであっても、証拠がより強力になったり弱まったりする現実世界の条件に一致しない限り、深く欠陥がある可能性があることを意味します。

研究者たちはまた、データフィールドの名前を変更することで、この挙動を止められるかどうかを調査しました。プロキシとなるヒントに、「居住地域」や「職業」といった社会的にデリケートな用語をラベル付けしたところ、モデルはそれらへの依存度を減少させました。これは一見すると安全機能のように見えました。しかし、研究では、この抑制は脆弱であり、容易に崩れることが判明しました。研究者がプロンプトに例を追加してモデルにタスクを理解させる（これは実世界のアプリケーションでは一般的な手法です）と、モデルは即座に社会的なラベルに再び依存し始め、名前による保護効果をしばしば完全に無視しました。ただし、研究では、例が提供された6つのケースのうち3つのケースにおいて、社会的ラベルと中立的なラベルの対比が持続していたことも指摘されており、抑制が完全に消滅したわけではなく、著しく弱まったことを示しています。これは、これらのモデルの「安全性」が、深い信頼できる公平性の理解ではなく、特定の言葉遣りに対する表面的な反応であることを示唆しています。モデルは、求められる文脈を変えるだけで、不公平な挙動をするよう騙される可能性があるのです。

さらに、本研究は、モデルの決定の正確さが、そのモデルが情報を公平に使用しているかどうかの信頼できる指標ではないことを示しました。モデルは、正しい理由で正しい選択をすることもあれば、間違った理由で間違った選択をすることもあり、それでも最終的なスコアは同じになる可能性があります。いくつかのケースでは、データポイントを増やしてタスクを難しくすることが、モデルに不公平なプロキシへの依存を強めることもあれば、逆に依存を弱めることもありました。この不一致は、単にモデルの正確性をチェックするだけでは、差別が行われているかどうかを教えてくれないことを意味します。研究者たちは、モデルが見るデータポイントの数と、モデルがそれらをどのように利用するかとの関係は、それらのデータポイントが互いにどのように結びついているかに完全に依存しており、その要因は実世界の医療データにおいて激しく変動するということを発見しました。

結局のところ、この研究は、現在の人工知能の監査手法が、現実世界の展開における複雑さに対して不十分であることを証明しています。本研究は、証拠が何を正当化するかという既知の基準がなければ、モデルが公平であるのか、あるいは単に有用なデータを無視しているのかを判断することは不可能であることを証明しています。研究結果は、最も安全に見える構成（単純なテストにおいてバイアスに強いように見えるもの）が、病院や銀行において実際にどのように振る舞うかを最も反映していないことが多いことを示唆しています。研究は、これらのシステムを真に理解し規制するためには、単なるバイアスのチェックを超えて、アルゴリズムによる特定の情報の依存度が、その情報の実際の価値と一致しているかどうかを測定する方法を開発しなければならないと結論付けています。それができない限り、私たちは、合理的なシステムを罰してしまうか、あるいはより危険なことに、世界の脆弱な理解に基づいて密かに不公平な決定を下しているシステムを信頼してしまうリスクを負うことになるのです。