From Prompts to Constructs: A Dual-Validity Framework for Large Language Model Research in Psychology
本論文は、心理学における大規模言語モデル研究のための二重妥当性フレームワークを提案するものであり、エビデンスの要件を単純な信頼性から厳密な構成概念妥当性および因果推論へとスケールアップさせることで、人間の測定手法がその解釈可能性と科学的正当性を確立することなく無批判にAIに適用されることを防ぎ、「測定の幻影」を回避することを目的としている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の心理学の静かな片隅において、研究者たちは長い間、ある単純で信頼できる手法に頼ってきました。それは、人々に質問をし、その答え方を観察することです。彼らは、性格、不安、あるいは道徳的推論といった目に見えないものを測定するために、入念に設計された調査やテストを用います。これらのツールは、「私は緊張している」と人が言ったとき、それが現実の、内面的な感情を報告しているものであるという仮定に基づいています。しかし、回答者が人間ではなく、大規模言語モデルであるという新しい領域が開かれました。これらは、物語を書き、複雑な問いに答え、驚くほど人間らしく感じられる会話を行うことができる強力なコンピュータプログラムです。科学者たちが、人間の心を研究するために、あるいは機械自体を心理学的な存在として研究するために、これらのマシンを使い始めると、根本的な疑問が生じてきました。私たちは、これらのコンピュータが出す答えを信頼できるのでしょうか？ もし機械が「怖い」と言ったとき、それは人間が言うのと同じ意味なのでしょうか、それともコンピュータは単に恐怖の音を模倣しているだけで、それを感じてはいないのでしょうか？
延世大学校の心理学者、リン・ジチェン（Zhicheng Lin）による新しいレビューは、この不確実性に正面から取り組んでいます。この論文は、多くの現在の研究が、コンピュータの出力をあたかも人間の反応であるかのように扱っているという、危険な間違いを犯していると主張しています。著者は、研究者がしばしば「測定ファントム（幻影）」、つまり、実際にはコンピュータの言葉の処理におけるグリッチ（不具合）に過ぎないのに、あたかも実在する心理学的特性であるかのように見える統計的パターンを見ているのだと示唆しています。これを修正するために、リンは、科学に関する2つの異なる考え方を組み合わせた新しいフレームワークを提案しています。それは、テストが信頼できるかどうかを確認することと、実験が実際に因果関係を証明しているかどうかを確認することです。核心となる発見は、人間用に設計されたテストをそのままコンピュータに渡し、結果が同じであることを期待してはならないということです。代わりに、私たちは、これらのデジタルシステムの独特な機械的性質を尊重した、新しい測定方法を構築しなければなりません。
この問題の物語は、これらのコンピュータモデルがいかに脆弱であるかという驚くべき発見から始まります。研究者たちは、人工知能に対して、例えば1人を救うか5人を救うかといった道徳的ジレンマを用いてテストを行ってきましたが、モデルは人間に非常に近い倫理的選択を行っているように見えることが分かりました。モデルは動物よりも人間の命を重んじ、より多くの人々を救うことを好むように見えました。しかし、詳しく調べると、これらの「道徳的選好」は極めて不安定であることが明らかになりました。研究者が、「ケース1」と「ケース2」という名称を「(A)」と「(B)」に変更するなど、質問の細部をわずかに変えただけで、モデルの道徳的立場は完全に逆転しました。モデルは突然、反対の結果を好むようになったのです。句読点を一つ変えたり、少し異なる方法で応答するように求めたりするだけで、その判断を覆すこともできました。この感受性は、コンピュータが必ずしも倫理的な原則に基づいて推論しているのではなく、画面上の言葉の特定の形状に反応しているに過ぎないことを意味します。もし測定値がカンマ一つによってこれほど劇的に変わるのであれば、それは道徳のような安定した特性を測定しているとは言えず、信頼することはできません。
この不安定さは、波及効果を生み出し、コンピュータを用いた心理学的研究という分野全体を揺るがしています。論文は、この信頼性の欠如には主に3つの原因があるとしています。第一に、学習プロセス自体がバイアスを導入する可能性があることです。これらのモデルは、インターネット上の膨大なテキストに基づいて学習されており、そこには多くの人間の意見やステレオタイプが含まれています。モデルが一貫してある主張に同意する場合、それはその信念を持っているからではなく、ユーザーを喜ばせようとしているか、あるいは学習データの中で見たパターンを繰り返しているだけかもしれません。第二に、モデルは質問のされ方に非常に敏感です。単語の順序、空白、あるいは回答に使用されるラベルによって、結果が完全に変わってしまうことがあります。第三に、モデルは時間の経過とともに不安定になります。あるモデルは今日、一貫した答えを出すかもしれませんが、ソフトウェアが来月アップデートされれば、同じ質問に対して全く異なる答えを出すかもしれません。これらの問題により、コンピュータは性格や道徳観を持っているように見えることがありますが、これらはしばしば、単なるデータの束の間のパターンであり、真の心理学的特徴ではありません。
前進するためには、研究者は「二重妥当性（dual-validity）」のフレームワークを採用しなければならないと、論文は主張しています。これは、同時に2つのルールを満たす必要があることを意味します。第一のルールは、心理学的テストの伝統から来るもので、「このテストは、それが主張しているものを実際に測定しているのか？」という問いです。コンピュータにとってこれには、その答えが一貫しており、プロンプトに対するランダムな反応ではなく、実在する基礎的なメカニズムを反映していることを証明する必要があります。第二のルールは、因果推論の伝統から来るもので、「私たちの実験は、実際に見た変化を引き起こしたのか？」という問いです。研究者がプロンプトを変更してモデルの挙動への影響を見る際、変更した部分が唯一の変化であり、隠れた技術的な設定やモデルの内部状態の変化ではないことを確認しなければなりません。
論文は、科学的な野心の梯子（はしご）を描き出し、私たちがこれらのマシンについて主張すればするほど、より多くの証拠が必要になることを示しています。最も低いレベルでは、コンピュータをテキストの分類や単語のカウントのための単純な道具として使用する場合、その道具が正確であることさえ求められます。もしコンピュータ自身の挙動、例えば「性格」を持っていると述べるならば、その答えが安定し一貫しているという強い証拠が必要です。もしコンピュータを人間の行動のシミュレーションとして使用したいのであれば、特定の信頼できる方法で人間のデータと一致していることを示す必要があります。最高レベルでは、もしコンピュータの内部構造が人間の心をどのように解明するかを主張したいのであれば、コンピュータが単に似たような響きの答えを出しているのではなく、人間の脳と同様のプロセスを使用しているという証拠が必要です。現在、多くの研究は、この梯子の低い段を飛び越えて、基礎を証明することなく、いきなり最上段へと駆け上がり、深い洞察を主張しています。
著者は、解決策はコンピュータを人間に強制的に合わせることではなく、コンピュータが実際に何であるかに適合する新しい概念を開発することであると示唆しています。機械が不安を感じているかどうかを問う代わりに、研究者は、不安のように機能する計算論的なパターン、例えば、不確実なときに躊躇を示したり否定的な言葉を使ったりするシステムなどを探すべきです。この視点の転換により、科学者はマシン独自の条件で研究できるようになります。これは、コンピュータには身体も、生い立ちも、自己も存在しないことを認めつつも、それでもなお興味深く研究に値するパターンを表示し得ることを認めるものです。これらの新しいコンピュータ特有の尺度を構築し、データが何を証明でき、何ができないのかについて厳格であることで、この分野は「測定ファントム」の罠を回避することができます。目標は、統計的な癖の集まりを、人工知能の真の科学へと変えることであり、それは研究対象である機械の独特な性質を尊重する科学なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。