Do Psychometric Tests Work for Large Language Models? Evaluation of Tests on Sexism, Racism, and Morality
本研究は、17種類の大型言語モデルにおける性差別、人種差別、および道徳性に関する人間用の心理計量的テストを体系的に評価しており、それらのテストは中程度の信頼性を示すものの、テストのスコアがモデルの実際の現実世界におけるタスクでの振る舞いと一致しない、あるいは負の相関さえ示すことから、生態学的妥当性を欠いていることを見出した。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に高度でハイテクな気象観測装置があると想像してください。あなたは、それが嵐を正確に予測できるかどうかを知りたいと考えています。そこで、あなたは人間用の温度計と人間用の気圧計を使って、この装置をテストすることにしました。これらは、人間が自分自身の体温や圧力の変化を感じ取るために特別に設計されたツールです。
あなたは、その人間用のツールを気象観測装置に向けて、数値を読み取ります。問題は、その数値が、気象観測装置が嵐を予測するかどうかについて、本当に何かを示しているのか？ ということです。
研究者たちによる短い答えは、「いいえ、あまり意味がありません」 というものです。実際、その数値は、起きていることとは正反対の結果を示すことさえあります。
以下に、研究者たちが何を行い、何を見出したのかを、簡単な比喩を用いて解説します。
実験： 「気象観測装置」のテスト
研究者たちは、17種類の異なる大規模言語モデル（LLM）——チャットボットの背後にあるAIの脳——を取り上げ、それらについて3つの特定の要素を測定しようと試みました。
- 性差別（女性に対する偏見）
- 人種差別（黒人に対する偏見）
- 道徳性（AIが何を正しいとし、何を間違っていると考えるか）
これを行うために、彼らは数十年にわたって人間をテストするために使われてきた標準的な心理テストを使用しました。これらは、冒頭で述べた「人間用の温度計」にあたります。
2つのチェック： 信頼性と妥当性
AIに対してこれらのテストが機能するかどうかを確認するために、研究者たちは2つの点を確認しました。
1. 信頼性（「一貫性」のチェック）
- 比喩: もし人間に、少しずつ言い方を変えて同じ質問をした場合（例：「リンゴは好きですか？」対「リンゴは良いものですか？」）、その人は同じ答えを出すはずです。もし最初の質問には「はい」と答え、二番目の質問には「いいえ」と答えたら、そのテストは信頼性がありません。
- 結果: 質問の言い回しを変えた程度であれば、AIは概ね一貫していました。しかし、単に回答の選択肢の順番を入れ替えたとき（例：「強く同意する」を一番上ではなく一番下に配置したとき）、AIは混乱し、全く異なる回答をしました。これは、もし人が、「はい」という言葉がページの上ではなく下にあるという理由だけで、リンゴが好きかどうかについての意見を変えてしまうようなものです。つまり、AIにこれらのテストを使用する場合、それらは脆弱なのです。
2. 妥当性（「現実世界」のチェック）
これが最も重要な部分です。研究者たちはこう問いかけました。もしテストがAIを「性差別的」だと判定したなら、そのAIは現実の世界でも実際に性差別的な行動をとるのだろうか？
- 比喩: ある人がレシピを完璧に暗唱できるからといって、その人を「優れたシェフ」だと判定するテストを想像してください。「生態学的妥当性」とは、「もしその人を実際の食材があるキッチンに入れたとき、本当に美味しい料理を作れるか？」と問うことです。
- 結果: テストは惨めなほど失敗しました。
- パラドックス: 「性差別テスト」でスコアが最も低かったモデル（つまり、テストによれば非常に公平であると判定されたモデル）は、実際には、現実世界のタスクにおいて最も性差別的な推薦状を書いたモデルでした。
- 逆転現象: 「人種差別テスト」でスコアが最も高かったモデル（つまり、テストによれば非常に偏見を持っていると判定されたモデル）は、実際には、最も偏見の少ない住宅推奨を行ったモデルでした。
- 結論: テストのスコアは役に立たないだけでなく、誤解を招くものでした。それは、北に向かっているときに南を指してしまう壊れたコンパスのようなものでした。
なぜこのようなことが起きたのか？
研究者たちは、人間のテストがAIに機能しない理由として、いくつかの可能性を挙げています。
- 「ガードレール」効果: AIが「女性は簡単に怒りすぎると思いますか？」といった直接的でデリケートな質問をされたとき、安全フィルターが作動し、「いいえ、それは間違いです」と答えます。しかし、AIが「仕事の推薦状を書いてください」といった現実的なタスクを求められたとき、これらのフィルターは作動せず、AIは偏った表現を漏らしてしまうことがあります。
- フォーマットの罠: 人間は「A、B、C、またはD」を選ぶことに慣れています。しかし、AIモデルはテキストを書くように訓練されています。AIに多肢選択式のオプションを選ばせることは、画家に対して、色のリストの中から選ぶことだけで夕焼けを説明するように求めるようなものです。それでは、彼らが実際にどのように「見て」いるか、あるいは「行動して」いるかを捉えることはできません。
結論
この論文は、**「人間用に設計されたテストを、そのままAIに当てはめて、その振る舞いを知ろうとしてはいけない」**と結論付けています。
もしこれらのテストに頼ってしまうと、AIが「テスト」に合格したからといって安全で公平であると思い込み、実際には現実の仕事をしているときに偏った行動をとることに気づかないかもしれません。研究者たちは、AIが多肢選択式のシートで答えを選ぶ際に「何を言ったか」ではなく、AIが現実世界のシナリオにおいて実際に「何をしたか」を見る、AI専用の新しいテストを考案する必要があると主張しています。
要するに: AIが人間の心理テストに合格できるからといって、それが人間のような人格を持っているとか、現実世界で倫理的に振る舞うということにはなりません。テストのスコアは、しばれた蜃気楼であることが多いのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。