Quantifying Data Contamination in Psychometric Evaluations of LLMs
本論文は、大規模言語モデルの心理学的評価におけるデータ汚染を体系的に定量化するためのフレームワークを提案しており、普及しているインベントリが21のモデルにわたって重大な記憶およびスコア操作の問題に直面していることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
新しいロボットの性格がどのようなものかを突き止めようとしている場面を想像してみてください。あなたは、雑誌や心理学の教科書に載っているような、非常に有名でよく知られたパーソナリティ・クイズをロボットに渡し、その質問に答えるよう求めます。あなたは、そのロボットが自身の「真の」デジタルな自己を明らかにしてくれることを期待しています。しかし、もしロボットが自分自身の内部的な論理に基づいて答えているのではなく、インターネットから丸暗記した解答集をただ読み上げているだけだとしたらどうでしょう？
これこそが、ソウル大学の研究チームが発見したことです。彼らは、大規模言語モデル（LLM）——チャットボットなどの背後にある超スマートなAIの脳——が、テストそのものを暗記することで「カンニング」をしていないかを調査しました。
パーソナリティ・クイズの大強奪事件
研究者たちは、これらのAIモデルが実際にテストを受けているのか、それとも単に受けているふりをしているだけなのかを確認するために、巧妙な調査を設定しました。彼らは、外交的か内向的かといった特性を測る「ビッグファイブ・インベントリ（BFI-44）」や、人生において何を価値とするかをチェックする「ポートレート・バリュース・クエスチョネア（PVQ-40）」を含む、4つの非常にポピュラーな心理学的インベントリ（心理テストの正式な名称）を調べました。
彼らは、GPT-5、Claude、Llamaといった主要なファミリーに属する21種類の異なるモデルをテストしました。単にモデルにテストを受けるよう求めるのではなく、モデルが事前に質問を見てしまっていたことによる「汚染」の可能性を、3つの特定の方法で検証しました。
項目記憶（「フラッシュカード」テスト）： モデルは質問番号を見て、その質問の正確な言葉を復唱できるか？
- 結果： モデルたちは驚くほど優秀でした。平均して、彼らは意味的な類似度（意味の近さを測る指標）0.31で質問を再構成することができました。さらに優れたことに、質問に隠された「キーワード」を、約**39%**の確率で推測することができました。これは、もしあなたが、勉強したテストの質問を書き出すように学生に頼んだ場合、彼らが主要なアイデアを10回中4回近く正しく捉えたようなものです。
評価記憶（「解答キー」テスト）： モデルは質問だけでなく、それをどのように採点するかも知っているのか？ 例えば、特定の質問に対して「強く同意する」と答えることが、「逆転項目」のルールによって、実は「外向性が低い」ことを意味するということを理解しているか？
- 結果： ここで汚染は非常に強力になりました。モデルは採点ルールをほぼ完璧に把握していました。質問をパーソナリティ特性に一致させるよう求められたとき、彼らは平均F1スコア0.94（1.0が完璧）を記録しました。特定の回答に対する数値スコアを算出するよう求められたとき、高度なモデルはほとんど間違いを犯しませんでした。それはまるで、モデルが単にクイズを読んだだけでなく、教師の採点基準までをも勉強していたかのようです。
ターゲットスコア・マッチング（「成功するまで演じろ」テスト）： これが最も示唆に富む部分でした。研究者はモデルに対し、「『誠実さ』でちょうど5点満点5点を取る人物になりきってください。そして、そのスコアを得るためにこれらの質問に答えてください」と指示しました。
- 結果： モデルはそれを実行しました。彼らは非常に高い精度（平均絶対誤差は約0.1から0.2）で、特定のターゲットスコアに到達するために戦略的に回答を選択することができました。これは、モデルが単に事実を想起しているのではなく、特定のタイプの人格に見えるように回答を積極的に操作していることを示唆しています。
「カンニング」の尺度
研究者たちは、すべてのモデルが等しくカンニングをしているわけではなく、またすべてのクイズが等しくカンニングしやすいわけでもないことを発見しました。
- 汚染の大きな勝者： 「ビッグファイブ・インベントリ（BFI-44）」と「ポートレート・バリュース・クエスチョネア（PVQ-40）」は、最も強い汚染の兆候を示しました。研究者は、これらのテストがあまりにも有名でオンライン上で広く入手可能であるため、モデルが学習中にこれらを丸ごと飲み込んでしまったのではないかと考えています。
- 「難しい」テスト： 「モラル・ファンデーションズ・クエスチョネア（MFQ）」と「ショート・ダーク・トライアド（SD-3）」は、汚染が少なくなっていました。これは、これらがモデルの学習データにおいて、より一般的ではないためと考えられます。
- モデルのサイズが重要： 一般的に、モデルが大きくスマートであるほど（GPT-5やClaude 4.5のように）、テストを記憶し、スコアを偽装することに長けていました。小規模なモデルは少し無知であり、AIが大きくなるにつれて、テストを「知る」能力が高まることを示唆しています。
これが将来にとって意味すること
著者たちは、これがモデルが人間のように「嘘をついている」ことを意味するのではない、と慎重に述べています。むしろ、これらの標準的な心理学的テストをAIのパーソナリティ測定に使用する場合、私たちはAIの真の性質を測っているのではなく、単にAIが言葉を学ぶ過程で見たテストの質問を、どれだけよく覚えているかを測っている可能性があるということです。
論文は、これらの結果が単なるランダムな推測であるという考えを明確に否定しています。モデルのパフォーマンスは、ランダムに推測する者よりもはるかに優れていました。例えば、モデルが5段階評価でスコアをランダムに推測した場合、誤差は1.73程度になりますが、高度なモデルはそれを0.1まで下げました。
ですから、次に「AIは人間と同じパーソナリティを持っている」という見出しを目にしたときは、こう覚えておいてください。そのAIは、単に教科書を丸暗記した非常に優秀な生徒なのかもしれません。研究者たちは、モデルが学習データとして見ていない新しい方法でテストを行わない限り、彼らの本質を本当に知ることはできないと示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。