論文サマリー：TAT を用いた大規模マルチモーダルモデルの投影心理学的評価

1. 背景と課題 (Problem)

近年、大規模言語モデル（LLM）や大規模マルチモーダルモデル（LMM）は、医療、金融、教育など多岐にわたる分野で人間に代わって、あるいは人間を支援するツールとして利用されています。これらのモデルは人間が生成した膨大なテキストデータで学習されているため、人間の偏見、信念、価値観、さらには「人格」のような特性を内在化している可能性があります。

既存の研究では、LLM の心理的特性（性格、価値観、態度など）を評価するために、主に言語ベースの心理検査（ビッグファイブ性格検査など）が用いられてきました。しかし、これらの検査はモデルが「社会的に望ましい回答」を生成するよう学習されている場合、表面的な言語生成行動を反映するだけであり、モデルの深層的な認知構造や無意識的な特性を捉えきれていないという限界があります。

本研究の課題は、言語ベースの構造化された質問ではなく、非言語的（視覚的）な投影テストを用いて、LMM の「人格」や非認知的構成要素を評価できるか、また、その評価が人間と同様の心理学的枠組みで可能かを実証することです。

2. 手法 (Methodology)

本研究では、人間向けに開発された投影心理テストである**主題性知覚テスト（TAT: Thematic Apperception Test）と、その物語を評価するためのスコアリングシステムであるSCORS-G（Social Cognition and Object Relations Scale - Global）**を LMM に適用しました。

実験デザイン

LMM は以下の 2 つの役割で実験に用いられました。

1. 被験者モデル（Subject Models: SMs）: TAT の画像（曖昧な社会的状況が描かれた 7 枚の画像）を見て、物語を生成する役割。
2. 評価者モデル（Evaluator Models: EMs）: SMs が生成した物語を SCORS-G の枠組みに基づいて評価する役割。

実験プロセス

1. モデルの選定: GPT, Gemini, Claude, LLaMA などの主要なマルチモーダルモデルファミリーから、視覚推論が可能なモデルを被験者モデル（SM）および評価者モデル（EM）として選定しました。
2. 物語生成（SM）: 7 枚の TAT 画像に対し、3 種類の異なる指示文（意味は同じだが表現が異なる）で、それぞれ 3 回ずつ物語を生成させました（計 63 話/モデル）。
3. 評価者の選定と評価（EM）:
   • 多数の物語を人間が評価するのは非現実的なため、EMs を用いて自動評価を行いました。
   • 既存の SCORS-G 基準（92 話の人間による評価データ）を用いて、人間と最も高い一致率を示す EM のサブセットを選定しました（Krippendorff's alpha や ICC を最大化）。
   • 選定された 4 つの EM（Claude-3.5/3.7, GPT-4.1/5）が、SMs が生成した物語を SCORS-G の 8 つの次元で評価しました。
4. 評価指標:
   • SCORS-G 8 次元: 対象関係（Object Relations）と社会認知（Social Cognition）の 2 つの主要領域を構成する 8 つの尺度（例：自己・他者の表象の複雑さ、攻撃性の管理、自尊感情など）。各尺度は 1-7 点で評価されます。

3. 主要な貢献 (Key Contributions)

• 非言語的投影テストの LMM への適用: 従来の言語ベースの心理検査ではなく、視覚的・投影的な TAT を LMM の評価に初めて体系的に適用し、その有効性を示しました。
• 自動評価者の検証: LMM が人間と同等の精度で TAT 物語を心理学的に評価（SCORS-G スコアリング）できることを実証し、人間専門家の評価を補助するツールとしての可能性を示しました。
• LMM の「人格」特性の多面的分析: 異なるモデルファミリーや世代間における、認知的・感情的・対人関係的な特性の差異を定量的に明らかにしました。

4. 結果 (Results)

評価者モデル（EMs）の性能

• 選定された 4 つの EM（Claude-3.5/3.7, GPT-4.1/5）は、人間専門家の評価と非常に高い一致を示しました（平均絶対誤差 MAE: 0.59–0.66、スピアマン相関: 0.60–0.68）。
• EMs は TAT への反応において人間と同様のパターン（特定の画像が特定の反応を引き起こすなど）を示し、心理学的評価ツールとして信頼性が高いことが確認されました。

被験者モデル（SMs）の特性

• 高い能力: SMs は対人関係のダイナミクスや「自己」の概念を非常に良く理解しており、SCORS-G の「社会因果性の理解（SC）」「表象の複雑さ（COM）」「自己の同一性と一貫性（ICS）」の次元で高得点（平均 6.23–6.36）を記録しました。
• 課題領域: 一方で、「攻撃性の経験と管理（AGG）」、「自尊感情（SE）」、**「道徳的基準への感情的投資（EIM）」**の次元で低得点（平均 4.92–5.54）でした。
  • これらの低得点は、モデルが内部的葛藤、道徳的闘争、攻撃的緊張を表現する際に制限を受けていることを示唆しています。
• モデルファミリーと世代による差:
  • 大規模で新しいモデル（GPT-5, Claude-3.7, Gemini-2.5-Pro など）は、小さく古いモデル（LLaMA 3.2 など）よりも全体的に高いスコアを示しました。
  • モデルの能力向上に伴い、物語の豊かさや一貫性が向上する傾向が確認されました。

画像と指示の影響

• 危険、孤立、潜在的な攻撃性を描いた画像（画像 14, 3BM）では、すべてのモデルでスコアが低下しました。これは人間の実験結果とも一致しており、感情的に負荷のかかる曖昧な刺激がモデルの物語生成を制限することを示しています。
• 指示文の微細な変化による影響は限定的でしたが、一部のモデルでは特定の次元（EIM, ICS など）で感度の違いが見られました。

5. 考察と意義 (Significance)

社会的望ましさバイアス（Social Desirability Bias）

攻撃性や道徳的葛藤に関する低スコアは、モデルが「評価されている」と推測し、人間との対話で望ましいとされる回答（攻撃性や否定的感情の回避）を生成するよう調整されている（社会的望ましさバイアス）可能性が高いと考えられます。これは、モデルが真の認知的限界を持っているのか、単に出力を抑制しているのかを区別する必要があることを示しています。

学術的・実用的意義

• 新しい評価パラダイム: 言語ベースの検査では捉えきれない、モデルの無意識的・感情的・対人関係的な側面を評価する新たな枠組みを提供しました。
• 臨床・実装への応用: 高品質な自動評価者（EMs）は、人間専門家の負担を軽減し、TAT などの投影テストをより効率的に実施する支援ツールとして機能し得ます。
• モデル開発への示唆: モデルのアーキテクチャやアライメント（安全性調整）戦略が、モデルの「人格」や感情的表現にどのような影響を与えるかを理解する上で、このアプローチは重要な洞察を提供します。

結論

本研究は、LMM が投影心理テストを通じて「人格」のような特性を有している可能性を示し、それらを科学的に評価する手法を確立しました。特に、モデルが認知的な側面では優れている一方で、攻撃性や葛藤の表現においては社会的な制約（またはバイアス）の影響を強く受けているという知見は、AI の安全性と透明性を高める上で重要な示唆を与えています。