技術要約：ゼロショットLLMによるパーソナリティ分類のためのLEX-ECフレームワーク

問題提起

大規模言語モデル（LLM）は、テキストに基づいて著者にパーソナリティ・ラベル（具体的にはビッグファイブ特性）を割り当てることができるが、その推論の妥当性と解釈可能性は依然として未解決の問題である。もっともらしいラベルが付与されることが、必ずしも妥当なラベルであることを保証するわけではない。モデルは、真の特性シグナルではなく、ラベルの出現頻度、デモグラフィックな事前分布、あるいはトピックの内容によるショートカットに依存している可能性がある。この問題は、重み、勾配、または活性化へのアクセスを必要とする標準的な解釈可能性手法が適用できないブラックボックス設定において、より深刻化する。さらに、先行研究の多くは著者あたりの複数のテキストを集計しており、限定された長さや単一のテキスト条件下でのゼロショット推論の性能については、十分に特徴付けられていない。

手法：LEX-ECフレームワーク

これらのギャップに対処するため、著者らは、制限されたエビデンスの下で回収可能な「特性に関連するシグナル」と「周辺分布の効果」を区別するために設計された、再利用可能なブラックボックス監査フレームワークであるLEX-EC（Lexical Evidence-Channel Audit）を導入する。このフレームワークは、以下の5つの統合されたステージで構成される：

1. 出現頻度および一致度の診断： 分類における出現頻度、項目レベルの関連性、およびチャンス補正後の一致度（Cohenの$\kappa$）を評価し、真のシグナルと予測・出現頻度バイアスを分離する。
2. 制御された語彙的アブレーション（除去）： 本フレームワークの中核であり、トピックやデモグラフィックな内容をマスクする。フレームワークは、以下の要素からなる「保持された語彙層」を維持する：
   • 機能語（品詞クラス）。
   • 感情語（EmpathおよびNRC-EmoLexに基づく）。
   • 認知スタイルに関連する語彙。
   • 構造的要素（句読点、空白）。
   • 年齢やカウントのエンコーディングを防ぐため、数値はマスクされる。
     これは、内容を担う語彙が取り除かれた場合に、関連性が持続するかどうかをテストするものである。
3. プロンプト感度分析： 指示の変化が自己説明および予測にどのように影響するかを評価するため、異なるプロンプトの枠組み（Basic、Basic+Explanation、およびLinguistic+Explanation）の下でのモデル出力を比較する。
4. クロス条件評価： テキストの長さの勾配（マイクロ、ショート、ミドル長）、異なるジャンル、および複数のモデル・スナップショットにわたって、分類性能を共同で評価する。
5. 自己説明監査： モデルが生成した正当化をコード化し、言語的なプロンプティングが、根拠をスタイリスティック／感情的なエビデンスへとシフトさせるのか、あるいはデモグラフィック／トピック的な内容へとシフトさせるのかを判断する。

実験セットアップ

• データセット： テキストの長さの勾配を網羅するために、3つの異なるジャンルを使用した：
  • Facebookステータス： 約17トークン（マイクロテキスト）、特性分布のバランスを考慮。
  • 大学院生の自己紹介： 約89トークン（ショートテキスト）、デモグラフィック／伝記的詳細を含む。
  • Pennebaker-King エッセイ： 約672トークン（ミドル長テキスト）、意識の流れのような記述。
• モデル： 知見が単一のモデル・スナップショットのアーティファクトではないことを確実にするため、5つのクローズドなプロプライエタリLLMを評価した（GPT-4o-mini, GPT-4o, o3-mini, GPT-5.4-mini, および Claude Haiku 4.5）。
• タスク： ビッグファイブの各特性（開放性、誠実性、外向性、協調性、神経症傾向）に関する二値のHigh/Lowラベルのゼロショット予測。

主な結果

1. テキストの長さとジャンルへの依存性

• エッセイ（長文形式）： 5つの全特性において最も幅広い関連性を示した。しかし、この条件下であっても、チャンス補正後の一致度（$\kappa$）は依然として低く（例：$\kappa \approx 0.12-0.22$）、統計的な検出可能性が信頼できる個人レベルの分類には直結しないことを示している。
• 学生の自己紹介（短文形式）： より狭いパターンを示し、外向性が、大多数の条件下でアブレーション前において統計的に検出可能な関連性を持つ唯一の特性であった。
• Facebookステータス（マイクロテキスト）： 安定したエビデンスはほとんど得られなかった。特性のバランスが取れたサンプルであっても、ほとんどの関連性は弱いか、あるいは存在せず、信頼できる推論にはコンテンツまたは長さの最低限の閾値が必要であることを示唆している。

2. 語彙的アブレーション（マスキング）の影響

トピックおよびデモグラフィックな内容のマスキングにより、語彙的エビデンスへの依存性が不均一であることが明らかになった：

• 外向性： 学生の自己紹介において、マスキング後に相関が著しく弱まった（例：ある条件では $\rho$ が0.226から0.062へ低下）。これは、自己提示によく見られる明示的な語彙的手がかりへの依存性を示唆している。
• 誠実性： エッセイのコーパスにおいて、この特性はマスキング後に最大の減衰を示した。これは、内容を担う語彙への強い依存性を示している。
• 開放性と協調性： これらの特性は、エッセイの条件下でマスキング後も比較的安定しており、そのシグナルが機能語、感情語、または認知スタイルに関連する語彙から回収可能であることを示唆している。
• Facebook： アブレーション前の関連性は、マスキング後にほぼ消失した。これは、除去された希薄な語彙的エビデンスへの依存性と一致している。

3. プロンプト感度

• 自己説明： 言語的なプロンプティングは、モデルの自己説明の分布を正常にシフトさせた。言語的プロンプトの下では、言語的／感情的なエビデンスを引用する説明が増加し（50%から67.7%へ）、デモグラフィックやトピック的な推論を引用する説明は減少した。
• 予測性能： 説明の「内容」は変化したが、予測性能（相関および一致度）については、モデル間で言語的プロンプトが基本プロンプトに対して一貫した優位性を示すことはなかった。
• 忠実性： 本研究は、流暢な自己説明が、予測を生み出す計算を忠実に反映しているとは限らず、単なる集約された行動出力として機能している可能性を指摘している。

意義と主張

本論文は、LEX-ECがパーソナリティ・ラベリングにおけるブラックボックスの解釈可能性に対する、語彙的手法の新しい応用を提供すると主張している。主な貢献は以下の通りである：

1. シグナル源の区別： フレームワークは、広範なトピック的内容に由来するシグナルと、制限された心理言語学的チャネル（機能語、感情、認知）から回収可能なシグナルを、正常に区別することに成功した。
2. 不均一性の証拠： 「パーソナリティ推論」は単一の能力ではなく、そのエビデンス・プロファイルはジャンル、テキストの長さ、および特定の特性によって大きく異なることを示した。
3. 監査の有用性： 出現頻度、項目レベルの一致度、語彙的チャネルの持続性、および説明内容を共同で評価することにより、LEX-ECは従来の統計的指標だけでは不可視であった情報を明らかにした。
4. 実用的な示唆： 結果は、特に短いテキストや単一のステータス入力に対して、パーソナリティ・ラベリング・システムを使用する際には注意が必要であることを示唆している。それらは、安定した特性シグナルではなく、デモグラフィックなショートカットやトピック的な手がかりに依存している可能性がある。本フレームワークは、因果関係の仮説を絞り込み、そのようなシステムをどのような条件下で展開すべきかの判断に資することを目的としている。

著者らは、本研究はモデルが具体的にどのように「考えているか」を証明するものではなく、あくまで行動的な出力と、特定の語彙的エビデンス・チャネルが特性の関連性を支持するか、あるいは支持しないかの条件を特徴付けるものであるとして、主張に対して謙虚な姿勢を保っている。