技術要約：視覚言語モデルにおける複雑な振る舞いのモデリング

問題提起

マルチモーダル大規模言語モデル（MLLM）が、コンパニオンシップや感情的サポートといった社会的相互作用のシナリオにおいて導入が進むにつれ、複雑なパーソナリティ条件下での振る舞いを理解し制御する必要性が高まっている。既存の研究では、テキストのみの言語モデル（LLM）におけるパーソナリティ・コンディショニングについては広く探索されてきたが、視覚関連およびマルチモーダルなタスクへの影響については未だ十分に解明されていない。さらに、現在のアプローチの多くは、パーソナリティを対話開始前に適用される静的かつグローバルな制約として扱っており、パーソナリティの要件が単一の会話内で進化または切り替わる可能性があるという、現実世界の相互作用の動的な性質を考慮できていない。本論文は、明示的なパーソナリティ・コンディショニングが、MLLMの振る舞い、ダウンストリームタスクにおけるパフォーマンス、およびマルチ・トレイト（多重特性）の構成や動的な切り替えを扱う能力にどのように影響するかという理解のギャップに対処するものである。

手法

著者らは、LLaVA-v1.6-7BとQwen2.5-VL-7Bの2つのベースモデルを用い、MLLMにおけるパーソナリティ・コンディショニングのための体系的な評価フレームワークを導入する。本研究では、2つのプロンプトベースの誘導手法を採用している。一つは、特性を構造化された自然言語記述にマッピングするPERSONALITY PROMPTING (P2)であり、もう一つは、ビッグファイブ（特性5因子）の特性を強度値とともにエンコードするBIG5-SCALERである。

本研究では、以下の3つの異なるシナリオを調査する：

1. 単一パーソナリティ誘導： モデルに対し、システムプロンプトを介して、単一のビッグファイブ特性（開放性、誠実性、外向性、協調性、または神経症傾向）を、高レベルまたは低レベルで条件付ける。
2. マルチ・パーソナリティ誘導： 補助的なLLMを用いて、複合的なパーソナリティ行動を生成することにより、複数の非相反的なパーソナリティ特性を統一されたプロンプトへと構成する。ここでは、信号の衝突を避けるため、行動傾向が一致している組み合わせを優先する。
3. 会話内パーソナリティ切り替え： モデルに初期のパーソナリティを誘導してマルチターン対話を行わせた後、同一の連続した会話の中で異なるパーソナリティ設定へと切り替えるよう指示する。これは、パーソナリティ制約の動的な変化をシミュレートしている。

パフォーマンスは以下を通じて評価される：

• パーソナリティ評価： 特性の誘導を検証するために、ビッグファイブ・インベントリ（BFI）およびIPIP-NEO心理測定尺度を使用する。
• ダウンストリーム・マルチモーダルタスク： 画像キャプション生成（DOCCIおよびCOCOデータセットを用い、BLEU-4、METEOR、CAPTURE、およびオブジェクト/リレーション認識指標を使用）および、7つのベンチマーク（CCBench、HallusionBench、MathVista、MMBench、MMMU、MMStar、SEED-Bench）にわたる視覚的質問応答（VQA）。

主な結果

単一パーソナリティ誘導

• 特性の誘導： プロンプトベースの手法は、ターゲットとなる次元に沿ってモデルのスコアを効果的にシフトさせる（例：誠実性を高めるとCスコアが増加する）。しかし、体系的な特性間の結合も観察される。すなわち、一つの次元を調整すると、関連する他の特性も変調される（例：外向性を高めると、開放性と協調性も上昇する）。
• タスク・パフォーマンス：
  • 画像キャプション生成： パーソナリティ・コンディショニングは、一般にベースラインよりもパフォーマンスを向上させる。高い誠実性、外向性、および開放性は、より完全で構造化されたキャプションをもたらし、BLEU-4および意味的カバー率を向上させる。
  • 視覚的質問応答（VQA）： 精密な推論や幻覚（ハルシネーション）検出を必要とするタスクにおいては、コンディショニングがパフォーマンスを低下させることが多い。例えば、高い外向性はHallusionBenchのqACCを（40.6から14.1へと）大幅に減少させる。これは、表現豊かなスタイルが、これらのベンチマークで求められる保守的でエビデンスに基づいた回答と衝突するためと考えられる。逆に、低強度の設定は、この劣化を緩和することが多い。

マルチ・パーソナリティ誘導

• 特性の構成： モデルは複数の特性を共同でモデリングできるが、個々の特性の強度は、バランシング効果により、単一特性の誘導と比較してわずかに緩和されることが多い。
• タスク・パフォーマンス：
  • 画像キャプション生成： マルチ・トレイト構成は、非条件付けのベースラインを一貫して上回り、しばしば単一特性の設定をも上回る。これは、表現の質と安定性の向上を示している（例：CAPTUREスコアの分散がより小さくなる）。
  • VQA： マルチ・トレイトの組み合わせは、ベースラインと比較して全体的な精度が中程度に低下する。しかし、結果は**重ね合わせ（superposition）および相殺効果（cancellation effects）**を明らかにしている。特定の組み合わせは、単一特性の設定で見られた弱点を相殺することができる（例：低い誠実性と低い開放性を組み合わせることで、MMMUのパフォーマンスがベースラインよりも向上する）。

会話内パーソナリティ切り替え

• 動的な適応： モデルは会話の途中でパーソナリティを切り替えることができるが、新たに表明されるパーソナリティの強度は、単一ラウンドの誘導と比較して一般に減少する。これは、以前のパーソナリティ状態が新しい設定に部分的に影響を与える**残留効果（residual effects）**を示唆している。
• タスク・パフォーマンス：
  • 画像キャプション生成： 切り替え設定はベースラインよりも優れた性能を示すが、そのパフォーマンスレベルは、初期のパーソナリティと切り替え後のパーソナリティの両方の極端な間に位置する。これは、両方の制約が共同で影響を及ぼしていることを示唆している。
  • VQA： 切り替えは、特定の単一特性設定で見られた深刻なパフォーマンス低下を緩和する（例：高い外向性から低い外向性へ切り替えることで、HallusionBenchのqACCを14.1から約22.4へと回復させる）。モデルの振る舞いは、以前の状態の完全な上書きではなく、「バランシング効果」を反映している。

限界と転移可能性

本研究は、既存のプロンプトベースのパーソナリティ誘導手法が、マルチモーダル設定への転移可能性が限定的であることを強調している。具体的には、BIG5-SCALERはQwen2.5-VL-7Bにおけるパーソナリティの誘導に失敗し、P2はLLaV-v1.6-7Bにおいて失敗した。さらに、マルチモーダルモデルのパーソナリティ評価は依然として主にテキストのみであり、マルチモーダルな振る舞いの全容を捉えきれていない可能性がある。

意義と貢献

本研究は、静的なテキストのみの制約を超えた、MLLMにおける明示的なパーソナリティ・コンディショニングに関する初の体系的な調査を提供する。主な貢献は以下の通りである：

1. 体系的な評価： マルチモーダルな文脈における、単一特性、マルチ特性、および動的なパーソナリティ切り替えをカバーするフレームワークを確立した。
2. 行動的洞察： パーソナリティの誘導がトレードオフを生むことを明らかにした。すなわち、画像キャプションにおける記述的な豊かさを高める一方で、VQAのような精密な推論を要するタスクの精度を損なう可能性がある。
3. 複雑なダイナミクス： マルチモーダル設定におけるモデルの振る舞いが、現在のパーソナリティ制約と以前のパーソナリティ制約の両方によって共変調され、マルチ・トレイト構成や切り替えにおいて、バランシング、残留、および相殺の効果を示すことを実証した。
4. 手法のギャップ： 現在のテキストベースのプロンプティング戦略がマルチモーダルモデルにおいて限定的な有効性しか持たないことを特定し、MLLMのために特別に設計された、より堅牢でカスタマイズされた誘導および評価手法の必要性を強調した。

著者らは、MLLMにおけるパーソナリティ制御は複雑であり、相互作用の質とタスクのパフォーマンスのバランスを取るための、より堅牢な戦略が必要であると結論づけている。