Semantic Variability of Replies Across LLMs: Implications for Designing Conversation-Based Assessment

技術要約：LLM生成回答におけるLLM間の意味的変動性

問題提起
会話ベースのアセスメントへの大規模言語モデル（LLM）の統合は、適応性と標準化の間の根本的な緊張関係をもたらす。LLMは、コミュニケーションやコラボレーションといった複雑なスキルの測定に必要な、自然で動的な相互作用を可能にする一方で、その生成的な性質が変動性を生み出す。学習者によって異なるインタラクションの経路を辿る可能性があり、また、同一の学習者の入力であっても、特定のLLMモデル、プロンプト構成、デプロイ設定、あるいは過去のチャット履歴に応じて、意味的に異なる回答が生成される可能性がある。

核心となる測定上の課題は、変動性が存在すること自体ではなく、その変動性が妥当性、信頼性、および公平性を維持するために許容範囲内に留まっているかどうかである。制御されない場合、モデルのバージョンや会話コンテキスト間での意味的な不一致は、構成関連外の分散（construct-irrelevant variance）を導入し、LLMの急速な進化や頻繁なリタイアメントを考慮すると、時間の経過に伴うアセスメント条件の比較可能性を脅かす恐れがある。

手法
本研究では、現実世界の二者間協調的問題解決タスクから得られたデータを用い、異なるモデルおよび会話コンテキスト条件下におけるLLM生成回答の意味的変動性を実証的に調査した。

• データソース: 本研究では、オンライン科学タスクに従事する99組の人間によるチームから選出された61個の「フォーカル・メッセージ（焦点となるメッセージ）」を利用した。これらのメッセージは、人間の返答が高く関連性があるとコーディングされた会話の後半段階から選択されており、豊かな先行コンテキストと解釈可能な応答を保証している。
• 実験条件: 4つのLLM（GPT-4o mini、GPT-5.4、GPT-5.4 mini、GPT-5.4 nano）を評価した。各モデルは、以下の2つのプロンプト条件下でテストされた：
  1. 履歴なし（No History）: プロンプトにはシステム指示とフォーカル・メッセージのみが含まれる。
  2. 履歴あり（With History）: プロンプトにはシステム指示、フォーカル・メッセージ、およびそれ以前のすべての会話ターンが含まれる。
• 生成プロトコル: 各フォーカル・メッセージおよび条件に対し、各LLMは100個の独立した応答を生成した。自然な応答の変動性をシミュレートするため、サポートされている場合は（特にGPT-4o miniにおいて）Temperatureを0.7に設定した。
• 意味的類似度指標: 意味的類似度は、OpenAIのtext-embedding-3-largeモデルによって生成されたテキスト埋め込みのコサイン類似度を用いて定量化した。本研究では以下を分析した：
  • モデル内類似度（Within-Model Similarity）: 単一のモデルによって生成された100個の応答間の平均ペアワイズ類似度。
  • モデル間類似度（Cross-Model Similarity）: 異なるモデル間で生成された応答間の平均類似度。
  • 人間との整合性（Human Alignment）: LLMの応答と元の人間による返答との類似度。
  • コンテキスト感受性（Context Sensitivity）: 同一のフォーカル・メッセージに対して、チャット履歴の有無によって生成された応答間の類似度。
• 統計分析: 線形混合効果モデルを適合させ、LLMのタイプおよびチャット履歴の条件が、2つのアウトカム（平均ペアワイズ類似度［意味的一貫性］およびペアワイズ類似度の標準偏差［意味的変動性］）に与える影響を推定した。

主な結果

• モデル依存性: 応答の一貫性は、モデルのアーキテクチャと系統に大きく左右される。同一のLLMによって生成された応答は、異なるLLMによって生成された応答よりも、互いに一貫して高い類似性を示した（モデル内類似度は0.715から0.795の範囲）。同系統のモデル（例：GPT-5.4のバリアント）は、異なる世代間のモデル（例：GPT-4o mini 対 GPT-5.4）よりも高いモデル間類似度を示した。
• チャット履歴の影響: 会話履歴を含めることが、必ずしも応答の類似性を高めるとは限らなかった。
  • 履歴なし条件では、フォーカル・メッセージの意味的類似度と生成された返答の類似度の間に強い正の相関があり、応答が直近の入力にアンカーされていることが示された。
  • 履歴あり条件では、この相関は弱まり、チャット履歴がコンテキスト情報をもたらすことで、返答がフォーカル・メッセージのみに依存しなくなることが示唆された。
  • 統計的には、「履歴あり」の条件は、リファレンスモデル（GPT-4o mini）において応答の変動性（標準偏差）を一般的に増大させた。GPT-5.4およびGPT-5.4 miniの交互作用項は正かつ有意であった（これらがリファレンスモデルよりも履歴による負の影響を受けにくいことを示す）が、GPT-5.4 miniは負の主効果係数（-0.0014, p=0.924）と有意な正の交互作用（0.0505, p=0.017）を示しており、その履歴包含に対する応答はリファレンスモデルとは異なるものの、すべての条件において一様に高い平均類似性を意味するものではない。
• 人間との整合性: LLM生成の返答は、同一モデル内での相互の類似度よりも、人間による返答との類似度が常に低かった。チャット履歴を含めることで人間による応答との整合性はわずかに改善したが、その格差は依然として顕著であった。
• 履歴による変動（Cross-History Variability）: 履歴ありの応答と履歴なしの応答の間の意味的類似度は中程度であった（中央値 約0.40–0.45）。これは、コンテキストの追加が生成内容の意味を実質的に変化させることを示している。
• モデルによる差異: GPT-5.4は、リファレンスモデル（GPT-4o mini）と比較して、ペアワイズ類似性の有意に高い変動を示した。一方で、GPT-5.4 nanoは有意に低い変動を示した。

意義と主張
本論文は、基礎となるLLMが変化する場合、プロンプティング戦略や会話コンテキストだけでは、意味的に一貫した応答を保証するには不十分であると結論付けている。これらの知見は、モデルの選択がアセスメント設計における極めて重要な変数であることを浮き彫りにしている。

著者らは、LLMがアップデートや新リリースのたびに進化し続ける中で、安定したアセスメント条件を維持することは、単なるプロンプトエンジニアリングの問題ではなく、インフラストラクチャの課題であると主張している。会話ベースのアセスメントの妥当性と公平性を保持するためには、モデルの移行期においても、応答の挙動を監視、ベンチマーク、および制御するための追加的なメカニズム（記号的ルール、応答テンプレート、または検証レイヤーなど）が必要である。これらの戦略は、構成関連外の分散を防ぎ、アセスメント条件が時間の経過とともに比較可能であり続けることを確実にするために不可欠である。