技術的概要：LLM 支援による感情分析を用いた統合的計算および質的混合手法教育研究

問題提起

書かれた振り返り課題は、工学教育における重要な教育的ツールであり、学生に批判的自己評価の機会を提供するとともに、研究者にとって豊かな質的データを提供する。しかし、これらの質的データセットの分析は、特に複数の人口統計学的変数（例：性別、所得、過去の渡航経験）にわたる知見を比較しようとする場合、伝統的に時間集約的である。従来の質的分析は、労力を要することから、比較を単一の変数に限定することが多い。大規模言語モデル（LLM）は、感情分析やコーディングのための潜在的な研究支援者として登場しているが、機微な学生データに対する厳密な縦断的混合手法ワークフローへの統合、特にその実装については、未だ十分に探求されていない。データプライバシーや分析の厳密性を損なうことなく、LLM が複数のアイデンティティ変数にわたる感情の傾向を特定する際に、人間の研究者をどのように効果的に補完できるかを明らかにする必要がある。

方法論

本研究は、「準収束平行」混合手法デザインを採用し、同一の質的データセット（学生の振り返り）に対して量的および質的の両方の分析を適用する。研究対象は、日本での 1 ヶ月の留学プログラムに参加した 51 名の学部生工学学生に関する縦断的ケーススタディである。

データ収集:

• データセット: プログラムの開始時、中間、終了時の 3 時点において収集された 151 件の書かれた振り返り。
• 焦点: 口頭言語およびコミュニケーション行動に特に関連する回答を抽出した。
• 変数: 7 つの学生のアイデンティティ/生活経験変数を分析した：海外居住経験の有無、外国語知識、外国生まれの親の有無、低所得者層であること、大学初代であること、アメリカ初代であること、およびアジア系/アジア系アメリカ人としてのアイデンティティ。

分析パイプライン（6 段階）:

1. データ処理と理解: 人間の研究者がすべての振り返りを読み、分析メモを作成した。
2. 手動による引用抽出: 研究者が手動で、口頭言語およびコミュニケーションに関連する引用を分離した。
3. ハイブリッド感情ラベリング:
   • 人間: 研究者が初期の感情ラベル（肯定的、否定的、中立）を割り当てた。
   • LLM: オープンソースの LLM（MetaAI の Llama3、80 億パラメータ）に、同じ引用に対して感情ラベルを割り当てるようプロンプトを出した。モデルは Ollama を介してローカルで実行され、参加者が第三者とのデータ共有に同意しなかったため、データプライバシーと倫理的遵守を確保した。
   • 不一致の解決: 人間の研究者が LLM の出力を検証した。不一致については議論され、初期の解釈が不正確と判断された場合、人間のラベルは修正された。LLM への再プロンプトは行われなかった。
   • 信頼性: 研究者間信頼性はコホンのカッパ（$\kappa$）を用いて測定された。
4. 質的分析: 主要なテーマ（例：過去の経験、準備、言語ダイナミクス、知覚される成果）を特定するために、引用に対して帰納的なテーマコーディングを実施した。
5. 量的分析: 7 つのアイデンティティ変数にわたる感情の数の比較を行うため、統計的検定（正規性に応じて、学生 t 検定またはウィルコクソンの順位和検定）を実施した。効果量（コホンの $d$ またはグラスの順位二分相関係数）を計算した。
6. 解釈: 質的知見を、統計的に有意な量的結果の文脈において解釈した。

主要な結果

1. LLM のパフォーマンスとワークフロー（RQ1）:

• 効率性: LLM は、人間の研究者よりも著しく速く引用を処理した（人間のラベリング時間の約 2〜3 倍の速度）。
• 信頼性: 人間のコーディング者と Llama3 の間の研究者間信頼性は、すべての時点において「実質的」であった（振り返り 1 で $\kappa = 0.52$、振り返り 3 で $\kappa = 0.64$、振り返り 4 で $\kappa = 0.67$）。
• 協働的価値: 人間と LLM のラベル間の不一致はランダムではなかった。LLM は、人間のコーディング者が中立/記述的と見なした記述に対して、感情的なラベル（肯定的/否定的）を割り当てる傾向があった。これらの相違は、より深い反省的議論とコーディング基準の洗練を促し、解釈的関与を深める「第 2 のコーディング者」として機能した。
• 限界: このワークフローには、相当な初期の技術的セットアップ（Python スクリプト作成）と反復的なプロンプトエンジニアリングが必要であった。LLM は時折、余分なテキストを生成したり、プロンプトの指示を誤ってラベル付けしたりするため、人間の事後処理が必要となった。

2. ケーススタディの知見（RQ2）:

• 有意な変数: 試験された 7 つのアイデンティティ変数のうち、海外居住経験の有無のみが、すべての時点において感情表現に統計的に有意な差を示す要因であった。
• 縦断的傾向:
  • 海外居住経験のある学生（LA）: 振り返り 1（開始時）において、経験のない学生と比較して、コミュニケーションに関してより否定的な感情を表明した。彼らは、日本の文脈において過去の言語スキルを活用することに苦しみ、潜在的な誤解について不安を感じていた。振り返り 4 までに、その感情は比較的安定していたが、コミュニケーション支援を「最後の手段」と見なす方向へシフトした。
  • 海外居住経験のない学生（Not-LA）: プログラムの中間（振り返り 3）において、LA 学生と比較してより否定的な感情を表明した。これは、言語の壁を乗り越えることの容易さに関する期待の不一致と、準備努力に対するフラストレーションに起因していた。しかし、振り返り 4 までに、このグループは肯定的な感情へと著しくシフトし、自信の増大を表明するとともに、コミュニケーションの課題を貴重な学習機会として再定義した。

意義と主張

本論文は、このワークフローが、従来の分析の時間的制約によってしばしば制限される、複数の人口統計学的変数を同時に探求するための質的研究者にとって実行可能な方法を提供すると主張している。

• 方法論的貢献: 本研究は、LLM が「人間ループ内」の能力で利用される場合、特に感情ラベリングにおいて、質的研究における効果的な協働パートナーとなり得ることを示している。オープンソースでローカルに実行されるモデルの使用は、データプライバシーと参加者の同意に関する重要な倫理的懸念に対処する。
• 教育的示唆: 知見は、過去の国際経験が、留学中の学生がコミュニケーションの障壁をどのように知覚し、乗り越えるかを著しく形成することを浮き彫りにしている。そのような経験のない学生は、フラストレーションから成長へと至る明確な感情的経路をたどるのに対し、経験のある学生は、既存のスキルの適用性に関連する異なる課題に直面する。
• 実践的含意: 本研究は、教育者や管理者がこれらの知見を用いて、出発前の支援をカスタマイズできることを示唆している。すなわち、過去の経験を持つ学生には、異文化間でのスキルの転用性について振り返るよう促し、経験のない学生には期待値の管理と、語彙だけでなく実用的なコミュニケーション戦略への焦点を支援する。

著者は謙虚な立場を維持し、観察された効果量が小から中程度であり、他の文脈（より長いプログラムや言語浸透に特化したプログラムなど）への一般化を制限していると認めている。彼らは、LLM が質的分析を代替するものではなく、より深い人間の解釈を導くための傾向の特定を加速させることができることを強調している。