SLRMentor: An LLM-Based Tool Supporting Learning of SLR in Software Engineering

技術要約：SLRMentor

問題提起
系統的文献レビュー（SLR）の実施は、エビデンスに基づくソフトウェアエンジニアリング（EBSE）における基礎的な活動であるが、初学者の研究者にとっては大きな課題となっている。特に、リサーチクエスチョンの策定、検索式の構築、および包含・除外基準の定義といった計画フェーズは、レビューの品質を左右する極めて重要であると特定されているが、用語のバリエーションや複雑なデータベース構文のために、時間がかかりやすくエラーが発生しやすい。効率化のために研究選択やキーワード提案を改善する既存のAIベースのツールは探索されているものの、それらは多くの場合、SLRのプロセス自体の「方法論的な理解」や「学習」へのサポートに欠けている。現在の教育的アプローチは、基礎となる方法論的な推論を明示的にすることに苦慮しており、その結果、学生が厳格なレビューに必要な意思決定ロジックに従事するのではなく、単に成果物を生成することに集中してしまう傾向がある。

手法
本研究では、SLRMentorという名称のソフトウェアアーティファクトを開発・評価するために、デザインサイエンス研究手法を採用している。このツールは、大規模言語モデル（具体的にはOpenAIおよびGoogle Gemini）に基づいた対話型アシスタントであり、SLRの計画活動を支援するように設計されている。

• アーキテクチャとメカニズム： SLRMentorは、**検索拡張生成（RAG）**を利用して、精査されたSLRガイドラインおよび方法論的ドキュメント（例：[10, 12, 14]）にその回答を根拠付けさせる。この設計上の選択により、生成された出力が確立された慣行と一致することを保証し、透明性を向上させ、モデルが文脈を欠いた生成のみに依存することを防いでいる。
• 機能的コンポーネント： 本ツールは、学習志向の3つの対話型モジュールで構成されている。
  1. メンターチャット（Mentor Chat）： SLRの各段階、方法論的原則、およびバイアスの要因に関する一般的なガイダンスを提供し、概念的な理解をサポートする。
  2. 検索式チャット（Search String Chat）： リサーチゴールを構造化された検索式へと翻訳するのを支援し、キーワードの選択、類義語、およびブール演算子について説明する。
  3. 基準チャット（Criteria Chat）： 研究目標から包含および除外基準を導出することをサポートし、これらの基準がいかにしてスコープと関連性を具体化するかを説明する。
• 検証： 大学院のソフトウェアエンジニアリングのコースにおいて、8名の学生（博士課程4名、修士課程4名）を対象としたパイロット検証を実施した。なお、全員が初学者のレビュアーである。4名の参加者が、手動によるコース課題を完了した後に、自発的に本ツールを利用した。評価は探索的かつ形成的であり、リッカート尺度を用いた項目とオープンエンド形式の質問を含む構造化されたアンケートを用いて、明快さ、既知の慣行との一貫性、および学習と内省への支援に対する認識を評価した。

主要な貢献
本研究の主要な貢献は、SLRMentorアーティファクトそのものである。これは、レビュー作業を自動化するためではなく、方法論的な推論のための足場（スキャフォールド）として機能するように設計された対話型インターフェースである。主な技術的特徴は以下の通りである：

• ガイドラインに基づいた説明： 一般的なチャットボットとは異なり、SLRMentorはRAGを介してその推論を確立されたSLRガイドラインに明示的に結びつけており、教育的コンテンツがEBSE標準と一致することを保証している。
• 反復的な洗練のサポート： 本システムは、ユーザーが複数のインタラクションを通じてゴールやアーティファクトを修正することを可能にし、実務におけるプロトコル開発の反復的な性質を反映している。
• 自動化よりも推論への焦点： 本ツールは、単に未検討の最終的なアーティファクトを出力するのではなく、（特定の用語がなぜ検索式に含まれるのかといった）計画上の決定に対する「なぜ」と「どのように」の説明を提供するように設計されている。

結果
パイロット検証により、4名の参加者から定性的および定量的な洞察が得られた：

• 学習ツールとしての認識： 参加者は一貫して、SLRMentorを決定的なアーティファクトを生成するためのツールではなく、「学習志向のサポート」として捉えていた。それは、複雑な計画タスクを構造化するのに役立つ「初心者向けの足場」として記述された。
• 明快さと整合性： メンターチャットは、明快さと確立された慣行との整合性において高い評価を得た。参加者は、それが「複雑な系統的文献レビューの要件を解析する」助けになったと述べている。
• 検索式の構築： 検索式チャットは、規範的であるよりも教育的であるとして称賛された。参加者は、用語や演算子の選択に関する理由付けが効果的に説明されていると感じたが、同時にさらなる学生による洗練の必要性も認めていた。
• 基準の定義： 基準チャットの結果はより混在していた。一部の参加者は、一般的なカテゴリの提示や初期の基準導出に有用であると感じたが、他の参加者は、ツールが生成した基準と自身が手動で定義した基準との間の比較可能性における変動性に注意を払っていた。
• 能動的な判断の必要性： 繰り返されるテーマは、ツールは学習を支援するものの、能動的な方法論的判断の必要性を代替するものではないということである。参加者は、ツールは理解と内省を助けるが、最終的な決定には研究者の判断が必要であることを強調した。

意義と主張
本論文は、SLRMentorが対話的でガイドラインに基づいた支援をSLRの計画活動に直接組み込むことにより、現在の教育ツールのギャップに対処していると主張している。その意義は以下の点にある：

1. 障壁の低減： オンデマンドの説明と構造化されたガイダンスを提供することで、初学者の研究者の初期の障壁を下げ、SLRプロセスをよりアクセシブルにする。
2. 推論の明示化： 方法論的な推論を明示的にすることで、学習者がツールによるガイダンスと自身の決定を比較することを可能にし、それによって批判的な内省を促進する。
3. 補完的な役割： 著者らは、本ツールを確立された教授法や人間の指導に代わるものではなく、それらを補完するものとして控えめに位置づけている。本ツールは、研究者の責任を維持しつつ、方法論的概念を強化し、実践を構造化するように設計されている。

著者らは、パイロット検証の結果は、ツールが学習と内省に効果的であることを示唆しているものの、長期的な学習成果や多様な学生層への転移性を評価するためには、より大規模な実証研究が必要であると結論付けている。今後の展望としては、検索コーパスの拡張および、研究選択やデータ合成といったSLRの後半の段階へのサポートの拡大を目指している。