GUT-IS: A Data-Driven Approach to Integrating Constructs and Their Relations in Information Systems

GUT-IS の技術的概要：情報システムにおける構成概念とその関係性の統合に向けたデータ駆動型アプローチ

問題定義
構造方程式モデル（SEM）は情報システム（IS）研究における支配的な実証手法であるが、この分野では「構成概念のジングル・ジャングル誤謬」に直面している。これは、概念的に類似した構成概念が異なったラベル付けをされたり、同一のラベルが異なる概念に適用されたりする現象を指す。この不一致は知識の累積的発展を妨げ、文献レビューやメタ分析を複雑化させる。既存のツールには構成概念の同一性を検出したり、確立されたセットに対して構成概念を比較したりするものがあるが、それらは往々にしてペアごとの類似度計算に依存しており、構成概念とその関係を統合された、全球的に整合性のあるモデルに統合していない。さらに、現在の手法は通常、構成概念のグルーピングを二元的な決定として扱い、意味的純粋性（非常に類似した構成概念のみをグルーピングする）と簡潔性（クラスタの数を最小化する）の間の本質的なトレードオフを明示的に扱えていない。

手法
著者らは、意味的に類似した構成概念を統合し、それらの関係を調整するために設計されたデータ駆動型パイプラインであるGUT-ISを提案する。この手法は以下の 4 つの中核段階から構成される。

1. LLM によるデータ拡張: IS リポジトリ（具体的には DISKNET および Larsen と Bong, 2016 のデータセット）からの構成概念名と定義を、オープンソースの LLM llama-3.3-70b-instruct を用いてクリーニングし、拡張する。これには、略語の展開、スペルの修正、簡潔性の確保、および全文コンテキストが利用可能な場合に検索拡張生成（RAG）を用いて欠落した定義を生成することが含まれる。
2. タスク適応型埋め込み投影: 大規模モデルの微調整（これには広範なラベル付きデータが必要）の代わりに、著者らは軽量な投影層を学習する。構成概念名と定義は、事前学習済みモデル e5-mistral-7b-instruct を用いて個別に埋め込まれる。これらの埋め込みは、対照損失関数を介して訓練された単一の線形ニューラルネットワーク層に入力される。訓練にはハードネガティブサンプリングが利用され、類似ペアの写像をコサイン類似度 1 に近づけ、非類似ペアをマージン $m$ 以下に最適化する。
3. 論理的整合性のためのクラスタリング: ペアごとの類似度グラフに内在する論理的矛盾（例：A は B に類似し、B は C に類似するが、A は C に類似しない）を解決するため、グラフベースのクラスタリングを適用する。Leiden、スペクトラルクラスタリング、および凝集クラスタリングの 3 つの手法が評価される。
4. 連続体上の損失ベース選択: 中核的な革新は、重み付けパラメータ $\alpha$ を通じて簡潔性と純粋性を明示的にトレードオフする解釈可能な損失関数 $L_{balanced}$ である。
   • 簡潔性損失 ($L_{parsimony}$): クラスタ数と構成概念の総数の比率として定義される。
   • 純粋性損失: 2 つのバージョンが提案される。$L_{construct\_purity}$（クラスタ内の平均非類似度）と $L_{relation\_purity}$（異なるクラスタ間の関係の重み付けシャノンエントロピー）。
   • 選択されたバランスに対する最適な分割は、$L_{balanced} = (1-\alpha)L_{parsimony} + \alpha L_{purity}$ を最小化することで選択される。

主要な結果
このアプローチは、2 つのデータセットで評価された。1 つは Larsen と Bong (2016) による 1,004 の構成概念からなるラベル付きデータセット、もう 1 つはより大規模な DISKNET データセット（5,290 の構成概念）である。

• 埋め込み性能: 提案されたアプローチ（名詞＋定義に対する学習済み投影）は、ROC-AUC で0.840を達成し、元の事前学習済み埋め込み（約 0.54）および以前の最先端手法（Larsen と Bong, 2016: 0.814; Ludwig ら, 2020: 0.827）を上回った。著者らは、大規模データセット（Larsen ら, 2024）でのモデルの微調整はより高いスコア（0.93）をもたらす可能性があるが、投影アプローチは最小限のラベル付きデータ要件で競争力のある代替案を提供すると指摘している。
• クラスタリングの有効性: クラスタリング手法の中で、凝集クラスタリングは、特に $\alpha = 0.6$ 付近において、真の値との最も高い一致（調整相互情報量と F1 スコアで測定）を示した。これは、全体的な品質を低下させることなく、類似性関係における論理的矛盾を成功裡に解決した。
• 簡潔性 - 純粋性のトレードオフ: DISKNET データに対する実験は、損失関数が連続体を効果的に航行することを確認した。$\alpha$ が増加する（純粋性を優先する）につれて、簡潔性損失は非線形的に増加し、一方、純粋性損失は減少する。著者らは、2 つの純粋性指標の間に強い相関が観察され、それらが広範に整合した方法で意味的純粋性を最適化していることを示唆した。

意義と主張
本論文は、GUT-IS を、構成概念の統合を隠れた手作業のステップから明示的で調整可能な設計決定へと変換するメカニズムとして位置づけている。簡潔性と純粋性の間のトレードオフを明示的にすることで、このアプローチは研究者が異なる優先順位の下で構成概念のグルーピングとその関係がどのように進化するかを分析することを可能にする。

著者らは、GUT-IS がメタ分析の前処理、オントロジーの精緻化、および知識統合に供給し得る統合層を提供すると主張している。また、この手法は IS 以外の他のドメインにも移植可能であることを強調している。しかし、著者らは限界に関して控えめな立場を維持している。

• DISKNET における RAG ベースの拡張の評価は、データセットの構造により、真の値による検証が欠けている。
• 簡潔性 - 純粋性連続体の探求は現在、定量的である。将来的なツールでは定性的な視点が計画されている。
• 訓練ラベル（Larsen と Bong, 2016 のクラスタ）は、正確な意味的同等性ではなく「対応する」構成概念を表しており、ラベルノイズを導入する可能性がある。

本研究は、研究者が簡潔性と純粋性の間で自由にバランスを選択できるようにするインタラクティブツールの開発を概説することで結論付けられ、半自動的な文献レビューおよびオントロジーベースの知識統合を促進することを目指している。