Self-Admitted Technical Debt in Scientific Software: Prioritization, Sentiment, and Propagation Across Artifacts

1. 問題定義 (Problem)

科学ソフトウェア（SSW: Scientific Software）は、データ分析、シミュレーション、実験の基盤として現代の科学発見に不可欠ですが、その保守性と進化は、ソフトウェアの欠陥や設計制限によって科学結果の妥当性や再現性に直接影響を及ぼします。

• 技術的負債（TD）の蓄積: 短期的な利益のために長期的な保守性を犠牲にする非最適な設計や実装決定が「技術的負債」として蓄積します。
• 自己申告型技術的負債（SATD）の未解明: 開発者がコードコメント、コミットメッセージ、プルリクエスト、イシュートラッカーなどで明示的に認めている「自己申告型技術的負債（SATD）」は、オープンソースソフトウェア（OSS）の文脈では研究が進んでいますが、科学ソフトウェア（SSW）におけるその特性、優先付け、解決率、およびアーティファクト間での伝播については十分に研究されていません。
• SSW の特殊性: SSW は、急速に進化する科学的知識、ドメイン専門知識、科学的妥当性の制約など、OSS とは異なる独自の圧力下で開発されています。これらが SATD の蓄積や管理にどのような影響を与えるかは不明です。

2. 研究方法 (Methodology)

本研究は、SSW における SATD の優先度、感情、持続性、伝播を多角的に分析するために、以下の手法を採用しました。

• データセットの構築:
  • 米国エネルギー省（DOE）の CASS（Consortium for the Advancement of Scientific Software）に属する 9 つの主要な SSW リポジトリ（ADIOS2, Trilinos, dyninst 等）を対象としました。
  • 選定基準：GitHub 公開、過去 4 ヶ月での活動、コミット数 1 万以上、コントリビューター 20 人以上、設立 2 年以上、スター数 40 以上。
• アーティファクトの抽出とリンク:
  • コードコメント、コミット、プルリクエスト（PR）、イシュートラッカーの 4 つのアーティファクトを抽出。
  • コミット ID をキーとして、これらを双方向にリンクさせ、開発フロー（Issue ↔ PR ↔ Commit ↔ Comment）を反映したグラフ構造を構築しました。
• SATD の識別と分類:
  • 既存の SSW 向けに微調整された SATD 分類モデル（Melin et al. [24]）を使用。
  • 分類カテゴリ：コード/デザイン負債、ドキュメント負債、テスト負債、要件負債、科学的負債（Scientific Debt：科学的結果の妥当性を損なう可能性のある非最適な科学実践や仮定の蓄積）。
• 優先度付け（Prioritization）:
  • 既存文献の優先度を示すキーワードリストに基づき、文書埋め込み（Sentence Embedding）モデル（all-mpnet-base-v2）を用いて、各 SATD アーティファクトに連続的な優先度スコアを割り当てました。
  • 静的解析ツール（SonarQube）の重大度との相関分析も行い、妥当性を検証しました。
• 感情分析（Sentiment Analysis）:
  • 事前学習済みモデルを SSW の SATD データ（1,038 件）で微調整し、SATD 表現が「否定的」か「非否定的」かを二値分類しました。
• 分析指標:
  • 優先度スコアの分布、アーティファクトタイプごとの比較、SATD の除去率と解決までの時間、アーティファクト間での伝播（Propagation）の深さ、アーティファクト長との相関など。

3. 主要な貢献と結果 (Key Contributions & Results)

RQ1: 異なるアーティファクトと SATD タイプの優先度

• アーティファクトによる差: コードに近いアーティファクト（コミット、コメント、PR セクション）は、イシュートラッカーに記述された SATD よりも高い優先度が与えられています。
• SATD タイプによる差: 「テスト負債」と「ドキュメント負債」が最も高い優先度を示す一方、「科学的負債」は最も低い優先度でした。これは、既存の優先度指標が OSS 向けに設計されており、SSW の特有の課題（科学的負債）を十分に反映していない可能性を示唆しています。
• 感情の影響: 否定的な感情（ネガティブなトーン）を含む SATD は、非否定的なものよりも有意に高い優先度が付けられる傾向があります。

RQ2: 除去率と持続性（OSS との比較）

• 極めて低い除去率: SSW における SATD の除去率は平均 37.8% であり、OSS 研究で報告される 57%〜74% よりも著しく低いです。
• 長期持続: 除去された SATD の平均持続期間は約 2,967 日（8 年以上）、中央値は 3,101 日を超えます。OSS では数週間〜数ヶ月で解決されることが多いのに対し、SSW では数年単位で放置されることが多いです。
• 規模との関係: コントリビューターあたりのコード行数（KLOC）が多いほど除去率は低下しますが、除去時間との相関は弱く、SSW における SATD の持続性は単なるプロジェクト規模ではなく、ドメイン固有の要因（科学的発見の迅速な公開圧力や要件の頻繁な変化など）によるものと考えられます。

RQ3: アーティファクト間での伝播

• 局所性が支配的: 大多数の SATD は、発生したアーティファクト（例：コメントのみ、イシューのみ）に留まり、他のアーティファクトへ伝播することは稀です（伝播チェーンが長さ 2 以上になるのは 0.2% 未満）。
• 伝播と優先度の相関: 稀に複数のアーティファクトにまたがって伝播する SATD は、孤立した SATD よりも高い優先度スコアを持ちます。
• 非対称なフロー: コードに近い SATD（コメント等）はコミットや PR へ伝播しやすいですが、イシューレベルの SATD が実装レベルへ伝播することは稀です。これは「戦略的な負債議論」と「運用開発活動」の間に乖離があることを示しています。

RQ4: アーティファクト長との関係

• 長さと SATD 発生率: アーティファクト（PR やイシュー）が長いほど、SATD が含まれる確率が高くなります。
• 長さと優先度: PR の長さが増すにつれて優先度スコアも上昇する傾向がありますが、イシューでは長さに関わらず優先度は安定しています。
• 長さと感情: 短い PR はポジティブな感情を示しやすいですが、長い PR は技術的課題や批判的な議論を含むため、否定的な感情が強まる傾向があります。

4. 意義と結論 (Significance & Conclusion)

本研究は、科学ソフトウェアにおける SATD の管理が OSS とは本質的に異なることを初めて実証的に示しました。

1. SSW 特有の課題: SSW の SATD は、OSS に比べて除去率が低く、持続期間が極めて長いという特徴があります。これは、科学的な成果の迅速な公開や、変化する科学的要件による圧力が、技術的負債の解消を遅らせている可能性を示唆しています。
2. 優先付けの指針: 開発者は、コードに近いアーティファクトや否定的な感情を含む SATD を優先的に扱うべきですが、特に「科学的負債」は既存の OSS 向けツールや指標では見落とされやすいため、SSW 固有の優先付け戦略が必要です。
3. 伝播の重要性: アーティファクト間をまたぐ伝播は稀ですが、発生した場合は高優先度・高重大度の問題である可能性が高いです。この伝播パターンを監視することは、重要な未解決の負債を特定する有効な手段となります。
4. ツール開発への示唆: SSW の保守性を向上させるためには、静的解析だけでなく、アーティファクト間のリンク、開発者の感情、ドメイン固有の文脈を統合した、伝播を考慮した多層的な監視・管理ツールの開発が求められます。

総じて、SSW の技術的負債は「持続的、ニュアンスに富み、文脈依存」であり、OSS 向けの一般的なアプローチをそのまま適用するのではなく、科学ソフトウェアの特性に合わせた適応的な管理戦略が必要であるという結論に至っています。