Evaluating Large Language Models for Detecting Architectural Decision Violations
本論文は、大規模言語モデル（LLM）を用いたアーキテクチャ決定（ADR）違反の自動検出手法を調査し、コードから推論可能な決定については高い精度で検出できるものの、デプロイ設定や組織的知識に依存する暗黙的な決定の検出には依然として限界があることを明らかにしています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
タイトル：AIは「設計図のルール破り」を見つけられるか？
1. 背景：ソフトウェア界の「校則」と「校則違反」
想像してみてください。あなたは大きな学校の先生です。学校には**「校則（Architectural Decision Records: ADR）」**があります。
- 「登校は必ず左側を通ること」
- 「制服のネクタイは青色にすること」
これらは、学校（ソフトウェア）が秩序を保ち、混乱を防ぐための大切なルールです。しかし、生徒（プログラマー）が増え、学校が巨大になると、誰かがこっそり「右側を歩いたり」「赤いネクタイをしたり」しても、先生が気づくのは至難の業です。これがいわゆる**「設計図のルール違反（Architectural Decision Violations）」**です。
これまでは、人間が膨大な書類と生徒の様子をチェックしていましたが、とても大変でした。そこで研究者たちは考えました。**「最新のAI（大規模言語モデル）に、この校則チェックを任せられないだろうか？」**と。
2. 実験：AIによる「抜き打ち検査」
研究チームは、100以上のプロジェクト（学校）から、約1,000個のルール（校則）と、実際の生徒の動き（プログラムのコード）を集めてきました。
そして、4人の「AI検査官」を雇って、次のような仕組みでテストを行いました。
- リーダーAI： まずルールとコードを見て、「ルールを守っているか、破っているか、判断不能か」を判定し、その理由を説明します。
- 3人の副官AI： リーダーAIが下した判定が正しいかどうかを、それぞれ独立して厳しくチェックします。
3. 結果：AI検査官の「得意」と「苦手」
実験の結果、AIの能力は**「優秀な助手だけど、まだベテラン教師にはなれない」**ということが分かりました。
✅ AIが得意なこと（「校則違反」をすぐ見抜ける！）
「ネクタイの色は青」というルールに対し、コードの中に「赤いネクタイ」がはっきり写っていれば、AIは**「はい！違反です！」**と、90%以上の高い精度で見つけ出せます。目に見える、はっきりしたルールにはめっぽう強いのです。
❌ AIが苦手なこと（「空気を読む」のが難しい！）
一方で、以下のようなケースではAIは混乱してしまいます。
- 「目に見えないルール」： 「学校の雰囲気を壊さないように、静かに歩くこと」といった、目に見えない「意図」や「空気感」に関するルール。
- 「裏側の仕組み」： 「校舎の電気系統はこう管理すること」といった、コード（生徒の動き）からは直接見えない、インフラ（校舎の設備）に関するルール。
- 「情報不足」： 「ルールはあるけれど、今のコードだけでは判断できない」という時、AIは「違反」なのか「判断不能」なのかを迷ってしまいます。
4. まとめ：これからの未来
この研究が教えてくれるのは、**「AIは、設計図のルールを守れているかをチェックする『強力なアラーム』にはなるけれど、最終的な判断を下す『責任者』にはまだなれない」**ということです。
これからの理想的な形：
AIが「先生、あそこの生徒、ルールに違反しているかもしれませんよ！」とアラームを鳴らし、それを見た人間のベテラン先生が「なるほど、これはルール違反だね」あるいは「いや、これは例外的なケースだ」と最終判断を下す。
そんな**「AIと人間のタッグ」**によって、ソフトウェアという巨大な建物が、崩れることなく正しく作られ続ける未来を目指しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。