LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance
本論文は、建築・建設分野における自動コード適合性タスクにおいて、フルファインチューニングとパラメータ効率型ファインチューニング（LoRA など）やモデル規模の違いが、LLM の解釈挙動（アトリビューション）に与える影響を分析し、フルファインチューニングがより焦点の絞られたパターンを示すことや、モデル規模の増大に伴う特定解釈戦略の発現と性能の飽和傾向を明らかにしたものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
この論文は、**「AI（大規模言語モデル）が、建築の複雑なルールをコンピューターが読めるコードに変えるとき、いったい『何』を見て『どう』考えているのか」**という謎を解明しようとした研究です。
建築業界では、建物の安全基準（建築基準法など）を人間が一つずつチェックするのは大変な作業です。そこで、AI にその作業を任せる研究が進んでいますが、これまでの研究は「AI の答えが正しいかどうか（成績）」だけを見てきました。まるで**「テストの点数は 100 点だったから、この子は勉強法も完璧に理解しているに違いない」**と考えるようなものです。
しかし、この論文の著者たちは**「いや、点数が良いだけでは、その子が『どこに注目して』答えを出したのかは分からないのではないか？」**と疑問を持ちました。
以下に、この研究の核心を、日常の比喩を使って分かりやすく解説します。
1. 研究の舞台：AI による「建築ルールの翻訳」
建築のルールは、人間には読めるけれど、コンピューターには読めない「難解な文章」です。これを AI に「Python というプログラミング言語」に翻訳させようとしています。
- 入力： 「排水管の垂直曲げは 500mm 以内にするべし」という建築ルール。
- 出力： それを自動でチェックするプログラムコード。
2. 実験のテーマ：2 つの「変数」
研究者たちは、AI の「翻訳の癖（注目するポイント）」がどう変わるかを見るために、2 つの条件を変えて実験しました。
A. 「勉強法」の違い（ファインチューニング戦略）
AI に専門知識を教える方法には、いくつかの種類があります。
- フル・ファインチューニング (FFT)： AI の脳全体をリセットして、建築の専門家としてゼロから徹底的に勉強させる方法。
- 比喩： 新人を雇って、毎日 24 時間建築の教科書を読み、実地研修までさせて、脳みそを建築屋に作り変える。
- LoRA / QLoRA（パラメータ効率型）： AI の脳全体は触らず、一部の神経回路だけを建築用に調整する方法。
- 比喩： 既存の天才に、「建築用語だけ覚えといて」と言ってお守り（アドオン）を渡すだけ。コストは安いが、脳全体は元のまま。
B. 「頭の大きさ」の違い（モデルの規模）
AI のパラメータ数（脳の複雑さ）を変えます。
- 小さいモデル（30 億パラメータ）： 素早いけど、複雑なことは苦手な「小学生」レベル。
- 大きいモデル（220 億パラメータ）： 知識が豊富で、複雑な推論ができる「博士」レベル。
3. 実験の結果：AI は「何」を見ていたのか？
研究者は、AI がコードを生成する際、**「文章のどの単語を一番重要だと思ったか」**を可視化しました（これを「アトリビューション分析」と呼びます）。
結果①：勉強法によって「注目するポイント」が全く違う
- 脳全体を改造した AI (FFT)：
- 特徴： 非常に**「集中力が高い」**。
- 行動： 重要なキーワード（例：「500mm」「垂直」）だけを強く認識し、それ以外はあまり見ない。
- 比喩： 熟練の職人が、作業の要となるネジ一本にだけ鋭い眼光を向け、他の雑音は完全に無視して作業する様子。
- 部分的に調整した AI (LoRA/QLoRA)：
- 特徴： 「あちこちを見回している」。
- 行動： 重要な単語だけでなく、文章全体にまんべんなく注目している。
- 比喩： 新人が、重要なネジだけでなく、周りの壁や床、空の色まで気にして「あれ？これ？あれ？」と迷っている様子。これは「どこが重要か確信が持てない（不確実性）」の表れかもしれません。
結果②：頭の大きさが変わると「考え方が進化」する
- 小さい AI (3B)：
- 文章全体をぼんやりと見て、「あ、これは建築の話だな」という大まかな理解はできる。
- 大きい AI (22B)：
- 特徴： 「数字」と「ルール番号」を鋭く捉える。
- 行動： 小さい AI が「頭の高さ」という概念だけを見ていたのに対し、大きい AI は「2.2 メートル」という具体的な数値や「C.3.2.2 という条文番号」自体に強い注目を見せる。
- 比喩： 小学生は「高いところには気をつけろ」という意味だけ理解するが、博士は「2.2 メートルという数値こそが命綱だ」と理解し、条文番号で即座に該当する規定を引けるようになる。
4. この研究の重要な発見（結論）
- 点数が良い＝正しい思考ではない：
生成されたコードの正解率（点数）は、AI が「どう考えて」その答えを出したかとは関係ありません。同じ正解でも、AI の「思考の癖」は勉強法や頭の大きさで大きく異なります。 - 大きな AI は「数字」を愛する：
建築ルールのような分野では、AI が大きくなると、単なる意味理解から「具体的な数値や条文番号」といった**「厳密なルール」**を優先するよう進化することが分かりました。 - 透明性の重要性：
建築や安全に関わる分野では、「AI がなぜその判断をしたか」が分からないと、人間は信頼できません。この研究は、AI の「黒箱（中身が見えない箱）」を開けて、その思考プロセスを可視化しようとする第一歩です。
まとめ
この論文は、**「AI に建築ルールを教えるとき、単に『正解率』を上げるだけでなく、『AI がどこに注目して考えているか』を理解することが、安全で信頼できるシステムを作るために不可欠だ」**と伝えています。
まるで、**「運転手（AI）が赤信号で止まったとき、単に『止まった』という結果だけでなく、『信号を見て止まったのか、それとも前方の車を見て止まったのか』を理解すること」**が、自動運転の安全には必要だと言っているようなものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。