LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance

논문 요약: 자동화된 건축 규정 준수 (ACC) 를 위한 LLM 의 속성 분석

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 건축, 엔지니어링, 건설 (AEC) 산업에서 수동적인 건축 규정 해석을 자동화하는 잠재력을 가지고 있습니다. 기존 연구들은 주로 생성된 코드의 성능 (정확도) 에 초점을 맞추어 왔습니다.
• 문제점: 기존 연구는 LLM 을 '블랙박스'로 취급하여, 어떤 학습 결정 (파인튜닝 전략, 모델 규모 등) 이 모델의 내부 해석 메커니즘에 영향을 미치는지에 대한 이해가 부족합니다.
• 필요성: AEC 산업의 규제 기반 작업에 LLM 을 도입하기 위해서는 성능뿐만 아니라 모델이 **어떤 텍스트적 특징을 우선시하여 결론을 내리는지 (해석 가능성, Explainability)**를 이해하고 신뢰할 수 있어야 합니다.

2. 연구 방법론 (Methodology)

이 연구는 LLM 의 해석 행동을 정량적으로 분석하기 위해 **교란 기반 속성 분석 (Perturbation-based Attribution Analysis)**을 활용했습니다.

• 데이터셋: 실제 건축 규정 텍스트와 이에 대응하는 Python 스크립트 쌍으로 구성된 도메인 특화 데이터셋을 사용했습니다.
• 실험 설계:
  1. 파인튜닝 전략 비교: 전체 파인튜닝 (FFT), 저랭크 적응 (LoRA), 양자화 LoRA (QLoRA) 전략을 30 억 파라미터 (3B) 모델 (LLaMA, Hermes 등) 에 적용하여 비교했습니다.
  2. 모델 규모 비교: QLoRA 전략을 사용하여 0.5B 에서 22B 까지 다양한 파라미터 수 (Qwen, LLaMA, Mistral 등) 의 모델을 비교했습니다.
• 성능 평가: 생성된 스크립트와 참조 스크립트 간의 의미적 유사성을 측정하기 위해 CodeBERTScore를 사용했습니다.
• 속성 분석 (Attribution Analysis):
  • Captum 라이브러리를 활용하여 입력된 건축 규정의 각 단어가 목표 Python 스크립트 생성에 미치는 기여도를 측정했습니다.
  • 특성 제거 (Feature Ablation): 입력 텍스트에서 특정 단어를 제거했을 때 생성 확률 (Log Probability) 의 변화량을 계산하여 해당 단어의 중요도 (Attribution Score) 를 산출했습니다.
  • 비교 지표: 다양한 설정 간의 속성 벡터 간 **코사인 유사도 (Cosine Similarity)**를 계산하여 해석 패턴의 유사성을 정량화했습니다.

3. 주요 결과 (Key Results)

가. 파인튜닝 전략에 따른 영향

• 성능: 전체 파인튜닝 (FFT) 이 가장 높은 성능 (CodeBERTScore) 을 보였으며, LoRA 가 그 뒤를 이었고, QLoRA(양자화) 가 가장 낮았습니다. 양자화로 인한 정보 손실이 복잡한 규정 해석 작업에 부정적인 영향을 미친 것으로 나타났습니다.
• 해석 패턴 (Attribution):
  • FFT 모델은 통계적으로 유의미하게 다른 속성 패턴을 보였습니다. FFT 는 핵심 단어 (예: 'Pumping capacity', 'Shadow areas') 에 매우 집중된 (Focused) 속성 점수를 부여했습니다.
  • 반면, PEFT 방법 (LoRA, QLoRA) 은 속성 패턴이 더 분산된 (Diffuse) 경향을 보였으며, 이는 모델이 어떤 단어가 가장 중요한지 덜 확신하거나 (불확실성), 덜 정제된 매핑을 학습했음을 시사합니다.
  • FFT 와 PEFT 간의 속성 패턴 유사성은 통계적으로 유의미하게 낮았습니다 (p-value < 0.001).

나. 모델 규모에 따른 영향

• 성능: 7B 이하의 모델 규모에서는 파라미터 수가 증가함에 따라 성능이 향상되었으나, **7B 를 초과하는 모델 (12B, 22B) 에서는 성능이 정체 (Plateau)**되었습니다. 이는 QLoRA 의 한계나 작업의 복잡성 때문일 수 있습니다.
• 해석 전략의 진화:
  • 작은 모델 (3B, 7B): 규칙의 일반적 개념을 이해하지만, 속성 점수가 여러 단어에 분산되어 있어 핵심 키워드를 명확히 식별하는 데 약점이 있었습니다.
  • 큰 모델 (22B): 더 정교하고 집중된 해석 전략을 보였습니다.
    • 규칙 식별자 (Rule Identifiers): '4.3.11d'와 같은 규칙 번호를 중요한 특징으로 인식하는 능력을 보였습니다.
    • 수치적 제약 조건 (Numerical Constraints): '2.2 metres'와 같은 구체적인 수치 값을 가장 중요한 단어로 식별하여, 추상적 이해에서 파라미터 추출로 전환된 것을 확인했습니다.
  • 22B 모델은 3B/7B 모델과 비교하여 속성 패턴의 코사인 유사도가 낮았으며, 이는 규모가 커질수록 해석 메커니즘이 질적으로 변화했음을 의미합니다.

4. 주요 기여 (Key Contributions)

1. 블랙박스 해명: ACC 작업에서 LLM 의 내부 해석 메커니즘이 파인튜닝 전략과 모델 규모에 따라 어떻게 변화하는지 최초로 체계적으로 분석했습니다.
2. 전략별 해석 차이 규명: FFT 가 PEFT 방법보다 더 명확하고 집중된 특징 우선순위 (Feature Prioritization) 를 학습함을 입증했습니다.
3. 규모에 따른 인지 변화 발견: 모델 규모가 커질수록 단순한 의미 이해를 넘어, 규칙 번호나 수치적 제약과 같은 구체적이고 예측력 있는 특징을 식별하는 능력이 향상됨을 보였습니다.
4. 이해 가능성 (Explainability) 증진: 성능 지표만으로는 파악할 수 없는 모델의 '왜 (Why)'와 '어떻게 (How)'에 대한 통찰을 제공하여, AEC 산업의 규제 준수 자동화 시스템에 대한 신뢰도를 높이는 기반을 마련했습니다.

5. 의의 및 결론 (Significance)

이 논문은 건축 규정 준수와 같은 고위험 (Critical) 규제 기반 작업에 LLM 을 적용할 때, 단순히 성능이 좋은 모델을 선택하는 것을 넘어 모델이 어떻게 의사결정을 내리는지를 이해하는 것이 필수적임을 강조합니다.

• 실무적 시사점: FFT 는 높은 정확도와 명확한 해석 패턴을 제공하지만 비용이 많이 듭니다. 반면, PEFT 는 효율적이지만 해석의 집중도가 떨어질 수 있습니다. 또한, 7B 이상의 초대규모 모델이 반드시 성능 향상을 보장하지는 않지만, 규칙의 세부 사항 (수치, 식별자) 을 추출하는 능력에서는 더 우월한 전략을 가질 수 있음을 시사합니다.
• 미래 방향: 투명하고 설명 가능한 LLM 을 구축하여 AEC 산업의 규제 준수 프로세스를 자동화하는 데 있어 중요한 이정표가 될 것입니다.