[기술 요약] LAMP: 대규모 언어 모델로부터 국소적 결정 경계 추출

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)은 예측의 근거로 자연어 설명(Rationale)을 생성하는 능력을 갖추고 있습니다. 하지만 이러한 설명이 모델의 실제 의사결정 과정을 충실히 반영하는지(Faithfulness)에 대해서는 회의적인 시각이 많습니다. 기존 연구들은 모델이 편향된 예측을 하면서도 그럴듯한 이유를 대는 '사후 합리화(Rationalization)' 현상을 지적해 왔습니다.

본 논문은 **"모델이 스스로 제시한 설명(Rationale)이 실제 모델의 예측 변화를 얼마나 일관되게 유도하는가?"**라는 질문을 던집니다. 즉, 설명의 '진실성'을 판단하는 대신, 모델이 제시한 설명의 가중치를 변화시켰을 때 예측 확률이 얼마나 예측 가능한 방식으로 변하는지, 즉 **모델의 국소적 결정 경계(Local Decision Surface)**를 파악하고자 합니다.

2. 방법론 (Methodology: LAMP)

**LAMP (Local Attribution Mapping Probe)**는 모델의 내부 파라미터(Gradient, Logit, Activation)에 접근할 수 없는 블랙박스(Black-box) 환경에서도 작동하도록 설계된 경량 프레임워크입니다.

핵심 단계:

1. 설명 추출 (Extracting Explanations): 모델에게 특정 입력 $x$에 대한 분류 확률과 함께, 그 근거가 되는 요인(Factors) 및 각 요인의 중요도 가중치($w$)를 생성하도록 요청합니다.
2. 가중치 섭동 (Probing via Perturbation): 모델이 제시한 가중치 벡터 $w$에 미세한 노이즈(Stochastic Jitter)를 더해 여러 개의 변형된 가중치 세트를 만듭니다. 이 변형된 가중치를 다시 모델에 입력하여 예측 확률의 변화를 측정합니다.
3. 국소 선형 대리 모델 적합 (Fitting a Local Linear Surrogate): 수집된 (변형된 가중치, 예측 확률) 데이터를 바탕으로 선형 회귀 모델($\hat{y} = X\hat{\beta}$)을 학습시킵니다. 여기서 계수 $\hat{\beta}$는 각 요인이 예측에 미치는 국소적 영향력을 나타냅니다.

주요 기술적 특징:

• 차원 축소 (Meta-aggregation): 모델이 생성하는 요인이 너무 많아질 경우 발생하는 불안정성을 해결하기 위해, 모델에게 요인들을 주제별로 요약/통합하도록 하여 핵심적인 $n$개의 요인으로 압축합니다.
• 최적 섭동 규모 결정 (Optimal Perturbation Scale): 2차 테일러 전개(Taylor Expansion)를 활용하여, 선형 근사가 유효한 범위 내에서 MSE(평균 제곱 오차)를 최소화하는 최적의 섭동 반경 $\delta^*$를 수학적으로 도출합니다.

3. 주요 기여 (Key Contributions)

• 블랙박스 감사 도구: 모델의 내부 구조를 몰라도 모델의 '자기 보고식 설명'만으로 의사결정 메커니즘을 프로빙할 수 있는 실용적인 프레임워크를 제안했습니다.
• 행동 중심적 접근: 설명의 논리적 타당성을 따지는 대신, 설명의 변화에 따른 모델 행동의 **일관성(Consistency)**과 **예측 가능성(Predictability)**을 정량화했습니다.
• 수학적 엄밀성: 국소적 선형 근사의 유효성을 보장하기 위한 최적 섭동 반경 산출법과 곡률(Curvature)에 따른 분석을 제공합니다.

4. 실험 결과 (Results)

실험은 감성 분석(IMDB), 유해성 탐지(PH), 혐오 표현 탐지(HateBS), 그리고 의료 진단(Gastroenterology) 데이터셋을 통해 수행되었습니다.

• 설명력 (Explained Variance): LAMP를 통해 구축된 대리 모델은 모델의 예측 확률 변화를 상당 부분 설명해냈습니다 ($R^2$ 값 확인).
• 예측 일관성 (Consistency): 모델의 설명을 바탕으로 텍스트를 재작성(Rewriting)했을 때, LAMP 대리 모델이 예측한 확률이 실제 모델의 출력 확률과 매우 높은 상관관계를 보였습니다. 이는 모델의 설명이 단순한 텍스트가 아니라 실제 '제어 가능한 다이얼(Control Dials)' 역할을 함을 의미합니다.
• 기존 방법론 대비 우위:
  • LIME/SHAP 대비: 토큰 단위로 작동하는 LIME보다 모델의 '설명 공간'에서 작동하는 LAMP가 훨씬 해석 가능하고 예측력이 높았습니다.
  • Integrated Gradients(IG) 대비: 화이트박스 방식인 IG와 비교했을 때, LAMP는 블랙박스임에도 불구하고 대등하거나 더 높은 선형성($R^2$)을 보였습니다.
• 전문가 검증: 의료 데이터셋 실험에서 LAMP가 추출한 요인들의 방향성이 전문의들의 판단과 높은 일치도를 보였으며, 이는 고위험군 의사결정 지원 도구로서의 가능성을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

LAMP는 LLM의 불투명성을 해결하기 위한 실용적이고 가벼운 감사(Auditing) 도구입니다.

특히 의료 진단과 같이 신뢰성이 중요한 분야에서, 모델이 "왜 이런 결정을 내렸는가?"라는 질문에 대해 단순히 텍스트를 내뱉는 것을 넘어, **"그 근거를 조금만 수정하면 결과가 어떻게 바뀔 것인가?"**에 대한 기하학적 답변을 제공할 수 있습니다. 이는 모델의 출력을 맹목적으로 믿는 대신, 전문가가 모델의 의사결정 경계를 검토하고 검증할 수 있는 체계를 마련했다는 점에서 큰 의의가 있습니다.