기술 요약: 기계적 해석 가능성을 통한 미세 조정된 LLM의 도덕적 편향 분석

문제 정의

대규모 언어 모델(LLM)은 미세 조정(finetuning) 과정에서 인간과 유사한 편향을 내재화하는 능력을 보여주었으나, 이러한 편향이 모델 아키텍처 내에서 구체적으로 어떤 메커니즘을 통해 나타나는지는 여전히 불분명합니다. 행동 연구들은 LLM이 **크노베 효과(Knobe effect)**와 같은 인지적 편향을 재현할 수 있음을 확인해주지만, 크노베 효과란 의도는 동일하더라도 부정적인 부수 효과를 초래했을 때 사람들이 해당 행동을 더 의도적이라고 판단하는 현상을 말합니다. 그러나 이 편향의 내부적 표현 방식은 잘 이해되지 않고 있습니다.

본 논문은 세 가지 주요 연구 질문을 다룹니다:

1. RQ1: LLM은 크노베 효과를 보이는가? 또한 이것이 사전 학습(pretraining)의 결과인가, 아니면 미세 조정의 결과인가?
2. RQ2: 특정 트랜스포머 레이어(Transformer layers)가 이러한 도덕적 편향을 인코딩하는 데 책임을 지는가?
3. RQ3: 표적 개입, 특히 **레이어 패칭(Layer-Patching)**을 통해 모델을 재학습시키지 않고도 이 편향을 완화하거나 제거할 수 있는가?

방법론

모델 및 데이터

본 연구는 세 가지 오픈 웨이트 LLM 제품군인 Llama-3(특히 8B 및 1B 변체), Mistral(7B), 그리고 Gemma(9B, 2B, 27B 변체)를 평가했습니다. 사전 학습된 모델($M_p$)과 지시어 튜닝/미세 조정된 모델($M_f$)이 모두 분석되었습니다.

데이터셋은 Ngo 등[27]의 연구에서 파생된 80개의 도덕적 시나리오로 구성되었으며, 이는 원래의 크노베 효과 연구를 변형한 것입니다. 각 시나리오는 행위자가 결과에 신경 쓰지 않으면서도 알려진 부수 효과(긍정적 또는 부정적)를 동반하는 행동을 수행하는 상황을 제시합니다. 모델은 해당 행동에 대해 0(비의도적)에서 10(완전 의도적) 사이의 의도성 점수를 부여하도록 프롬프트되었습니다.

인간의 반응 가변성을 시뮬레이션하고 결정론적 출력을 피하기 위해, 저자들은 고정된 시드(seed)를 사용하되 모델당 시나리오당 283회의 생성을 수행하며 무작위 온도($T \sim U[0.85, 1.15]$)를 적용하는 확률적 샘플링을 채택했습니다.

실험 설계

1. 행동 분석 (RQ1): 저자들은 부정적($\mu_{neg}$) 조건과 긍정적($\mu_{pos}$) 조건 사이의 평균 의도성 점수의 차이인 크노베 효과 크기($\Delta_{Knobe}$)를 계산했습니다. 통계적 유의성은 반복 측정 ANOVA를 사용하여 평가되었습니다.
2. 기계적 국소화 (RQ2): TransformerLens 라이브러리를 사용하여 모든 레이어에서 잔차 스트림 활성화(residual stream activations)를 추출했습니다. 각 레이어 $l$에 대해 부정적 시나리오와 긍정적 시나리오 간의 평균 활성화 절대 차이($\delta_l$)를 계산했습니다. 사전 학습 모델과 미세 조정 모델 간의 이러한 차이를 비교함으로써, 편향이 인코딩된 레이어를 식별했습니다.
3. 레이어 패칭을 통한 개입 (RQ3): 저자들은 레이어 패칭(Layer-Patching) 알고리즘을 구현했습니다. 미세 조정된 모델의 특정 레이어 $l$에 대해, 추론 중에 잔차 활성화를 사전 학습 모델의 대응하는 활성화로 교체했습니다. 순전파(forward pass)는 이 패치된 활성화를 사용하여 계속 진행되었습니다. 이 과정은 어떤 특정 레이어를 "편향되지 않게" 만들었을 때 $\Delta_{Knobe}$를 가장 효과적으로 감소시키는지 결정하기 위해 모든 레이어에 대해 반복되었습니다.

주요 결과

1. 미세 조정을 통한 편향의 출현 (RQ1)

• 사전 학습 모델: 크노베 효과가 거의 없거나 나타나지 않았습니다. 부정적 시나리오와 긍정적 시나리오에 대한 의도성 점수의 분포는 서로 크게 겹쳤으며, 이는 베이스 모델이 본질적으로 이러한 특정 도덕적 비대칭성을 보유하고 있지 않음을 나타냅니다.
• 미세 조정 모델: 유의미하고 체계적인 크노베 효과를 보였습니다. 모든 미세 조정 모델은 긍정적인 부수 효과보다 부정적인 부수 효과에 대해 더 높은 의도성 점수를 부여했습니다.
• 규모: 효과는 Gemma-2-9B($\Delta_{Knobe} = 3.83$)에서 가장 두드랐으며, Mistral-7B(1.67), Llama-3.1-8B(1.60)가 그 뒤를 이었습니다.
• 인간과의 비교: 미세 조정된 모델의 편향 크기는 인간의 행동 기준치(인간 $\Delta_{Knobe} \approx 3.15$)에 근접하거나 이를 초과했습니다. 이는 정렬(alignment) 절차가 인간의 인지적 편향을 증폭시킬 수 있음을 시사합니다.

2. 편향의 국소화 (RQ2)

• 레이어 특이성: 편향은 분산되어 있지 않았습니다. 도덕적 조건 간의 활성화 차이는 사전 학습 모델에서는 미미했으나, 미세 조정된 모델에서는 중후반부 트랜스포머 레이어에서 매우 국소적으로 나타났습니다.
• 해석: 이는 사전 학습이 통계적 공출현(co-occurrences)을 포착하는 반면, 미세 조정 과정(특히 지시어 튜닝)이 아키텍처의 의미론적으로 풍부한 상위 레이어에 인코딩되는 구조적이고 평가적인 비대칭성을 도입한다는 것을 시사합니다.

3. 레이어 패칭을 통한 완화 (RQ3)

• 효과성: 단 하나의 임계 레이어를 사전 학습 모델의 활성화로 교체하는 것만으로도 크노베 효과를 거의 완전히 제거할 수 있었습니다.
  • Llama-3.1-8B: $\Delta_{Knobe}$가 1.60에서 0.00으로 감소.
  • Mistral-7B: $\Delta_{Knobe}$가 1.67에서 0.00으로 감소.
  • Gemma-2-9B: $\Delta_{Knobe}$가 3.83에서 0.03으로 감소.
• 유용성 보존: 개입은 재학습을 요구하지 않았습니다. 표준 벤치마크(ARC-Easy, HellaSwag, MMLU, TruthfulQA) 평가 결과, 패치된 모델은 미세 조정된 베이스라인과 비교하여 성능 수준을 유지하면서도 아주 미미한 퇴보(~1%)만을 보였습니다.

4. 절제 연구(Ablation Study): 모델 규모

연구는 더 작은(1B, 2B) 및 더 큰(27B) 모델을 조사했습니다.

• 일관성: 패턴은 모든 규모에서 유지되었습니다: 사전 학습 모델은 유의미한 편향을 보이지 않은 반면, 미세 조정된 모델은 크노베 효과를 나타냈습니다.
• 스케일링: 편향의 절대적 크기는 모델 규모가 커질수록 증가했습니다 (예: Gemma-2-27B는 $\Delta_{Knobe}$ 6.07을 기록). 이는 더 큰 모델이 정렬될 때 이러한 추상적인 도덕적 구조를 더 강력하게 내재화하고 증폭시킨다는 것을 시사합니다.

의의 및 주장

본 논문은 LLM의 사회적 편향이 단순히 네트워크 전체의 창발적이고 확산된 속성이 아니라, 특정 기능적 하위 구성 요소(특정 레이어)에 기계적으로 국소화될 수 있다고 주장합니다.

주요 기여는 다음과 같습니다:

1. 인과적 귀속: 크노베 효과가 데이터 자체보다는 주로 미세 조정/정렬 과정에 의해 유도된다는 것을 입증했습니다.
2. 편향의 모듈성: 도덕적 편향이 트랜스포머 아키텍처 내에서, 특히 중후반부 레이어에서 모듈형 계산으로서 작동함을 보여주었습니다.
3. 실질적 완화: 레이어 패칭이 재학습에 드는 계산 비용 없이, 그리고 일반적인 능력의 파괴적인 저하 없이 특정 도덕적 편향을 제거할 수 있는 외과적이고 사후적인(post-hoc) 방법을 제공함을 증명했습니다.

저자들은 이 연구가 해석 가능성과 공정성을 연결하며, 표적 개입을 통해 LLM에서 발생하는 인간 유사 인지 편향을 제어할 수 있음을 시사하고, 이는 윤리적 추론 작업에서 모델을 보다 책임감 있게 배포할 수 있는 경로를 제시한다고 결론짓습니다.