기술 요약: 도덕적 의사결정을 위한 해석 가능한 모델 구축

문제 정의

AI 시스템이 도덕적 딜레마(예: 자율주행 자동차, 콘텐츠 모더레이션)에 직면함에 따라, 이러한 시스템이 어떤 결정을 내리는가뿐만 아니라 어떻게 추론하며 그 구조 내에서 도덕적 편향이 어디에서 기원하는지를 이해하는 것이 시급해졌습니다. 기존의 접근 방식은 종종 거대 언어 모델(LLM)을 사후적으로 프로빙(probing)하는 데 의존하며, 이는 기계적 이해를 제한합니다. 본 논문은 상세한 해석 가능성 분석을 용이하게 하기 위해, Moral Machine 데이터셋(Awad et al., 2018)으로부터 일반적인 도덕 원칙을 학습할 수 있는 투명하고 소규모인 모델을 구축하는 과제를 다룹니다.

방법론

아키텍처 설계

저자들은 구조화된 도덕적 추론 작업에 최적화된 커스텀 2계층 트랜스포머 모델을 제안합니다. 범용 LLM과 달리, 이 아키텍처는 트롤리 문제 시나리오의 구성적 특성을 활용합니다.

• 입력 표현: 각 도덕적 딜레마는 한 쌍의 결과($O_0, O_1$)로 표현됩니다. 각 결과는 23가지 캐릭터 유형(예: 남성, 여성, 범죄자, 의사)에 해당하는 토큰 시퀀스로 인코딩됩니다. 결과 $t$ 내의 카디널리티 $n_c$를 가진 각 캐릭터 $c$에 대해, 다음과 같은 구성적 임베딩이 구축됩니다:
  $$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$$
  이 설계는 도덕적 추론이 이해관계자 식별, 영향력 정량화, 그리고 상충하는 이해관계의 해결로 분해된다는 가설을 인코딩합니다.
• 모델 구성: 모델은 임베딩 차원 $d=64$, 어텐션 헤드 2개, 2개의 트랜스포머 레이어($L=2$)를 사용합니다. 모델은 학습 가능한 [CLS] 토큰이 선행되는 46개의 토큰(결과당 23개) 시퀀스를 처리합니다.
• 대칭성 강제: A가 B보다 우선한다는 선호도가 B가 A보다 우선한다는 것의 보수(complement)가 되도록 보장하기 위해, 추론 과정에서 두 입력 순서의 예측값을 평균냅니다:
  $$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$$
• 분류: 최종 [CLS] 표현은 2계층 MLP를 통과하여 스칼라 로짓을 생성하고, 시그모이드 함수를 통해 확률로 변환됩니다. 이 확률적 출력은 상충하는 훈련 선호도에 직면했을 때 모델이 불확실성을 학습할 수 있게 합니다.

해석 가능성 기법

본 논문은 모델의 내부 메커니즘을 분석하기 위해 세 가지 상호 보완적인 방법을 사용합니다:

1. 인과적 개입(Causal Intervention): 저자들은 DoWhy 프레임워크를 사용하여 그룹 크기 혼란 변수를 통제한 상태에서 특정 캐릭터 유형이 결정 결과에 미치는 평균 처치 효과(ATE)를 추정합니다.
2. 계층별 속성 추출(Layer-wise Attribution): 각 레이어에서 어텐션 가중치를 추출하고, 이를 5가지 차원(법률, 성별, 사회적 역할, 연령, 종)에 대한 편향 점수와 상관 분석하여 편향이 발생하는 위치를 국소화합니다.
3. 회로 프로빙(Circuit Probing): 고정된 모델 위에 희소 이진 마스크(sparse binary masks)를 학습시켜, 도덕적 위계를 인과적으로 구현하는 특정 뉴런(MLP 블록 및 어텐션 헤드 내)을 식상합니다. 이는 표적 절제(targeted ablation)를 통해 검증됩니다.
4. 국소적 관련성(Local Relevance): 그래디언트 가중치 어텐션 관련성(gradient-weighted attention relevance)을 계산하여 특정 결정에 대한 개별 토큰의 기여도를 설명합니다.

주요 결과

성능

• 2계층 모델은 홀드아웃(held-out) Moral Machine 시나리오에서 77.1%의 정확도를 달달성했습니다($d=64, H=2, L=2$ 구성 사용).
• 더 큰 규모의 구성($d=64, H=4, L=3$)이 77.5%의 정확도를 달성했으나, 저자들은 해석 가능성과 계산 효율성을 우선시하여 더 작은 모델을 선택했습니다.
• 모델은 투명성과 예측 능력이 도덕적 선택에서 상호 배타적인 것이 아님을 보여줍니다.

해석 가능성 발견 사항

• 도덕적 위계 (인과적 개입): 모델은 공리주의적 수치와 독립적으로 암묵적인 도덕적 가치 위계를 학습합니다. "임산부"(ATE +0.12)와 "산책객"(ATE +0.11)은 가장 강력한 양(+)의 영향을 미치는 반면, "범죄자"(ATE -0.10)는 가장 강력한 음(-)의 영향을 미칩니다. "남성" 및 "여성"과 같은 일반적인 범주는 0 근처에 클러스터링되어 도덕적 기준점 역할을 합니다.
• 편향 국소화:
  • 법률 편향(Legality Bias): 거의 전적으로 Layer 0에 국소화되어 있으며, 이는 범죄자 상태가 캐릭터 임베딩을 통해 조기에 식별됨을 시사합니다.
  • 종(Species) 편향: 주로 Layer 1에서 나타나며, 이는 인간-동물 구분이 여러 캐릭터에 대한 구성적 추론을 필요로 함을 나타냅니다.
  • 기능적 전문화: 특정 어텐션 헤드가 서로 다른 편향에 특화되어 있습니다 (예: 법률을 위한 Layer 0 Head 1, 종 차별을 위한 Layer 1 Head 1).
• 회로 발견 (Circuit Discovery): 회로 프로빙을 통해 도덕적 점수 신호를 인과적으로 구현하는 Layer 1의 MLP 블록 내 매우 희소한 서브네트워크(256개 뉴런 중 45개, 17.6% 희소성)를 식별했습니다. 이 회로를 절제했을 때 모델 점수 라벨과의 일치도가 1.2 퍼센트 포인트 감소했으며, 이는 우연 확률 이상의 마진 중 약 8.3%를 설명합니다.
• 토큰 관련성: 특정 시나리오(예: 남성 3명 vs 범죄자 3명)에서 결정은 주로 "범죄자" 토큰(관련성 점수 0.27)에 의해 주도되며, "남성"과 같은 인구통계학적 토큰은 약하게 기여합니다.

의의 및 주장

본 논문은 도덕적 역량을 갖추기 위해 거대하고 사전 학습된 모델이 반드시 필요한 것은 아니며, 트롤리 문제의 직관적 구조에 따라 훈련된 단순하고 구조적으로 제약된 모델만으로도 인간의 도덕적 편향을 학습하고 인코딩하기에 충분하다는 점을 주장합니다.

주된 의의는 투명성에 있습니다. 저자들은 커스텀 아키텍처를 구축함으로써 다음을 입증했습니다:

1. 도덕적 편향은 단일한 형태가 아니라 서로 다른 계산 단계에 국소화되어 있습니다 (예: 정체성 기반 편향은 초기 레이어에, 구성적 추론은 후기 레이어에 위치).
2. 이러한 세밀함은 표적 개입 전략을 가능하게 합니다. 예를 들어, 범죄자 편향이 Layer 0 Head 1에 국소화되어 있다는 것을 알면, 단순한 데이터셋 재균형이 아닌 직교 표현(orthogonalizing representations)이나 어텐션 가중치 클램핑(clamping attention weights)과 같은 구체적인 디바이어싱(debiasing) 기법을 사용할 수 있습니다.
3. 본 연구는 더 복리한 시스템에서 도덕적 원칙이 어떻게 인코딩되는지 이해하기 위한 기초로서, 이 해석 가능한 모델을 사용하는 토대를 마련합니다.

저자들은 집단적 인간 선호도에 기반하여 훈련하는 것이 본질적으로 문화적 편향을 상속받는다는 점을 인정하지만, 이러한 접근 방식의 투명성이 AI 시스템 내의 이러한 편향을 이해하고 잠재적으로 완화하기 위한 필수적인 단계라고 주장합니다.