Accounting for Context: Shaping Moral Credences for Value Alignment

기술 요약: 맥락의 고려: 가치 정렬을 위한 도덕적 신념 형성

문제 제별
가치 정렬(Value alignment)은 지능형 에이전트가 인간의 윤리적 가치에 부합하게 행동하도록 보장하는 것을 목표로 한다. 그러나 인간 사회는 도덕적 다원주의를 보이며, 개인과 집단은 서로 충돌하는 윤리 이론(예: 의무론 vs 공리주의)을 통해 행동을 평가한다. 다원적 정렬에 대한 현재의 접근 방식은 선호도를 이끌어내고, 효용 함수를 도출하며, 도덕적 불확실성 프레임워크를 사용하여 이를 집합(aggregation)하는 파이프라인에 의존한다. 이러한 프레임워크는 일반적으로 인구 비율이나 개인의 확신에 기반하여 서로 다른 윤리 이론에 정적인 "도덕적 신념(moral credences, 가중치)"을 할당한다.

본 논문에서 식별된 핵심 문제는 표준적인 집합 메커니즘이 **맥락적 요인(contextual factors)**을 무시한다는 점이다. 구체적으로, 특정 상황에서 에이전트가 직면하는 윤리 이론의 적용 가능성과 신뢰도는 크게 달라질 수 있다. 예를 들어, 결과주의 이론(공리주의와 같은)은 결과에 대한 정확한 예측을 요구하는데, 이는 자원 제한이 있는 실제 환경에서 계산적으로 불가능하거나 인식론적으로 불확실할 수 있다. 반대로, 의무론적 규칙은 동일한 제약 조건 하에서도 견고하게 유지될 수 있다. 도덕적 신념을 정적이고 맥락 독립적인 값으로 취급하면, 에이전트의 의사결정 과정이 특정 맥락에서의 이론적 차별적 신뢰성을 반영하지 못해 집합 오류를 초래할 수 있다.

방법론
저자들은 도덕적 불확실성에 대한 결정 이론 모델(MacAskill, Bykvist, and Ord 2020을 기반으로 함) 내에서 **맥락 조정된 도덕적 신념(context-adjusted moral credences)**을 위한 프레임워크를 정형화한다.

1. 공식 정의:

   • 윤리적 프레임워크: $\langle T, c \rangle$로 정의되며, 여기서 $T$는 윤리 이론의 집합이고 $c$는 이론들을 가중치로 매핑하여 합이 1이 되도록 하는 신념 함수이다.
   • 신념 프로필(Credence Profile): 맥락을 수용하기 위해, 저자들은 특정 행동 $x$에 특화된 신념 함수들의 집합인 신념 프로필 $C = \langle c_a, c_b, \dots \rangle$를 정의한다. 이를 통해 맥락에 따라 가중치를 가변적으로 설정할 수 있다.
   • 맥락적 특징(Contextual Features): 행동 $a$에 대한 이론 $t$의 신뢰도를 조절하는 함수 $g: A \times T \to (0, 1]$로 정의된다. 값에 가까울수록 높은 신뢰도/적절성을 의미하며, 낮은 값은 제약 조건(예: 자원 제한, 불확실성, 참신함)으로 인한 신뢰도 감소를 나타낸다.
   • 조정 함수(Adjustment Functions): 논문은 초기 신념 $c$를 맥락 $con = \langle g_1, \dots, g_m \rangle$에 기반하여 맥락 조정된 신념 $c_x$로 업데이트하는 두 가지 메커니즘을 도입한다:
     • prod: 초기 신념에 모든 맥락적 특징의 곱을 곱한 후 정규화한다. 이는 "위험 중립적(risk-neutral)"이며, 한 특징의 높은 값이 다른 특징의 낮은 값을 보완할 수 있게 한다.
     • mini: 초기 신념과 모든 맥락적 특징의 최솟값을 취한 후 정규화한다. 이는 "위험 회피적(risk-averse)"이며, 조정된 신념이 가장 취약한 맥락적 요인의 신뢰도를 초과하지 않도록 보장한다.

2. 메타 규범 이론:
   저자들은 주요 집합 함수로 **최대 기대 선택 가치(Maximizing Expected Choiceworthiness, MEC)**를 활용한다. MEC는 맥락 조정된 신념을 사용하여 여러 이론에 걸친 선택 가치의 가중 산술 평균(WAM)을 기준으로 행동의 순위를 매긴다.

3. 실행 예시 (FROBO):
   논문은 군사 봉쇄가 진행 중인 화재 난 병원 내의 소방 로봇(FROBO) 시나리오를 사용한다. FROBO는 의식이 없는 환자 한 명을 구할 것인지(Right Room), 아니면 미래의 잠재적 환자들을 위해 인슐린을 보존할 것인지(Left Room) 선택해야 한다.

   • 맥락: 자원 제한으로 인해 FROBO는 장기적인 결과를 정확하게 계산하는 데 어려움을 겪는다.
   • 효과: 자원 제한($rb$)에 대한 맥락적 특징은 복잡한 예측이 필요한 Left Room(인슐린)에 대한 공리주의 신념을 크게 낮추지만, 결과가 즉각적이고 확실한 Right Room(환자)에 대해서는 신념을 높게 유지한다.

주요 결과
본 논문은 맥락 조정된 신념을 포함하는 것이 **약한 파레토 원칙(Weak Pareto Principle)**의 위반을 초래함을 보여준다. 이는 사회 선택 이론의 표준적 속성으로, 만약 모든 이론이 행동 $a$보다 $b$를 선호한다면, 집합된 결과 역시 $a$보다 $b$를 선호해야 한다는 원칙이다.

• 약한 파레토 원칙의 위반: 저자들은 (특히 상호 이론적 반응성을 가진) 광범위한 메타 규범 이론들과 (prod 및 mini를 포함하여 맥락 전사성을 가진) 조정 함수들에 대해 약한 파레토 원칙이 위반됨을 증명한다.

  • 메커니즘: 모든 개별 윤리 이론이 행동 $a$보다 $b$를 선호함에도 불구하고($t(a) < t(b)$ for all $t$), 맥락 조정된 집합 결과는 $b$보다 $a$를 선호하는 시나리오를 구성할 수 있다.
  • 예시: FROBO 시나리오에서, 공리주의와 의무론 모두 진공 상태에서는 Left Room(인슐린)을 Right Room(환자)보다 선호할 수 있지만, 자원 제약이 Left Room에 대한 공리주의 신념을 급격히 낮춤으로써 의무론적 선호가 Right Room을 지배하게 되어, 에이전트가 Right Room을 선택하게 만든다.

• 심슨의 역설(Simpson's Paradox) 해석: 저자들은 이러한 위반을 결함이 아니라, 맥락적 요인을 고려할 때 발생하는 심슨의 역설의 발현으로 해석한다. 집합된 데이터가 하위 그룹에서 나타나는 추세를 역전시킬 수 있는 것과 마찬가지로, 서로 다른 맥락(행동)에 걸쳐 도덕적 평가를 집합하면 개별 이론의 선호를 역전시킬 수 있다. 위반이 발생하는 이유는 이론의 "가중치"가 맥락에 따라 동적으로 변하여, 초기 신념은 낮더라도 특정 맥락에서 더 신뢰할 수 있는 이론이 우세해질 수 있기 때문이다.

의의 및 주장
본 논문은 맥락 조정된 신념을 고려할 때 약한 파레토 원칙의 위반이 발생하는 것은 바람직하지 않은 것이 아니라, 맥락적 요인을 고려하기 위한 필연적이고 불가피한 결과라고 주장한다.

1. 맥락 무시적 집합의 한계: 이 결과는 맥락이 윤리 이론의 신뢰도에 미치는 영향을 무시하는 표준적인 집합 메커니즘이 실제 세계의 가치 정렬에 불충분함을 강조한다. 맥락을 무시하면 에이전트가 특정 상황에 계산적 또는 인식론적으로 부적합한 이론을 따르는 "광신적(fanatical)"이거나 신뢰할 수 없는 결과를 초래할 수 있다.
2. 새로운 연구 방향: 이 연구는 도덕적 불확실성 연구를 **맥락 가중 사회 선택(contextually-weighted social choice)**으로 전환할 것을 촉구한다. 이는 집합 방법(예: 약한 파레토)을 평가하는 기준이 맥락이 변수가 될 때 재평가되어야 함을 시사한다.
3. 윤리적 표현의 심화(Thickening): 저자들은 맥락 조정의 필요성이 현재의 모델들이 윤리 이론을 단순한 효용 함수로서 "얇게(thinly)" 표현하기 때문에 발생한다고 본다. 맥락적 특징(예: 계산적 타당성)을 바탕으로 신념을 조정함으로써, 저자들은 이러한 평가를 알고리즘적 및 인식론적 현실을 반영하도록 "심화(thickening)"하고 있다.
4. 미래 통합: 저자들은 이 형식론이 논증 기반 대화(argumentation-based dialogues)와 통합될 수 있다고 제안한다. 정적인 선호도 추출 대신, 에이전트는 맥락적 뉘앙스를 탐구하는 구조화된 대화를 통해 "실시간으로" 도덕적 신념을 동적으로 조정할 수 있으며, 이는 협소한 시스템(narrow systems)과 초지능 시스템 모두에서 더욱 견고한 가치 정렬을 지원할 수 있다.

결론적으로, 본 논문은 표준 사회 선택 공리(axiom)의 위반이 직관에 어긋나 보일 수 있으나, 이는 맥락을 무시했을 때 발생하는 개념적 한계를 드러내며, 더 현실적이고 맥락에 민감한 도덕적 의사결정을 위한 공식적 기초를 제공한다고 밝힌다.