기술 요약: 유한한 도덕성 (Bounded Morality)

문제 정의

인공 시스템에 도덕성을 정식화하려는 전통적인 접근 방식은 대개 확립된 윤리 이론(예: 공리주의, 의무론)을 정적인 규칙이나 가치 함수로 인코딩한다. 이러한 전략은 도덕적 이견을 올바른 이론을 선택하는 문제로 취급하며, 도덕적 추론이 실제로 어떻게 수행되는지, 인지 능력에 따라 어떻게 확장되는지, 또는 왜 서로 다른 이론들이 문화 전반에 걸쳐 지속되는지를 설명하는 데 실패한다. 유한한 합리성(bounded rationality) 연구는 인간의 판단이 계산적 제약 하에서의 적응적 트레이드오프를 반영한다는 것을 보여주었으나, 도덕적 추론의 "수요 측면"은 여전히 미비한 상태이다. 구체적으로, 어떤 특징들이 유한한 행위자에게 트레이드오프를 강요하는 정보적, 계산적 부담을 부과하는지에 대한 규명이 필요하다.

본 논문은 도덕적 문제의 수요 구조를 규명하는 격차를 다룬다. 본 논문은 도덕적 상황이 유한한 행위자의 도덕적 추론에 필요한 계산적 부담을 어떤 방식으로 체계적으로 증가시키거나 감소시키는지에 대해 질문한다.

방법론

저자들은 **유한한 도덕성(Bounded Morality)**이라는 프레임워크를 제안하며, 이는 도 상황적 요구(situational demands) 하에서의 제약된 추론으로서 도덕적 추론을 모델링한다. 방법론은 세 단계로 진행된다.

1. 수요 공간의 정의

프레임워크는 도덕적 상황의 계산적 요구를 정의하는 두 가지 직교하는 차원을 식별한다:

• 도덕적 폭 (Moral Breadth): 도덕적 표상의 범위를 나타낸다. 이는 어떤 엔티티, 집단, 시간대, 또는 추상화된 개념들이 도덕적으로 유의미하게 다루어지는지를 포착한다 (예: 외집단, 비인간 동물, 또는 미래 세대의 포함 여부).
• 도덕적 깊이 (Moral Depth): 추론의 복잡성을 나타낸다. 이는 엔티티와 그 상호작용이 얼마나 풍부하고, 재귀적이며, 일관되게 표현되어 추론되는지를 포착한다 (예: 반사실적 추론, 다단계 숙고, 또는 다양한 관점의 통합).

발달 심리학, 신경과학, 사회 선택 이론의 경험적 증거를 통해 이 두 차원이 서로 분리 가능하면서도 유한한 인지 자원에 의해 공동으로 제약됨을 입증한다.

2. 형식적 모델링

저자들은 도덕적 추론을 그래프 상의 제어 가능한 동역학계(controlled dynamical system)로 정식화한다:

• 도덕적 상호작용 그래프 ($G^*$): 노드는 도덕적으로 유의미한 엔티티를 나타내고, 엣지는 직접적인 영향 관계를 나타내는 그래프.
• 지상 진리 가치 (Ground-Truth Value): 노드 및 엣지 포텐셜의 그래프 구조 함수로서, 무한한 궤적에 대한 복지(welfare)의 할인된 합으로 정의된다.
• 유한 근사 (Bounded Approximation): 유한한 행위자는 지상 진리를 계산할 수 없다. 대신 다음을 사용한다:
  • 추상화 ($G$): 집합 사상 $\pi_V$를 통한 $G^*$의 거친 입도(coarse-grained) 투영. 이는 서로 다른 엔티티와 상호작용의 수를 줄인다 (폭, Breadth).
  • 절단된 지평선 ($H$): 명시적으로 평가되는 역동성의 단계를 지정하는 롤아웃(rollout) 깊이 (깊이, Depth).
• 비용 모델: 총 계산 비용이 $Cost(b, H) = \alpha b + \beta b H^p$인 표준 비용 모델이 도입된다. 이는 역관계 스케일링 법칙(inverse scaling law)을 확립한다: 고정된 예산 $B$ 하에서, 표현의 폭($b$)을 늘리면 달성 가능한 깊이($H$)는 엄격하게 감소하며, 그 반대도 마찬가지이다.

3. 전략 및 후회 (Regret)

• 도덕적 전략: 세계 상태와 자원 예산을 특정 $(G, H)$ 쌍에 매핑하는 할당 규칙 $\rho$로 정의된다.
• 도덕적 후회 (Moral Regret): 최적의 개입이 가진 지상 진리 도덕 가치와 유한한 전략이 달성한 가치 사이의 차이.
• 도덕적 진보: 유일한 도덕적 진리에 수렴하는 것이 아니라, 고정된 자원 예산 내에서 기대 후회를 줄이거나(더 나은 할당), 기술적 또는 제도적 변화를 통해 실현 가능한 경계(feasible frontier)를 외부로 이동시키는 것으로 정의된다.

주요 기여

1. 폭-깊이 트레이드오프 (The Breadth–Depth Trade-off)

본 논문은 도덕적 계산을 위한 공식적인 **파레토 경계(Pareto frontier)**를 구축한다. 저자들은 유한한 행위자에게 있어 도덕적 관심의 범위(폭)를 확장하는 것은 필연적으로 추론의 깊이를 제한하며, 추론을 심화하기 위해서는 범위를 좁혀야 함을 입증한다. 윤리 이론들은 경쟁하는 도덕적 진리에 대한 설명이 아니라, 자원 요구량의 레짐에 따라 이 경계 위에서 적응된 국소적으로 효율적인 전략으로 재해석된다.

2. 윤리 이론의 재해석

프레임워크는 정전적(canonical) 윤리 이론들을 폭-깊이 공간의 특정 영역에 매핑한다:

• 행위 공리주의 (Act Utilitarianism): 높은 폭, 중간 정도의 깊이. 단순한 가산적 집합을 통해 많은 이해관계자를 표현하는 것을 우선시한다.
• 의무론 (Deontology): 중간 정도의 폭, 중간 정도의 깊이. 탐색 공간을 제거하기 위해 엄격한 제약 조건에 의존하며, 실행 가능성을 유지하기 위해 종종 제한된 범위를 요구한다.
• 계약론 (Contractualism): 낮은 폭, 높은 깊이. 소수의 이해관계자에 집중하지만, 깊은 숙고와 최악의 경우에 대한 반론 분석에 상당한 자원을 할당한다.
• 덕 윤리 (Virtue Ethics): 최소한의 폭, 제로(0)의 깊이. 온라인 롤아웃을 제거하기 위해 계산을 학습된 성향(amortized inference)으로 오프라인에서 전환한다.
• 배려 윤리 (Care Ethics): 국소적 폭, 중간 정도의 깊이. 글로벌 열거보다는 로컬 이웃 내의 밀도 높은 관계 구조에 집중한다.

3. 도덕적 이견과 진보의 정식화

• 이견 (Disagreement): 프레임워크는 동일한 가치를 공유하는 행위자들 사이에서도 지속적인 도덕적 이견이 발생할 수 있음을 시사한다. 이견은 근본적인 가치 갈등이라기보다, 제한된 자원의 서로 다른 할당(파레토 경계 상의 서로 다른 지점)을 반영할 수 있다.
• 진보 (Progress): 도덕적 진보는 (i) 고정된 제약 내에서 자원 할당을 개선하여 후회를 줄이거나, (ii) 가용 용량을 증가시키는 문화적 또는 기술적 발전을 통해 실현 가능한 경계를 확장하는 것으로 재정의된다.

4. AI 정렬에 대한 시사점

본 논문은 AI 정렬이 (그 자체로 유한하고 잠재적으로 최적이 아닐 수 있는) 인간의 판단을 모방하는 데에만 집중해서는 안 된다고 주장한다. 대신, 정렬은 도덕적 추론 능력이 표현 및 계산 자원에 따라 확장될 수 있도록 설계하는 데 집중해야 한다. 목표는 특정 유한한 인간 행위자의 출력을 복제하는 것이 아니라, 자원과 도덕적 능력 사이의 스케일링 관계를 재현하는 것이다.

결과 및 주장

본 논문은 새로운 실험 데이터나 특정 AI 시스템에 대한 경험적 검증을 제시하지 않는다. 대신, "결과"는 이론적 유도이다:

• 역관계 스케일링 법칙 (Inverse Scaling Law): 고정된 예산 하에서 깊이가 폭에 반비례하여 스케일링됨($H \leq C b^{-1/p}$)을 보여주는 수학적 유도.
• 후회 최소화 (Regret Minimization): 특정 자원 제약이 주어진 상태에서 무제한의 이상적 상태에 대한 기대 후회를 최소화하는 것으로 정의된 도덕적 진보.
• 전략 분류 (Strategy Classification): 폭, 깊이, 그리고 집합(aggregation)에 대한 구조적 약속에 따른 윤리 이론의 개념적 매핑.

의의

본 논문은 윤리학, 심리학, AI를 잇는 통합적 기술 설명을 제공한다고 주장한다. 그 의의는 다음과 같다:

1. 도덕적 실패의 재구성: 도덕적 결함(예: 경직성, 먼 이해관계자 소홀)에 대한 설명을 결함 있는 가치나 비합리성이 아닌, 제한된 계산 자원의 합리적 할당으로 전환한다.
2. 비관계론적 이견 (Non-Relativist Disagreement): 도덕적 다원주의를 필요로 하지 않는 도덕적 이견에 대한 구조적 설명을 제공한다. 행위자들은 동일한 가치를 공유하면서도, 폭-깊이 경계 상의 서로 다른 실행 가능한 지점에서 작동함으로써 서로 이견을 가질 수 있다.
3. 윤리를 위한 계산적 렌즈: 윤리와 심리학의 통찰을 통합하기 위한 최소한의 계산적 렌즈를 제공하며, 도덕 이론을 유한한 행위자가 직면하는 트레이드오프를 관리하기 위한 전략으로 취급한다.
4. AI를 위한 진단 도구: 도덕적 역량이 인공 시스템에서 왜 무너지는지를 분석할 수 있는 기술적 어휘를 제공하며, 정렬 실패가 목표의 오류보다는 맥락과 도덕적 계산 사이의 불일치에서 기인할 수 있음을 시사한다.

저자들은 이 프레임워크가 특정한 도덕적 가치나 윤리 이론을 옹호하는 것이 아님을 명시한다. 대신, 유한한 행위자(인간이든 인공적이든)가 시간, 정보, 계산 용량이 상황적 요구를 초과할 때 직면해야 하는 운영적 제약을 연구한다.