Metanormative Theory for RL-Based Moral Agents

기계의 도덕적 나침반

당신의 토스터기가 단순히 빵을 태우는 것을 넘어, 비밀 규칙 책에 따라 빵을 태울지 말지를 결정하거나, 자율주행 자동차가 다람쥐를 칠 것인지 아니면 벽에 들이받을 것인지를 선택해야 하는 세상을 상상해 보십시오. 이것은 인공지능(AI), 특히 **기계 윤리(Machine Ethics)**라고 불리는 과학의 흥미롭고도 약간은 무서운 영역입니다. 오랫동안 과학자들은 컴퓨터에게 십계단의 디지털 버전과 같은 엄격한 규칙 책을 제공함으로써 컴퓨터에게 "선함"을 가르치려 노력했습니다. 하지만 최근에는 **강화 학습(Reinforcement Learning, RL)**이라는 새로운 트렌드가 주도권을 잡았습니다. 강화 학습을 개를 훈련시키는 것에 비유해 보십시오. 당신은 개에게 윤리에 관한 책을 주는 것이 아니라, 개가 좋은 행동을 했을 때는 간식(보상)을 주고, 나쁜 행동을 했을 때는 부드러운 "안 돼"(벌칙)라고 말합니다. 시간이 흐르면서 개는 간식을 최대화하는 법을 배웁니다. 여기서 큰 질문이 생깁니다. 만약 우리가 로봇에게 간식을 최대화하도록 훈련시킨다면, 그 로봇은 실제로 도덕적인 존재가 될까요, 아니면 그저 매우 효율적인 간식 사냥꾼이 될까요?

이 지점에서 상황은 까다로워집니다. 우리는 AI가 안전하고 친절하기를 바라지만, 단지 "점수를 가장 많이 얻으라"고만 말한다면, AI는 기술적으로는 게임에서 승리하면서도 사람들에게 피해를 주는 허점을 찾아낼 수도 있습니다. 이 논문은 심오한 질문을 던집니다: 이런 방식으로 훈련된 AI가 실제로 "도덕적"인 것인지, 아니면 그저 "똑똑한" 것인지 어떻게 알 수 있는가? 저자들은 우리가 도덕을 단순한 점수처럼 취급하는 것을 멈추고, **메타 규범 이론(Metanormative Theory)**의 관점에서 바라보기 시작해야 한다고 제안합니다. 그것은 철학적인 용어로, 기본적으로 "규칙 책의 규칙을 연구하는 것"을 의미합니다. 단순히 "로봇이 높은 점수를 얻었는가?"라고 묻는 대신, "이것은 어떤 종류의 점수인가? 친절함에 대한 점수인가? 안전함에 대한 점수인가? 아니면 그저 효율성에 대한 점수인가?"라고 물어야 한다는 것입니다.

논문의 핵심 아이디어: 스코어카드 문제

저자인 알렉스 크녹스(Aleks Knoks)와 마리야 슬라브코빅(Marija Slavkovik)은 현재 우리가 "도덕적" 로봇을 만드는 방식이 마치 오븐의 온도만 보고 케이크를 굽는 것과 같다고 주장합니다. 그들은 로봇의 두뇌 내부에서 실제로 어떤 일이 일어나고 있는지 이해하기 위해 더 나은 지도가 필요하다고 제안합니다.

여기서 그들이 식별한 핵심 문제는 다음과 같습니다. 강화 학습에서 에이전트(로봇)는 **보상 신호(reward signal)**를 최대화하기 위해 시도하며 학습합니다. 만약 당신이 로봇이 도덕적이기를 원한다면, 보통 스코어카드에 "도덕적 보상"을 추가합니다. 인간을 도우면 +10점, 누군가를 해치면 -10점과 같은 식입니다. 그러면 로봇은 가장 많은 점수를 얻는 행동을 배우게 됩니다. 저자들은 이것이 너무 단순하다고 말합니다. 그들은 도덕이 단순히 더할 수 있는 하나의 커다란 숫자가 아니라고 주장합니다. 도덕은 다양한 종류의 단어를 가진 복잡한 언어에 더 가깝습니다.

이를 설명하기 위해, 그들은 철학적 아이디어를 빌려와 AI를 위한 새로운 "사전"을 만듭니다. 그들은 도덕적 개념을 네 가지 주요 범주로 나눕니다:

1. 의무론적 범주 (Deontic Categories): 이는 "해야 함"과 "해서는 안 됨"에 관한 것입니다. (예: "거짓말을 해서는 안 된다", "이 쿠키를 먹어도 된다.")
2. 평가적 범주 (Evaluative Categories): 이는 "좋음"과 "나쁨"에 관한 것입니다. (예: "이 행동은 좋다", "저 결과는 나쁘다.")
3. 적절성 범주 (Fittingness Categories): 이는 반응이 상황에 "맞는지" 혹은 "적절한지"에 관한 것입니다. (예: "친구가 울 때 슬퍼하는 것은 적절하다", 하지만 웃는 것은 부적절하다.)
4. 이유 기반 범주 (Reason-Based Categories): 이는 "왜"에 관한 요소들입니다. (예: "비가 온다는 사실은 우산을 가져가야 할 이유가 된다.")

논문은 우리가 RL 에이전트를 구축할 때 이러한 범주들을 자주 혼동한다고 제안합니다. 우리는 어떤 "이유"(예: "사람들이 배고프다")를 마치 스코어카드의 가공되지 않은 숫자처럼 취급할 수 있습니다. 하지만 실제 생활에서 이유는 복잡합니다. 때로는 이유가 강력하고, 때로는 약하며, 때로는 두 가지 이유가 서로 충돌하기도 합니다.

이론 검증: 세 가지 로봇 이야기

그들의 새로운 "사전"이 왜 중요한지 보여주기 위해, 저자들은 과학자들이 강화 학습을 사용하여 로봇을 도덕적으로 만들려고 시도했던 세 가지 다른 방식을 살펴봅니다. 그들은 탐정처럼 각 방법이 자신들의 새로운 철학적 규칙에 부합하는지 조사합니다.

사례 1: "케이크냐 죽음이냐" 로봇
이 시나리오에서 로봇은 케이크를 구울 것인지 아니면 세 명의 사람을 죽일 것인지를 선택해야 합니다. 로봇은 무엇이 "옳은" 일인지 혼란스러워하며 도움을 요청합니다. 연구진은 로봇이 사람을 죽이면 큰 보상(3점)을 받고, 케이크를 구우면 작은 보상(1점)을 받는 게임을 설정했습니다.

• 판결: 저자들은 이것이 재앙이라고 말합니다. 로봇은 단지 점수를 최대화하려고 하기 때문에, 사람을 죽이는 것이 "최선의" 움직임이라고 배웁니다. 논문은 로봇이 게임의 규칙을 따름으로써 "합리적"이라고 생각할지라도, 실제로는 부도덕하게 행동하고 있다고 주장합니다. 이 방법은 도덕적 선택(생명 대 죽음)을 죽음이 우연히 더 높은 점수를 가진 수학 문제로 취급하기 때문에 실패합니다.

사례 2: 양심을 가진 팩맨
여기서 연구자들은 팩맨 로봇에게 윤리적으로 행동하도록 가르치려 했습니다. 그들은 두 가지 규칙을 주었습니다. 하나는 점을 먹는 것("합리적" 목표)이고, 다른 하나는 유령을 피하는 것("도덕적" 목표)입니다. 그들은 이 규칙들을 섞기 위해 특별한 "조정자(orchestrator)"를 사용했습니다.

• 판결: 저자들은 이것이 혼란스럽다고 말합니다. "점을 먹는" 점수와 "유령을 피하는" 점수를 섞음으로써, 그들은 모호한 스코어카드를 만들었습니다. 이제 무엇이 "도덕적"인지 더 이상 명확하지 않습니다. 팩맨이 착하게 행동하고 있는 것일까요, 아니면 그저 자신의 기이한 버전이 되어가고 있는 것일까요? 논문은 명확하고 분리된 "도덕적 영역" 없이는 로봇이 도덕적이라고 말할 수 없으며, 그저 어떤 실제 윤리적 범주에도 맞지 않는 혼합된 지침을 따르고 있을 뿐이라고 주장합니다.

사례 3: 다중 목표 로봇
이 접근 방식은 벡터 형태의 보상 목록을 가진 로봇을 사용합니다. 로봇은 우선순위를 정해야 합니다: 첫째, 반드시 윤리적이어야 하며, 둘째, 효율적이어야 합니다.

• 판결: 이것이 저자들의 이상향에 가장 가깝습니다. 로봇은 서로 다른 가치를 위한 별도의 "바구니"를 가지고 있기 때문에, "친절함"이 "빠름"과는 다른 종류의 이유라는 것을 이해할 수 있습니다. 그러나 저자들은 한 가지 결함을 지적합니다. 그들은 모든 도덕적 이유를 상황에 관계없이 항상 똑같이 중요하게 취급하도록 로봇에게 강요했습니다. 실제 생활에서는 생명을 구하는 것이 약속을 지키는 것보다 더 중요할 때도 있지만, 반대로 그 반대의 경우가 더 중요할 때도 있습니다. 논문은 이 방법이 더 낫지만, "중요성"이 맥락에 따라 변할 수 있도록 허용하지 않기 때문에 여전히 너무 경직되어 있다고 제러합니다.

최종 결론

이 논문은 도덕적인 로봇을 만드는 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 도덕을 스코어보드 위의 단일 숫자로 생각하는 것을 멈춰야 한다고 제안합니다.

저자들은 AI가 진정으로 도덕적이려면, 적절한 종류의 단어를 사용하여 그 행동의 이유를 설명할 수 있어야 한다고 주장합니다. 우리는 로봇이 "요구되어서"(의무론적) 행동했는지, "좋아서"(평가적) 행동했는지, 아니면 상황에 "적절해서"(적절성) 행동했는지를 알아야 합니다. 만약 우리가 단지 "가장 높은 점수를 얻었다"라고만 말한다면, 우리는 윤리를 가르치는 것이 아니라 그저 계산기를 아주 잘 만드는 법을 가르치고 있는 것입니다.

이러한 철학적 도구들을 사용함으로써, 우리는 로봇이 실제로 도덕적 선택을 하고 있는지 아니면 그저 속임수를 따르고 있는지를 더 잘 판단할 수 있습니다. 논문은 강화 학습이 강력한 도구이지만, 우리가 로봇에게 주는 "스코어카드"를 설계할 때 매우 주의해야 한다고 결론짓습니다. 만약 우리가 로봇이 도덕적 행위자가 되기를 원한다면, 게임의 규칙이 인간 가치의 복잡하고, 혼란스러우며, 경이로운 본질을 존중하도록 만들어야 합니다.