Computational representations and evolutionary functions of emotions (Part 1): Reward signals

생명의 기계 장치 깊은 곳, 가장 단순한 단세포 생물에서 가장 복잡한 인간의 뇌에 이르기까지, 그 안에는 끊임없이 작동하는 침묵의 계산이 존재한다. 이것은 진화 생물학과 인공지능이라는, 겉보기에는 서로 멀리 떨어져 있는 듯 보이지만 하나의 심오한 질문, 즉 '감정이란 진정 무엇인가?'라는 지점에서 수렴하고 있는 두 분야의 영역이다. 수 세기 동안 기쁨, 공포, 불안과 같은 감정들은 살아있는 존재들의 다채롭고 주관적인 경험, 즉 미소의 따스함이나 두려움의 차가운 응어리로 여겨져 왔다. 그러나 과학자들은 오랫동안 이 주관적인 표면 아래에 기능적인 메커니즘, 즉 유기체가 혼란스러운 세상을 항해하고 생존을 보장하는 결정을 내리기 위한 방법이 숨겨져 있다고 의심해 왔다. 컴퓨터의 세계에서 이러한 의사 결정 과정은 흔히 '보상 신호(reward signal)'라고 알려진 단순한 개념에 의해 구동된다. 컴퓨터 프로그램이 게임을 배우는 과정을 상상해 보라. 프로그램은 좋은 수를 두었을 때 작은 디지털 점수를 받고, 나쁜 수를 두었을 때는 벌점을 받는다. 시간이 흐르면서 컴퓨터는 점수를 추구하고 벌점을 피하는 법을 배운다. 이 논문은 대담한 질문을 던진다. 인간의 복잡하고 소용돌이치는 감정의 폭풍이, 우리를 중요한 것으로 인도하기 위해 수백만 년 동안 진화해 온 바로 그 보상 신호에 불과할 수 있을까?

상하이 교통 대학교의 왕이카이(Yikai Wang)가 수행한 이 연구는 디지털 에이전트를 구축하고 그들이 어떻게 학습하는지를 관찰함으로써 이 아이디어를 테스트하고자 한다. 목표는 감정을 느끼는 로봇을 만드는 것이 아니라, 컴퓨터가 생존하고 번식하도록 몰아붙이는 내부 신호가 인간의 감정과 똑같이 보이고 작동하는 무언가로 자연스럽게 진화하는지를 확인하는 것이었다. 연구진은 생물학적 감정을 정의하는 다섯 가지 핵심 특성에 집중했다. 첫째, 감정은 최적화 과정을 통해 자연스럽게 발생해야 한다. 둘째, 유기체가 생존이나 성공을 향한 경로에 있을 때만 활성화되어야 하며, 경로가 위험하거나 무익할 때는 조용히 유지되어야 한다. 셋째, 감정의 활성화는 미래의 행동을 변화시켜야 하며, 이는 행동을 장려하거나 실수를 처벌하는 방식이어야 한다. 넷째, 목표의 가치가 커질수록 감정은 더 강해져야 한다. 다섯째, 목표에 시간적, 공간적으로 가까워질수록 강도가 높아지며, 목표에 도달하거나 목표를 놓치면 사라져야 한다.

이 규칙들이 '기쁨'에 적용되는지 확인하기 위해, 연구진은 먼저 에이전트들이 오직 번식을 통해서만 생존할 수 있는 디지털 환경을 조성했다. 이 시뮬레이션에서 에이ージェ트들은 자녀를 갖고자 하는 내재된 욕구가 없었으며, 그저 존재할 뿐이었다. 유일한 압박은 번식하지 않으면 개체군이 멸종한다는 사실이었다. 연구진은 자연 선택에 의해 조정될 수 있는 숨겨진 내부 신호를 에이전트들이 진화시키도록 허용했다. 수백 세대의 시뮬레이션을 거치며 놀라운 일이 일어났다. 번식을 선택할 때 구체적으로 긍정적인 내부 신호를 발달시킨 에이전트들이 번성했다. 이 신호가 없거나 부정적인 신호를 가진 에이절트들은 형질을 물려주지 못했다. 결과적으로 번식 행위가 자동으로 긍정적인 내부 피드백의 급증을 동반하는 개체군이 형성되었다. 이 신호는 설계에 의해 나타난 것이 아니라, 개체군이 생존하기 위해 반드시 필요했기에 출현한 것이었다. 더욱이, 이 신호는 오직 번식으로 이어지는 경로에 있을 때만 활성화되었고, 번식 가능성이 높아질수록 강해졌으며, 기회가 지나가면 사라졌다. 시뮬레이션은 생존을 위해 최적화된 단순한 수학적 신호가 기쁨의 다섯 가지 특성을 완벽하게 반영한다는 것을 보여주었다.

연구진은 조사 범위를 감정의 어두운 면인 '불안'으로 확장했다. 그들은 에이전트들이 새끼의 죽음과 같은 위협에 직면하는 다른 시나리오를 구축했다. 이 세계에서 에이전트들은 위험을 피하는 법을 배워야 했다. 기쁨이 번식의 동기에서 생겨난 것처럼, 죽음을 피하려는 동기에서 부정적인 내부 신호가 생겨났다. 연구진이 '불생의 계산적 등가물'이라고 식별한 이 신호는 에이전트가 위험으로 향하는 경로에 있을 때만 활성화되었다. 경로는 안전할 때는 조용했다. 결정적으로, 이 신호는 단순히 머물러 있는 것이 아니라, 에이전트가 위험한 행동을 취하는 것에 대해 벌을 줌으로써 에이전트가 해를 피하도록 효과적으로 가르쳤다. 또한 이 신호는 위협의 심각도에 따라 규모가 달라졌다. 상황이 더 위험할수록 신호는 더 강해졌다. 또한 위험이 시간적, 공간적으로 가까워질수록 강도가 높아졌으며, 위협이 사라지면 함께 사라졌다. 시뮬레이션은 불안 역시 보상 신호로 이해될 수 있지만, 재앙을 초래하는 행동을 처벌하기 위해 설계된 '부정적인' 신호임을 입증했다.

연구는 이러한 원칙들이 다른 감정에도 적용됨을 보여주며 더 나아갔다. 연구진은 기쁨을 추동하는 동일한 긍정적 신호가 희망과 안도감을 설명할 수도 있는 반면, 부정적 신호는 공포, 혐오, 슬픔, 후회를 설명할 수 있다는 것을 발견했다. 논리는 일관적이었다. 감정은 무작위적인 느낌이 아니라 정밀하게 진화된 도구라는 것이다. 감정은 유기체에게 자신이 목표를 향해 가고 있는지 아니면 멀어지고 있는지, 그리고 얼마나 긴급하게 행동해야 하는지를 알려주는 신호다. 논문은 이러한 신호들이 추상적인 개념이 아니라, 우리 뇌의 '블랙박스'와 고급 인공지능의 정책 네트워크(policy networks) 내부에서 실제로 실행되고 있는 코드일 가능성이 높다고 제안한다. 연구진은 자연 선택이 이 신호들을 유지한 이유가, 이 신호들이 우리의 유전자의 미래 생존과 같이 직접 만지거나 볼 수 없는 목표를 달성하기 위해 우리의 행동을 변화시키기 때문이라고 제안한다.

그러나 이 연구는 디지털 진화의 한계 또한 암시한다. 시뮬레이션에서 신호가 때때로 너무 커지거나 너무 오래 지속되기도 했는데, 이는 실제 세계에서는 재앙이 될 수 있다. 연구진은 자연계에서 이러한 감정을 억제하기 위해 다른 힘이 존재해야 한다고 제한다. 예를 들어, 먹이를 찾는 기쁨이 너무 압도적이어서 포식자를 경계하는 것을 잊게 만든다면, 그 동물은 살아남지 못할 것이다. 따라서 진화는 이러한 신호들을 다듬어, 행동을 유발할 만큼은 강력하되 다른 위험에 눈멀 정도로 강하지는 않게 조절했을 것이다. 논문은 결론적으로 감정이 단순히 복잡한 뇌의 부산물이 아니라, 생명체가 현재 위치와 도달해야 할 지점 사이의 간극을 항해하도록 돕기 위해 수만 년 동안 정교하게 다듬어진 근본적이고 최적화된 신호라고 말한다. 이러한 신호들을 계산적 보상으로 이해함으로써, 우리는 모든 심장 박동과 모든 결정을 움직이는 고대의 침묵하는 생존 언어를 마침내 해독하기 시작할 수 있을지도 모른다.