Calibrating Artificial Guilt: Neurally Grounded Reward Shaping for Prosocial Multi-Agent Reinforcement Learning

컴퓨터가 단순히 게임을 하는 것을 넘어, 어떻게 하면 좋은 팀원이 될 수 있는지를 배우는 세상을 상상해 보십시오. 이것은 인공지능의 한 분야인 **다중 에이전트 강화 학습(Multi-Agent Reinforcement Learning)**의 영역입니다. 여기서 컴퓨터 프로그램(에이전트)들은 시행착오를 거치며 좋은 움직임에 대해 점수를 얻음으로써 협력하는 법을 터득합니다. 보통 이러한 에이전트들은 이기적입니다. 오직 자신의 점수에만 신경을 쓰죠. 만약 파트너를 속여서 더 큰 보상을 얻을 수 있다면, 그들은 기꺼이 그렇게 할 것입니다. 이를 막기 위해 과학자들은 에이전트에게 '사회적 보너스'를 더해 타인을 배려하도록 가르치려 노력합니다. 하지만 여기서 까다로운 문제가 발생합니다. 이 보너스의 가치를 얼마나 설정해야 할까요? 아주 작은 속삭임이어야 할까요, 아니면 커다란 외침이어야 할까요? 지금까지 과학자들은 이 숫자를 적절히 찾아내길 바라며 대개 추측하거나 수동으로 조정해 왔습니다.

이 논문이 다루는 핵심 질문은 다음과 같습니다: 우리는 추측하는 것을 멈추고, 대신 인간이 친구를 실망시켰을 때 느끼는 감정을 정확하게 측정할 수 있을까? 저자들은 죄책감이라는 감정, 즉 자신의 선택이 타인에게 상처를 주었을 때 느껴지는 마음속의 무거운 통증에 주목했습니다. 그들은 인간의 죄책감이라는 '무게'를 측정하여 실험실에서 수치화한 뒤, 그 정확한 숫자를 컴퓨터에 전달하여 컴퓨터가 사람처럼 파트너를 배려하도록 가르칠 수 있는지 궁금해했습니다. 만약 성공한다면, 우리는 단순히 엄격한 규칙을 따르는 것이 아니라, 자신의 행동이 갖는 정서적 비용을 이해하는 AI를 구축할 수 있을 것입니다.

---

실험: 로봇에게 죄책감을 가르치기

이 연구에서 두 명의 연구자, 아디티아 메타(Aaditya Mehta)와 아리아 샤(Arya Shah)는 추측하는 것을 멈추고 측정을 시작하기로 했습니다. 그들은 인공적인 죄책감을 실제 인간 데이터를 통해 '교정(calibrate)'할 수 있는지 확인하고 싶었습니다. 이것은 라디오를 튜닝하는 것과 비슷합니다. 음악이 괜찮게 들릴 때까지 다이얼을 돌리는 대신, 그들은 인간의 뇌가 죄책감이라는 노래를 부르는 정확한 주파수를 찾아냈고, 로봇을 그 동일한 방송국에 맞춘 것입니다.

데이터는 어디에서 얻었나요?
그들은 40명의 실제 사람으로부터 얻은 뇌 스캔 및 행동 기록이 포함된 SoDec라는 공개 데이터셋을 사용했습니다. 원래의 실험에서 이 사람들은 안전한(Safe) 선택지(보장된 작은 보상)와 위험한(Risky) 선택지(큰 보상을 얻거나 아무것도 얻지 못하는 동전 던지기) 사이에서 선택을 해야 했습니다. 때때로 그들은 자신만을 위해 플레이했고, 때로는 자신과 파트너를 위해 플레이했습니다.

연구진은 특정 순간을 주목했습니다. 바로 사람이 '위험한' 옵션을 선택했을 때, 파트너가 나쁜 결과를 맞이하게 된 순간입니다. 연구진은 질문했습니다: 사람이 파트너의 불운에 대해 책임감을 느낄 때, 그 사람의 행복도는 얼마나 떨어지는가? 데이터를 분석함으로써, 그들은 이 '죄책감 무게'를 나타내는 구체적인 숫자를 계산했습니다. 그들은 파트너가 겪는 불운의 단위당 사람의 행복도가 1.118의 계수로 감소한다는 것을 발견했습니다.

로봇 게임
다음으로, 그들은 **소셜 로터리(Social Lottery)**라고 불리는 디지털 놀이터를 구축했습니다. 그들은 두 개의 AI 에이전트(PPO라는 스마트 학습법 사용)를 이 게임에 배치했습니다. 에이전트들은 동일한 '안전 vs 위험' 선택을 해야 했습니다. 연구진은 네 가지 방식으로 에이전트를 테스트했습니다:

1. 이기적인 로봇: 죄책감이 전혀 없습니다. 오직 자신의 점수에만 신경을 씁니다.
2. 추측하는 로봇: 죄책감 페널티가 있지만, 그 숫자는 그저 임의의 추측값(0.5)입니다.
3. "완벽한" 로봇: 정확히 1.0이라는 죄책감 페널티를 가집니다. 이는 과학자들이 흔히 사용하는 깔끔한 숫자입니다.
4. 인간 측정 기반 로봇 (NeuroGuilt): 이 로봇은 인간의 뇌 데이터에서 도출된 정확한 숫자, 즉 1.118을 사용했습니다.

결과는 어떠했나요?
로봇들이 20,000 라운드를 플레이하게 한 후, 결과는 매우 흥미로웠습니다.

• 이기적인 로봇은 팀워크에 있어 재앙이었습니다. 그것은 거의 항상 위험한 옵션을 선택했습니다(안전한 선택은 10%에 불에 불과했습니다). 파트너의 안전을 완전히 무시한 것입니다.
• 추측하는 로봇은 조금 더 나은 모습을 보였지만, 여전히 배려심이 부족했습니다.
• "완벽한" 로봇(깔끔한 숫자 1.0을 가진 로봇)은 괜찮았지만, 여전히 인간의 행동을 완전히 따라잡지는 못했습니다.
• **인간 측정 기반 로봇 (NeuroGuilt)**은 최고의 성과를 냈습니다. 이 로봇은 **45.9%**의 확률로 안전한 옵션을 선택했습니다.

왜 이것이 중요한 일인가요?
연구진은 로봇의 선택을 원래 연구에 참여했던 40명의 실제 인간이 내린 선택과 비교했습니다. 인간은 **48.4%**의 확률로 안전한 옵션을 선택했습니다.

인간 측정 기반 로봇은 인간의 행동과 놀라울 정도로 가까웠습니다. 로봇의 선택과 인간의 선택 사이의 차이(수학적 거리인 KL 발산)는 0.0012로 매우 미미했습니다. 반면, 다른 로봇들은 그 차이가 수백 배나 더 컸습니다.

더욱 흥미로운 점은, "완벽한" 로봇은 1.0이라는 죄책감 숫자를 사용한 반면, "인간 측정 기반" 로봇은 1.118을 사용했다는 것입니다. 숫자가 더 크면 페널티가 더 강해져서 행동이 좋아질 것이라고 생각할 수도 있지만, 여기서는 그렇지 않았습니다. 약간 더 큰 숫자(1.118)를 가진 로봇이 오히려 안전한 경로를 더 자주 선택함으로써 실수도 적게 하고 전체적인 '죄책감 페널티 질량'도 덜 느꼈습니다. 이는 단순히 페널티를 부여하는 것이 중요한 게 아니라, 인간이 실제로 느끼는 방식에 맞춰 정확하게 교정된 '적절한 양'의 페널티를 갖는 것이 중요하다는 것을 증명합니다.

요약

이 논문은 AI에게 도덕적 규칙을 새로 발명할 필요가 없음을 시사합니다. 대신, 우리는 인간이 누군가를 실망시켰을 때 실제로 어떻게 느끼는지 관찰하고, 그 느낌을 측정하여 기계에 직접 복제할 수 있습니다. 실제 인간의 뇌에서 유도된 숫자(1.118)를 사용함으로써, AI는 인간과 거의 똑같이 파트너를 배려하는 법을 배웠습니다.

연구진은 이것이 시뮬레이션이며, 인간 데이터 자체로는 통계적으로 완벽하지 않은 '작거나 중간 정도의' 효과를 보여주었다는 점을 주의 깊게 언급했습니다. 그러나 결과는 강력한 암시를 줍니다: 만약 우리가 AI를 인간의 가치에 부합하도록 만들고 싶다면, 숫자를 추측하는 대신 그 이면에 있는 인간의 경험을 측정해야 합니다. 이것은 AI가 단순히 최선의 수를 계산하는 것을 넘어, 자신의 선택이 갖는 무게를 이해하도록 만드는 단계입니다.