인간은 위험을 계산하는 데 있어 매우 서투르기로 유명합니다. 우리는 수학자처럼 확률을 따지는 것이 아니라, 그것을 느낍니다. 우리는 큰 손실이 발생할 아주 작은 가능성을, 완만한 손실이 발생할 큰 가능성보다 훨씬 더 두려워하는 경향이 있으며, 때로는 확률이 불리함에도 불구하고 거대한 횡재를 얻을 아주 작은 가능성을 쫓기도 합니다. 이것은 우리 소프트웨어의 결함이 아니라, 우리가 그렇게 설계된 방식입니다. 수십 년 동안 경제학자와 심리학자들은 이러한 기이한 행동을 설명하기 위해 '누적 전망 이론(Cumulative Prospect Theory)'이라는 프레임워크를 사용해 왔습니다. 이 이론은 우리가 결과를 절대적인 가치로 판단하는 것이 아니라, 개인적인 준거점과 비교하여 판단하며, 사건의 가능성을 왜곡하여 희귀한 재난은 과대평가하고 흔한 사건은 과소평가한다고 제안합니다.

오랫동안 인공지고능 분야, 특히 강화 학습(reinforcement learning)은 이러한 인간의 기이함을 무시해 왔습니다. 이 분야에서 에이전트는 보상을 극대화하기 위해 환경과 상호작용하며 의사결정을 배우는 법을 익힙니다. 표준적인 접근 방식은 에이전트가 완벽하게 합리적이라고 가정하며, 가능한 모든 경로의 평균 기대값을 계산하고 그중 가장 높은 숫자를 가진 경로를 선택합니다. 이는 기계에게는 잘 작동하지만, 복잡하고 불확실한 상황에서 인간이 실제로 어떻게 행동하는지는 포착하지 못합니다. 우리가 인간과 함께 협력하거나 인간을 대신해 결정을 내리는 AI를 만들고자 할 때, 순수하게 합리적인 에이전트는 인간 관찰자에게 차갑거나, 비합리적이거나, 혹은 단순히 틀린 것처럼 느껴지는 방식으로 행동하곤 합니다. 연구자들이 던져온 질문은, 우리가 기계에게 단순히 최종적인 선택뿐만 아니라 위험과 보상을 인식하는 방식에 있어서도 우리와 더 비슷하게 생각하도록 가르칠 수 있는가 하는 점입니다.

한 연구팀이 이제 그 질문에 답하기 위한 중요한 발걸음을 내디뎠습니다. 그들은 인공지능 에이전트가 차가운 계산이 아닌 인간 심리의 원리에 기반하여 행동을 최적화할 수 있도록 하는 새로운 수학적 프레임워크를 개발했습니다. 일련의 시뮬레이션에서, 그들은 에이전트에게 누적 전망 이론의 렌즈를 통해 세상을 보도록 가르침으로써, 기계가 인간이 보여주는 것과 같은 미묘하고 때로는 모순적인 위험 행동을 나타내기 시작한다는 것을 입증했습니다. 연구진은 단순히 이론을 제안한 것에 그치지 않고, 이러한 행동을 학습할 수 있는 실질적인 알고리즘을 구축했으며, 이것이 수학적으로 작동함을 증명하여 금융, 의료, 교통 관리와 같은 고위험 환경에서 AI가 인간의 선호도와 정렬될 수 있는 길을 제시했습니다.

그들 작업의 핵심은 에이전트에게 학습하는 법을 가르치는 새로운 방법입니다. 전통적인 강화 학습에서 에이전트는 자신이 얻을 것으로 기대되는 보상의 총합을 극대화하려고 노력합니다. 새로운 방법은 목표를 바꿉니다. "평균 보상은 무엇인가?"라고 묻는 대신, "인간은 이 보상의 흐름을 어떻게 인식하는가?"라고 묻습니다. 이를 위해 에이전트는 먼저 특정 준거점을 기준으로 무엇이 이득이고 무엇이 손실인지를 결정해야 합니다. 통증 수치가 7에서 5로 떨어지는 것은 환자의 기준점이 7이라면 엄청난 승리처럼 느껴지겠지만, 기준점이 2라면 사소한 개선일 것입니다. 그런 다음 에이전트는 이러한 이득과 손실에 특별한 변환을 적용하여, 손실의 고통이 동등한 이득의 즐거움보다 더 무겁게 느껴지도록 만듭니다. 마지막으로, 그것은 확률을 왜곡하여 희귀한 사건은 더 가능성 있게 느끼고 흔한 사건은 덜하게 느껴지도록 만듭니다. 마치 인간의 마음이 그러하듯이 말입니다.

연구진은 이를 구현하는 과정에서 상당한 난관에 봉착했습니다. 이러한 인간적인 왜곡에 의해 만들어진 수학적 지형은 믿기 힘들 정도로 울퉁불퉁하고 복잡합니다. 표준적인 최적화의 매끄럽고 예측 가능한 언덕과는 달리, 이 새로운 지형은 날카로운 봉우리와 깊은 골짜기로 가득 차 있어 알고리즘이 길을 찾다가 막히기 쉽습니다. 더욱이, AI가 의사결정을 개선하는 법을 가르치는 데 사용되는 표준 도구들은 여기에 적용되지 않았는데, 이는 인간과 유사한 목적 함수가 대부분의 학습 알고리즘이 의존하는 단순한 덧셈과 선형성의 규칙을 따르지 않기 때문입니다. 연구팀은 에이전트의 행동을 개선할 방향을 알려주는 나침반 역할을 하는 완전히 새로운 규칙, 즉 '정책 경사 정리(policy gradient theorem)'를 유도해야 했습니다. 이 새로운 정리는 성능이 복잡한 인간적 기준으로 측정되더라도, 에이전트가 자신의 행동을 변화시켜야 할 방향을 계산할 수 있는 방법을 제공합니다.

이 새로운 나침반을 테스트하기 위해 연구진은 일련의 실험을 수행했습니다. 한 가지 간단한 시나리오에서, 연구진은 에이전트를 안전하고 작은 보상과 위험하지만 큰 보상 사이에서 선택해야 하는 상황에 놓았습니다. 표준적이고 합리적인 에이전트는 도박을 감수하더라도 항상 평균 지급액이 가장 높은 옵션을 선택했습니다. 불확실성을 피하도록 설계된 위험 회피형 에이전트는 일관되-게 도박을 피했습니다. 그러나 새로운 인간 친화적 프레임워크로 훈련된 에이전트는 더 흥미로운 모습을 보였습니다. 선택이 이득을 포함할 때는 신중하게 행동하며 안전한 옵션을 선호했습니다. 하지만 상황이 반전되어 잠재적 손실을 포함하게 되자, 동일한 에이전트는 확실한 손실을 피하기 위해 갑자기 대담해지며 위험한 옵션을 선택했습니다. '반영 효과(reflection effect)'라고 알려진 이러한 행동의 변화는 표준 AI 모델이 재현하기 어려워하는 인간 의사결정의 특징입니다. 새로운 알고리즘은 동일한 내부 설정을 사용하여 두 시나리오 모두에서 이 미묘한 차이를 완벽하게 포착해 냈습니다.

연구진은 또한 위험을 모델링하려는 기존 방식들과 자신들의 방법을 비교했습니다. 그들은 0차 추정(zeroth-order estimation, 본질적으로 작은 변화를 시도해 보고 어떤 결과가 나타나는지 확인하여 개선 방향을 짐작하는 방식)에 의존하는 기존 방법들이 문제가 복잡해질수록 어려움을 겪는다는 것을 발견했습니다. 변수의 수가 증가하면 이러한 방법들은 비효식적이고 느려졌습니다. 반면, 개선의 정확한 방향을 계산하기 위해 1차 정보(first-order information)를 사용하는 새로운 알고리즘은 훨씬 더 잘 확장되었습니다. 이 알고리즘은 환경의 복잡성이 커지더라도 효율성을 유지했으며, 이는 전력망 관리나 주식 거래와 같이 많은 변수가 움직이는 실제 문제에도 적용될 수 있음을 시사합니다.

이 연구의 함의는 단순한 게임을 넘어섭니다. 연구진은 이 접근 방식이 중요한 분야에서 어떻게 사용될 수 있는지 설명했습니다. 예를 들어, 의료 분야에서 만성 통증을 관리하는 의사는 즉각적인 완화와 장기적인 의존성 위험 사이에서 균형을 잡아야 할 수도 있습니다. 표준 AI는 단순히 평균 통증 점수를 최소화하려 할 것이며, 이는 환자의 금단 증상에 대한 공포를 무시할 수도 있습니다. 그러나 인간과 정렬된 에이전트는 드물지만 치명적인 부작용에 대한 공포를 더 무겁게 고려하여, 환자에게 더 안전하고 배려 깊게 느껴지는 치료 계획을 세울 수 있습니다. 마찬가지로 금융 분야에서 에이전트는 단순히 하나의 숫자를 조정하는 것이 아니라, 시장 폭락이나 횡재를 인식하는 방식을 근본적으로 바꿈으로써 투자자의 구체적인 위험 허용도를 반영하도록 조정될 수 있습니다.

연구는 또한 이러한 에이전트가 작동하기 위해 무엇이 필요한지를 명확히 했습니다. 연구진은 알고리즘이 기능하려면 인간의 선호도, 즉 사람이 손실을 얼마나 두려워하는지 또는 확률을 어떻게 왜곡하는지가 사전에 알려져 있어야 한다고 언급했습니다. 이것들은 에이전트가 처음부터 스스로 학습하는 것이 아니라, 게임의 규칙을 설정하는 것처럼 모델의 일부로 제공됩니다. 이를 통해 시스템은 특정 개인이나 집단에 맞춰 조정될 수 있습니다. 연구진은 준거점이나 손실에 대한 민감도를 조정함으로써 에이전트의 행동을 극적으로 변화시킬 수 있음을 보여주었으며, 이는 시스템이 광범위한 인간의 태도를 모델링할 만큼 유연하다는 것을 증명했습니다.

결과가 유망하기는 하지만, 연구진은 자신들의 발견을 시뮬레이션의 한계 내에서 신중하게 규정하고 있습니다. 그들은 알고리즘이 안정적인 솔루션으로 수렴하며 복잡하고 비선형적인 환경에서도 최적의 정책을 찾을 수 있음을 증명했습니다. 또한 시뮬레이션을 통해 속도와 확장성 측면에서 기존 방법보다 우수함을 보여주었습니다. 그러나 아직 인간의 생명이나 금융 자산이 즉각적인 위험에 처한 실제 현실 세계에 이 시스템을 배치하지는 않았습니다. 이 작업은 여전히 이론적이고 계산적인 돌파구이며, 기계가 인간의 위험 인식이라는 무질서하고 비합리적인 풍경을 항해할 수 있다는 개념 증명입니다.

앞으로의 과제는 이러한 모델을 정교화하고 더 다양한 실제 시나리오에서 테스트하는 것입니다. 연구진은 향-후 연구가 인간의 선호도를 미리 프로그래밍하는 대신 데이터로부터 직접 학습하는 방식에 집중하고, 이론을 연속적이고 무한한 시계(infinite-horizon) 문제로 확장하는 데 초점을 맞출 수 있다고 제안합니다. 또한 그들은 이 접근 방식을 인간의 피드백으로부터 학습하는 다른 방법들과 결래하여, 시간이 지남에 따라 변화하는 선호도에 적응할 수 있는 하이브리드 시스템을 만드는 가능성도 보고 있습니다. 현재로서 이 성취는 두 세계 사이의 가교 역할을 하고 있습니다. 즉, 기계 최적화의 차가운 논리와 인간 의사결정의 따뜻하고 종종 모순적인 현실 사이의 가교입니다. 이는 단순히 최선의 결과를 계산하는 것이 아니라, 그 결과가 그것을 이용하는 사람들에게 어떤 의미를 갖는지 이해하는 AI를 구축하는 길을 제시합니다.