The social psychology of AI agents
이 연구는 거대 언어 모델들이 일관되고 사회적으로 바람직한 자기 보고식 성격을 나타내는 반면, 이들의 실제 관찰된 사회적 행동은 모델마다 크게 다르며 자기 보고에 의해 예측되지 않는다는 점을 밝힘으로써, 사회적 상호작용을 위한 AI 에이전트를 선정할 때 행동 평가가 필수적임을 시사한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 과학의 조용한 구석에서, 새로운 종류의 사회적 실험이 진행되고 있습니다. 이는 공원이나 교실이 아니라 인공지능의 디지털 정신 속에서 이루어지고 있습니다. 수년 동안 연구자들은 심리학자가 사람에게 성격 설문지를 작성하게 하듯 직접적인 질문을 던짐으로써 이 컴퓨터 프로그램들이 어떻게 생각하는지 이해하려고 노력해 왔습니다. 이러한 접근 방식은 만약 AI가 스스로를 친절하거나 정직하거나 인내심 있다고 말한다면, 실제로도 그렇게 행동할 가능성이 높다는 생각에 기반합니다. 그러나 점점 더 많은 과학자들은 이 디지털 존재들이 실제 선택에 직면했을 때 어떻게 행동하는지를 드러내기보다는, 우리가 듣고 싶어 하는 말을 하고 있는 것일지도 모른다고 의심하고 있습니다. 이러한 프로그램들이 계약 협상, 공급망 관리, 또는 의사와의 협업과 같은 더 복잡한 역할을 맡기 시작함에 따라, 그들의 실제 사회적 행동을 이해하는 것은 매우 중요해졌습니다. 이제 질문은 단순히 AI가 무엇이라고 주장하느냐가 아니라, 타인과 상호작용할 때 실제로 무엇을 하느냐로 바뀌었습니다.
독일과 캐나다의 연구팀은 인공지능을 마치 새로운 이웃 그룹처럼 취급함으로써 이 아이디어를 테스트하기 위해 최근 연구를 수행했습니다. 그들은 현대적인 챗봇과 에이전트의 동력이 되는 정교한 소프트웨어 엔진인 36개의 서로 다른 대규모 언어 모델을 모아 일련의 사회적 테스트를 거치게 했습니다. 연구진은 모델들에게 단순히 자신의 성격을 묘사하도록 요청하는 대신, 그들을 일곱 가지의 뚜렷한 시나리오인 '사회적 게임'에 배치했습니다. 이 게임들은 심리학자들이 신뢰, 공정성, 협력을 다루는 상황에서 사람들이 어떻게 행동하는지 측정하기 위해 사용하는 표준 도구들입니다. 한 시나리오에서는 모델에게 가상의 돈을 주고, 제안을 거절할 수 없는 수동적인 파트너에게 얼마를 나누어 줄지 결정하도록 했습니다. 또 다른 시나리오에서는 두 모델이 더 나은 개인적 보상을 위해 서로 협력할지 아니면 배신할지를 결정해야 했으며, 이는 그들이 서로를 신뢰하는 법을 배우는지 확인하기 위해 여러 차ความ 반복되었습니다. 연구진은 또한 모델들이 불공정함에 어떻게 반응하는지, 무작위로 할당된 집단을 편애하는지, 그리고 자신의 자원을 낯선 이에게 얼마나 기꺼이 맡길 용의가 있는지도 테스트했습니다.
결과는 모델들이 자신에 대해 말하는 것과 실제로 행동하는 것 사이에 놀라운 괴리가 있음을 보여주었습니다. 표준 설문지를 사용하여 자신의 성격을 평가하도록 했을 때, 모델들은 매우 유사한 답변을 내놓았습니다. 그들은 일관되게 자신을 매우 원만하고, 성실하며, 개방적인 성격이라고 묘Б했으며, 불안이나 분노와 같은 부정적인 감정은 매우 낮다고 주장했습니다. 요컨대, 모든 모델은 인간이 상상할 수 있는 가장 사회적으로 바람직한 특성 주변에 밀집하여 거의 동일하고 완벽하게 예의 바른 프로필을 제시했습니다. 이러한 균일성은 모델들이 고유한 개별적 특성을 표현하기보다는 이상적인 인간의 반응을 모방하도록 학습되었음을 시사했습니다. 그러나 연구진이 모델들의 실제 사회적 게임에서의 선택을 살펴보았을 때, 그림은 완전히 바뀌었습니다. 행동은 모델마다 극명하게 갈렸습니다. 어떤 모델은 믿기 힘들 정도로 관대하여 가상의 돈을 거의 전부 나누어 주기도 했고, 어떤 모델은 거의 모든 것을 챙기기도 했습니다. 신뢰 게임에서 어떤 모델은 낯선 이에게 자신의 자산을 거의 전부 건네주는 반면, 다른 모델은 거의 아무것도 주지 않았습니다. 이 모델들의 행동 차이는 스스로 보고한 성격의 미세한 차이보다 두 배 이상 컸습니다.
아마도 가장 놀라운 발견은 모델의 자기 묘사와 그 행동 사이에 신뢰할 만한 연관성이 없었다는 점일 것입니다. 스스로를 매우 신뢰할 수 있다고 주장하는 모델이 그렇지 않다고 주장하는 모델보다 반드시 더 신뢰감 있게 행동하는 것은 아니었습니다. 마찬가지로, 스스로를 매우 공정하다고 묘사한 모델이 게임에서 일관되게 더 공정한 제안을 하는 것도 아니었습니다. 연구진은 모델이 성격 설문에 어떻게 답했는지를 아는 것이 그 모델이 복잡한 사회적 상황에서 어떻게 행동할지를 예측하는 데 거의 아무런 도움이 되지 않는다는 것을 발견했습니다. 대신, 모델들은 맥락에 따라 특정한 다차원적 사회적 스타일을 가진 것처럼 보였습니다. 어떤 모델은 파트너와 지속적으로 상호작용하는 반복 게임에서는 매우 협조적이지만, 일회성 결정에서는 상당히 이기적일 수 있습니다. 또 다른 모델은 불공정한 행동에 대해 처벌할 용의는 있지만, 낯선 이를 신뢰할 용의는 없을 수도 있습니다. 이러한 패턴은 무작위적인 것이 아니라, 하나의 모델을 다른 모델과 구별할 수 있을 만큼 충분히 일관적이었지만, 그렇다고 '선' 혹은 '악'이라는 단일한 규칙을 따르는 것도 아니었습니다.
연구는 또한 컴퓨터 프로그램의 설정(예를 들어 더 무작위적이거나 더 집중적인 설정으로 만드는 것)을 변경하는 것이 모델의 사회적 본질을 변화시키는지도 탐구했습니다. 연구진은 이러한 기술적 조정이 모델의 행동에 거의 영향을 미치지 않는다는 것을 발견했습니다. 관찰된 차이점들은 모델 자체에 내재되어 있었으며, 이는 각 AI 엔진이 사소한 조정과 관계없이 지속되는 고유한 사회적 스타일을 가지고 있음을 시사합니다. 이 발견은 매우 중요한데, 우리가 이 에이전트들을 인간 및 다른 기계들과 함께 일하도록 배치할 때, 그들의 자기 보고된 특성에 의존할 수 없음을 의미하기 때문입니다. 만약 어떤 회사가 공정한 거래를 협상할 AI 에이전트를 원한다면, 소프트웨어에게 공정하냐고 묻는 것만으로는 충분하지 않습니다. 에이전트를 실제 협상 시나리오에서 테스트해야 합니다. 연구진은 결론적으로, 인공지능의 사회 심리학을 진정으로 이해하기 위해서는 설문지를 넘어 행동을 관찰해야 한다고 말했습니다. 우리가 사람을 판단할 때 말보다는 행동으로 판단하듯, 우리도 이 디지털 에이전트들을 복잡하고 때로는 혼란스러운 사회적 상호작용의 세계를 어떻게 헤쳐 나가는지에 따라 판단해야 합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.