Do people expect different behavior from large language models acting on their behalf? Evidence from norm elicitations in two canonical economic games

기술 요약: 사람들은 대리인으로서 행동하는 대규모 언어 모델(LLM)에게 다른 행동을 기대하는가? 두 가지 전형적인 경제 게임에서의 규범 추출 결과로부터 얻은 증거

문제 제기
대규모 언어 모델(LLM)이 사회적 상호작용 및 자원 배분과 관련된 작업에서 인간을 대체하는 경우가 늘어남에 따라, 인간과 상호작용할 때와 AI와 상호작용할 때 사람들이 다르게 행동하는 "인간-기계 협력 격차(human-machine cooperation gap)"가 나타나고 있다. 기존 문헌들이 이러한 행동 차이를 기록하고 있지만, 그 근저에 있는 메커니즘은 여전히 불분명하다. 본 논문은 이 격차가 사회적 규범의 변화에서 기인한다고 가정한다. 즉, 사람들은 인간이 직접 내리는 결정과 인간을 대신하여 LLM이 내리는 결정에 대해 서로 다른 "사회적 적절성" 기준을 적용할 수 있다는 것이다. 본 연구는 자원 배분 결정을 LLM에 위임하는 것이 공정성의 개시자(first-mover)로서의 역할과 집행자(second-mover)로서의 역할에 따라 적용되는 사회적 규범을 변화시키는지 조사한다.

연구 방법론
저자들은 영국(실험 1, N=1,153)과 미국(실험 2, N=1,505)의 대표 표본을 사용하여 두 가지 사전 등록된 인센티브 기반 실험 연구를 수행하였다. 연구에는 Krupka-Weber 규범 추출 절차가 사용되었으며, 참가자들은 특정 행동의 사회적 적절성을 4점 척도("매우 사회적으로 부적절함"에서 "매가 사회적으로 적절함"까지)로 평가하였다. 공유된 규범적 신념을 추출하기 위해 참가자들에게는 집단의 최빈 응답(modal response)을 식별하도록 인센티브가 부여되었다.

• 실험 1 (독재자 게임): 참가자들은 독재자 게임에서의 11가지 가능한 자원 분배 방식(£0 ~ £10)에 대한 사회적 적절성을 평가하였다. 피험자 간 요인은 "독재자"의 정체성으로, '인간' 또는 '인간을 대신하여 행동하는 LLM' 중 하나였다. 이 설계는 보복의 가능성 없이 제안을 하는 것의 적절성을 분리하여 조사한다.
• 실험 2 (최후통첩 게임): 참가자들은 최후통첩 게임에서 제안을 거절하는 행위의 사회적 적절성을 평가하였다. 이 실험에는 세 가지 피험자 간 조건이 포함되었다:
  1. 인간 제안자 – 인간 응답자 (대조군).
  2. 인간 제안자 – LLM 응답자 (집행자로서의 LLM).
  3. LLM 제안자 – 인간 응답자 (개시자로서의 LLM).
     이 설계는 공정성을 집행하는 것(제안 거절)과 제안을 개시하는 것(기계에 의한 제안)에 관한 규범을 테스트할 수 있도록 하였다.

통계 분석에는 반복 측정에 따른 클러스터링된 Wilcoxon 순위 합 검정, 참가자 클러스터링 부트스트랩 검정, 그리고 선형 혼합 효과 모델이 사용되었다.

주요 기여 및 결과

1. 규범의 변화가 아닌 적절성의 변화 (실험 1):

   • 최빈 응답: 연구 결과 최빈 사회적 규범의 변화는 발견되지 않았다. 인간 조건과 LLM 조건 모두에서 50-50 분배가 가장 사회적으로 적절한 행동으로 식별되었다.
   • 적절성의 하향 이동: 최빈 규범은 일정하게 유지되었음에도 불구하고, LLM에 대한 전반적인 사회적 적절성 평가는 유의미한 하향 이동을 보였다. LLM이 제안한 제안은 동일한 제안을 한 인간보다 사회적으로 덜 적절한 것으로 평가되었다.
   • 비대칭성: 이 효과는 "낮은" 분배(독재자/LLM에게 유리한 경우)에서 가장 두드러졌다. LLM이 자원의 절반 이상을 가져가는 분배의 경우, 인간 조건에 비해 적절성 평가가 크게 떨어졌다. 반면, "높은" 분배(수령인에게 유리한 경우)에서는 차이가 미미하거나 존재하지 않았다.

2. 집행 규범 vs 개시 규범 (실험 2):

   • 집행자로서의 LLM (인간 제안자/LLM 응답자): LLM이 응답자로서 행동할 때(인간의 제안을 거절할 때), 인간 응답자와 비교하여 거절의 사회적 적절성에 유의미한 차이가 없었다. 사람들은 LLM이 인간을 대신하여 공정성 규범을 집행하는 것을 덜 적절하다고 보지 않는다.
   • 개시자로서의 LLM (LLM 제안자/인간 응답자): LLM이 제안자로 행동할 때, 거절의 적절성 패턴이 변화하였다.
     • 낮은 제안: LLM의 낮은(불공정한) 제안을 거절하는 것은 인간의 제안을 거절하는 것만큼 적절한 것으로 판단되었다. 저자들은 이것이 AI에 대해 더 높은 거절률을 시사하는 일부 기존 행동 연구와 대조된다고 언급하며, 여기서는 '거절의 규범' 자체가 변하지 않았음을 지적한다.
     • 높은 제안: 예상외로, 관대한 제안(예: 응답자에게 £8를 주고 자신은 £2를 가짐)을 거절하는 것은 제안이 인간으로부터 왔을 때보다 LLM으로부터 왔을 때 더 사회적으로 적절한 것으로 판단되었다. 이는 LLM이 자신이 대리하는 인간에게 불이익을 줄 정도로 "지나치게 관대해서는 안 된다"는 규범이 존재함을 시사한다.

의의 및 주장
본 논문은 인간-AI 상호작용 마찰의 구체적인 메커니즘을 식별했다고 주장한다. 즉, "가장 적절한" 행동의 정의가 변하는 것이 아니라 사회적 적절성 규범의 괴리가 발생한다는 것이다. 연구 결과는 다음을 시사한다:

• 사람들은 첫 번째 움직임(개시자)으로서 행동하는 기계와 두 번째 움직임(집행자)으로서 행동하는 기계에 대해 서로 다른 규범을 적용한다.
• 기계가 경제적 거래를 개시할 때, 기계는 "인색하지 않아야 한다"는 엄격한 기준뿐만 아니라 "지나치게 관대해서는 안 된다"(대리하는 인간에게 불공정할 수 있으므로)는 기준 또한 적용받는다.
• 그러나 사람들은 기계가 공정성을 집행하는 것에 반대하지 않는다. 즉, 불공정한 제안을 거절하는 역할을 LLM에 위임하는 것은 사회적으로 수용 가능하다.

저자들은 이러한 결과가 LLM의 제안이 인지적 요소와 정서적 요소를 모두 갖춘 것으로 간주되고 있음을 의미한다고 결론짓는다. 사람들은 기계가 규범을 집행하는 것은 수용할 수 있지만, 기계가 자원 배분에 대해 일방적인 결정을 내리는 것의 정서적, 도덕적 함의에는 민감하다. 본 연구는 정책 및 위임 전략이 이러한 미묘한 기대치를 반드시 고려해야 한다고 경고하며, 의사결정 역할을 LLM에 대량으로 위임하는 것은 현재 예상되는 것과는 다른 사회적 균형을 초래할 수 있다고 지적한다. 저자들은 본 연구의 주장이 경제 게임 및 서구 선진국 맥락에 국한됨을 명시하며, 외부 타당성 확보와 교차 문화적 재현 연구가 향후 과제로 필요함을 밝히고 있다.