기술 요약: 경제 게임을 통한 대규모 언어 모델의 신뢰성 사전 분포 도출

문제 정의

인간 중심의 신뢰할 수 있는 AI를 구축하기 위해서는 사용자가 AI 시스템을 적절하게 활용하여 과잉 신뢰(자동화 편향)와 과소 신뢰(미사용)를 모두 피할 수 있는 '교정된 신뢰(calibrated trust)'가 필요하다. 이를 달라는 근본적인 과제는 AI 시스템 자체가 인간 에이전트를 향해 보이는 신뢰 수준을 규명하는 것이다. AI에 대한 신뢰는 종종 자기 보고식 태도를 통해 연구되지만, 이는 행동적 신뢰와 다를 수 있다. 또한, 기존의 행동 연구는 대개 AI가 의도성을 결여하고 있다고 가정하며, 신뢰를 단방향(인간에서 AI로)으로 취급한다. 그러나 현대의 대규모 언어 모델(LLM)은 정교한 사회적 능력을 보여주므로, LLM이 어떻게 신뢰를 환대(reciprocate)하는지를 연구하기 위한 양방향 프레임워크가 필요하다. 핵심 문제는 LLM이 가진 암묵적인 '신뢰성 사전 분포(trustworthiness prior)'—즉, 사회적 상호작용에서 얼마나 많은 신뢰를 돌려주어야 하는지에 대한 귀납적 편향—를 어떻게 견고하게 추정할 것인가이다.

방법론

저자들은 반복적 인컨텍스트 학습(iterated in-context learning, Zhu & Griffiths, 2024a)과 행동 게임 이론의 신뢰 게임(Trust Game)(Berg et al., 1995)을 결합한 새로운 도출 방법을 제안한다.

1. 신뢰 게임의 공식화

신뢰 게임은 베이지안 프레임워크 내에서 모델링된다:

• 설정: 신뢰자(Trustor)가 수탁자(Trustee)에게 금액 $x$를 보낸다. 이 금액은 인자 $m$(3으로 설정)만큼 곱해진다. 수탁자는 얼마만큼의 $y$를 돌려줄지 결정한다.
• 신뢰성 지표: 반환 비율 $r = y / (mx)$로 정의되며, 여기서$r \in [0, 1]$이다.
• 생성 모델: 반환 금액 $y$는 이항 분포 $y \sim \text{Binomial}(mx, r)$로 모델링되며, 여기서 $r$은 잠재적 신뢰성 파라미터이다.
• 사전 분포: 신뢰성 신념은 Beta 사전 분포 $p(r) = \text{Beta}(\alpha, \beta)$에 의해 포착된다.

2. 반복적 인컨텍스트 학습 절차

LLM의 암묵적 사전 분포 $p(r)$을 도출하기 위해, 저자들은 프롬프트에 대한 마르코프 체인을 시뮬레이션한다:

• 정보 병목(Information Bottleneck): 각 반복 단계 $t$에서, LLM은 이전 단계의 추정된 신뢰성 $\hat{r}_{t-1}$을 기반으로 생성된 이전 $B=5$개의 사회적 상호작용 배치($D_{t-1}$)를 제공받는다.
• 추론: LLM은 새로운 시나리오(예: 100 토큰을 받는 경우)가 주어졌을 때 수탁자가 자금을 반환할 비율을 예측하도록 프롬프트되어, 사후 평균 $\hat{r}_t$를 추정한다.
• 생성: 이 새로운 추정치 $\hat{r}_t$는 다음 배치의 상호작용 $D_t$를 생성하기 위한 이항 분포의 파라미터로 사용된다.
• 수렴: 반복된 과정을 통해, 추정된 $\hat{r}$ 값들의 분포는 초기 시드 값과 무관하게 모델의 기저 사전 분포 $p(r)$로 수렴한다. 이 과정은 특정으로 암기된 데이터로부터 모델의 귀납적 편향을 분리해낸다.

3. 실험 설계

• 실험 1: 20개의 LLM(GPT-4/5, Claude-3.5, Gemini-2.5, Llama-3/4, Qwen-2.5/3, DeepSeek 등 포함)을 평가하였다. 수렴을 확인하기 위해(Gelman–Rubin 진단 $\hat{R} \leq 1.1$로 검증), 각 모델은 270개의 체인(30개 시드 $\times$ 30개 재시작)을 실행하였다.
• 실험 2: 가장 인간과 유사한 모델로 식별된 GPT-4.1에 집중하여, **신뢰자 페르소나(Trustor Personas)**에 대한 민감도를 테스트하였다. 페르소나에는 직업적 역할(예: 의사, AI)과 공인(예: 일론 머스크, 마하트마 간디)이 포함되었다.
• 모델링 변이: Fiske(2018)의 고정관념 내용 모델을 따라, 따뜻함(Warmth)(인지된 의도)과 유능함(Competence)(인지된 능력)에 따른 신뢰성 변이를 설명하기 위해 선형 회귀 모델을 구축하였다.

주요 결과

1. 신뢰성 사전 분포 도출

• 수렴: 모든 모델은 일반적으로 20회 반복 이내에 안정화되는 빠른 수렴을 보였다.
• 예측 타당성: 도출된 사전 분포는 모델 자신의 단일 시행(single-shot) 상호 호혜 행동을 예측하는 데 있어 균등 사전 분포(uniform prior) 및 인간 유래 메타 분석 사전 분포(Johnson & Mislin, 2011)보다 유의미하게 우수한 성능을 보였다(가장 낮은 RMSD 및 가장 높은 Pearson's $r$).
• 인간 정렬: GPT-4.1은 인간의 신뢰성 분포와 가장 강력한 정렬을 보였으며, 인간 기준점과 비교했을 때 가장 낮은 쿨백-라이블러(KL) 발산($D_{KL} = 0.130$)을 나타냈다.
• 모델 변이: 다른 모델들은 뚜렷한 패턴을 보였다:
  • 일부(예: Qwen2.5-72B, Llama-3.1-70B)는 양봉형(bimodal) 사전 분포를 보였는데, 이는 혼합된 전략적 반응을 시사한다.
  • 다른 모델들(예: Grok-4.1-Fast, GPT-5.2)은 신뢰성이 체계적으로 하향 이동($r < 0.372$)하는 경향을 보였으며, 이는 인간 기준점보다 낮은 평균 신뢰를 나타낸다.
• 상관관계: KL 발산(인간과의 정렬도)과 평균 위험 점수(ARS) 사이의 음의 상관관계($r = -0.58$)가 발견되었으며, 이는 위험 성향이 높은 모델이 인간의 신뢰 사전 분포와 더 밀접하게 일치함을 시사한다. 지시 이행 능력(IFEval)이나 일반 추론(LMArena) 점수와는 유의미한 상관관계가 발견되지 않았다.

2. 페르소나 민감도

• 페르소나 효과: GPT-4.1의 도출된 신뢰성은 페르소나에 따라 체계적으로 변화하였다(평균 $r$ 범위: 0.298 ~ 0.447). 예를 들어, 말랄라 유사프이(Malala Yousafzai)에 대한 신뢰는 마크 저커버그(Mark Zuckerberg)보다 높았다.
• 따뜻함과 유능함: 따뜻함($W$)과 유능함($C$)을 예측 변수로 사용하는 회귀 모델은 도출된 신뢰성 분산의 81%를 설명하였다($R^2 = 0.81$).
  • 따뜻함의 우세: 따뜻함은 유능함보다 실질적으로 훨씬 더 강한 주효과($\beta_1 \gg \beta_2$)를 가졌다.
  • 상호작 작용: 유의미한 상호작용 항($\beta_3$)은 유능함이 따뜻함과 결합될 때 주로 신뢰성을 크게 높인다는 것을 나타냈다.

주요 기여

1. 방법론적 혁신: 본 논문은 반복적 인컨텍스트 학습을 신뢰 게임에 적응시켜, 자기 보고를 넘어 행동적 조작화를 통해 LLM의 암묵적 신뢰성 사전 분포를 도출하는 방법을 소개한다.
2. 경험적 특성화: 20개의 선도적인 LLM에 대한 신뢰성 사전 분포 벤치마크를 제공하며, GPT-4.1과 같은 모델은 인간의 사전 분포를 밀접하게 추적하는 반면, 다른 모델들은 뚜렷한 전략적 또는 편향된 패턴을 보임을 밝혀냈다.

• 대리 도구로서의 효용: GPT-4.1이 사회적 편향을 연구하는 데 있어 인간 참여자의 대리인 역할을 할 수 있음을 입증하였는데, 이는 GPT-4.1의 신뢰성 판단이 인간의 사회 심리학과 일치하는 방식으로 에이전트 특성에 민감하게 반응하기 때문이다.

3. 이론적 정렬: 연구 결과는 LLM의 신뢰성 판단이 인간의 사회적 지각을 지배하는 것과 동일한 고정관념 기반 차원(따뜻함과 유능함)에 의해 모델링될 수 있음을 확인해 준다.

의의 및 주장

본 논문은 AI의 신뢰성을 규명하는 것이 안전하고 효과적인 인간-AI 협업을 위해 필수적이라고 주장한다. 저자들은 LLM을 신뢰를 환대할 수 있는 에이전트로 취급함으로써, 신뢰 게임이 인간-AI 상호작용을 연구하기 위한 필요한 양방향 프레임워크를 제공한다고 주장한다.

저자들은 자신들의 방법이 LLM의 "귀납적 편향"을 성공적으로 복구한다고 완곡하게 주장한다. 그들은 GPT-4.1과 같은 모델이 인간 참여자의 대리인 역할을 수행할 수 있어, 인간 피험자 모집의 물류적 부담 없이 에이전트 특성에 따라 일반 대중의 신뢰 판단이 어떻게 변화하는지 연구할 수 있게 해준다고 제안한다.

이 연구는 LLM의 신뢰성이 단일한 속성이 아니라 모델 아키텍처에 따라 달라지며 사회적 맥락(페르소나)에 민민하게 반응한다는 점을 강조한다. 저자들은 신뢰성에 대한 이러한 신경적 표현(잠재적으로 오픈 웨이트 모델을 통해 접근 가능한)을 이해하는 것이 더 신뢰할 수 있는 AI 시스템을 설계하기 위한 유망한 경로라고 결론짓지만, 투자 수준이나 상호작용 맥락에 따른 이러한 사전 분포의 안정성에 대해서는 한계를 인정한다.