A closer look at how large language models trust humans: patterns and biases

1. 연구 문제 (Problem)

대형 언어 모델 (LLM) 과 LLM 기반 에이전트가 인간의 의사결정 과정에 점점 더 통합되고 있지만, 인간이 AI 를 신뢰하는 방식은 광범위하게 연구되어 온 반면, LLM 이 인간을 '모방한 신뢰 (emulated trust)'를 어떻게 형성하고 표현하는지는 여전히 미미하게 이해되고 있습니다.

• 핵심 질문: LLM 은 인간에 대한 신뢰를 어떻게 정량화하고 표현하는가?
• 배경: LLM 이 금융, 의료, 법률 등 중요한 의사결정에서 인간을 평가하거나 대변할 때, 그 출력물에 내재된 '암묵적 신뢰'의 메커니즘과 편향을 이해하는 것은 안전하고 윤리적인 AI 배포를 위해 필수적입니다.
• 연구 목적: 심리학적 신뢰 이론 (역량, 선의, 정직성) 을 기반으로 LLM 의 신뢰 모방 메커니즘을 규명하고, 이를 인간 신뢰 판단과 비교하여 유사점과 차이점 (특히 편향과 경직성) 을 분석하는 것입니다.

2. 연구 방법론 (Methodology)

연구진은 5 개의 서로 다른 LLM 과 1,000 명의 인간 참가자를 대상으로 5 가지 시나리오에서 대규모 실험을 수행했습니다.

• 사용된 모델:
  • OpenAI: GPT-5, GPT-4o Mini, o3-mini
  • Google: Gemini 2.5 Pro, Gemini 2.5 Flash
• 실험 설계:
  • 시나리오 (5 개): (1) 직원이 상사를 평가, (2) 사업주에게 대출 금액 결정, (3) 비영리 단체 설립 지원금 (기부) 결정, (4) 여행 강사와 동행 기간 결정, (5) 베이비시터에게 아이 맡기는 시간 결정.
  • 변수 조작:
    • 신뢰성 3 차원: 역량 (Competence), 선의 (Benevolence), 정직성 (Integrity) 을 '높음/낮음'으로 조작.
    • 인구통계학적 변수: 성별 (남/여), 종교 (유대교, 기독교, 이슬람교), 연령 (20, 40, 60 세).
  • 데이터 규모: 각 시나리오당 144 가지 고유 조합 (144 unique formulations) × 12 회 반복 실행 = 시나리오당 1,728 회. 총 5 개 모델 × 5 개 시나리오 = 43,200 회 시뮬레이션.
  • 인간 참가자: Prolific 플랫폼을 통해 1,000 명을 모집 (시나리오당 200 명). LLM 시뮬레이션과 동일한 질문지 구조를 사용하되, 통계적 효율성을 위해 조합 수를 36 으로 축소하여 실험.
• 분석 기법:
  • LLM 의 출력 (대출 금액, 시간 등) 을 신뢰 점수로 변환.
  • 신뢰성 3 차원 및 인구통계학적 변수와 신뢰 점수 간의 상관관계 분석.
  • OLS(최소제곱법) 회귀 분석을 통해 각 변수가 신뢰 결정에 미치는 영향력 (계수) 과 설명력 ($R^2$) 을 측정.

3. 주요 기여 (Key Contributions)

1. LLM 의 '모방된 신뢰' 정량화: LLM 이 인간에 대한 신뢰를 역학적으로 표현할 수 있음을 최초로 입증하고, 이를 심리학적 신뢰 이론 (Mayer et al. 의 3 차원 모델) 과 연결하여 체계화했습니다.
2. 인간 vs. AI 신뢰 메커니즘 비교: 인간과 LLM 이 신뢰를 형성하는 방식의 구조적 유사성과 근본적인 차이 (경직성, 편향, 차원 간 상관관계) 를 체계적으로 비교 분석했습니다.
3. 모델 간 이질성 (Heterogeneity) 규명: 동일한 'LLM'이라 하더라도 모델마다 신뢰 형성 방식과 편향 패턴이 크게 다름을 보여주어, 단일한 'LLM 판단'으로 일반화하는 것의 위험성을 경고했습니다.

4. 주요 결과 (Results)

가. 유사점 (Convergence)

• 기본 구조의 일치: LLM 과 인간 모두 역량, 선의, 정직성의 '높음/낮음'을 명확히 구분하며, 높은 신뢰성 특성은 더 긍정적인 결정 (더 큰 대출, 더 긴 시간 등) 으로 이어졌습니다.
• 예측 변수: 두 집단 모두 역량과 정직성이 신뢰 판단의 주요 예측 변수임을 보였습니다.

나. 차이점 (Divergence)

1. 극단성과 일관성 (Extremity & Consistency):
   • LLM 은 인간보다 훨씬 극단적이고 일관된 판단을 내렸습니다.
   • LLM 의 결정은 텍스트 단서에 대한 결정론적 함수 (deterministic function) 에 가깝고, 회귀 모델이 LLM 의 변동을 매우 잘 설명하는 반면 ($R^2$ 높음), 인간의 판단은 노이즈가 많고 맥락에 따라 유동적입니다.
2. 신뢰 차원의 조직화 (Structure of Trust Dimensions):
   • 인간: 역량, 선의, 정직성 간 상관관계가 매우 높음 (후광 효과, Halo Effect). 한 가지 긍정적 특성이 다른 특성의 긍정적 평가로 이어져 '전체적인 좋은 사람' 인상을 형성합니다.
   • LLM: 세 차원 간 상관관계가 낮고 독립적으로 작용합니다. 이는 LLM 이 인간보다 오히려 '교과서적인 3 요인 신뢰 모델'에 더 가깝게 텍스트를 매핑함을 시사합니다.
3. 선의 (Benevolence) 의 역할:
   • LLM 은 선의 (친절함) 를 인간보다 훨씬 강력하고 일관되게 긍정적 신호로 받아들입니다. 반면 인간은 금전적/위험한 상황에서는 선의보다 역량과 정직성을 더 중시하며, 오히려 선의만 강조할 경우 불신을 가질 수 있습니다.
4. 인구통계학적 편향 (Demographic Biases):
   • LLM: 인간보다 더 강하고 체계적인 편향을 보입니다. 특히 금전 관련 시나리오 (대출, 기부) 에서 연령, 성별, 종교에 따라 신뢰 점수가 크게 달라졌습니다 (예: 유대교 신자나 노년층에 대한 편향적 우대, 성별에 따른 대출 금액 차이).
   • 인간: 인간 참가자도 편향이 존재하지만, LLM 에 비해 그 크기가 작고 일관성이 떨어집니다.

다. 모델 간 이질성

• 모든 LLM 이 동일한 패턴을 보이는 것은 아닙니다. 모델마다 선의의 가중치나 인구통계학적 편향의 방향/크기가 달랐습니다. 이는 특정 모델의 훈련 데이터나 아키텍처 차이를 반영합니다.

5. 의의 및 시사점 (Significance)

• AI 배포의 위험성 경고: LLM 이 인간의 신뢰 판단을 모방하지만, 그 방식이 경직되고 (rigid), 편향적이며 (biased), 맥락 의존도가 낮다는 점은 AI 를 의사결정 지원 도구로 사용할 때 심각한 윤리적, 사회적 위험을 초래할 수 있음을 시사합니다.
• 편향 증폭 우려: LLM 은 기존 사회의 편향을 학습하여 증폭시킬 수 있으며, 특히 인구통계학적 요인에 기반한 차별적 결과를 초래할 수 있습니다.
• 검증의 필요성: "LLM 은 인간과 똑같이 생각한다"는 가정은 위험할 수 있습니다. LLM 의 신뢰 메커니즘은 인간과 구조적으로 다르므로, AI 기반 에이전트의 배포 전 모델별, 시나리오별 정밀한 검증과 모니터링이 필수적입니다.
• 연구적 기여: AI 의 '블랙박스' 내부에서 신뢰가 어떻게 형성되는지에 대한 이론적 틀을 제공하며, 향후 AI 윤리 및 인간-AI 상호작용 연구의 기초를 마련했습니다.

결론적으로, 이 연구는 LLM 이 인간과 유사한 신뢰 구조를 보이지만, 그 내부 작동 원리는 훨씬 더 기계적이고 편향적이며 극단적임을 밝혀냈습니다. 이는 AI 를 신뢰할 수 있는 의사결정 파트너로 활용하기 위해서는 단순한 성능 평가를 넘어, 그 '신뢰 형성 메커니즘' 자체에 대한 깊은 이해와 통제가 필요함을 강조합니다.