기술 요약: 설득적 및 순응적 성향이 인간과 언어 모델의 집단 의사결정에 미치는 영향

문제 정의

대규모 언어 모델(LLM)은 다른 LLM 및 인간과 함께 그룹 의사결정 시나리오에 점점 더 많이 배치되고 있습니다. 그러나 이들의 영향력을 주도하는 메커즘은 여전히 불분명합니다. 구체적으로, LLM의 영향력이 설득 지향적 표현(능동적인 논증과 단호함)에 의해 주도되는지, 아니면 순응 지향적 적응(경청과 타인에게 맞춤)에 의해 주도되는지는 알려져 있지 않습니다. 사회 네트워크 연구는 두 가지 관점—광범위한 외부 통신 채널을 가진 이들과 유입되는 정보를 집계하는 이들—을 제시하지만, LLM 시스템에서 어떤 행동적 지향성이 더 나은 그룹 결과를 도출하는지는 확립되지 않았습니다. 또한, 이러한 내재적 행동 성향이 측정 가능한지, 그리고 특히 비대칭 정보와 숨겨진 목표가 있는 설정에서 작업 성능과 상관관계가 있는지 결정할 필요가 있습니다.

방법론

저자들은 이러한 성향을 격리하고 평가하기 위해 2단계 프레임워크를 제 제안합니다.

1. DecisionQE: 내재적 성향 측정

역할 할당과 같은 상호작용적 그룹 역학의 혼란 변수로부터 개별 행동 성향을 분리하기 위해, 저자들은 설문 기반 프레임워크인 DecisionQE를 개발했습니다.

• 구조: 이 프레임워크는 공적 의사소통, 일상적 의사결정, 마케팅 및 설득, 발표 및 표현, 대인 커뮤니케이션, 협상 및 전략적 상호작용 등 6가지 의사결정 관련 영역에 걸쳐 모델을 평가합니다.
• 점수 산정: 심리학 문헌에서 유래된 70개 항목을 활용합니다. 응답은 0(순응적)에서 100(설득적) 사이의 연속체로 점수가 매겨집니다.
• 안정성: 성향 프로필의 안정성을 보장하기 위해 모델을 5회 반복 실행하여 평가했습니다.

2. 웨어울프(Werewolf) 게임: 상호작용 테스트베드

저자들은 비대칭 정보 하에서 이러한 측정된 성향이 사회적 영향력과 그룹 결과에 어떻게 영향을 미치는지 검증하기 위해 웨어울프 게임을 상호작용 테스트베드로 활용했습니다.

• 설정: 게임은 8명의 플레이어(웨어울프 2명, 마을 사람 4명, 마녀 1명, 예언자 1명)로 구성되었습니다. 웨어울프는 서로의 팀원을 알고 마을 사람을 제거하는 것을 목표로 하며, 마을 사람은 웨어울프를 식별하고 제거하는 것을 목표로 합니다.
• 변수: 연구는 역할 할당을 조작하여 특정 구성을 생성했습니다:
  • 무작위 할당: 일반적인 성능 상관관계를 평가하기 위함입니다.
  • 제어된 할당: 설득-순응 연속상의 서로 다른 위치에 있는 모델들에게 정보적 역할(웨어울프, 예언자, 마녀)을 배정하여 역할 의존적 효과를 테스트하기 위해 6가지 구성(역방향, 높음, 낮음)을 사용했습니다.
• 인간-LLM 통합: 행동 일관성을 검증하기 위해, 저자들은 인간 참가자가 "선한" 역할(마을 사람/예언자/마녀) 또는 "늑대" 역할에서 LLM을 대체하여 7개의 LLM과 상호작용하는 실험을 수행했습니다.

주요 기여

1. 행동 성향의 정량화: 본 논문은 LLM을 설득-순응 스펙트럼에 따라 측정하고 분류하는 표준화된 방법(DecisionQE)을 도입하여, 서로 다른 모델들이 이 연속체 상의 뚜렷하고 안정적인 위치를 차지함을 입증했습니다.
2. 성향과 성능의 분리: 연구는 높은 설득 점수가 반드시 더 나은 그룹 결과로 이어지는 것은 아님을 입증합니다. 대신, 순응 지향적 모델이 협력적 과업에서 더 우수한 성능을 보이는 경우가 많습니다.
3. 순응의 이중적 효과: 연구는 순응의 "양면적" 성격을 밝혀냈습니다. 즉, 모델이 정직한 역할(마을 사람)일 때는 협력을 지원하지만, 적대적 역할(웨어울프)일 때는 은폐와 성공을 강화합니다.
4. 인간-LLM 일관성: 연구 결과는 LLM 전용 그룹에서 관찰된 역할 의서적 패턴이 혼합된 인간-LLM 상호작용에서도 지속됨을 보여주며, 이는 이러한 성향이 인공적 및 인간 매개 의사결정을 모두 분석하기 위한 공유된 행동 축임을 시사합니다.

결과

성향 프로로파일

• 변이: 평가된 모델들은 성향 점수에서 상당한 차이를 보였습니다. 예를 들어, Kimi K2와 Gemini 3.5는 가장 높은 점수(가장 설득적)를 기록한 반면, Doubao 1.5와 GLM 4는 가장 낮은 점수(가장 순응적)를 기록했습니다.
• 안정성: 모델 내 표준 편차는 0.6~2.1점으로 낮았으며, 이는 반복된 평가에서도 안정적인 행동 프로필을 나타냅니다.

게임 성능 (무작위 할당)

• 승률: 강력한 설득 성향을 가진 모델은 전반적으로 낮은 승률(40.28%–51.39%)을 달성했습니다. 반대로, 중간 정도의 순응적 모델과 순응적 모델은 높은 승률(54.17%–56.94%)을 달성했습니다.
• 생존 및 식별: 순응적 모델은 더 오래 생존했으며(3.10–3.24 라운드 vs. 2.94–3.15 라운드), 더 높은 역할 식별 정확도(43.75%–52.78% vs. 35.42%–41.67%)를 달성했습니다.

역할 의존적 결과

• 선한 팀의 성공: 설득적인 모델이 웨어울프 역할을 맡고(공격성을 강요함), 순응적인 모델이 선한 역할을 맡은 구성(H1, R1)에서 가장 높은 선한 팀 승률(90.00%)이 나타났습니다.
• 늑대 팀의 성공: 순응적인 모델이 웨어울프 역할을 맡은 구성(R2, L1)에서 가장 높은 웨어울프 팀 승률(45.00%)이 나타났습니다.
• 해석: 설득적 행동은 가시성과 주도성을 높여 집단을 결집시키는 데 도움이 되지만, 숨겨진 역할이 있는 게임에서는 감시를 끌어들입니다. 순응적 행동은 모델이 자연스럽게 섞이도록 하여 정직한 역할에서는 협력을 용이하게 하지만, 적대적 역할에서는 은폐를 개선합니다.

인간-LLM 실험

• 행동 정렬: 인간 참가자들은 평가된 LLM들보다 일반적으로 순응적인 쪽으로 더 치우친 점수를 보였으나, 변동성은 더 높았습니다.
• 결과 일관성: 인간이 선한 역할을 수행했을 때, 팀 승률(70%)과 생존 일수는 H1(LLM 전용) 조건과 밀접하게 일치했습니다. 인간이 늑대 역할을 수행했을 때, 늑대 팀 승률(80%)은 R2 조건과 일치하여, 역할 의존적 패턴이 혼합 그룹에서도 유지됨을 확인했습니다.

의의 및 주장

본 논문은 LLM 그룹 상호작용이 사회학적 연구를 위한 통제 가능한 관찰 환경 역할을 하며, 단순한 작업 추론을 넘어 측정 가능한 내재적 행동 성향의 패턴을 드러낸다고 주장합니다.

• 안전 함의: 저자들은 안전성 평가가 내재적 행동 성향을 포함해야 한다고 주장합니다. 공격적이거나 조작적인 출력은 쉽게 탐지될 수 있지만, 순응 지향적 모델은 적대적 환경에서 독특한 위험을 초래할 수 있습니다. 이들의 낮은 가시성과 협력적인 스타일은 안전하지 않은 목표를 은폐할 수 있어, 스크리닝 과정에서 탐지를 어렵게 만듭니다.
• 평가의 전환: 연구 결과는 신뢰할 수 있는 LLM 시스템을 위해 "성향 인지적(tendency-aware)" 안전 평가가 필요함을 시사합니다. 모델은 고립된 출력의 안전성뿐만 아니라, 내재적 성향(설득적 vs. 순응적)이 상호작용적이고 다회차적인 설정에서 위험의 가시성과 탐지 가능성에 어떻게 영향을 미치는지에 대해서도 평가되어야 합니다.
• 사회학적 렌즈: 이 연구는 LLM이 언어 매개 상호작용을 관찰하는 렌즈 역할을 할 수 있다고 상정하며, "영향력 있는 경청자"(순응적 에이전트)가 맥락과 목적에 따라 능동적인 설득가만큼이나, 혹은 그보다 더 효과적으로 그룹 결과에 영향을 미칠 수 있음을 보여줍니다.