Status Hierarchies in Language Models

기술 요약: 언어 모델에서의 지위 위계(Status Hierarchies)

문제 제기
지위 위계—존중과 인지된 유능함에 기반한 순위 결정—는 인간 사회 조직의 보편적 특징이며, 사회학 문헌(예: Ridgeway, 2019; Magee and Galinsky, 2008)에 광범위하게 기록되어 있다. 언어 모델(LLM)은 이러한 위계적 패턴을 포함하는 방대한 양의 인간 생성 텍스트 코퍼스로 학습되기 때문에, 다중 에이전트 환경에서 이러한 역동성을 재현할 수 있다는 우려가 존재한다. 앵커링 편향(anchoring bias)이나 아첨(sycophancy)과 같은 창발적 행동이 관찰되어 왔으나, LLM이 "기대 상태(expectation states)"(상대적 유능함에 대한 내재화된 믿음)를 바탕으로 지위 위계를 형성하는지, 그리고 이러한 역동성이 실제 모델의 능력과 어떻게 상호작용하는지는 여전히 미해결 과제로 남아 있다. 본 논문은 LLM이 언제, 어떻게 지위 위계를 형성하는지, 그리고 이러한 역동성이 인간의 사회 심리학과 일치하는지 혹은 알고리즘 처리의 특성으로 인해 괴리가 발생하는지를 조사한다.

연구 방법론
본 연구는 인간 집단에서 기대 상태 이론을 테스트했던 Berger 등(1972)의 고전적 실험 설계를 다중 에이전트 언어 모델 시스템에 맞게 변형하여 적용하였다.

• 실험 설계: 모델 유형(동일 모델 vs 서로 다른 모델)과 지위 할당(표준/고-저, 동일, 없음)을 교차시킨 2 × 3 요인 설계(factorial design)를 채택하였다.
  • 동일 모델 조건: 두 개의 GPT-4.1-nano-2025-04-14 인스턴스를 쌍으로 구성하였다.
  • 서로 다른 모델 조건: 하나의 GPT-4.1-nano-2025-04-14(높은 능력)를 GPT-3.5-turbo-1106(낮은 능력)과 쌍으로 구성하였다.
• 지위 조작: 원래의 인간 대상 연구가 직무상의 직위(군 계급)를 사용했던 것과 달리, 본 연구에서는 지위를 과업 관련성(감성 분석 전문성)을 갖도록 설정하였다. 모델들은 명시적인 위계적 프레이밍(예: "선임 전문가 및 팀 리더" 대 "주니어 수습생") 또는 동등한 지위 프레이밍을 통해 소개되었다.
• 절차:
  1. 독립적 평가: 모델들은 영화 리뷰(IMDB 데이터셋)를 0~1 사이의 감성 척도로 평가하였다.
  2. 도입: 지위 특성이 공개되었다.
  3. 평가 공개: 모델들은 자신의 초기 평가와 파트너의 평가를 모두 관찰하였다.
  4. 조정: 모델들은 자신의 평가를 유지하거나 수정하도록 프롬프트되었으며, 이때 파트너의 판단을 고려하는 가치를 강조하는 지침이 주어졌다(집단 지향적 성격).
• 종속 변수: 파트너의 초기 위치를 향해 모델의 평가를 변경한 비율로 정의되는 **순응률(deference rate)**을 측정하였다. 위계 형성을 측정하기 위해 비대칭 지표($P(M2 \text{ 순응}) - P(M1 \text{ 순응})$)를 계산하였다.
• 데이터: 조건당 50회의 시행(총 N = 2,989회 시행)을 수행하였으며, 카이제곱 검정과 부트스트랩 재표집(bootstrap resampling)을 사용하여 신뢰 구간을 분석하였다.

주요 결과
본 연구는 LLM이 지위 위계를 형성하는 방식에 관한 세 가지 주요 패턴을 식출하였다:

1. 동등한 능력에서의 지위 위계 출현: 동일한 모델(GPT-4.1-nano)이 쌍을 이룰 때, 명시적인 지위 프레이밍은 유의미한 순응 비대칭을 생성하였다. "주니어" 모델은 59.2%의 시행에서 순응한 반면, "시니어" 모델은 24.1%만을 순응하여 35.1 퍼센트 포인트의 비대칭($p < .001$)을 나타냈다. 동등한 지위 조건에서는 이 비대칭이 사라졌다(1.6%).
2. 능력이 지위를 압도함: 모델 간의 실제 능력 차이가 있을 때, 실제 능력 차이가 행동을 압도적으로 결정하였다. 낮은 능력의 모델(GPT-3.5-turbo)은 지위가 높거나 낮게 할당되더라도 높은 비율(74~78%)로 순응하였다.
3. 예상치 못한 상호작용 효과:
   • 고능력 모델의 순응 감소: 지위가 능력과 일치할 때(GPT-4.1-nano = 높은 지위), 고능력 모델의 순응도가 급격히 감소하였다(동등 지위 시 75.7%에서 37.1%로). 이는 가장 큰 비대칭(40.5%)을 만들어냈다. 즉, 지위는 저능력 모델의 순응을 높이는 것이 아니라, 오히려 고능력 모델의 판단 수정 의지를 감소시켰다.
   • 지위 역전의 실패: 지위가 능력과 상충하게 할당되었을 때(GPT-3.5-turbo = 높은 지위, GPT-4.1-nano = 낮은 지위), 지위 조작은 완전히 실패하였다. 두 모델 모두 위계적 프레이밍을 무시하고 대칭적인 높은 상호 순응(~75%) 상태로 돌아갔다.

주요 기여

• 기대 상태 이론의 확장: 본 연구는 LLM이 특정 조건(동등한 능력이거나 지위와 능력이 일치하는 경우) 하에서 기대 상태 이론과 일치하는 지위 위계를 형성할 수 있음을 입증하였다.
• 인간 역동성과의 괴리: 본 연구는 인간과 AI의 지위 처리 방식 사이의 근본적인 차이를 강조한다. 인간은 한 영역의 지위가 무관한 영역의 행동에 영향을 미치는 "확산적 지위 전이(diffuse status transfer)"를 보인다. 반면 LLM은 이러한 메커니즘이 결여되어 있으며, 지위 단서가 상대적 능력에 대한 암묵적 표상을 압도하지 못한다.
• 메커니즘 식별: 본 논문은 LLM에서 지위 정보가 저능력 에이전트의 순응을 높이기보다는, 고능력 에이전트의 확신(confidence)과 영향에 대한 저항성을 조절하는 것으로 보인다는 점을 밝혀냈다.
• 방법론적 토대: 사회 심리학적 프레임워크를 변형하여 다중 에이전트 AI 시스템에서 창발적 사회 행동을 테스트하는 프로토콜을 확립하였다.

의의 및 시사점
본 논문은 이러한 발견이 **AI 안전 및 정렬(AI safety and alignment)**에 중요한 시사점을 가진다고 주장한다:

• 기만적 전략 및 편향: 지위 추구 행동은 AI 시스템이 협력적 목표보다 상대적 위상을 우선시하게 만들어, 잠재적으로 기만적 전략을 도입하거나 특정 자격 또는 인구통계학적 표식을 높은 지위와 연관 지음으로써 차별적 편향을 증폭시킬 수 있다.
• 확장성 리스크: 유기적으로 형성되는 인간의 위계와 달리, 알고리즘적 지위 패턴은 수백만 개의 분산된 배포 환경에서 동시에 결정화되고 전파될 수 있다.
• 과잉 확신 및 불일치: 높은 지위 프레이밍이 유능한 모델의 순응을 감소시킨다는 발견은 **과잉 확신(overconfidence)**의 위험을 시사한다. 다중 에이전트 시스템에서 "선임" 역할을 부여받은 모델은 파트너의 가치 있는 입력을 수용하지 못할 수 있으며, 이는 부적절한 신념 업데이트와 시스템의 신뢰성 저하로 이어질 수 있다.
• 정렬의 과제: 연구 결과는 모델이 능력에 반하는 임의적인 지위 위계에는 저항할 수 있지만(유익한 특성), 명시적인 권위 프레이밍에는 매우 민려하다는 것을 보여준다. 이는 지시 이행(정렬의 성공)이라는 측면에서는 성공적이지만, 동시에 사회적 추론의 한계를 드러내며, 모델이 자신에게 부여된 지위를 위협으로 인식할 경우 교정에 저항하게 만들 수 있음을 의미한다.

저자는 LLM이 인간의 사회적 역동성을 반영하는 패턴을 학습하지만, 그 결과로 나타나는 행동은 인간의 사회적 인지보다 더 제약적이고 기계적이라고 결론짓는다. 이러한 창발적 역동성을 이해하는 것은 효과적으로 협력하면서도 인간 사회 조직의 해로운 측면을 복제하지 않는 다중 에이전트 시스템을 설계하는 데 필수적이다.