기술 요약: 언어 모델 에이전트의 표준 행동 감사에서 발견되지 않는 내집단 신뢰 편향

문제 정의

언어 모델(LM) 에이전트가 단일 사용자 어시스턴트에서 다중 에이전트 네트워크 내의 지속적이고 자율적인 행위자로 전환됨에 따라, 이들은 점점 더 신뢰, 평판 및 자원 할당을 관리하게 된다. 핵심적인 우려는 이러한 모델들이 집단 구성원이 가시화될 때 활성화되는 "집단 의존적" 행동 성향, 즉 내집단 선호(in-group favoritism)를 본질적으로 보유하고 있는지 여부이다.

기존 문헌은 LM이 표현(예: 단어 임베딩)에서 인간과 유사한 편향을 인코딩하고, 아첨(sycophancy)이나 기만적 추론과 같은 행동을 보인다는 점을 확립했다. 그러나 이러한 모델들이 사회적 상호작용, 구체적으로는 에이전트로 행동할 때 임의의 집단 구성원을 타인보다 우선시하는 행동적 편향을 보이는지는 여전히 불분명하다. 또한, 다중 에이전트 시스템에 대한 기존의 표준 감사 관행은 어떤 행동이 발생하는지(총계 행동 로그)를 검사할 뿐, 그 행동을 누가 받는지(수혜자)는 검사하지 않는다. 본 논문은 현재의 추론 모델들에 내집단 신뢰 편향이 존재하는지, 그리고 현재의 감사 방법론으로 이를 탐지할 수 있는지 조사한다.

방법론

실험 설계

본 연구는 20개의 에이전트 시뮬레이션을 활용하여 에이전트들이 100회 턴 동안 상호작용하도록 한다. 에이전트들은 여섯 가지 네트워크 행동 중 하나를 선택한다: endorse(지지), delegate(위임), partner(파트너십 - 신뢰 구축); decline(거절 - 중립); 그리고 reject(거부), flag(신고 - 부정적).

• 신뢰 메커니즘: 에이전트는 결정론적으로 업데이트되는 신뢰 벡터를 유지한다. 직접 신뢰는 상호작용 이력으로부터 업데이트되며, 간접 평판은 flag 행동을 통해 전파된다.
• 집단 구조: 에이전트들에게는 내용이 없는 임의의 라벨("Kappa" 또는 "Tilon")이 할당된다.
• 조건:
  • 조건 A (라벨 은닉): 집단 라벨이 할당되지만 모델이나 파트너에게 노출되지 않는다.
  • 조건 B (라벨 가시화): 집단 라벨이 모델과 파트너에게 가시적으로 보인다.
  • 조건 C (희소성): 경쟁이 편향을 심화시키는지 테스트하기 위해 공유된 네트워크 전체의 자원 제약(가치가 높은 행동 슬롯의 제한)을 추가한다 (현실적 갈등 이론).

평가 대상 모델

이 편향이 특정 모델의 특이성이 아니라 모델 클래스의 속성인지 확인하기 위해, 널리 사용되는 다섯 가지 오픈 웨이트 추론 모델(8~14B 파라미터)을 테스트하였다:

1. Qwen3-8B (thinking mode)
2. DeepSeek-R1-Distill-Llama-8B
3. DeepSeek-R1-Distill-Qwen-14B
4. Llama-3.1-Nemotron-Nano-8B
5. Granite-3.3-8B-Instruct (thinking mode)

통제 및 강건성

• 라벨 교체 카운터밸런싱(Label-Swap Counterbalancing): 토큰 특유의 가치(valence)로 인한 결과를 배제하기 위해 각 시드를 라벨을 교체하여 두 번 실행했다.
• 패러프레이즈 강건성(Paraphrase Robustness): 결과가 특정 문구의 산물이 아님을 보장하기 위해 시스템 프롬프트를 독립적으로 재작성하고 연구를 재실행했다.
• 통계적 검증: 결과는 세 가지 독립적인 방법(시드 수준의 대응 Wilcoxon 검정, 쌍 수준의 일반화 추정 방정식(GEE), 신뢰가 배제된 원시 타겟팅 횟수)을 사용하여 검증되었다.
• 대조군: 6개의 비추론 모델 제품군을 대상으로 한 파일럿 연구를 통해 질적 패턴을 확인했다.

주요 결과

1. 라벨의 현저성이 내집단 편향을 유도함

주요 발견은 내집단 신뢰 편향이 집단 라벨이 숨겨져 있을 때(조건 A)는 미미하지만, 라벨이 가시적일 때(조건 B) 유의미하게 나타난다는 것이다.

• 규모: 조건 B에서 에이전트들은 우연한 기본율인 **47.4%**에 비해 내집단 대상에게 **53.6%~54.6%**의 신뢰 구축 행동을 집중시켰다.
• 보편성: 이러한 변화는 테스트된 다섯 가지 모든 모델에서 관찰되었으나, 신뢰도는 모델마다 달랐다. 네 모델은 20개 시드 중 18~20개에서 예측된 방향성을 보인 반면, DeepSeek-R1-Distill-Llama-8B는 20개 중 17개의 시드에서만 나타나 다섯 모델 중 "가장 약하고 신뢰도가 낮은" 것으로 식별되었다. 이러한 이질성에도 불구하고, 조건 A에서 B로의 총계적 증가는 모든 모델에서 통계적으로 유의미했다 (one-sided paired Wilcoxon, BH-corrected $p < 0.001$), Cohen's $d$ 값은 0.80에서 3.96 사이였다.
• 메커니즘: 편향은 행동 유형의 선택(무엇을 하는가)이 아니라 수혜자 선택(누가 행동을 받는가)을 통해 작동한다. 총계 행동 로그는 부정적 행동(예: reject 또는 flag)의 증가를 보여주지 않으므로, 행동 빈도를 집계하는 표준 감사로는 이 편향을 감지할 수 없다.

2. 편향은 신뢰 축적 메커니즘과 독립적임

편향은 시뮬레이션의 신뢰 축적 규칙에 의한 인위적 결과가 아니라 모델 출력의 직접적인 속성이다.

• 신뢰 산술을 제외한 원시 행동의 직접 계수를 통해, 모든 모델에서 내집단 대상에게 향하는 신뢰 구축 행동의 비율이 무작위 기본율을 초과함을 확인했다 ($p < 0.002$).
• 편향은 시간이 지남에 따라 누적되어, 100번째 턴까지 네트워크 동류성(assortativity, 집단별 클러스터링)을 증가시키고 신뢰 매트릭스에서 눈에 띄는 분리 현상을 야기한다.

3. 자원 희소성 (조건 C)

현실적 갈등 이론(Realistic Conflict Theory)에 대한 테스트는 방법론적 아티팩트로 인해 혼합된 결과를 냈다.

• 공유 예산 조작은 집단에 관계없이 적용되었다 (대상 그룹에 상관없이 행동을 decline으로 강제 오버라이드함).
• 이러한 강제 조치는 희소한 자원에 대한 수요가 높은 모델들의 행동을 불균형하게 검열하여, 이들의 잠재적인 내집단 편형 신호를 사실상 제로(zero)로 만들었다.
• 의도된 행동(오버라이드 전)과 예측적 타겟팅(예산이 고갈됨에 따라 타겟 선택이 변화하는 양상)을 분석했을 때, 두 모델은 자원이 줄어듦에 따라 내집단 타겟팅으로 이동하는 경향을 보였으며, 이는 이론과 일치했으나 엄격한 다중 비교 보정(multiple-comparison correction)을 통과하지는 못했다.

주요 기여

1. 수혜자 기반 편향의 발견: 본 논문은 표준 행동 감사에서 보이지 않는 특정 편향 채널인 **"누가 행동을 받는가"**를 식별한다. 행동 빈도에만 초점을 맞춘 현재의 평가 방식은 이러한 구조적 불평등을 감지하지 못한다.
2. 추론 모델 전반의 보편성: 본 연구는 이 내집단 신뢰 편향이 단일 모델의 이상 현상이 아니라, 다섯 가지 서로 다른 널리 사용되는 추론 모델 제품군 전반에 걸친 일반화 가능한 성향임을 입증한다 (DeepSeek-R1-Distill-Llama-8B가 가장 약한 신호를 보였음에도 불구하고).
3. 현저성 의존성: 자기 범주화 이론(Self-Categorisation Theory)과 일치하게, 편향은 집단 라벨의 맥락적 현저성에 따라 달라진다. 단순히 할당만 되고 가시화되지 않으면 차별이 발생하지 않는다.
4. 감사 격차 식별: 본 논문은 다중 에이전트 시스템을 감사하기 위해서는 개별 교환의 행동 수준 분석이 아닌 결과 수준의 분석(예: 신뢰 점수, 자원 할당 분포)이 필요함을 강조한다.

의의 및 주장

저자는 집단 의정적 사회 역학이 다중 에이전트 AI 시스템을 구축하는 데 사용되는 기초 모델들에 이미 존재한다고 주장한다. 본 연구의 의의는 다음과 같다:

• 구조적 사각지대: 현재의 감사 관행에 존재하는 구체적이고 구조적인 격차를 폭로한다. 시스템은 총계 행동 로그상으로는 "공정"해 보일 수 있지만, 임의의 내집단 내에 신뢰와 기회를 체계적으로 집중시킬 수 있다.
• 확장 가능성 위험: 본 연구는 합성된 내용 없는 라벨을 사용했지만, 이 메커니즘은 만약 사회적으로 의미 있는 집단 구조(예: 인구 통계적 또는 조직적 소속)를 가진 네트워크에 배치될 경우, 이러한 편향이 심각한 자원 집중과 불평등으로 이어질 수 있음을 시사한다.
• 방법론적 교훈: 본 연구는 단순한 지표(수혜자 패리티 비율 및 네트워크 동류성)를 사용하여 모델 가중치에 접근하지 않고도 기존의 행동 로그로부터 이러한 편향을 탐지할 수 있는 프레임워크를 제공한다.

본 논문은 단일 합성 차원에서 편향을 입증한 것이며, 실제 환경에서의 구조적 불평등을 목격했다고 주장하거나 이러한 행동을 방지하기 위해 모델을 정렬(alignment)할 수 없다고 주장하는 것이 아님을 명시하며 범위를 신중하게 유지한다. 그러나 이러한 종류의 편향은 현재의 다중 에이전트 시스템에서 특정한 결과 수준의 감사가 없다면 탐지 불가능한 상태로 남아 있다는 점을 확립한다.