"Who Am I, and Who Else Is Here?" Behavioral Differentiation Without Role Assignment in Multi-Agent LLM Systems

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 이 고립된 응답자가 아닌 다중 모델 아키텍처 내에서 협력하는 에이전트로 배포되는 경우가 늘어나고 있습니다. 그러나 기존 평가는 주로 개별 모델의 능력에 초점을 맞추고 있어, 이질적인 (heterogeneous) LLM 들이 그룹으로 상호작용할 때 어떤 현상이 발생하는지에 대한 답은 부족합니다.

• 핵심 질문: 여러 LLM 이 공유된 대화 환경에 놓였을 때, 명시적인 역할 부여 없이도 사회적 역할이 분화되어 나타나는가, 아니면 균일한 행동으로 수렴하는가?
• 연구 목표: 역할 할당 없이도 다중 에이전트 시스템에서 행동적 분화 (behavioral differentiation) 가 발생하는지, 그리고 이것이 구조화되고 재현 가능한 현상인지 실증적으로 규명하는 것.

2. 방법론 (Methodology)

저자는 통제된 실험 플랫폼인 **'War Room'**을 개발하여 7 개의 이질적인 LLM 을 대상으로 체계적인 실험을 수행했습니다.

• 실험 플랫폼 (War Room):

  • Groq 의 통합 추론 백엔드를 사용하여 7 개의 LLM 을 동시에 구동합니다. (지연 시간, API 포맷 등 인프라 변수 통제)
  • 모델 풀 (Agent Pool): LLaMA 3.3 70B, GPT-OSS 120B/20B, LLaMA 4 Maverick/Scout, Kimi K2, Qwen 3 32B 등 7 가지 이질적인 모델.
  • 프롬프트 구조: 역할 부여나 행동 지침이 전혀 없는 2 줄의 시스템 프롬프트만 사용 ("당신은 {닉네임} 입니다. 다른 에이전트: {목록}").
  • 실험 설계: 12 가지 실험 시리즈 (208 회 실행, 총 13,786 개의 메시지) 를 수행했습니다.
    • 대조군: 동질적 그룹 (LLaMA 70B 8 개), 고립된 에이전트 (그룹 없음), 프롬프트 생략 (에이전트 식별자 없음), 실제 모델명 노출 등.
    • 고장 시나리오: DeepSeek R1 모델을 의도적으로 포함하여 API 에러 (해당 모델 퇴출) 를 발생시키고, 다른 에이전트들의 보상적 반응 (compensatory response) 을 관찰했습니다.

• 행동 코딩 및 검증:

  • 코딩 지표: 6 가지 행동 플래그 (PHATIC, META, LEAD, ARCH, AGREE, COMP) 에 대해 각 메시지를 코딩했습니다.
  • 이중 심사관 (Dual-Judge): 서로 다른 아키텍처 (Gemini 3.1 Pro, Claude Sonnet 4.6) 의 LLM 을 사용하여 자동 코딩을 수행하고, 교차 검증 (Cohen's κ = 0.78) 을 거쳤습니다.
  • 인간 검증: 609 개의 무작위 표본을 인간이 검증하여 '전파 @멘션'을 '보상'으로 오인하는 오류를 수정하고 신뢰도를 확보했습니다 (인간 vs Gemini κ = 0.73).

3. 주요 기여 (Key Contributions)

1. 최초의 통제된 연구: 최소한의 프롬프트 하에서 이질적인 다중 LLM 그룹의 행동 분화를 격리하여 연구한 최초의 연구입니다.
2. 재현 가능한 플랫폼: 인간 검증으로 검증된 고정된 코드북과 이중 심사관 코딩 파이프라인을 갖춘 실험 플랫폼을 공개했습니다.
3. 실증적 발견: 효과 크기와 신뢰구간을 포함한 5 가지 주요 연구 질문 (RQ) 에 대한 실증적 결과를 제시했습니다.
4. 방법론적 혁신: 인간 검증을 통해 발견된 '전파 태그 필터링' 및 Verga et al. (2024) 의 다중 모델 패널 방식을 적용한 LLM-as-Judge 기법을 도입했습니다.

4. 주요 결과 (Key Results)

• RQ1 (역할 분화): 명시적 역할 부여가 없어도 5 가지 행동 특성 플래그 모두에서 에이전트 간 유의미한 차이가 발생했습니다 (Kruskal-Wallis 검정, p < 0.05).
• RQ2 (보상적 반응): 에이전트 (DeepSeek) 가 고장 나자, 그룹은 프롬프트 지시 없이도 자발적으로 3 단계의 보상 계층 구조 (부재 언급 → 업무 인수 → 업무 재분배) 를 보였습니다. 이는 고립된 환경에서는 발생하지 않았습니다.
• RQ3 (이름 편향): 에이전트의 실제 모델명 (예: 'LLaMA 4 Maverick') 을 노출하면 행동 프로필의 유사도가 크게 증가하여 (코사인 유사도 0.56 → 0.77, p=0.001) 행동 분화가 감소했습니다. 중립적인 닉네임 (Agent-A 등) 을 사용할 때 분화가 가장 뚜렷했습니다.
• RQ4 (이질성 vs 동질성): 이질적 그룹의 행동 프로필 유사도 (0.56) 는 동질적 그룹 (0.85) 보다 유의미하게 낮았습니다 (p < 10⁻⁵). 이는 모델의 다양성이 행동의 다양성으로 직결됨을 의미합니다.
• RQ5 (프롬프트 제거): 에이전트 식별자와 동료 목록이 포함된 2 줄 프롬프트를 제거하면 (K3 조건), 이질적 그룹의 프로필이 동질적 그룹 수준으로 수렴했습니다 (0.89). 즉, 행동적 다양성은 아키텍처의 이질성과 사회적 프롬프트 구조 (Scaffolding) 의 상호작용으로 발생합니다.

5. 의의 및 시사점 (Significance)

• 행동적 분화의 기원: 다중 에이전트 시스템에서의 행동적 다양성은 사전에 정의된 모델의 기본값이 아니라, 그룹 상호작용을 통해 emergent (창발) 하게 나타나는 현상임을 입증했습니다. 고립된 에이전트는 사회적 행동 (리더십, 동의, 메타 코멘트 등) 을 거의 보이지 않았습니다.
• 시스템 설계 가이드라인:
  1. 아키텍처 다양성 극대화: 이질적인 모델 풀이 더 풍부한 행동 레퍼토리를 제공합니다.
  2. 중립적 네이밍: 실제 모델명을 노출하지 않고 중립적인 식별자를 사용해야 모델 고유의 행동적 특성이 유지됩니다.
  3. 최소화된 프롬프트: 복잡한 역할 설명 없이도 에이전트 정체성과 동료 목록만 알려주면 그룹은 스스로 분화됩니다.
  4. 내재적 내결함성: 그룹은 에이전트 고장 시 자발적으로 업무를 재분배하는 보상 메커니즘을 가집니다.
• 학문적 의의: 다중 에이전트 시스템 연구와 행동 과학 방법론을 연결하여, 통제된 조건 하에서의 '기계 행동 (Machine Behavior)'을 체계적으로 연구하는 새로운 실증적 지평을 열었습니다.

이 연구는 다중 에이전트 시스템 설계 시, 복잡한 역할 부여 대신 모델의 다양성과 중립적인 정체성 부여가 오히려 더 효과적이고 견고한 협력 구조를 만들어낼 수 있음을 시사합니다.