Agents with Feelings? Personality and Emotion in Multi-Agent Software Teams

기술 요약: 감정을 가진 에이전트? 멀티 에이전트 소프트웨어 팀에서의 성격과 감정

문제 정의
소프트웨어 공학(SE)을 위한 멀티 에이전트 대규모 언어 모델(LLM) 시스템이 역할(예: 플래너, 구현자, 리뷰어)과 워크플로우를 통해 에이전트를 차별화하는 사례가 늘고 있지만, 행동 프로필—특히 성격과 감정—이 팀의 성능과 협업 역학에 어떤 영향을 미치는지에 대한 이해는 부족한 실정이다. 인간 소프트웨어 팀은 성격 특성, 감정 상태, 작업 스타일에 의해 영향을 받는 것으로 알려져 있으나, LLM 에이전트에 유사한 프로필을 유도하는 것이 협업 SE 작업의 효과성을 변화시키는지 여부는 여전히 불분명하다. 기존 연구들은 단일 에이전트 설정이나 비(非) SE 맥락에서 페르소나 기반 프롬프팅을 탐구해 왔으나, 체계적인 성격 및 감정 구성을 멀티 에이전트 협업 SE 팀에 적용했을 때의 영향은 여전히 미개척 영역으로 남아 있다.

방법론
저자들은 네 가지 LLM(Qwen2.5-1.5B, Llama-3.1-8B, Mistral-Small-24B, Qwen2.5-32B)과 두 가지 SE 작업(코드 생성 및 코드 리뷰)을 대상으로 78개의 에이전트 프로필 구성을 포함하는 체계적 실증 연구를 수행하였다.

1. 심리학 기반 프레임워크: 본 연구는 다음 요소들을 통합하여 "페르소나"를 구축한다:

   • 성격(Personality): 세 가지 Big Five 특성(성실성, 개방성, 외향성)을 높음, 낮음 또는 중립 수준으로 설정.
   • 감정(Emotion): 기본 감정 이론 및 SE 연구에 기반한 여섯 가지 상태(분노, 공포, 혐오, 슬픔, 행복, 중립).
   • 작업 스타일(Work Styles): O*NET 분류체계에서 유도된 7가지 SE 관련 성향(예: 혁신 vs. 검증된 방법 선호, 신중함 vs. 실행 우선 결단력).
   • 작업 역할(Task Roles): 코드 생성(플래너, 구현자, 리뷰어/수정자) 및 코드 리뷰(작성자 1, 작성자 2, 감독자)를 위한 특정 역할.
   • 참고: 이 프레임워크는 이러한 요소들을 결합하여 일관된 자연어 페르소나 설명(120~180단어)을 생성하며, 이는 이후 에이전트에 할당된다.

2. 실험 설계:

   • 공유 프로필 팀(Shared-Profile Teams): 팀 내 모든 에이전트가 동일한 성격/감정 프로필을 부여받음 (54개 구성).
   • 혼합 프로필 팀(Mixed-Profile Teams): 에이전트들에게 서로 다른 프로필이 할당됨. 연구에서는 각 모델-태스크 쌍에서 가장 높은 성능을 보인 상위 3개의 공유 프로필 구성을 선택하여, 이를 역할별로 재조합하여 24개의 혼합 프로필 구성을 생성하였다.
   • 태스크(Tasks):
     • 코드 생성: 세 명의 에이전트 워크플로우(계획 → 구현 → 리뷰/수정)를 사용하며, LiveCodeBench의 282개 문제를 대상으로 pass@1을 평가지표로 활용함.
     • 코드 리뷰: 세 명의 에이전트 워크플로우(작성자 2명 → 감독자)를 사용하며, Hydra-Reviewer 데이터셋의 377개 인스턴스를 대상으로 인간이 작성한 코멘트 대비 smoothed BLEU-4를 평가함.
   • 지표: 태스크 성능(pass@1, BLEU), 행동 신호(수정률, 과잉 수정률, 토큰 사용량), 그리고 감정 극성(SentiCR 사용).

주요 결과

1. 성능에 미치는 영향 (RQ1): 프로필 선택은 성능에 유의미한 영향을 미친다. 코드 생성에서 최적의 공유 프로필 구성과 최악의 구성 사이의 pass@1 격차는 모델 전반에 걸쳐 7.111.3 퍼센트 포인트였다. 코드 리뷰에서는 0.51.1 BLEU 포인트의 격차가 나타났다. 그러나 최적의 프로필은 보편적이지 않으며, 모델과 태스크에 따라 크게 달라진다 (예: Qwen 1.5B에는 "공포-낮은 성실성-낮은 개방성-높은 외향성"이 가장 좋았으나, Qwen 32B에는 "슬픔-높은 성실성-높은 개방성-높은 외향성"이 가장 좋았다).
2. 혼합 프로 vs. 공유 프로 (RQ2): 혼합 프로필 팀(에이전트들이 서로 다른 프로필을 가진 경우)은 8개의 모델-태스크 설정 중 6개에서 가장 우수한 공유 프로필 구성을 능가하였다. 이는 역할별 행동 프로필의 특화가 균질한 팀 구성보다 추가적인 이득을 제공함을 시사한다.
3. 행동적 영향 (RQ형): 프로필은 협업 역학을 유의미하게 변화시킨다:
   • 수정 활동(Revision Activity): "공포" 및 "높은 성실성" 프로필은 수정률과 토큰 사용량을 일관되게 증가시켰다. 예를 들어, 공포는 행복에 비해 수정 가능성을 3.95배 높였다.
   • 과잉 수정(Over-Revision): 높은 성실성과 공포 프로필은 (솔루션이 이미 올바른 상태임에도 수정을 요청하는) "과잉 수정" 비율을 높였으나, 일관된 성능 향상으로 이어지지는 않았다.
   • 비용(Cost): 이러한 프로필들은 더 빈번한 상호작용과 긴 응답으로 인해 계산 비용(토큰 사용량)을 증가시켰으나, 최종 출력 품질을 반드시 개선하지는 못했다.
   • 감정(Sentiment): 부정적 감정이 최적의 구성과 최악의 구성 간의 성능 차이를 견고하게 설명하지는 못했다.

주요 기여

• 프레임워크: 성격 특성, 감정, O*NET 작업 스타일, 태스크 역할을 통합하여 SE를 위한 LLM 에이전트 페르소나를 구축하는 심리학 기반 프레임워크를 제안하였다.
• 실증적 근거: 78개의 구성과 659개의 태스크 인스턴스를 포함하는 대규모 연구를 통해, 성격 및 감정 프로필이 태스크 결과와 협업 효율성 모두에 영향을 미치는 핵심적인 설계 차원임을 입증하였다.
• 설계 통찰: 혼합 프로필 전략이 공유 프로필 전략보다 우수할 수 있음을 확립하였으며, "더 많은 정밀 조사"(공포나 높은 성실성에 의해 유도되는)가 반드시 더 나은 성능을 의미하는 것은 아니라는 점을 밝혀, 비용-성능 간의 트레이드오프를 강조하였다.

의의 및 주장
본 논문은 에이전트 프로필이 단순한 장식적 프롬프트 텍스트가 아니라, 멀티 에이전트 워크플로우를 형성하는 효과적인 행동 제어 도구라고 주장한다. 연구 결과는 다음과 같은 시사점을 준다:

• 프로필의 효과는 모델 및 태스크에 종속적이며, 보편적으로 전이되지 않는다.
• 멀티 에이전트 SE 시스템 설계자는 프로필 할당을 범용적인 접근 방식이 아닌, 특정 모델-태스크 맥락에 맞춰 최적화해야 하는 실험적 요소로 취급해야 한다.
• 생산적인 수정과 불필요한 수정을 구분하는 메커니즘이 필요하다. 특정 프로필(공포, 높은 성실성)은 성능 이득 없이 협업 노력과 비용만을 증가시키기 때문이다.
• 향후 시스템은 성능과 계산 비용 사이의 균형을 맞추는 자동화된 프로필 탐색 및 적응형 할당 메커니즘을 탐구해야 한다.

저자들은 이러한 결과가 LLM이 실제 감정이나 성격을 보유하고 있음을 의미하는 것이 아니라, 정의된 워크플로우 내에서 행동에 영향을 미치는 프롬프트 수준의 제어 도구로서의 역할을 한다는 점을 명시하며 신중한 입장을 유지한다.