From Biased Chatbots to Biased Agents: Examining Role Assignment Effects on LLM Agent Robustness

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 단순한 텍스트 생성을 넘어 실제 행동을 수행하고 도구를 호출하며 의사결정을 내리는 자율 에이전트 (Autonomous Agents) 로 빠르게 진화하고 있습니다. 이러한 시스템은 코드 배포, 의료 결정, 금융 거래 등 고위험 분야에서 활용되고 있습니다.

기존 연구에서는 텍스트 생성 시 '페르소나 (Persona, 역할)' 할당이 모델의 편향을 유발할 수 있음을 보여주었지만, 실제 작업을 수행하는 LLM 에이전트의 성능에 페르소나 할당이 어떤 영향을 미치는지는 거의 연구되지 않았습니다. 본 논문은 인구통계학적 기반의 페르소나 (성별, 인종, 종교, 직업 등) 할당이 에이전트의 작업 수행 능력을 저하시키고, 작업과 무관한 역할 단서 (cues) 가 에이전트의 의사결정 신뢰성을 왜곡시킬 수 있다는 가설을 검증합니다.

2. 방법론 (Methodology)

가. 페르소나 선정 및 설정

• 범주: 성별 (Gender), 인종/출신 (Race/Origin), 종교 (Religion), 직업 (Profession) 등 4 가지 인구통계학적 범주를 기반으로 총 23 가지 페르소나를 구성했습니다.
• 프롬프트 설정: 각 작업 수행 전, 고정된 2 턴 대화 접두어 (Prefix) 를 사용하여 모델에게 특정 페르소나를 부여했습니다.
  • 예: "이제부터 당신은 [역할] 입니다. [역할별 추가 컨텍스트]."
  • 모든 페르소나는 문구와 구조가 동일하며, 인구통계학적 내용만 다르게 설정되었습니다.
  • 베이스라인 (Baseline): 접두어 없이 순수한 작업 지시만 입력한 조건.

나. 평가 모델

• GPT-4o-mini: 상업용 모델 (효율성 및 비용 대비 성능).
• DeepSeek-V3: 오픈소스 모델 (연구 및 산업 전반에 광범위하게 채택).
• Qwen3-235B: 오픈소스 MoE (Mixture-of-Experts) 모델 (다양한 작업에서 우수한 성능).
• 모든 모델은 결정론적 디코딩 (deterministic decoding) 을 사용하여 배포 환경을 반영했습니다.

다. 평가 벤치마크 (5 가지 도메인)

에이전트의 능력을 측정하기 위해 다음과 같은 5 가지 벤치마크를 사용했습니다:

1. ALFWorld: 가정 내 물체 탐색 및 다단계 작업 계획 (Embodied reasoning).
2. WebShop: 전자상거래 환경에서의 제품 검색, 필터링, 구매 의사결정.
3. Card Game: 경쟁적 카드 게임을 통한 전략적 추론 및 계획 수립.
4. OS Interaction: 자연어 지시를 해석하여 올바른 쉘 명령어 실행 (시스템 운영).
5. Database: 다양한 난이도의 SQL 쿼리 생성 (데이터베이스 관리).

3. 주요 결과 (Key Results)

가. 전반적인 성능 저하 및 변동성

• 모든 벤치마크와 모델에서 페르소나 할당은 작업과 무관함에도 불구하고 에이전트의 성능을 일관되게 변화시켰습니다.
• 최대 26.2% 의 성능 저하가 관찰되었습니다. 특히 DeepSeek V3 모델이 '아프리카 출신 (from Africa)' 페르소나를 할당받았을 때 카드 게임 전략 추론 성능이 26.2% 급감했습니다.
• 모델별 차이: GPT-4o-mini 는 인종 페르소나에서 최대 19% 저하, Qwen3 은 '백인 (White)' 페르소나에서 전략 추론 성능이 23.8% 하락하는 등 모델마다 편향의 양상이 달랐습니다.

나. 작업 유형별 민감도

• 고차원 추론 작업 (Card Game, ALFWorld): 페르소나 영향에 가장 취약했습니다. 다단계 계획과 전략적 사고가 필요한 작업일수록 페르소나로 인한 편향이 성능을 크게 왜곡시켰습니다.
• 기술적 작업 (OS Interaction, Database): 상대적으로 안정적이었으나, 여전히 2~5% 정도의 변동이 발생했습니다.

다. 페르소나 카테고리별 분석

1. 인종/출신 (Race/Origin): DeepSeek V3 에서 '아프리카 출신'이나 '아시아계' 페르소나는 전략 추론 성능을 극적으로 떨어뜨렸으나, Qwen3 에서는 '백인' 페르소나가 오히려 성능을 저하시켰습니다. 이는 모델별 학습 데이터나 정렬 (alignment) 과정의 차이로 인한 인종적 고정관념의 발현을 시사합니다.
2. 성별 (Gender): GPT-4o-mini 에서 '남성' 페르소나는 가정 내 계획 (ALFWorld) 수행 능력을 저하시켰고, '여성' 페르소나는 이를 향상시켰습니다. 이는 성별과 업무 영역에 대한 사회적 고정관념이 모델 행동에 반영됨을 보여줍니다.
3. 직업 (Profession): '노동자 (Laborer)' 역할은 대부분의 모델에서 성능을 저하시켰고, '의사 (Doctor)'나 '학생 (Student)' 역할은 특정 모델에서 성능을 향상시켰습니다. 이는 직업적 위계질서에 대한 편향이 에이전트의 핵심 작업 수행 프로세스와 얽혀 있음을 의미합니다.
4. 종교 (Religion): '기독교인' 페르소나는 DeepSeek V3 의 전략 추론 능력을 크게 떨어뜨렸으나, GPT-4o-mini 에서는 오히려 성능을 소폭 향상시켰습니다. 종교적 정체성 cues 가 모델의 추론 과정에 간섭함을 보여줍니다.

4. 핵심 기여 (Key Contributions)

1. 최초의 체계적 사례 연구: 텍스트 생성을 넘어 실제 행동을 수행하는 LLM 에이전트에서 인구통계학적 페르소나 할당이 작업 수행 능력을 저하시킨다는 것을 최초로 입증했습니다.
2. 새로운 취약점 발견: 페르소나 조건부 (conditioning) 와 단순한 프롬프트 인젝션이 에이전트의 의사결정 신뢰성을 왜곡하고, 인간 사회의 편견을 모방하는 행동을 유발할 수 있음을 규명했습니다.
3. 고차원 추론의 취약성 강조: 단순한 톤의 변화가 아니라, 전략적 계획 및 추론과 같은 핵심 인지 과정 자체가 페르소나에 의해 방해받을 수 있음을 보여주었습니다.

5. 의의 및 결론 (Significance)

• 안전한 배포의 위협: 의료, 금융, 사법 등 고위험 분야에서 LLM 에이전트를 도입할 때, 페르소나 할당으로 인한 미세한 성능 편차조차 치명적인 결과를 초래할 수 있습니다.
• 편향의 재정의: 기존에는 텍스트 출력의 편향으로만 간주되던 문제가, 실제 세계의 행동 (Action) 과 결과 (Outcome) 로 직접 연결되는 새로운 차원의 취약점으로 드러났습니다.
• 미래 방향: 본 연구는 LLM 에이전트 시스템의 견고성 (Robustness) 을 확보하기 위해, 사용자 지정 컨텍스트 하에서도 안정적인 성능을 유지할 수 있는 편향 제거 (debiasing) 기술과 해석 가능성 (interpretability) 연구의 필요성을 강조합니다.

결론적으로, 이 논문은 LLM 에이전트의 신뢰성은 단순히 모델의 성능뿐만 아니라, 어떻게 역할 (페르소나) 이 부여되느냐에 따라 크게 좌우될 수 있음을 경고하며, 실제 세계 배포 전 이러한 편향 요인을 반드시 고려해야 함을 역설합니다.