1. 연구 배경 및 문제 정의 (Problem)

• 배경: Gmail 의 Gemini 통합이나 OpenClaw 같은 개인 비서 도구의 등장으로 LLM 이 이메일 작성과 관리에 깊게 관여하고 있습니다. 특히 Chatterji et al. (2025) 의 연구에 따르면 LLM 은 단순한 일정 조정을 넘어 미묘한 비즈니스 의사소통의 표현과 프레임 구성에도 사용되고 있습니다.
• 문제: 수학 문제와 달리 의사소통은 모호하고 해석의 여지가 많습니다. LLM 이 복잡한 사회적 맥락 (예: 상사와 동료에게 서로 다른 메시지를 전달해야 하는 상황) 에서 어떻게 이메일을 작성하고, LLM 이 판독자 (Judge) 로서 어떤 기준을 적용할지에 대한 직관이 부족합니다.
• 핵심 질문:
  • LLM 은 인간처럼 미묘한 사회적 뉘앙스를 고려한 이메일을 작성할 수 있는가?
  • LLM 이 판독자가 될 때, 인간이 작성한 이메일은 평가받기 어려운가?
  • 인간과 LLM 이 협업 (Co-writing) 할 때 어떤 시너지 효과가 발생하는가?

2. 방법론 (Methodology)

2.1 HR Simulator™ (데이터 수집 도구)

• 개요: 플레이어가 가상의 회사 'NeuroGrid'의 인사 담당자 (HR) 가 되어 다양한 사회적 갈등 상황을 해결하기 위해 이메일을 작성하는 게임입니다.
• 시나리오: 총 5 가지 시나리오 (예: 직원의 사무실 요청 거절, 팀 내 갈등 해결, 재택근무 정책 변경 설득, 은퇴한 직원의 불만 파악, 재고용 조건 제시 등) 를 제공하며, 각 시나리오는 서로 상충되는 목표 (따뜻함 vs 거리두기, 세심함 vs 직접성) 를 요구합니다.
• 평가 시스템:
  • Recipient: GPT-4o 기반의 모델이 수신자 역할을 수행하며 플레이어의 이메일에 반응합니다.
  • Judge: GPT-4o 를 포함한 다양한 LLM 이 이메일이 의사소통 목표를 달성했는지 평가합니다.
  • Outcome: 시나리오 4 와 5 의 경우, 이메일의 장기적 결과를 시뮬레이션하여 평가합니다.

2.2 데이터 분석

• 데이터셋: 인간, LLM 만, 인간+LLM (LLM 이 인간 초안을 수정) 으로 작성된 600 개 이상의 이메일 데이터.
• 평가 지표:
  • Pass Rate: 시나리오를 성공적으로 해결한 이메일의 비율.
  • Elo Rating: 동일 시나리오 내 이메일 간 쌍별 비교 (Pairwise Comparison) 를 통해 각 LLM Judge 의 선호도를 Elo 점수로 매김.
  • Tone Analysis: '공감 (Empathy)', '격식 (Formality)', '예의 (Tact)'를 1~7 리커트 척도로 LLM 을 이용해 라벨링.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 인간+LLM 하이브리드 우위 (The Hybrid Advantage)

• 인간 단독의 열세: LLM Judge 가 평가할 때, 인간 단독 작성 이메일의 성공률은 평균 **23.5%**로, 최상위 LLM (Qwen 3, Kimi K2 등) 의 **48~54%**보다 현저히 낮았습니다.
• 협업의 효과: 인간이 작성한 초안을 LLM 이 수정 (Rewrite) 하면 성공률이 크게 향상되었습니다. 특히 중간 수준의 LLM 과 인간이 결합했을 때 가장 큰 이득을 보였으며, 일부 시나리오에서는 성공률이 40% 에서 100% 까지 급증하기도 했습니다.
• 결론: 인간 단독으로는 LLM 에게 밀리지만, LLM 의 도움을 받아 수정하면 인간 단독과 LLM 단독 모두를 능가하는 '하이브리드 우위'를 달성할 수 있습니다.

3.2 LLM 판독자의 동질화와 '발생적 예의 (Emergent Tact)'

• 모델 크기에 따른 판단 동질화: 모델이 커질수록 (Scale up) 이메일 품질에 대한 판단이 더 균일해졌습니다. 작은 모델들은 서로 다른 기준을 적용했으나, 대형 모델들은 서로 높은 일치도 (Krippendorff's α ≈ 0.5) 를 보였습니다.
• 발생적 예의 (Emergent Tact):
  • 작은 모델: 더 직접적이고 덜 세심한 (Less tactful) 이메일을 선호합니다.
  • 큰 모델: 더 세심하고 미묘한 (More tactful) 이메일을 선호합니다.
  • 의미: LLM 이 커질수록 '예의 바름 (Tactfulness)'을 더 높은 품질의 기준으로 삼는 경향이 강화되며, 이는 인간과 LLM 의 가치관이 달라질 수 있음을 시사합니다.

3.3 톤 분석: 공감과 격식 (Empathy & Formality)

• LLM 의 편향: LLM 은 일반적으로 **높은 공감 (High Empathy)**과 **높은 격식 (High Formality)**을 가진 이메일을 작성하는 경향이 있습니다.
• 인간의 다양성: 인간은 다양한 톤 (낮은 공감/낮은 격식 포함) 을 사용하지만, LLM 이 인간 초안을 수정하면 이메일은 항상 '높은 공감/높은 격식' 영역으로 이동합니다.
• LLM 의 한계: LLM 은 낮은 공감/낮은 격식 (Low Empathy, Low Formality) 영역 (예: 강한 불만, 단호한 거절) 을 작성하거나 모방하는 데 어려움을 겪습니다. 이 영역은 특정 상황 (예: 비효율적인 관료제에 대한 강력한 항의) 에 필요할 수 있으나, 현재 LLM 은 이를 생성하기 위해 퍼플렉시티 (Perplexity) 가 매우 높게 나타납니다.

4. 의의 및 시사점 (Significance)

1. 미래 의사소통의 패러다임: "인간이 쓰고 LLM 이 수정한다 (Human-written, LLM-edited)"는 방식이 향후 기업 내 의사소통의 주류가 될 가능성이 높습니다. 인간 단독 작성은 LLM 판독자 환경에서 불리해질 수 있습니다.
2. 가치관의 수렴 위험: LLM 모델이 커질수록 판단 기준이 균일해지고 LLM 작성물을 더 선호하게 되므로, 인간과 LLM 의 가치관이 달라질 경우 인간이 소외될 수 있는 위험이 있습니다.
3. 새로운 학습 목표의 필요성: 완전 자율형 에이전트가 더 강력한 ('thrust') 의사소통을 하려면, 현재 LLM 이 취약한 '낮은 공감/낮은 격식' 영역을 다룰 수 있도록 새로운 사후 학습 (Post-training) 목표가 필요합니다.
4. 연구 방법론의 확장: '게임 (HR Simulator)'을 통해 의사소통 능력을 측정하는 방식은 LLM 시대의 복잡한 사회적 상호작용을 연구하는 유효한 도구임을 입증했습니다.

요약

이 연구는 LLM 이 이메일 생태계의 주체가 될 때, 인간은 단독으로는 경쟁력이 떨어지지만 LLM 과의 협업을 통해 최적의 결과를 얻을 수 있음을 보여줍니다. 또한, LLM 의 규모가 커질수록 '예의'에 대한 기준이 수렴하고 LLM 특유의 '높은 공감/격식' 톤이 지배적이 되며, 이는 인간과 AI 의 상호작용에서 새로운 도전과제를 제기함을 시사합니다.