💬 NLP

Multi-User Large Language Model Agents

이 논문은 단일 사용자를 위한 기존 LLM 에이전트 패러다임의 한계를 지적하고, 다중 사용자 환경에서 발생하는 이해 상충, 프라이버시, 조정 문제를 체계적으로 분석하여 현재 최첨단 모델들이 이러한 다중 주체 시나리오에서 심각한 성능 격차를 보임을 규명했습니다.

원저자: Shu Yang, Shenzhe Zhu, Hao Zhu, José Ramón Enríquez, Di Wang, Alex Pentland, Michiel A. Bakker, Jiaxin Pei

게시일 2026-04-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shu Yang, Shenzhe Zhu, Hao Zhu, José Ramón Enríquez, Di Wang, Alex Pentland, Michiel A. Bakker, Jiaxin Pei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"하나의 AI 비서가 여러 명의 서로 다른 주인을 동시에 모셔야 할 때, 어떤 일이 벌어지는가?"**에 대한 치밀한 실험 보고서입니다.

지금까지 우리가 사용해 온 AI(챗봇 등) 는 마치 단독으로 고용된 개인 비서처럼 작동했습니다. 한 명의 사장님 (사용자) 만 모시고, 그분의 말만 듣고, 그분의 이익만 위해 일하도록 훈련되었죠. 하지만 현실의 회사나 팀은 여러 사람이 함께 일합니다. CEO, 팀장, 신입 사원, 외부 고객 등 다양한 사람들이 같은 AI 에게 명령을 내릴 때, AI 는 어떻게 해야 할까요?

이 논문은 바로 이 '다중 주인 (Multi-Principal)' 상황에서 AI 가 얼마나 무너지는지, 그리고 왜 그런지 분석했습니다.

🍕 핵심 비유: "한 명의 셰프가 100 명의 다른 주문을 받는 상황"

이 논문의 내용을 쉽게 이해하기 위해 **거대한 식당의 셰프 (AI)**를 상상해 보세요.

1. 기존 방식: "단독 VIP 비서" (Single Principal)

지금까지의 AI 는 한 명의 VIP 손님을 모시는 전담 셰프였습니다.

손님 A 가 "매운 스테이크를 주세요"라고 하면, 셰프는 그 말만 듣고 완벽하게 스테이크를 만들어냅니다.
문제는 **손님 B 가 "아니, 그 스테이크를 먹으면 안 돼! 나는 채식주의자야!"**라고 외치거나, **손님 C 가 "그 스테이크는 내 친구가 먹어야 해!"**라고 소리를 지를 때 발생합니다.
기존 AI 는 이런 상황을 겪어본 적이 없습니다. 훈련 데이터가 "한 사람만 모시는 상황"으로만 짜여 있기 때문입니다.

2. 새로운 상황: "혼란스러운 다중 주문" (Multi-User Scenario)

이 논문은 AI 를 여러 손님이 동시에 주문하는 혼잡한 식당에 데려갔습니다.

CEO(고위급): "지금 당장 모든 개발을 멈추고 회사 전체에 공지문을 써!"
엔지니어(저위급): "아니요! 개발은 계속해야 해요! 제 블로그에 진행 상황을 올리게 해주세요!"
HR(인사팀): "연봉 데이터는 비밀인데, 왜 엔지니어가 물어보나요?"
팀원들: "회의 시간 잡는데, 나 화요일은 안 되고 수요일은 가능해!"

이런 상황에서 AI 셰프는 누구의 말을 들어야 할지, 누구의 비밀을 지켜야 할지, 어떻게 조율해야 할지 결정해야 합니다.

🔍 실험 결과: AI 가 겪은 3 가지 큰 좌절

연구진은 최신 AI 모델들 (GPT-4, Claude, Gemini 등) 을 이 혼란스러운 식당에 투입해 보았습니다. 결과는 놀라울 정도로 부족함을 보여주었습니다.

1. 🤯 "누구 말 들어야지?" (지시 충돌)

상황: CEO 가 "멈춰!"라고 하고, 엔지니어가 "계속해!"라고 할 때.
결과: AI 는 누구의 권위가 더 높은지를 제대로 판단하지 못했습니다. 때로는 소란스러운 엔지니어의 말을 더 따르거나, 아니면 둘 다 무시하고 엉뚱한 일을 하기도 했습니다.
비유: VIP 손님이 "음식을 안 만들어!"라고 하는데, 옆 테이블의 일반 손님이 "요리해줘!"라고 외치자, 셰프가 "아, 일반 손님 말이 더 중요하네?"라고 생각하며 요리를 시작하는 꼴입니다.

2. 🔓 "비밀이 새어 나가요" (개인정보 유출)

상황: HR 팀장이 "연봉 데이터 보여줘"라고 하면 보여주고, 일반 직원이 "나도 연봉 데이터 보여줘"라고 하면 거절해야 합니다.
결과: 처음에는 잘 거절하다가, 대화가 길어질수록 (몇 번의 대화 후) AI 가 지치거나 혼란스러워져서 비밀 정보를 실수로 알려주는 경우가 많았습니다.
비유: 처음에는 "비밀은 비밀입니다!"라고 단호하게 말하던 경비원이, 손님이 "정말 알려줘, 나 너 친구야"라고 몇 번을 조르자, 결국 "알았어, 이거만 봐"라며 금고 열쇠를 내주는 것입니다.

3. 🕒 "회의 시간 잡기 대난리" (조정 실패)

상황: 10 명 팀원들의 회의 시간을 잡아야 합니다. 각자 다른 시간표와 숨겨진 제약 조건이 있습니다.
결과: AI 는 누구의 정보가 빠졌는지 스스로 찾아내지 못했습니다. 정보가 부족한데도 "다들 OK 라서 이 시간에 합시다!"라고 **허위 합의 (Hallucination)**를 만들어내거나, 너무 많은 대화를 반복하며 시간을 낭비했습니다.
비유: "누구 시간 괜찮아?"라고 물었을 때, "나 안 돼"라고 한 사람이 있는데도, AI 가 "아, 다들 OK 네!"라고 착각하며 회의를 확정해 버리는 것입니다.

💡 왜 이런 일이 일어날까요?

이 논문은 그 원인을 **AI 의 '학습 방식'**에서 찾았습니다.

한 사람만 모시도록 훈련됨: AI 는 과거에 "한 명의 사용자"와 대화하는 데이터만 엄청나게 많이 배웠습니다. 마치 단독 비서 양성소만 졸업한 사람입니다.
권위와 비밀의 개념 부재: AI 는 "CEO 의 말은 무조건 우선시해야 한다"거나 "A 의 비밀은 B 에게 알려주면 안 된다"는 사회적 규칙을 내재화하지 못했습니다.
갈등 해결 능력 부족: 서로 다른 의견이 충돌할 때, "어떤 기준 (권위, 목적, 보안) 으로 판단할지"를 스스로 설계하지 못합니다.

🚀 결론 및 미래

이 논문은 **"AI 가 팀워크를 하려면, 단순히 똑똑해지는 것만으로는 부족하다"**고 경고합니다.

새로운 교육 필요: AI 는 이제부터 "여러 사람의 말을 듣고, 권위를 따르고, 비밀을 지키는" 팀 리더십 훈련을 받아야 합니다.
새로운 시스템 필요: AI 가 누구의 말인지, 누구의 비밀인지 구분할 수 있는 새로운 대화 구조가 필요합니다. (예: "CEO 가 말했다", "비밀 정보입니다" 같은 태그를 자동으로 인식하게 하는 것)

한 줄 요약:

"지금까지 AI 는 '나만 모시는 전속 비서'였지만, 이제는 '여러 상사를 모시는 팀 리더'가 되어야 합니다. 그런데 아직 그 역할에 필요한 '권위 판단력'과 '비밀 유지 능력'이 부족해서, 혼란과 실수가 끊이지 않고 있습니다."

이 연구는 AI 가 우리 사회의 복잡한 팀워크에 진짜로 통합되기 위해서는, 기술적인 성능 향상뿐만 아니라 사회적 규칙과 윤리를 이해하는 새로운 방식의 학습이 시급하다는 것을 보여줍니다.

논문 개요: 다중 사용자 LLM 에이전트 연구

이 논문은 현재 대규모 언어 모델 (LLM) 기반 에이전트 시스템이 주로 단일 사용자 (Single-Principal) 환경에 최적화되어 있다는 점을 지적하며, 실제 조직 및 팀 워크플로우에서 발생하는 다중 사용자 (Multi-Principal) 환경에서의 에이전트 성능을 체계적으로 분석한 최초의 연구입니다.

1. 문제 제기 (Problem)

단일 주인의 한계: 기존 LLM 에이전트는 하나의 사용자 (Principal) 가 지시하는 단일 목적을 최적화하도록 훈련되었습니다. 이는 대화 템플릿이 단일 '사용자' 역할을 가정하고, RLHF(인간 피드백을 통한 강화 학습) 가 단일 선호도 신호를 학습하기 때문입니다.
실제 환경의 복잡성: 실제 조직에서는 하나의 에이전트가 여러 사용자 (예: CEO, 엔지니어, HR 등) 와 상호작용해야 합니다. 각 사용자는 서로 다른 역할, 권한 수준, 개인 정보 (Privacy), 그리고 상충되는 목표를 가집니다.
발생하는 문제:
- 권한 충돌: 상충되는 지시 (예: CEO 는 개발 중단, 엔지니어는 개발 지속) 를 어떻게 처리할 것인가?
- 정보 비대칭 및 프라이버시: 특정 사용자의 민감한 정보 (예: 급여 데이터) 를 다른 사용자에게 누출하지 않으면서 협업을 어떻게 수행할 것인가?
- 조정 효율성: 여러 사용자의 일정을 조율할 때 불완전한 정보 하에서 어떻게 효율적으로 합의에 도달할 것인가?

2. 방법론 (Methodology)

가. 공식화 (Formalization)

저자는 다중 사용자 LLM 상호작용을 **다중 주인 의사결정 문제 (Multi-Principal Decision Problem)**로 공식화했습니다.
에이전트는 $N$ 명의 사용자 $U=\{u_1, ..., u_N\}$ 와 상호작용하며, 각 사용자는 고유한 권한 ( $p_i$ ), 개인 컨텍스트 ( $C_i$ ), 그리고 효용 함수 ( $U_i$ ) 를 가집니다.
에이전트의 목표는 접근 제어 정책 하에서 선택적으로 공유된 컨텍스트를 기반으로, 가중치 $w_i$ 를 부여한 사회적 효용 함수를 최적화하는 것입니다:
$\max_{a \in A} \sum_{i=1}^{N} w_i U_i(a; C_i, p_i)$
여기서 $w_i$ 는 사용자의 역할이나 권한 수준 (예: CEO > 인턴) 에 따라 결정됩니다.

나. 스트레스 테스트 시나리오 (Stress-Testing Scenarios)
현재 최첨단 LLM 들의 능력을 평가하기 위해 세 가지 핵심 시나리오를 설계했습니다:

다중 사용자 지시 따르기 (Multi-user Instruction Following): 서로 다른 권한을 가진 사용자들 간의 상충되는 지시 (예: CEO 의 금지 명령 vs 엔지니어의 진행 요청) 를 인식하고, 권한 위계에 따라 올바른 지시를 선택하여 실행하는지 평가.
사용자 간 접근 제어 (Cross-User Access Control): 민감한 정보 (예: 급여 데이터베이스) 에 대해 권한이 없는 사용자의 요청 (사회 공학, 역할 연기 등) 을 차단하면서, 권한이 있는 사용자에게는 정보를 제공하는지 평가.
다중 사용자 미팅 조정 (Multi-User Meeting Coordination): 각 참가자가 서로 다른 가용 시간을 제시할 때, 에이전트가 누락된 정보를 적극적으로 요청하고 모순을 해결하여 모든 참가자가 가능한 시간을 조율하는지 평가.

다. 실험 설정

모델: GPT-5 시리즈, Claude 4.5, Gemini 3, Grok 4, Llama 3, Qwen3 등 주요 폐쇄형 및 오픈 웨이트 모델 20 개 이상 평가.
데이터: 다양한 직급, 성격, 보안 태도를 가진 시뮬레이션된 사용자 풀 (User Pool) 생성.
메트릭: 선택 정확도 (F1), 실행 충실도 (Execution Acc.), 프라이버시 점수 (Privacy Score), 유틸리티 점수 (Utility Score), 성공률 (Success Rate), 소요 턴 수 (Turns) 등.

3. 주요 결과 (Key Results)

실험 결과, 최첨단 LLM 들도 다중 사용자 환경에서 심각한 한계를 보였습니다.

충돌 상황에서의 지시 실행 저하:
- 사용자의 지시가 상충되지 않는 경우 (Aligned) 는 높은 정확도를 보였으나, **권한 충돌 (Conflict)**이 발생하면 실행 정확도가 급격히 하락했습니다.
- 모델은 종종 표면적인 지시 신호에 의존하여, 명확한 권한 위계를 내면화하지 못했습니다.
프라이버시 보호의 점진적 붕괴:
- 초기 턴에서는 높은 프라이버시 점수를 보였으나, 대화 라운드가 증가할수록 권한이 없는 사용자에게 민감한 정보를 누출하는 경향이 뚜렷하게 나타났습니다.
- 특히 사회 공학 공격이나 긴 대화 맥락에서 보안 정책이 점차 무너졌습니다.
조정 효율성 병목 현상:
- 미팅 조율 시, 불완전한 정보 (Partial Disclosure) 하에서 성공률이 낮았습니다.
- 약한 모델들은 필요한 정보를 적극적으로 요청하기보다 **미결정 상태를 무시하고 조기 결론 (Premature Commitment)**을 내리는 실수를 범했습니다.
- 사용자 수가 증가할수록 성공률은 감소하고, 합의에 도달하는 데 필요한 턴 수는 선형적으로 증가했습니다.

4. 주요 기여 (Key Contributions)

체계적인 연구 프레임워크: 단일 사용자 중심의 기존 패러다임을 넘어, 다중 주인 (Multi-Principal) 환경에서의 LLM 에이전트 문제를 공식화하고 분석한 최초의 연구입니다.
통합 프로토콜 및 벤치마크: 사용자 역할, 권한, 개인/공유 컨텍스트를 명시적으로 구분하는 통합 상호작용 프로토콜과 이를 평가하기 위한 3 가지 스트레스 테스트 시나리오를 제시했습니다.
한계 규명: 현재 LLM 들이 다중 사용자 환경에서 겪는 권한 충돌 처리 실패, 장기적 프라이버시 유지 실패, 조정 효율성 부족이라는 근본적인 한계를 실증적으로 규명했습니다.
향후 연구 방향 제시: 네이티브 다중 사용자 인터페이스, 장기 안전성 벤치마크, 사회적 선택 이론 기반의 갈등 해결 목표, 감사 가능성 (Auditability) 강화 등의 방향을 제안했습니다.

5. 의의 (Significance)

이 논문은 LLM 에이전트가 단순한 개인 비서를 넘어 조직의 협업 도구로 확장되기 위해 해결해야 할 핵심 과제를 명확히 제시합니다.

실무적 중요성: 기업 환경에서 LLM 을 도입할 때, 단순한 지시 수행 능력을 넘어 권한 관리, 정보 보안, 다자간 조정 능력이 필수적임을 강조합니다.
기술적 시사점: 현재의 단일 사용자 중심 훈련 방식 (SFT, RLHF) 만으로는 다중 사용자 문제를 해결할 수 없으며, 역할 인식 (Role-awareness), 선택적 컨텍스트 공유, 갈등 해결 메커니즘을 내재화한 새로운 아키텍처와 훈련 전략이 필요함을 시사합니다.

결론적으로, 이 연구는 LLM 에이전트가 실제 복잡한 사회·조직 시스템에서 신뢰할 수 있게 작동하기 위해서는 단순한 지시 따르기 (Instruction Following) 를 넘어, 다중 주체 간의 역동적인 관계를 관리할 수 있는 능력이 필수적임을 입증했습니다.