Autonomy Reshapes How Personalization Affects Privacy Concerns and Trust in LLM Agents

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대형 언어 모델 (LLM) 에이전트 (예: OpenClaw, OpenAI Operator 등) 는 사용자를 대신하여 작업을 수행하기 위해 높은 수준의 자율성 (Autonomy) 을 가지며, 이를 위해 사용자의 개인 정보를 활용한 개인화 (Personalization) 가 필수적입니다.
• 문제점:
  • 에이전트가 외부 환경과 상호작용하며 실시간으로 행동을 실행하는 과정에서 사용자의 민감한 데이터가 노출될 위험이 존재합니다.
  • 기존 연구에 따르면, 개인화가 심해질수록 사용자의 프라이버시 우려 (Privacy Concerns) 는 증가하고 신뢰 (Trust) 및 사용 의도 (Willingness to Use) 는 감소하는 '개인화 - 프라이버시 역설'이 발생합니다.
  • 현재의 기술적 접근 (모델 정렬, 레드팀링 등) 은 주로 모델의 출력 내용 자체를 개선하는 데 집중하지만, 에이전트의 자율성 수준 (Autonomy Level) 이 개인화의 효과에 어떻게 영향을 미치는지에 대한 연구는 부족합니다.
• 연구 질문 (RQ):
  1. 에이전트의 자율성 수준이 개인화가 사용자의 프라이버시 우려, 신뢰, 사용 의도에 미치는 영향을 어떻게 변화시키는가?
  2. 이러한 영향 변화의 심리적 메커니즘은 무엇인가?

2. 연구 방법론 (Methodology)

• 실험 설계: 3(자율성 수준) × 3(개인화 유형) 피험자 간 (Between-subjects) 실험 설계. 총 450 명의 참가자 (N=450) 를 대상으로 진행.
• 시나리오: 두 가지 대표적인 상황 (직장 동료와의 주간 업데이트 회의, 가족과의 여행 계획 논의) 에서 LLM 에이전트가 사용자를 대신하여 그룹 채팅에 참여하는 역할 수행.
• 독립 변수 조작:
  1. 개인화 유형 (Personalization Type):
     • 전체 개인화 (Full): 에이전트가 연결된 모든 사용자 데이터에 접근.
     • 프라이버시 인식 개인화 (Privacy-aware): 민감하지 않은 정보만 접근 (사용자가 공유 금지로 표시한 정보는 제외).
     • 개인화 없음 (No): 사용자 데이터 접근 불가.
  2. 자율성 수준 (Autonomy Level):
     • 자율성 없음 (No Autonomy): 에이전트가 메시지를 작성하더라도 항상 사용자의 승인/수정을 거쳐야 발송됨.
     • 위험 기반 자율성 (Risk-Contingent Autonomy): 에이전트가 기본적으로 자율적으로 작동하되, 민감한 정보가 포함될 가능성이 감지될 때만 사용자의 승인을 요청함.
     • 완전 자율성 (Full Autonomy): 에이전트가 사용자의 승인 없이 모든 대화를 자율적으로 처리함.
• 데이터 수집: Prolific 을 통해 미국 내 참가자 모집. 사전 조사 (개인 정보 수집), 에이전트 사용 (채팅 인터페이스), 사후 설문 (프라이버시 우려, 신뢰, 사용 의도, 지각된 통제감 등) 순서로 진행.
• 분석 방법: 선형 혼합 효과 모델 (Linear Mixed-Effects Models) 을 통한 주효과 및 상호작용 효과 분석, 구조 방정식 모델링 (SEM) 을 통한 조절 매개 분석 (Moderated Mediation Analysis).

3. 주요 결과 (Key Results)

• RQ1: 자율성 수준이 개인화 효과에 미치는 영향

  • 개인화의 부정적 영향: 개인화 (특히 전체 개인화) 는 프라이버시 우려를 증가시키고 신뢰 및 사용 의도를 감소시킴.
  • 위험 기반 자율성의 완화 효과: '위험 기반 자율성 (Risk-Contingent Autonomy)' 조건에서는 개인화 유형에 따른 프라이버시 우려, 신뢰, 사용 의도의 차이가 현저히 감소함 (기울기가 완만해짐).
  • 비교: '자율성 없음' 조건 (항상 승인 필요) 과 '완전 자율성' 조건 사이에는 유의미한 차이가 없었으나, '위험 기반 자율성' 조건은 두 극단 모두보다 사용자의 인식을 개선하는 효과가 있었음.

• RQ2: 심리적 메커니즘 (조절 매개 분석)

  • 지각된 통제감 (Perceived Control) 의 핵심 역할: 위험 기반 자율성이 개인화의 부정적 영향을 완화하는 주요 경로는 사용자의 지각된 통제감 향상임.
  • 역설적 발견: 기술적으로 사용자의 개입 기회가 더 적음에도 불구하고 (항상 승인하는 조건보다), 위험 기반 자율성 조건에서 사용자가 느끼는 통제감이 더 높았음. 이는 불필요한 승인 요청 (의사 결정 피로) 을 줄이고, 실제 위험이 발생할 때만 개입함으로써 사용자의 자율성을 지지했기 때문으로 해석됨.
  • 프라이버시 누출 식별 능력 향상: 위험 기반 자율성 조건에서 사용자는 에이전트의 응답 내 민감 정보 누출을 **68%**의 정확도로 식별했으며, 이는 '자율성 없음 (62%)' 및 '완전 자율성 (58%)' 조건보다 높았음. 즉, 시스템이 위험을 감지하여 사용자에게 알림을 줌으로써 사용자의 감시 효과를 높임.

4. 주요 기여 (Key Contributions)

1. 실증적 증거 제시: 에이전트의 자율성 수준이 개인화가 사용자의 프라이버시 인식에 미치는 영향을 조절한다는 최초의 통제 실험적 증거를 제공함.
2. 위험 기반 자율성의 유효성 입증: 민감 정보 감지 시에만 사용자에게 통제권을 위임하는 '위험 기반 자율성' 설계가 개인화의 부정적 효과를 완화하고 신뢰를 높이는 효과적인 전략임을 증명함.
3. 메커니즘 규명: 단순한 '사용자 통제량 (Control Amount)'의 최대화가 아니라, 사용자의 자율성을 지지하는 (Supporting Human Autonomy) 설계 (지각된 통제감과 감시 효과의 균형) 가 중요함을 규명함. 이는 '출력 정렬 (Output Alignment)'을 넘어선 '자율성 정렬 (Autonomy Alignment)'의 중요성을 강조함.

5. 의의 및 결론 (Significance & Conclusion)

• 디자인 시사점: LLM 에이전트 설계 시, 모든 단계에서 사용자의 승인을 요구하거나 (과도한 통제), 완전히 방치하는 (완전 자율) 것보다는, **위험이 감지될 때만 인간에게 개입을 요청하는 '위험 기반 자율성'**을 적용하는 것이 바람직함. 이는 사용자의 의사 결정 피로를 줄이면서도 프라이버시 보호에 대한 심리적 안정감을 제공함.
• 이론적 기여: 프라이버시 보호를 위한 접근 방식이 단순한 기술적 필터링이나 모델 정렬에 그치지 않고, **에이전트와 인간의 상호작용 구조 (자율성 수준)**를 재설계함으로써 해결될 수 있음을 보여줌.
• 미래 방향: 다양한 맥락 (금융, 의료 등) 에 따른 위험 기준의 차별화 및 개인별 자율성 선호도에 따른 맞춤형 자율성 설계의 필요성을 제기함.

이 연구는 신뢰할 수 있는 LLM 에이전트 개발을 위해 개인화 혜택과 프라이버시 우려 사이의 균형을 맞추는 새로운 패러다임을 제시한다는 점에서 중요한 의의를 가집니다.