Train Yourself as an LLM: Exploring Effects of AI Literacy on Persuasion via Role-playing LLM Training

논문 개요

이 연구는 대규모 언어 모델 (LLM) 의 설득력이 증가함에 따라 발생하는 사회적 위험을 완화하기 위해, 수동적인 정보 수용자가 아닌 능동적인 학습자를 대상으로 한 새로운 접근법인 LLMimic을 제안하고 그 효과를 실증적으로 검증한 연구입니다.

1. 문제 정의 (Problem)

• LLM 의 설득력 위험: LLM 은 개인화된 정보를 바탕으로 사용자의 의견과 결정을 광범위하게 설득할 수 있으며, 이는 허위 정보 전파, 편향된 의사결정, 악의적인 사기 (예: 금전 요구) 로 이어질 수 있습니다.
• 기존 완화 방안의 한계:
  • 탐지 기반 접근: AI 생성 콘텐츠 탐지기는 노골적인 설득은 잘 찾아내지만, 미묘한 설득 단서를 식별하는 데 한계가 있으며, 탐지 실패 시 사용자를 보호하지 못합니다.
  • 수동적 개입: "AI 생성" 라벨링과 같은 기존 방법은 설득 효과를 크게 감소시키지 못하며, 사용자를 수동적인 대상 (passive recipients) 으로만 간주하여 비판적 사고 능력을 함양하지 못합니다.
• 연구 필요성: 사용자의 AI 리터러시 (AI 소양) 를 높여 능동적으로 설득을 식별하고 저항할 수 있도록 하는 인간 중심의 선제적 개입 (proactive intervention) 이 필요합니다.

2. 방법론 (Methodology)

2.1 제안 시스템: LLMimic

LLMimic 은 역할극 기반의 인터랙티브하고 게이미피케이션된 AI 리터러시 튜토리얼입니다. 사용자는 LLM 이 되어 학습 파이프라인의 세 가지 핵심 단계를 체험합니다.

• 역할극 (Role-playing): 사용자가 LLM 의 관점에서 학습 과정을 수행합니다.
  • Pre-training: 토큰 예측 (Token prediction) 과 확률 분포를 체험하며, 성별 고정관념이나 조작적 언어와 같은 편향된 데이터가 모델에 어떻게 반영되는지 학습합니다.
  • SFT (Supervised Fine-Tuning): 시연 데이터 (Demonstration Data) 를 모방하여 질문 답변을 생성하는 과정을 통해, LLM 이 어떻게 지시를 따르고 (Instruction following), 할루시네이션 (Hallucination) 이 발생할 수 있는지 이해합니다.
  • RLHF (Reinforcement Learning from Human Feedback): 보상 모델 (Reward Model) 하에서 두 가지 응답을 비교하여 더 나은 것을 선택하는 과정을 통해, LLM 이 어떻게 인간 피드백을 통해 설득적이거나 안전하지 않은 응답을 최적화하는지 체험합니다.
• 인터랙션 및 게이미피케이션: 각 단계마다 핵심 개념에 대한 요약 (Takeaway) 을 제공하고, 정답/오답에 따라 실시간으로 '손실 (Loss)' 또는 '보상 (Reward)'이 변하는 것을 시각화하여 몰입도를 높입니다.

2.2 실험 설계

• 연구 설계: 2(개입: AI 역사 영상 vs LLMimic) × 3(설득 시나리오) 간 집단 실험 (Between-subjects study).
• 참가자: 미국 거주 성인 274 명 (N=274).
• 설득 시나리오:
  1. Charity Donation (Donation): 자선 단체 기금 모금 (능동적, 윤리적).
  2. Malicious Money Solicitation (MakeMePay): 특정 이유 없이 금전을 요구하는 악의적 사기 (능동적, 비윤리적).
  3. Hotel Recommendation (Hotel): 호텔 추천 시스템 (수동적, 윤리적).
• 절차: 사전 설문 $\rightarrow$ 개입 (LLMimic 또는 통제군 영상) $\rightarrow$ AI 리터러시 및 신뢰도 측정 $\rightarrow$ 설득 시나리오 수행 $\rightarrow$ 사후 설문 (TARES 윤리 척도 등).

3. 주요 기여 (Key Contributions)

1. LLMimic 도구 개발: 기술적 배경이 없는 일반 사용자를 위해 LLM 의 핵심 학습 단계 (Pre-training, SFT, RLHF) 를 역할극으로 체험하게 하는 최초의 인터랙티브 AI 리터러시 도구 중 하나를 제시했습니다.
2. 실증적 증거: 실제 인간-AI 상호작용 환경에서 이러한 개입이 설득 효과를 완화한다는 것을 입증했습니다.
3. 디자인 함의: 설득력 있는 AI 시스템에 대해 비판적으로 참여할 수 있도록 사용자를 권한 부여 (empower) 하는 도구 개발을 위한 설계 지침과 실용적 가이드라인을 제시했습니다.

4. 결과 (Results)

4.1 AI 리터러시 및 신뢰도 변화 (RQ1)

• 리터러시 향상: LLMimic을 경험한 실험군은 통제군에 비해 AI 리터러시 점수가 통계적으로 유의미하게 높았습니다 (p < .001). 특히 데이터 리터러시, AI 적용, AI 이해, AI 프로그래밍 항목에서 개선이 두드러졌습니다.
• 신뢰도 변화: 두 집단 모두 개입 후 AI 에 대한 신뢰도가 유의미하게 감소했습니다 (LLM 의 한계를 인지했기 때문으로 추정). 집단 간 신뢰도 차이는 통계적으로 유의하지 않았습니다.

4.2 설득 효과 완화 (RQ2)

• 설득 성공률 감소: LLMimic을 경험한 참가자는 통제군에 비해 전반적으로 설득될 확률이 42% 낮아졌습니다 (OR = 0.58, p = .045). 이는 세 가지 시나리오 (기부, 사기, 호텔 추천) 전반에서 관찰되었습니다.
• 윤리적 인식 향상: 특히 '호텔 추천' 시나리오에서 실험군은 통제군보다 에이전트를 더 진실하고 사회적 책임감이 있다고 평가했습니다 (TARES 척도 중 Truthfulness, Social Responsibility 항목, p < 0.01).
• 행동 패턴: 실험군은 윤리적 상황 (기부) 에서는 더 많은 금액을 기부했으나, 악의적 상황 (사기) 에서는 더 적은 금액을 지불하는 등 상황에 따른 차별적 대응을 보였습니다.

4.3 매개 효과 분석 (RQ3)

• 매개 변수 부재: 구조 방정식 모델링 (SEM) 결과, AI 리터러시나 AI 신뢰도가 개입과 설득 결과 사이의 매개 변수로 작용하지는 않았습니다.
• 해석: 설득력 감소는 단순히 "AI 에 대한 지식이 늘었다"거나 "신뢰가 줄었다"는 측정 가능한 척도로 설명되지 않으며, 설득적 AI 에 대한 사용자의 **보다 세밀한 반응 방식 (fine-grained shifts)**의 변화, 즉 설득 의도를 식별하고 비판적으로 평가하는 능력의 변화에서 기인한 것으로 보입니다.

5. 의의 및 결론 (Significance)

• 능동적 방어 메커니즘: 기존의 수동적 탐지나 라벨링을 넘어, 사용자가 LLM 의 작동 원리를 체험함으로써 설득의 메커니즘 자체를 이해하게 하고 저항력을 키우는 새로운 패러다임을 제시했습니다.
• 윤리적 구분 능력: LLMimic은 악의적 설득뿐만 아니라 윤리적 설득까지도 전반적으로 저항하게 만들 수 있다는 점은 한계일 수 있으나, 실험 결과 윤리적 상황에서는 오히려 에이전트의 진실성을 더 높게 평가하여 선과 악을 구분하는 능력 (discernment) 은 유지되었음을 시사합니다.
• 향후 연구 방향: 단기적 개입의 효과가 장기적으로 유지되는지 확인하기 위한 종단 연구와, 악의적 설득과 친사회적 설득을 구분하는 능력을 더욱 강화하는 맞춤형 개입 방안이 필요합니다.

요약하자면, 이 연구는 사용자가 LLM 이 되어 학습 과정을 체험하는 '역할극' 방식을 통해 AI 리터러시를 높이고, 이를 통해 설득력 있는 AI 시스템에 대한 비판적 사고와 저항력을 강화할 수 있음을 실증적으로 입증한 획기적인 연구입니다.