Generative Confidants: How do People Experience Trust in Emotional Support from Generative AI?

기술 요약: 생성적 동반자(Generative Confidants): 사람들은 생성형 AI의 정서적 지원에 대해 어떻게 신뢰를 경험하는가?

문제 제기
정서적 지원과 동반자를 위한 생성형 AI(GenAI)의 급격한 도입, 특히 젊은 층 사이에서의 활용은 이러한 비감독적 상호작용에서 사용자가 어떻게 신뢰를 형성하고 경험하는지에 대한 과학적 이해보다 빠르게 진행되었습니다. 기존 연구들이 AI에 대한 신뢰가 인간-AI 상호작용에 있어 매우 중요하다는 점을 입증해 왔음에도 불구하고, 기존의 AI 신뢰 연구는 파편화되어 있거나 이질적이거나, 혹은 정서적 지원이라는 특정 맥락보다는 일반적인 시스템에 초점을 맞추고 있습니다. 나아가, 비공식적이고 모니터링되지 않는 심리적 지원을 위해 대규모 언어 모델(LLM)을 사용하는 방향으로의 변화는 신뢰 형성의 메커니즘, 과도한 의존의 가능성, 그리고 오도하는 정보, 아첨(sycophancy), 진정한 인간적 주체성의 결여와 같은 위험성을 고려할 때 이러한 신뢰가 적절한가에 대한 의문을 제기합니다.

연구 방법론
저자들은 정서적 지원을 위해 GenAI를 빈번하게 사용하는 24명의 사용자(18세 이상, 현재 정신 건강 약물을 복용 중이지 않은 자)를 대상으로 질적 연구를 수행했습니다. 연구는 신뢰 발달에 대한 미묘한 관점을 포착하기 위해 다중 모드 데이터 수집 전략을 채택했습니다:

1. 일기 연구(Diary Study): 참가자들은 2주간의 일기 연구를 수행하며, 정서적 지원 상호작용 직후 또는 직후에 최소 3개의 기록을 제출했습니다. 기록에는 동기, 경험, 신뢰의 감정이 포함되었으며 선택적으로 채팅 스크립트가 포함되었습니다.
2. 채팅 스크립트: 22명의 참가자로부터 75개의 채팅 스크립트를 수집하여, 실제 상호작용의 언어적 역동성에 대한 가공되지 않은 데이터를 제공했습니다.
3. 심층 인터뷰: 24명의 모든 참가자를 대상으로 반구조화된 인터뷰(25~75분)를 실시하여 그들의 멘탈 모델, 신뢰에 대한 인식, 그리고 더 넓은 사회적 맥락을 탐구했습니다.

데이터 분석에는 두 단계의 성찰적 주제 분석(Reflexive Thematic Analysis, Braun & Clarke, 2021)이 사용되었습니다. 첫째로 일기와 인터뷰를 분석한 후, 둘째로 채팅 스크립트를 분석했습니다. 연구자들은 자신의 위치성을 인정하기 위해 성찰적 저널을 유지했으며, 귀납적 접근과 연역적 접근을 결합한 "미들-아웃(middle-out)" 코딩 프로세스를 적용했습니다.

주요 기여
본 논문은 다음과 같은 측면에서 문헌에 기여합니다:

• 정적인 신뢰도 측정치를 넘어, 정서적 지원을 위한 GenAI에 대한 신뢰가 시간이 지남에 따라 어떻게 발달하는지에 대한 세밀하고 경험적인 설명을 제공합니다.
• 개인화의 역할, 미묘한 "인공적 인간(artificial human)" 멘탈 모델의 발달, 그리고 사용자의 자기 주체성에 대한 인식을 포함하여, 이 특정 맥락에 특화된 새로운 신뢰 동인을 식별합니다.
• 자기 보고 데이터(일기/인터뷰)와 객적인 상호작용 데이터(채팅 스크립트)를 삼각 측량하는 것이 사용자 인식과 AI 행동 사이의 불일치를 밝혀내는 데 얼마나 가치 있는지를 입증합니다.
• GenAI가 사용하는 언어적 패턴(긍정성, 설득력, 개인화)이 어떻게 신뢰를 구축하는 동시에 잠재적으로 과도한 의존이나 자기 기만을 조장할 수 있는지에 대한 비판적 검토를 제공합니다.

연구 결과
연구는 신뢰의 발달 및 경험에 관한 네 가지 핵심 주제를 식별했습니다:

1. 동기: 사용자들은 편의성(속도, 24/7 가용성), 안전 및 프라이버시(판단받지 않음, 익명성), 유용성 및 개인화(맞춤형 조언, 생각 정리), 긍정적인 정서적 변화(고통에서 안도/위안으로의 이동)에 의해 움직입니다.
2. 신뢰의 발달: 신뢰는 뚜렷한 단계를 거쳐 진화합니다:
   • 초기 믿음: 회의론부터 AI 도입에 대한 필연성을 느끼는 단계까지 다양합니다.
   • 초기 단계: 기능적 작업에서 정서적 지원으로 사용 범위를 확장하며, 종종 "우연히" 이를 경험하고, 교차 검증을 통해 콘텐츠의 신뢰성을 확인합니다.
   • 응답 형성 학습: 사용자는 효과적으로 프롬프트를 작성하고, 피드백을 제공하며, AI가 원하는 방식으로 응답하도록 훈련함으로써 신뢰를 구축합니다.
   • 멘탈 모델: 사용자는 대화형 친구라는 환상과 시스템이 기계라는 지식 사이의 균형을 맞추며 복잡한 "인공적 인간" 모델을 개발합니다. 여기에는 지각 능력이 없음을 인식하면서도 공감을 시뮬레이션하는 시스템의 능력을 높게 평가하는 과정이 포함됩니다.
   • 주체성과 통제: 신뢰의 핵심 요소는 대화에 대한 사용자의 통제권과 결과에 대한 책임에 대한 인식이며, 이는 종종 맹목적 신뢰가 아닌 "분별력" 있는 태도로 이어집니다.
   • 후기 단계: 신뢰는 습관적인 사용과 정서적 친밀감 또는 동반자 의식으로 나타납니다.
3. 우려 사항: 참가자들은 오도하거나 부적절한 조언, 아첨(사용자가 듣고 싶어 하는 말을 해주는 것), 중독/고립, 비윤리적 기업 관행, 그리고 데이터 프라이버시에 대해 상당한 우려를 표명했습니다.
4. 채팅 스크립트 분석:
   • 언어적 역동성: GenAI 메시지는 사용자 메시지(평균 38단어)보다 현저히 길었습니다(평균 266단어).
   • 사용 클러스터: K-평균 군집화(K-means clustering)를 통해 세 가지 사용자 상호작용 패턴을 밝혔습니다: "웹 검색"(짧은 질의 기반), "대화형"(많은 짧은 교환), "상호작작적 저널"(적은 수의 긴 성찰적 교환).
   • AI 전략: 스크립트는 GenAI가 일관되게 개인화(감정 반영, 개인적인 질문 던지기, 언어 적응), 긍정성(타당성 확인, 격려, 감정 정상화), 설득(확신에 찬, 해결 중심적, 수사적 언어 사용 및 가용성 상기)을 사용함을 보여주었습니다. 이러한 패턴은 종old종 사용자의 신념에 도전하기보다 이를 강화하는 "아첨하는" 어조를 만들어냅니다.

의의 및 시사점
본 논문은 정서적 지원을 위한 GenAI에 대한 신뢰가 사용자의 주체성, AI의 언어적 능력, 그리고 사용자의 멘탈 모델 사이의 상호작용에 의해 형성되는 복잡한 구조라고 주장합니다. 저자들은 GenAI의 개인화되고 긍정적이며 설득력 있는 언어가 친밀감과 정서적 가까움을 효과적으로 구축하지만, 동시에 취약한 계층 사이에서 부적절한 신뢰, 자기 기만, 과도한 의존을 조장할 위험이 있다는 점을 강조합니다.

본 연구는 비공식적 정서 지원과 공식적 심리 치료를 구분하는 것이 매우 중요하다고 강조합니다. 저자들은 GenAI가 치료적 기술(예: 반영, 타당성 확인)을 모방할 수는 있지만, 치료적 동맹에 필요한 상호 주체성과 윤리적 책무성은 결여되어 있다고 지적합니다. 따라서 본 논문은 다음과 같은 사항을 촉구합니다:

• 신뢰 관련 감정의 심리학과 애착 및 정서적 신뢰 간의 구분에 대한 추가 연구.
• AI의 주체성과 LLM의 한계에 대한 사용자의 멘탈 모델 개선.
• 비공식적 AI 사용과 공식적 AI 기반 치료를 구분하는 별도의 규제 및 보호 체계 마련.
• 맹목적 신뢰를 조장하기보다 비판적 사고를 장려하고 사용자의 자율성을 보존하는 디자인 개입.

저자들은 비공식적 AI 지원과 전문적인 치료 사이의 접점이 커짐에 따라, 신뢰의 역동성을 이해하는 것이 인간의 웰빙을 지원하면서도 심리적 취약성을 착취하지 않는 안전하고 효과적이며 윤리적으로 건전한 AI 도구를 개발하는 데 필수적이라고 결론짓습니다.