"Are you an AI?" Analyzing Client Suspicion of AI Use in Crisis Counseling

이 연구는 인도의 약 76,000건에 달하는 상담사 투입 위기 상담 대화를 분석하여, 고객의 AI 사용에 대한 의심이 증가하고 있으며 이것이 대화 초기에 발생하고 명시적인 부인이 의심을 악화시킨다는 점을 밝혀냄으로써, 치료적 관계를 보존하기 위한 신중한 AI 통합의 필요성을 강조한다.

핵심

위기 상담 핫라인을 디지털 구명보트라고 상상해 보세요. 사람들이 깊은 정서적 어려움에 빠졌을 때, 이 보트에 올라타 훈련된 인간 선원과 대화하며 버틸 수 있는 도움을 받습니다.

최 최근, 사람의 감정을 돕는 일을 포함하여 AI 로봇이 일자리를 대체할 것이라는 이야기가 화제가 되면서, 이 구명보트에 탄 승객들 사이에서 의구심이 생기기 시작했습니다. 그들은 이렇게 궁금해하기 시작했습니다. "잠깐, 지금 나를 도와주는 사람이 진짜 사람인가, 아니면 사람인 척하는 로봇인가?"

이 논문은 연구진이 인도의 한 실제 WhatsApp 헬프라인에서 이루어진 75,777건의 대화를 조사하여, 이러한 의심이 얼마나 자주 발생하는지, 무엇이 이를 유발하는지, 그리고 인간 상담사들이 이를 어떻게 다루는지에 대해 보고한 내용입니다.

다음은 연구 결과의 요약이며, 이해를 돕기 위해 쉬운 비유를 사용했습니다.

1. "로봇 레이더"가 점점 강해지고 있습니다

사람들이 일상생활에서 AI 챗봇을 더 많이 사용함에 따라, AI를 식별하는 능력도 좋아지고 있습니다. 연구진은 *"당신은 봇인가요?"*라고 묻는 사람들의 수가 증가하고 있다는 것을 발견했습니다.

• 추세: 2024년 6월에는 **0.8%**의 사람들만이 질문했으나, 2025년 3월에는 그 수치가 **2.6%**로 급증했습니다.
• 누가 묻는가? 주로 젊은 성인층(18~24세)과 남성들이 기계와 대화하고 있다고 의심할 가능성이 더 높았습니다.

2. 왜 의심하게 되었는가? ("불쾌한 골짜기" 효과)

친구와 대화하고 있는데, 친구가 계속 똑같은 말을 반복하거나, 답장이 너무 늦거나, 혹은 로봇이 대본을 읽는 것처럼 들린다고 상상해 보세요. 당신은 *"이게 정말 내 친구가 맞나?"*라고 생각하기 시작할 것입니다.

연구에 따르면, 내담자들은 상담사의 행동이 "이상하다"고 느껴질 때 AI를 의심했습니다. 주요 유발 요인은 다음과 같습니다.

• "고장 난 레코드": 상담사가 반복적이거나 정형화된 답변을 제공함.
• "유령": 상담사가 내담자가 던진 특정 질문에 답하지 않음.
• "대기 시간": 상담사의 답장이 너무 늦음.
• "차가운 태도": 반응이 비인격적이거나 감정이 결여되어 있음.

참고: 이러한 "로봇 같은" 징후들은 때때로 상담사가 AI를 사용해서가 아니라, 한 번에 너무 많은 채팅을 처리하느라 바쁘거나 표준 안전 스크립트를 사용하기 때문에 발생하기도 했습니다.

3. 사람들은 무엇을 원했는가?

대부분의 사람들은 인간을 원했습니다.

• **21.5%**는 명시적으로 *"AI와 대화하고 싶지 않습니다. 진짜 사람과 대화하고 싶어요"*라고 말했습니다.
• 그들은 AI가 공감 능력(감정을 진정으로 이해하는 능력)이 부족하고, 신뢰할 수 없으며, 그냥 도움이 되지 않는다고 느꼈습니다.
• 흥미롭게도, 아주 적은 비율(0.2%)은 실제로 봇과 대화하기를 원했는데, 이들은 예외적인 경우였습니다.

4. 선원들은 어떻게 대응했는가 ("안심시키기" vs "무시하기" 게임)

내담자가 *"당신은 로봇인가요?"*라고 물었을 때, 인간 상담사들은 두 가지 주요 방식으로 대응했습니다.

• 전략 A: "안심시키기" (가장 흔한 방식)

  • 행동: 그들은 직접적으로 *"저는 진짜 사람임을 확언합니다!"*라고 말했습니다.
  • 결과: 이 방법은 효과적이었습니다. 의심을 품었던 내담자의 약 **55%**가 그 말을 믿고 안심했습니다. 나머지 **28%**는 그냥 주제를 넘기고 대화를 이어갔습니다.
  • 비유: 마치 조종사가 *"저는 컴퓨터가 아니라 진짜 조종사입니다"*라고 말하자 승객들이 즉시 안심하는 것과 같습니다.

• 전략 B: "회피하기" ("당신의 문제에 집중합시다" 방식)

  • 행 행동: 질문을 무시하고 *"걱정하시는 마음은 이해하지만, 당신의 문제에 집중해 봅시다"*라고 말했습니다.
  • 결과: 이 방식은 더 위험했습니다. 약 **48%**의 내담자는 그냥 넘어갔지만, **52%**는 좌절하거나 계속 질문을 던지거나 심지가 채팅을 종료했습니다.
  • 비유: 마치 조종사가 질문을 무시하고 *"창밖을 보세요"*라고만 말하여 승객들을 더욱 불안하게 만드는 것과 같습니다.

5. 핵심 결론

이 논문은 신뢰는 깨지기 쉽다고 결론짓습니다. 설령 AI가 실제로 도움이 된다 하더라도, 사람들이 그것을 AI라고 생각하는 순간, 그들은 덜 안전하고 덜 이해받고 있다고 느낍니다.

• 교훈: 위기 상황에 처한 사람들에게는 "진정한 연결감"이 무엇보다 중요합니다. 상담사(인간 혹은 AI의 도움을 받는 상담사)가 로봇처럼 느껴지면, 내담자는 기계와 대화하고 있다고 의심하게 됩니다.
• 해결책: 이러한 의심을 해결하는 가장 효과적인 방법은 정직함과 안심시키기입니다. 상담사가 자신이 인간임을 명시적으로 확인해 줄 때, "로봇 레이더"는 보통 꺼지며 대화는 다시 구명보트를 구하는 본래의 목적으로 돌아갈 수 있습니다.

요약하자면: 사람들은 로봇과 대화하고 있다는 것을 걱정하고 있습니다. 의심을 받을 때 상담사가 할 수 있는 최선의 방법은 단순히 *"아니요, 저는 진짜 사람입니다"*라고 말하고, 그것을 진심으로 전달하는 것입니다. 질문을 회피하려고 하면 내담자는 종종 더 큰 의심을 갖게 됩니다.

기술 요약

기술 요약: "당신은 AI인가요?" 위기 상담 중 발생하는 클라이언트의 AI 사용 의심 분석

문제 제기
인공지능(AI) 도구가 정신 건강 관리 분야에 점점 더 많이 도입됨에 따라, 이러한 시스템에 대한 대중의 신뢰는 여전히 불확실한 상태이다. AI는 확장성을 제공할 수 있지만, 공감과 연결이 필요한 위기 순간의 상담 상호작용에서 클라이언트가 AI의 개입을 어떻게 인식하는지는 명확하지 않다. AI 사용에 대한 클라이언트의 의심 빈도, 이러한 의구심을 유발하는 구체적인 트리거(trigger), 그리고 인간 상담사가 이러한 도전에 어떻게 대응하는지를 이해하는 데에는 중요한 격차가 존재한다. 이러한 데이터 없이는 치료적 관계를 보존하는 AI 시스템을 설계하기 어렵다.

연구 방법론
본 연구는 2024년 5월 31일부터 2025년 3월 31일 사이에 인도 Vandrevala Foundation 긴급 헬프라인에서 수집된 75,777건의 WhatsApp 대화(메시지 총 2,225,107건) 데이터셋을 분석하였다. 모든 상호작용은 AI의 도움 없이 훈련된 인간 상담사에 의해 수행되었다.

AI 의심 사례를 식별하고 특징짓기 위해, 저자들은 **대규모 언어 모델(LLM, GPT-4.1)**을 사용하여 코퍼스(corpus)를 처리하였다. LLM에게 부여된 과업은 다음과 같다:

1. 탐지(Detection): 클라이언트가 자신이 AI와 대화하고 있다고 명시적으로 의심한 대화를 식별한다.
2. 주석 달기(Annotation): 클라이언트 인구통계, 제시된 고민, AI에 대한 태도, 의심을 유발하는 트리거(예: 응답 지연, 반복적인 문구), 대화 내 의심 발생 시점, 상담사 대응 전략, 그리고 이후의 클라이언트 반응을 포함한 특정 변수들을 추출한다.

주석 과정은 엄격한 검증자 간 신뢰도(inter-rater reliability) 연구를 통해 검증되었다. 5명의 인간 검증자가 100건의 대화를 주석 처리하였으며, 단일 레이블 카테고리에 대해 상당한 일치도(Cohen's $\kappa \ge 0.61$)를 달성하였다. 이후 LLM은 이러한 인간의 주석을 대상으로 평가되었으며, 클라이언트 태도($\kappa = 0.82$), 상담사 전략($\kappa = 0.89$) 등에서 대등하거나 더 우수한 일치 지표를 보여 확장 가능한 주석 도구로서의 활용 가능성을 입증하였다.

주요 결과

• 유병률 및 인구통계: 본 연구는 클라이언트가 AI 사용을 의심한 **1,157건의 대화(1.5%)**를 식별하였다. 이러한 대화의 비율은 2024년 6월 0.8%에서 2025년 3월 2.6%로 증가하였다. 의심을 표현한 클라이언트는 일반 표본에 비해 통계적으로 남성(28.9% 대비 38.9%) 및 **18~24세(53.0% 대비 61.3%)**일 가능성이 높았다.
• 클라이언트 태도 및 신념: 의심을 품은 클라이언트 중 **21.5%**는 명시적으로 인간과의 상호작용을 선호했으며, AI를 선호한다고 표현한 비율은 단 **0.2%**에 불과했다. AI에 대한 가장 흔한 부정적 신념은 AI가 공감이 부족하다(16.0%), 신뢰할 수 없다(11.0%), 또는 **도움이 되지 않는다(10.6%)**는 것이었다.
• 의심의 트리거: 의심은 주로 대화의 첫 번째(38.5%) 또는 두 번째(30.3%) 분기에서 발생하였다. 주요 트리거는 다음과 같았다:
  • 직접적으로 답변되지 않은 질문 (17.9%)
  • 비인격적인 응답 (12.5%)
  • 반복적인 응답 (14.6%)
  • 더 긴 응답 시간 (8.5%)
  • 주목할 점은, **46.6%**의 사례에서 상담사의 행동 중 "명확한 트리거"가 식별되지 않았다는 것이다.
• 상담사 대응 및 결과:
  • 안심시키기(Reassurance): **84.3%**의 사례에서 상담사는 클라이언트에게 자신이 인간임을 명시적으로 확인시켜 주었다 (예: "안심하세요, 이것은 AI가 아닙!"). 이 전략은 **54.8%**의 클리언트가 의심을 덜 갖게 만들었으며, **27.6%**가 자신의 고민을 논의하는 단계로 넘어가는 결과를 낳았다.
  • 회피/전환(Avoidant/Redirecting): **15.7%**의 사례에서 상담사는 의심을 명시적으로 다루지 않고 대화를 클라이언트의 제시된 고민으로 전환하였다. 이 방식은 **47.8%**의 클라이언트가 대화를 계속 진행하게 했으나, **52.2%**는 문제를 계속 제기하거나, 대화를 종료하거나, 좌절감을 표현하였다.

의의 및 주장
본 논문은 AI에 대한 대중의 친숙도가 높아짐에 따라 디지털 케어 환경에서의 AI 사용에 대한 의심이 증가할 것이며, 이는 치료적 관계에 잠재적 위험을 초래할 수 있다고 주장한다. 저자들은 하나의 역설을 강조한다. 즉, 블라인드 테스트를 거친 검토자들은 AI가 보조한 메시지를 순수하게 인간이 작성한 메시지보다 더 인간적이고 공감적이라고 판단할 수 있지만, 클라이언트들은 실제 AI 개입 여부와 상관없이 AI 사용을 의심할 때 메시지를 더 낮게 평가한다는 점이다.

본 연구는 투명성이 항상 신뢰를 구축하는 것은 아니다라고 결론짓는다. 대신, 연구 결과는 클라이언트의 의구심을 인정하고 직접적인 안심을 제공하는 상담사가 의구심을 회피하는 상담사보다 현저히 나은 성과를 거둔다는 것을 시사한다. 저자들은 AI 보조 기능을 상담에 통합할 때 투명성과 치료적 상호작용의 인지된 진정성 사이의 세심한 균형이 필요하다고 주장하며, 위기 상황에서 "인간적" 요소가 클라이언트의 신뢰에 있어 핵심적인 구성 요소임을 명시하였다.