Evaluation of symptom checker formats to support health literacy and trust in AI: Results from an online randomised-controlled trial

호주 성인 2,110 명을 대상으로 한 무작위 대조 시험 결과, AI 기반 증상 체크 도구 (특히 맞춤형 정보 제공) 는 표준 도구에 비해 증상 관리 지식 향상과 불필요한 1 차 진료 이용 감소에 효과적이었으며, AI 사용 명시 여부는 신뢰도나 수용성에 유의미한 영향을 미치지 않았습니다.

핵심

이 연구 논문을 마치 건강한 미래를 위한 '디지털 나침반' 실험처럼 상상하며, 쉽고 재미있게 설명해 드릴게요.

🧭 연구의 배경: "아프는데 어디로 가야 할까?"

우리가 감기나 배탈이 나면 "어떡하지? 병원에 가야 하나, 집에서 쉬면 되나?" 고민하죠. 이때 많은 사람이 **'증상 체크기 (Symptom Checker)'**라는 온라인 도구를 사용합니다. 마치 여행할 때 지도 앱처럼, 증상을 입력하면 "집에서 쉬세요" 혹은 "의사에게 가세요"라고 알려주는 거예요.

하지만 기존 도구들은 때로는 너무 딱딱하고, "왜 그렇게 조언하는지" 이유를 잘 설명해주지 않아 사람들이 혼란을 겪기도 했습니다.

🤖 실험 내용: "AI 가 쓴 건강 지도 vs 기존 지도"

연구팀은 호주에서 2,100 명 이상의 성인에게 가상의 건강 상황 (열이 나고 구토를 함) 을 제시하고, 서로 다른 형태의 '증상 체크기' 화면을 보여줬습니다.

이 실험은 마치 다섯 가지 다른 나침반을 비교하는 실험이었습니다:

1. 기존 나침반 (Standard): 예전부터 쓰던 그대로의 설명.
2. AI 가 쓴 맞춤형 나침반 (AI-enhanced): "네가 지금 열이 나고 구토를 했으니, 이 약을 먹고 물을 마셔"처럼 내 상황에 딱 맞는 조언을 해주고, "왜 집에서 쉬라고 하는지 이유"도 설명해 줌.
3. 단계별 나침반: "1 단계, 2 단계"처럼 순서대로 알려줌.
4. 영상/이미지 나침반: 열의 증상을 보여주는 영상과 그림이 포함됨.
5. 상세한 AI 설명 나침반: "이 조언은 AI 가 썼어요"라고 자세히 설명함.

📊 실험 결과: 무엇이 달라졌을까?

1. "불필요한 병원 방문"을 줄였다! (가장 큰 성과)

• 상황: 집에서 쉬면 될 만한 가벼운 증상 (저급도) 일 때.
• 결과: 기존 나침반을 본 사람들은 "아, 그래도 의사 한 번 볼까?"라고 생각했지만, AI 가 쓴 맞춤형 나침반을 본 사람들은 **"집에서 잘 관리하면 되겠다"**라고 확실히 깨달았습니다.
• 비유: 기존 지도는 "산이 있으니 조심하세요"라고만 했다면, AI 지도는 "이 길은 평지라 걷기 좋으니 산책하세요. 대신 모자 쓰세요"라고 구체적으로 알려줘서 불필요한 등반 (병원 방문) 을 막아준 셈입니다.

2. "지식"은 바로 향상되었지만, 기억력은 떨어졌다.

• 결과: AI 가 쓴 맞춤형 조언을 본 사람들은 증상 관리법을 바로 이해하는 데 훨씬 뛰어났습니다. 하지만 2 주 뒤에 다시 물어보니, 그 지식이 조금씩 잊혀졌습니다.
• 비유: AI 지도는 설명이 너무 명확해서 처음엔 "아하! 알겠다!"가 되지만, 시간이 지나면 그 구체적인 설명이 머릿속에서 흐릿해지는 것과 같습니다.

3. "신뢰"는 변하지 않았다.

• 결과: "이 도구가 AI 가 썼다고 해서 믿음이 떨어지나?"라고 걱정했는데, 전혀 그렇지 않았습니다. 사람들은 AI 가 썼다는 사실을 알면서도 여전히 도구를 높게 신뢰했습니다.
• 비유: 요리사가 "이 요리는 로봇이 재료를 다듬었어요"라고 말해도, 맛과 위생이 보장된다면 사람들은 여전히 그 요리를 믿고 먹습니다. 중요한 건 '누가' 썼는지보다 '어떻게' 썼는지였습니다.

💡 결론: AI 는 '도움말'일 뿐, '대체재'가 아니다

이 연구는 우리에게 중요한 메시지를 줍니다:

• AI 는 복잡한 의학 용어를 우리 말로 바꿔주는 '통역사' 역할을 잘합니다. 맞춤형 조언을 해주면 사람들이 병원을 덜 가고, 집에서 올바르게 치료할 수 있습니다.
• AI 가 썼다고 해서 사람들이 불신하지 않습니다. 오히려 명확한 이유와 근거를 제시하면 신뢰는 유지됩니다.
• 하지만 기억력은 짧습니다. 한 번 보고 끝이 아니라, 지속적으로 정보를 제공하거나 상호작용할 필요가 있습니다.

한 줄 요약:

"AI 가 쓴 건강 지도는 우리가 불필요한 병원 방문을 줄이고, 집에서 어떻게 아픈지 정확히 알게 해주는 훌륭한 친구가 될 수 있습니다. 다만, 그 친구가 AI 라는 사실을 알려도 우리는 여전히 그를 믿을 수 있다는 것이 이 실험의 놀라운 발견입니다!"

기술 요약

논문 요약: 건강 문해력과 AI 신뢰도를 지원하기 위한 증상 확인기 (Symptom Checker) 포맷 평가

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 온라인 증상 확인기는 10 년 이상 널리 사용되어 왔으나, 사용률이 낮고 다양한 사용자의 건강 문해력 (Health Literacy) 요구를 충족하지 못한다는 한계가 있습니다.
• 주요 문제:
  • 추천 따르지 않음: 사용자가 조언을 받더라도 실제 행동으로 옮기지 않는 경우가 많습니다.
  • 디지털 격차 및 건강 불평등: 도구 사용이 쉬운 사용자 (고학력, 여성, 백인 등) 에게 치우쳐 있으며, 의료 용어 사용 등으로 인해 접근성이 떨어집니다.
  • 신뢰 부족: 의사결정 과정의 불투명성, 모호한 조언, AI 에 대한 불신 등이 장벽으로 작용합니다.
• 연구 목적: 생성형 AI (Generative AI) 를 활용하여 증상 확인기의 내용을 개인화하고, AI 사용 사실을 명시하는 등 다양한 포맷을 도입했을 때, 사용자의 증상 관리 지식, 도구에 대한 신뢰, 수용성, 그리고 행동 의도 (자가 치료 vs 병원 방문) 에 미치는 영향을 평가하는 것입니다.

2. 연구 방법론 (Methodology)

• 연구 설계: 2 개의 병렬군 온라인 무작위 대조 시험 (RCT) 으로 구성되었습니다.
  • 참가자: 2025 년 6 월에 온라인 패널을 통해 모집된 호주 성인 2,110 명 (분석 대상 2,062 명).
  • 시나리오: "발열과 구토"라는 가상의 건강 상황을 제시했습니다.
  • 증상 심각도 (Acuity Level) 조작:
    1. 낮은 심각도 (Low Acuity): 가정에서 자가 치료 권장.
    2. 중등도 심각도 (Moderate Acuity): 24 시간 이내 일반의 (GP) 방문 권장.
  • 중재 그룹 (5 가지 포맷): 참가자는 5 가지 증상 확인기 포맷 중 하나를 무작위로 할당받았습니다.
    1. 표준 (Standard): 기존 healthdirect 도구의 내용 (비개인화).
    2. AI 향상형 (AI-enhanced): 증상별 맞춤 조언, 조언의 근거 명시, AI 생성 명시.
    3. AI 향상형 + 번호 매기기: 자가 관리 단계를 번호가 매겨진 단계로 제시.
    4. AI 향상형 + 멀티미디어: 발열 관리 동영상 및 증상 이미지 포함.
    5. AI 향상형 + 상세 AI 정보: 도구 내 AI 통합 방식에 대한 상세 설명 제공.
• 측정 지표:
  • 주요 결과: 자가 치료 조언 따르기 의도, 24 시간 내 GP 방문 의도.
  • 부차적 결과: 조언에 대한 신뢰 (인지적/정서적), 증상 관리 지식 (즉시 및 2 주 후), 도구 수용성.
• 분석: 의도치 분석 (Intention-to-treat), Kruskal-Wallis 검정, Dunn's 사후 검정, 선형 회귀 분석 등.

3. 주요 결과 (Key Results)

• 행동 의도 (Intention):
  • 자가 치료 권장 시 (낮은 심각도): AI 향상형 포맷을 본 참가자들은 표준 포맷을 본 참가자보다 24 시간 내 GP 방문 의도가 유의미하게 낮았습니다 (중앙값 3.00 vs 4.00, p=0.003). 이는 불필요한 1 차 진료 이용을 줄일 수 있음을 시사합니다.
  • GP 방문 권장 시 (중등도 심각도): 포맷에 따른 GP 방문 의도 차이는 통계적으로 유의하지 않았습니다.
  • 자가 치료 의도: 모든 심각도 수준에서 포맷에 따른 자가 치료 의도 변화는 유의하지 않았습니다.
• 지식 (Knowledge):
  • 즉시 측정: AI 향상형 포맷을 본 모든 그룹은 표준 포맷 그룹보다 현재 증상 및 변화하는 증상 관리에 대한 지식이 유의미하게 높았습니다 (p < 0.001). 효과 크기는 중간 수준이었습니다.
  • 2 주 후 추적 조사: 초기 지식 향상 효과는 2 주 후 유지되지 않았습니다. 일부 AI 포맷 (멀티미디어, 상세 AI 정보) 은 표준 그룹보다 지식 감소 폭이 더 컸습니다.
• 신뢰 및 수용성 (Trust & Acceptability):
  • 신뢰: AI 사용 사실을 명시했음에도 불구하고, 모든 포맷 간 신뢰도나 수용성에 유의미한 차이가 없었습니다. 참가자들은 전반적으로 높은 신뢰도를 보였습니다.
  • 결론: AI 사용에 대한 명시적 고지가 도구의 신뢰도를 떨어뜨리지 않았습니다.

4. 주요 기여 및 시사점 (Key Contributions & Significance)

• 맞춤형 정보의 효과: AI 를 활용한 개인화된 조언과 명확한 근거 설명은 사용자의 증상 관리 지식을 향상시키고, 불필요한 병원 방문을 줄이는 데 효과적임을 입증했습니다.
• AI 에 대한 대중의 인식: 생성형 AI 를 명시적으로 언급하더라도 신뢰나 수용성에 부정적인 영향을 미치지 않으며, 오히려 국가 공인 건강 서비스 (healthdirect) 와 결합될 경우 신뢰를 유지할 수 있음을 보여주었습니다.
• 정책 및 실무적 함의:
  • 증상 확인기 디자인 시 의료 용어 대신 행동 가능한 일반 언어 (Plain Language) 와 명확한 근거를 제공하는 것이 중요합니다.
  • AI 기술을 도입할 때 "AI 사용 명시"가 신뢰 저하의 원인이 아니므로, 투명성을 확보하는 방향으로 설계할 수 있습니다.
• 연구의 한계 및 향후 과제:
  • 정적 스크린샷을 사용했으므로 실제 상호작용형 프로토타입과의 차이가 있을 수 있습니다.
  • 지식 향상 효과가 단기적으로만 나타났으므로 장기적 유지 전략이 필요합니다.
  • 다양한 건강 상황과 실제 환자 경험을 반영한 추가 연구가 필요합니다.

5. 결론

이 연구는 AI 기반의 증상 확인기 포맷이 사용자의 건강 문해력을 지원하고 불필요한 의료 이용을 줄이는 데 유효할 수 있음을 시사합니다. 특히 AI 사용 사실을 투명하게 공개하더라도 사용자의 신뢰를 해치지 않으므로, 향후 더 다양한 건강 맥락에서 상호작용형 AI 기반 증상 확인기 개발 및 적용이 권장됩니다.