Measuring AI Readiness in Health Professions Education: Development and Validation of the AI Competence and Preparedness Evaluation Resource (AICPER)

당신이 미래의 의사, 간호사, 그리고 공중보건 전문가가 될 학생들에게 새로운, 아주 똑똑한 로봇 조수 사용법을 가르치려 한다고 상상해 보세요. 완벽한 교육 매뉴얼을 만들기 전에, 당신은 먼저 학생들이 이 로봇에 대해 어떻게 생각하는지 정확히 알아야 합니다. 그들은 로봇을 좋아하나요? 로봇이 실수를 할까 봐 두려워하나요? 숙제를 할 때 로봇을 사용하는 것이 부정행위라고 생각하나요?

오랫동안 이러한 질문을 던지기 위해 사용된 도구들은 마치 온도를 측정하는 데 자를 사용하는 것과 같았습니다. 즉, 직무에 적합하지 않았습니다. 그 도구들은 너무 단순하거나, 특정 유형의 학생에게만 집중되어 있었거나, 혹은 "생성형 AI"(에세이를 쓰고 이미지를 만드는 종류의 AI)가 폭발적으로 등장하기 전에 작성되었습니다.

여기에 AICPER가 등장합니다. 이것을 미국의 보건 의료 전공 학생들을 위해 특별히 설계된, 최첨단 "AI 태도 온도계"라고 생각하십시오. 러트거스 대학교(Rutsson University)의 연구진은 간호, 약학, 공중보건 전공 학생들이 인공지능에 대해 어떻게 느끼는지 정확히 파악하기 위해 이 도구를 만들었습니다.

핵심 발견: 중요한 것은 '어디서'가 아니라 '어떻게'이다

연구진이 처음 AICPER를 구축했을 때, 그들은 AI가 사용되는 세 가지 구체적인 장소인 임상 실습(병원), 연구(실험실), 그리고 교육(교실)을 측정할 것이라고 생각했습니다. 그들은 답변들이 이 세 가지 깔끔한 더미로 분류될 것이라고 예상했습니다.

하지만 반전이 있었습니다. 학생들의 뇌는 답변을 그런 방식으로 분류하지 않았습니다. 연구진이 수치를 분석했을 때, "더미"들은 장소가 아닌 '감정'을 기준으로 세 가지 완전히 다른 카테 categories로 재배열되었습니다.

1. 기능적 이점 (The "Cool Tool" Factor - 멋진 도구 요소): 이 그룹은 학생들이 AI가 자신의 업무를 얼마나 더 쉽고, 빠르고, 똑똑하게 만들어 줄 것이라고 생각하는지를 측정합니다. 이는 "이 로봇이 무거운 상자를 옮기는 데 도움이 될까?"라고 묻는 것과 같습니다.
2. 윤리와 신뢰 (The "Worry" Factor - 걱정 요소): 이 그룹은 두려움을 포착합니다. 로봇이 실수를 할까요? 편향되어 있을까요? 환자의 비밀을 믿고 맡길 수 있을까요? 이것은 "이 로봇이 내 일자리를 뺏거나 나에게 거짓말을 하지는 않을까?"라는 더미입니다.
3. 교육적 참여 (The "Let's Learn" Factor - 학습 요소): 이것은 AI 관련 학습에 대한 학생들의 참여 수준을 측정합니다. 이는 "나는 이것에 관한 수업을 듣고 싶다"라는 더미입니다.

이 논문은 이 새로운 세 부분 구조가 단순히 "병원에서 AI를 사용하는 것에 대해 어떻게 생각하나요?"라고 묻는 것보다 학생들을 이해하는 데 훨씬 더 나은 방법임을 보여주었습니다. 어떤 학생은 AI가 시간을 절약하는 데 환상적인 도구라고 생각하면서도(높은 기능적 이점), 동시에 윤리적 위험에 대해서는 여전히 겁을 먹을 수 있습니다(낮은 윤리와 신뢰). 기존의 도구들은 이러한 미묘한 차이를 놓쳤겠지만, AICPER는 이를 잡아냅니다.

어떻게 테스트했는가 (스트레스 테스트)

이 새로운 온도계가 실제로 작동하는지 확인하기 위해, 연구진은 단순히 추측하지 않았습니다. 그들은 193명의 학생과 7명의 전문가 심사위원을 투입하여 엄격한 스트레스 테스트를 거쳤습니다.

• 전문가들: 학위가 높은 7명의 똑똑한 사람들이 모든 질문이 타당한지 확인했습니다. 그들은 질문들이 관련성이 있다는 데 동의했으며, 이 도구에 대해 0.86이라는 매우 좋은 "내용 타당도(content validity)" 점수를 부여했습니다.
• 학생들: 간호, 약학, 공중보건 프로그램의 학생 193명이 설문에 참여했습니다.
• 수학: 연구진은 질문들이 제대로 뭉쳐 있는지 확인하기 위해 "탐색적 요인 분석(Exploratory Factor Analysis)"과 "확인적 요인 분석(Confirmatory Factor Analysis)" 같은 고도의 통계 기법을 사용했습니다. 결과는 어떠했을까요? 이 도구는 아주 잘 버텨냈습니다. 내부 일관성 점수는 0.86이었으며, 이는 질문들이 동일한 근본적인 감정을 신뢰성 있게 측정하고 있음을 의미합니다.

숫자가 말해주는 것들

연구는 단순히 "작동한다"라고 말하는 데 그치지 않고, 이를 뒷받침하는 구체적인 수치를 제시했습니다.

• 최종 도구는 18개 문항으로 구성되어 있습니다 (잘 맞지 않는 2개 문항은 제외되었습니다).
• 세 가지 요인(기능적 이점, 윤리, 참여)은 서로 구별되면서도 연관되어 있으며, 상관관계는 0.42에서 0.61 사이입니다.
• 이 도구는 간호, 약학, 공중보건 학생들에게 동일하게 작동합니다. 연구진은 그룹 간 비교를 통해 차이가 매우 미미함(-0.001)을 확인했으며, 이는 간호사와 약사가 동일한 "언어"로 질문에 답하고 있음을 의미합니다.

이것이 '아닌' 것 (제한 사항)

이 논문이 주장하지 않는 바를 아는 것도 중요합니다.

• 마법 지팡이가 아닙니다: 논문은 일부 부분에 대해 이것이 "예비적(preliminary)" 단계임을 명시적으로 밝히고 있습니다. 연구진은 구조를 발견하는 데와 이를 확인하는 데 동일한 학생 집단을 사용했습니다. 비록 결과가 안정적임을 증명하기 위해 고급 수학(2,000번의 반복을 통한 부트스트랩 리샘플링)을 사용했지만, 다른 학생 집단에서 테스트하는 것이 다음 단계로 반드시 필요하다는 점을 인정했습니다.
• 아직 완벽하지 않습니다: 연구진은 "역채점(reverse-scored)" 질문들(즉, '아니오'라고 답해야 '예'를 의미하게 되는 질문들) 중 일부가 데이터에 약간의 노이즈를 생성한다는 것을 발견했습니다. 해당 질문들에서 발생하는 변동의 약 **24.8%**는 질문의 내용이 아니라 질문 방식 때문에 발생했습니다. 그들은 향후 버전에서는 질문을 더 명확하게 재구성해야 한다고 제안합니다.
• 아직 모두를 위한 것은 아닙니다: 이 연구에는 간호, 약학, 공중보건 전공 학생들만 포함되었습니다. 의대생(미래의 의사)들에게도 이 도구가 작동하는지는 아직 확인되지 않았습니다.

결론

AICPER는 보건 의료 전공 학생들이 AI에 대해 어떻게 느끼는지 성공적으로 측정하는, 엄격하게 검증된 18개 항목의 도구입니다. 이 도구는 학생들의 태도가 단순히 AI를 '어디서' 사용하는지에 관한 것이 아니라, 유용성, 신뢰, 그리고 참여라는 세 가지 핵심 감정에 기반한다는 것을 입증했습니다.

연구진은 학교 지도자들이 이 도구를 사용하여 학생들이 정확히 어느 지점에서 어려움을 겪고 있는지 파악할 수 있다고 제안합니다. 만약 어떤 수업이 AI의 이점은 잘 이해하고 있지만 윤리적인 면에서 겁을 먹고 있다면, 그 두려움을 해결하기 위한 구체적인 수업을 설계할 수 있습니다. 만약 윤리 의식은 높지만 기술 학습에는 의욕이 없다면, 다른 교수법을 시도할 수 있습니다.

이 논문은 (더 많은 테스트가 필요하므로) 이를 "최종 솔루션"이라고 부르는 데까지는 나아가지 않지만, 보건 교육 분야에서 AI 준비도를 탐색하기 위한 첫 번째 견고하고 검증된 지도를 제공합니다. 이는 막연한 추측을 명확하고 3차원적인 그림으로 바꾸어 놓았습니다.