Expert validation of AI-generated clinical assessment items for physician assistant certification: a multi-dimensional rubric and dual- reliability method

로봇에게 의사가 되는 법을 가르치려 한다고 상상해 보세요. 단순히 사실을 암기하게 하는 것이 아니라, 인간 의대생처럼 시험을 치르고, 미스터리를 풀고, 자신의 추론 과정을 설명하게 하고 싶습니다. 이것이 바로 교육 분야에서의 **생성형 AI(Generative AI)**의 세계입니다. AI를 인간 교수가 질문 하나를 쓰는 시간 동안 수천 개의 연습 문제를 뽑아낼 수 있는 초고속의 지치지 않는 작가라고 생각해 보세요. 하지만 여기에는 함정이 있습니다. 물리치료사(PA)가 면허를 따기 위해 통과해야 하는 고위험 시험의 경우, 나쁜 질문은 단순히 짜증 나는 수준이 아니라 위험할 수 있습니다. 질문이 혼란스럽거나 답이 틀리면 학생들은 잘못된 것을 배울 수 있기 때문입니다.

수년 동안 우리는 인간이 작성한 질문을 검토하기 위한 엄격한 시스템을 갖추고 있었습니다. 전문가 팀이 모든 질문을 읽으며 규칙을 준-수하는지, 명확한지, 그리고 적절한 기술을 테스트하는지 확인합니다. 하지만 아무도 이와 동일한 "전문가 검사"를 AI에 어떻게 적용해야 할지는 알지 못했습니다. 만약 AI가 질문을 작성한다면, 그것이 정말 좋은 질문인지 어떻게 알 수 있을까요? 그저 화려한 말의 나열일 뿐일까요, 아니면 진정한 의학 지식의 테스트일까요? 이 논문은 그 간극을 파고들며 다음과 같이 질문합니다. AI가 생성한 의학 질문을 검증할 수 있는 신뢰할로 있는 체크리스트를 구축할 수 있는가? 그리고 AI는 실제로 인간만큼 좋은 결과물을 만들어내는가?

---

AI 질문 공장과 전문가 검사관들

피츠버그 대학교의 연구진은 AI를 사용하여 물리치료사 국가 자격 시험(PANCE)을 위한 연습 문제를 생성하는 "공장"을 구축하기로 결정했습니다. 하지만 학생들이 이 질문들을 사용하게 하기 전에, 공장의 결과물을 검사할 방법이 필요했습니다. 그들은 AI를 그냥 믿을 수 없었기에, 인간 품질 관리 팀이 필요했습니다.

그래서 그들은 다섯 가지 특정 카테 categories로 구성된 상세한 점수표와 같은 새로운 검사 도구를 만들었습니다. 여러분이 베이킹 경연 대회를 심사한다고 상상해 보세요. 단순히 "좋은 케이크"라고 말하지 않을 것입니다. 대신 다음을 확인할 것입니다:

1. 임상-교육적 정렬(Clinical-Educational Alignment): 이 질문이 실제로 의사에게 필요한 지식을 테스트하는가?
2. 시나리오 완결성(Scenario Completeness): 이야기(환자의 증상)가 완전한가, 아니-면 제빵사가 달걀을 빠뜨렸는가?
3. 답안 선택지 품질(Answer Option Quality): 오답(매력적인 오답)이 까다롭지만 공정한가, 아니면 너무 뻔하게 틀린 것인가?
4. 언어 및 명확성(Language and Clarity): 질문을 읽기 쉬운가, 아니면 혼란스러운 덩어리인가?
5. 설명 품질(Explanation Quality): 학생이 틀렸을 때, 그 설명이 왜 틀렸는지 가르쳐 주는가?

연구팀은 이 점수표를 사용하여 55개의 AI 생성 질문을 검사했습니다. 그들은 여섯 명의 전문 PA 교수진을 심사위원으로 초빙했습니다. 결과는 놀라울 정도로 좋았습니다. 질문들은 전체 품질 척도에서 매우 높은 점수(1.0 만점에 평균 0.9285)를 받았는데, 이는 AI가 좋은 질문 작성 규칙을 성공적으로 따르고 있음을 의미합니다. "질문 트랙"(처음 네 가지 카테고리)과 "설명 트랙"(다섯 번째 카테고리) 모두 "강함(strong)"의 기준치를 통과했습니다.

거대한 "합의"의 미스터리

여기서 이야기는 약간 뒤틀리고 흥미로워집니다. 여섯 명의 전문가가 질문을 보았을 때, 그들은 대부분 동의했습니다. "네, 이것은 좋습니다." 실제로 그들은 약 **88%**의 확률로 질문의 품질에 대해 일치된 의견을 보였습니다.

하지만 연구진이 전문가들이 얼마나 일치하는지를 측정하기 위해 표준 수학 공식(이를 Fleiss' κ라고 부릅니다)을 사용했을 때, 수치는 믿기 힘들 정도로 낮게—거의 제로에 가깝게(0.1201) 나왔습니다. 보통 이런 낮은 수치는 전문가들이 서로 싸우고 있고 합의를 이루지 못했다는 것을 의미합니다. 하지만 그들은 실제로 합의하고 있었습니다!

논문은 이를 "전형성 역설(prevalence paradox)"로 설명합니다. 학생의 99%가 A를 받는 교실을 생각해 보세요. 만약 여러분이 누가 A를 받았는지에 대해 학생들이 얼마나 일치하는지 계산하려고 하면, 거의 모든 사람이 똑같은 행동을 하기 때문에 수학이 이상해집니다. 표준 공식은 이 "너무 많은 합의"에 의해 혼란을 느껴, 이를 단지 운이라고 생각합니다.

이를 해결하기 위해 연구진은 Gwet's AC1이라는 더 강력하고 견고한 수학 도구를 사용했습니다. 이 도구는 높은 점수(0.8653)를 주었으며, 전문가들이 실제로 일치하고 있음을 확인해 주었습니다. 논문은 AI가 좋은 작업을 수행할 때, 우리는 종-종 이러한 패턴을 보게 될 것이라고 주장합니다. 즉, 오래된 수학 방식으로는 낮은 합의로 보이는 높은 합의가 나타날 수 있다는 것입니다. 그들은 우리가 AI 콘텐츠가 실제로 훌륭할 때 당황하지 않기 위해 이 새로운 도구를 사용해야 한다고 제안합니다.

"인간 vs 로봇" 블라인드 테스트

마지막으로, 연구진은 학생들이 차이를 구별할 수 있는지 알고 싶었습니다. 그들은 10명의 의대생을 대상으로 블라인드 테스트를 실시했습니다. 학생들은 30개의 질문(AI가 작성한 15개, 인간이 작성한 15개)에 답했습니다. 학생들은 어떤 것이 무엇인지 몰랐습니다.

결과는 무승부였습니다. 학생들은 AI 질문의 **70.0%**를 맞혔고, 인간 질문의 **69.3%**를 맞혔습니다. 통계적으로 이는 막상한 결과입니다. AI 질문은 인간이 작성한 질문만큼이나 어렵고 명확했습니다.

그러나 학생들이 어떤 질문이 로봇에 의해 작성되었는지 추측하려 했을 때, 그들은 대부분 틀렸습니다. 그들은 단 **52.67%**의 확률로만 정답을 맞혔는데, 이는 사실상 동전 던지기 수준이었습니다. 흥미롭게도, 그들에게는 편향이 있었습니다. 그들은 AI 질문이 인간이 쓴 것이라고 생각하는 경향이 있었지만, 인간이 쓴 질문을 인간의 것이라고 식별하는 데는 더 뛰어났습니다. 이는 AI가 사람처럼 들리는 데 매우 능숙해지고 있지만, 아직 완벽하지는 않다는 것을 시사합니다.

이것이 의미하는 것 (그리고 의미하지 않는 것)

논문은 우리가 의료 시험을 위한 AI 질문을 검증할 수 있는 작동하는 "검사 도구"를 구축했다고 결론짓습니다. 테스트된 AI는 전문가 검토를 통과한 고품질의 콘텐츠를 생산했으며, 소규모 학생 테스트에서 인간이 작성한 질문만큼 잘 수행되었습니다.

하지만 저자들은 이것이 완성된, 완벽한 솔루션이라고 말하는 것은 조심스러워합니다. 학생 테스트 규모가 작았기 때문에(단 10명), 그들은 이를 "예비적(preliminary)"이라고 부릅니다. 또한 AI가 때때로 "답안 선택지 품질"에서 어려움을 겪으며, 즉 오답이 충분히 까다롭지 않을 때가 있다는 점도 언급했습니다. 그들이 만든 도구는 간호학이나 외과 위원회와 같은 다른 의학 시험에도 사용되도록 설계되었지만, 그곳에서도 먼저 테스트되어야 합니다.

요약하자면, AI가 아직 교사를 대체할 준비가 된 것은 아니지만, 그들의 작업을 확인할 수 있는 이 새로운 "점수표"가 있다면, 우리는 마침내 다음 세대의 의사들을 준비시키는 연습 시험을 작성하는 데 AI의 도움을 받을 수 있을지도 모릅니다.