Validation asymmetry in generative AI–generated clinical educational content: a scoping review

인공지능이 의학 사례 연구를 작성하고, 해부학 도해를 그리며, 몇 초 만에 환자와의 대화를 시뮬레이션할 수 있는 교사가 있는 교실을 상상해 보십시오. 생성형 인공지능으로 알려진 이 기술은 의과대학과 간호사, 의사 및 기타 보건 의료 전문가를 위한 교육 프로그램에 빠르게 도입되고 있습니다. 이 기술은 유창하고 그럴듯하며 특정 학생에게 맞춤화된 무한한 학습 자료를 만들어낼 것을 약속합니다. 하지만 이러한 도구들이 점점 더 흔해짐에 따라 중요한 질문이 제기되었습니다. AI가 설득력 있는 이야기나 실감 나는 이미지를 만들어낼 수 있다고 해서, 그 콘텐츠가 교육용으로 사용하기에 실제로 안전하고 공정한가 하는 점입니다. 핵심 문제는 기계가 말을 하거나 그림을 그릴 수 있느냐가 아니라, 생성된 정보가 정확한지, 모든 유형의 사람들을 공정하게 다루는지, 그리고 이를 만드는 데 사용된 방법이 신뢰할 수 있을 만큼 투명한지 여부입니다.

2020년에서 2026년 사이에 발표된 연구를 대상으로 한 최근의 포괄적인 검토는 바로 이 질문에 답하고자 했습니다. 연구진은 생성형 AI가 보건 전문직을 위한 교육 콘텐츠를 만드는 데 어떻게 사용되는지를 조사한 161개의 연구를 검토했습니다. 그들은 학생들이 AI를 좋아하는지 또는 얼마나 빨리 작동하는지에 관심을 두지 않았습니다. 대신, 그들은 세 가지 구체적인 검증 영역, 즉 의학적 사실이 정확한지, 묘사된 사람과 집단이 해로운 고정관념 없이 공정하게 표현되었는지, 그리고 오류를 수정하기 위해 사용된 전략이 실제로 효과가 있는지에 집중했습니다. 연구팀은 이러한 서로 다른 측면들이 검증되는 방식에서 현저한 불균형을 발견했습니다. 거의 모든 연구가 의학적 사실이 맞는지 확인했지만, 콘텐츠가 다양한 집단의 사람들에게 공정한지 확인한 연구는 매우 적었으며, 제안된 해결책이 실제로 문제를 해결했는지 테스트한 연구는 훨씬 더 적었습니다.

연구진은 검토한 161개 연구 중 156개, 즉 거의 97%가 재현 충실도(representational fidelity)를 확인하는 데 집중했다는 사실을 발견했습니다. 쉽게 말해, 이는 AI의 출력이 의학적으로 정확한지, 실제 사실을 포함하고 있는지, 그리고 정보를 지어내거나("환각 현상") 세부 사항을 꾸며내지 않는지를 검증하는 것을 의미합니다. 이는 의대생이 가짜 진단으로부터 배우는 것은 위험할 수 있기 때문에 매우 중요한 점검입니다. 그러나 연구진이 인구통계학적 편향(예: AI가 특정 인종, 성별 또는 연령을 고정관념적인 방식으로 묘사하거나 완전히 누락시키는지 여부)을 확인하는 연구를 찾았을 때, 단 21개의 연구만이 발견되었습니다. 이는 전체의 13%에 불과합니다. 이러한 편향을 조사한 소수의 연구 중 18개는 AI가 실제로 고정관념을 재생산하거나 불균형한 묘사를 생성하고 있음을 발견했습니다. 예를 들어, 일부 생성된 이미지는 간호사나 의사를 오직 한 가지 성별이나 인종으로만 보여주었으며, 일부 임상 사례는 특정 질병을 실제와 맞지 않는 방식으로 특정 민족 집단과 연결 짓기도 했습니다.

이러한 관심의 격차를 저자들은 '검증 비대칭성(validation asymmetry)'이라고 부릅니다. 이는 현재 이 분야가 "이것이 사실적으로 정확한가?"라고 묻는 데는 매우 능숙하지만, "이것이 모두에게 공정한가?"라고는 아직 묻지 않고 있음을 시사합니다. 또한 이 검토는 테스트된 콘텐츠가 주로 텍스트였으며, 이미지나 대화를 다룬 연구는 더 적었다는 점을 강조했습니다. 놀랍게도, 가상 환자와 같이 학생들과 대화하는 대화형 AI를 테스트한 연구 중 어느 것도 이러한 인구통계학적 편향을 명시적으로 확인하지 않았습니다. 이것이 그 대화 속에 편향이 없다는 뜻은 아니며, 단지 아직 아무도 그것을 찾아보지 않았다는 것을 의미합니다. 연구진은 또한 AI에 주는 지침을 변경하거나 인간 전문가가 출력을 검토하는 것과 같이 오류를 수정하는 여러 방법을 제안했지만, 실제로 그 수정법이 효과가 있는지 테스트한 연구는 극소수에 불과하다는 점에 주목했습니다. 그 수정법을 테스트한 소수의 경우에도 결과는 엇갈렸으며, 많은 전략이 문제를 완전히 제거하기보다는 부분적으로만 해결하는 데 그쳤습니다.

또 다른 중요한 발견은 투명성에 관한 것이었습니다. 연구가 유용하려면 다른 과학자들이 실험을 재현할 수 있도록 AI가 어떻게 사용되었는지 정확한 설정이나 매개변수를 알아야 합니다. 그러나 161개 연구 중 122개에서 저자들은 콘텐츠를 생성하는 데 사용된 구체적인 설정이나 매개변수를 보고하지 않았습니다. 이러한 세부 사항을 알지 못하면, 특히 AI 시스템이 빈번하게 변경되고 업데이트되기 때문에 오늘 실험을 다시 수행했을 때 동일한 결과가 나올지 알 수 없습니다. 또한 이번 검토에서는 대부분의 연구가 연구 자금을 누가 지원했는지 또는 연구자들에게 이해관계의 상충이 있었는지와 같은, 과학적 결과를 신뢰하는 데 필요한 표준적인 세부 사항을 보고하지 않았음을 발견했습니다.

이 검토의 결론은 생성형 AI가 고장 났다는 것이 아니라, 그것의 작업물을 확인하는 방식이 불완전하다는 것입니다. 저자들은 생성형 AI 콘텐츠가 교육에 안전하게 사용되려면 다차원적인 자원으로 검증되어야 한다고 주장합니다. 즉, 의과대학이 AI가 작성한 사례 연구를 사용하기 전에, 단순히 진단이 정확한지뿐만 아니라, 그 이야기에 묘사된 환자가 현실적인 다양성을 나타내는지, 그리고 공정성을 확보하기 위한 조치들이 실제로 효과가 있음이 증명되었는지도 확인해야 한다는 것입니다. 현재의 사실적 정확성에 대한 집중만으로는 불충분합니다. 이러한 도구들이 의료 교육의 표준적인 부분이 됨에 따라, 그 검증 기준은 공정성과 투명성을 포함하도록 확장되어야 하며, 이를 통해 미래의 의료 교육이 똑똑할 뿐만 아니라 정의롭고 신뢰할 수 있는 콘텐츠 위에 구축되도록 해야 합니다.