ChatGPT versus veterinary students for clinical data extraction: a mixed-methods study

수의학의 세계에서 동물을 돌보는 일상적인 업무는 방대한 양의 정보를 생성합니다. 개를 진찰할 때마다 수의사는 증상, 혈액 검사 결과, 초음파 스캔 소견에 관한 노트를 작성합니다. 이러한 기록들은 디지털 시스템에 저장되지만, 그 안의 정보는 종종 이야기나 일기처럼 자유롭게 흐르는 텍스트 형태로 작성됩니다. 이러한 서사적 스타일은 의사들이 글을 쓰기에 자연스러운 방식이지만, 컴퓨터가 읽거나 연구자들이 분석하기에는 어렵습니다. 이러한 이야기들을 질병 패턴을 추적하거나 치료 효과를 이해하는 것과 같은 과학적 연구를 위한 유용한 데이터로 바꾸기 위해서는, 누군가가 반드시 모든 노트를 하나하나 읽고 온도 수치나 진단명과 같은 특정 사실들을 추출하여 깔끔하고 조직된 표에 배치해야 합니다. 데이터 추출이라고 알려진 이 과정은 현대 과학에 필수적이지만, 수작업으로 진행할 경우 속도가 느리고 지루하며 인간의 실수에 취чески 됩니다.

인공지능은 이러한 병목 현상의 잠재적인 해결책으로 등장했습니다. 구체적으로, 대규모 언어 모델은 방대한 양의 텍스트를 학습하여 인간의 언어를 이해하고 생성할 수 있는 컴퓨터 프로그램입니다. 이러한 도구들은 의료 기록을 읽고 필요한 사실들을 몇 초 만에 추출해 낼 수 있음을 약속하며, 잠재적으로 전문가들이 더 복잡한 과업에 집중할 수 있도록 해줄 것입니다. 그러나 결정적인 질문이 남아 있습니다. 과연 이 디지털 도구들이 실제로 훈련된 인간만큼 잘 수행할 수 있을 것인가, 아니면 연구를 망칠 수 있는 실수를 저지를 것인가? 나아가, 이 도구들을 결국 사용하게 될 사람들, 즉 미래의 수의사들은 이 업무를 기계에 넘겨주는 것에 대해 어떻게 느끼는가? 이 질문들에 답하기 위해, 텍사스 A&M 대학교의 연구진은 인간 학생과 인공지능 시스템 사이의 직접적인 비교 연구를 수행하였으며, 작업의 속도와 정확도뿐만 아니라 참여한 학생들의 생각과 감정까지 측정하였습니다.

연구는 인공지능에 관한 과목을 수강 중인 10명의 2학년 수의대생을 대상으로 했습니다. 연구진은 이 학생들에게 췌장염(췌장의 통증을 동반한 염증)이 의심되는 세 마리의 개에 대한 의료 기록으로부터 정보를 추출하도록 요청했습니다. 학생들은 이 과업을 두 번 수행했습니다. 먼저, 학생들은 의료 기록을 수동으로 읽고 동물의 나이와 몸무게부터 특정 실험실 수치 및 초음파 기술에 이르기까지 63가지의 서로 다른 데이터 포인트를 스프레드시트에 채워 넣었습니다. 단순히 정답을 기억하지 못하도록 한 달간의 휴식기를 가진 후, 동일한 학생들은 똑같은 과업을 수행했지만, 이번에는 챗봇(인공지능의 일종)을 사용하여 도움을 받았습니다. 학생들은 의료 기록을 챗봇에 붙여넣고 데이터를 추출하도록 요청하라는 지시를 받았으며, 각 방식이 소요된 시간을 기록했습니다.

결과는 극적인 차이를 보여주었습니다. 혼자 작업할 때 학생들은 단일 사례의 추출을 완료하는 데 평균 8.5분이 걸렸습니다. 챗봇을 사용할 때는 사례당 단 15초밖에 걸리지 않았습니다. 이는 인공지능이 인간 학생보다 34배 더 빨랐음을 의미합니다. 이러한 엄청난 속도 차이에도 불구하고, 작업의 정확도는 두 방법 모두 놀라울 정도로 높게 유지되었습니다. 학생들은 90% 이상의 정확도를 달랐으며, 인공지능 또한 이 성능에 부합하여 90% 이상의 정확도를 기록했습니다. 이 결과는 기계의 속도가 품질의 저하를 초래하지 않았음을 시사합니다. 즉, 이 도구는 훈련된 학생들만큼이나 신뢰성 있게 정보를 처리할 수 있었습니다.

그러나 인간과 기계가 범하는 실수의 성격은 상당히 달랐습니다. 학생들은 숫자를 잘못 입력하거나 데이터 행을 어긋나게 하는 등 피로나 반복과 관련된 오류를 범하는 경향이 있었습니다. 또한 모호한 설명에 어려움을 겪었는데, 명시적으로 언급되지 않은 정보를 추론하기도 했습니다. 예를 들어, 기록에 적은 양의 액체가 있다고만 되어 있고 "비정상"이라는 말이 명시되지 않았을 때, 학생은 심각도를 추측할 수 있는 반면, 인공지능은 기록된 내용에 엄격히 입각하여 더 보수적인 태도를 취하는 경향이 있었습니다. 흥고하게도, 인공지능은 다른 종류의 실수를 저질렀습니다. 단순한 코드를 요청했음에도 불구하고 전체 문장을 반환하는 등 엄격한 형식 지침을 따르지 못하는 경우가 있었습니다. 도구가 의료적 내용은 이해했지만, 과업의 구체적인 규칙을 놓치는 경우가 있었는데, 이는 인간 학생들에게서는 나타나지 않은 유형의 실수였습니다.

수치적인 측면을 넘어, 연구진은 학생들이 이 기술에 대해 어떻게 느끼는지 알고 싶었습니다. 설문조사와 인터介를 통해 학생들은 인공지능 사용에 대한 명확한 선호도를 나타냈습니다. 학생들은 수동 프로세스를 정신적으로 소모적이고 반복적이라고 묘사하며, 도구가 길고 무질서한 서사를 헤쳐 나가는 인지적 부담을 덜어주었다고 언급했습니다. 학생들은 인공지능이 지루하고 반복적인 부분들을 처리할 수 있게 해줌으로써, 자신들이 더 복잡한 임상적 추론의 측면에 집중할 수 있게 해준다고 느꼈습니다. 그러나 이러한 신뢰는 맹목적인 것이 아니었습니다. 학생들은 기계가 수행한 작업을 여전히 확인해야 한다고 강조했습니다. 그들은 도구가 효율적이긴 하지만, 데이터와 그 데이터에 기반한 의료적 결정에 대한 최종적인 책임은 여전히 인간 수의사에게 있다는 점을 인식하고 있었습니다.

본 연구는 인공지능이 수의 의료 기록에서 데이터를 추출하는 데 있어 강력하고 효율적인 파트너이며, 인간이 따라갈 수 없는 속도로 작업하면서도 높은 정확도를 유지할 수 있다고 결론짓습니다. 이 기술은 반복적인 작업의 고단함을 줄이는 데 탁 excels 하지만, 인간의 감독 필요성을 대체하지는 않습니다. 연구에 참여한 학생들은 이 도구들이 인간의 판단을 대체하기보다는 보조하는 용도로 사용된다면, 미래의 직업에 이 도구들을 통합하는 것에 가치가 있다고 보았습니다. 수의학이 발전함에 따라, 인간의 전문 지식과 인공지능의 속도가 결합된 형태는 급증하는 의료 데이터를 처리하는 유망한 경로를 제시하며, 의료 기록 속의 이야기들이 전 세계의 동물들을 돕는 지식으로 전환될 수 있도록 보장할 것입니다.