A Granularity Blind Spot in the Evaluation of SNOMED CT Concept Normalization

현대 의학의 광활한 풍경 속에서 의사와 연구자들은 환자의 몸 내부에서 일어나고 있는 일을 설명하기 위해 공유된 언어에 의존합니다. 의사가 의료 기록에 "방광벽 비후(bladder wall thickening)"라고 적을 때, 그 문구는 구체적인 관찰 결과이지만, 컴퓨터가 수백만 개의 그러한 기록을 정리, 검색 또는 분석하기 위해서는 이 자유로운 형식의 텍스트를 정밀하고 표준화된 코드로 변환해야 합니다. 이 과정을 개념 정규화(concept normalization)라고 합니다. 이는 인간이 증상과 질환을 묘사하는 다양하고 무질서한 방식들을 SNOMED CT라고 불리는 엄격하고 구조화된 사전으로 매핑하는 보편적인 번역기 역할을 합니다. 이 사전은 단순히 단어들이 나열된 평면적인 목록이 아닙니다. 이는 '질병'과 같은 광범위한 범주에서부터 매우 구체적인 기술에 이르기까지 모든 개념이 특정한 위치를 갖는, 깊고 가지가 뻗어 나가는 지식의 나무입니다. 목표는 컴퓨터가 노트를 읽을 때 의사가 의도한 정확한 세부 수준을 이해하도록 하여, 정확한 연구와 더 나은 환자 케어를 가능하게 하는 것입니다.

하지만 새로운 연구는 이러한 컴퓨터 번역기가 제대로 작동하는지 확인하는 현재의 방식이 중요한 세부 사항을 놓치고 있을 수 있다고 시사합니다. 수년간 연구자들은 "컴퓨터가 인간 전문가가 할당한 것과 정확히 일치하는 코드를 선택했는가?"라는 단순한 질문을 던짐으로써 이 시스템들을 평가해 왔습니다. 만약 답이 '예'라면 시스템은 1점을 얻고, '아니오'라면 0점을 받았습니다. 이 방법은 모든 실수를 동일하게 취급합니다. 즉, 컴퓨터가 약간 더 넓은 의미의 용어를 선택한 것을 완전히 관련 없는 용어를 선택한 것만큼이나 틀린 것으로 간가하는 것입니다. 하지만 의학 지식의 나무 안에서, 약간 빗나가는 것은 완전히 길을 잃는 것과는 매우 다릅니다. 스페인 의료 기록을 가지고 작업한 이 연구의 연구진은 이 단순한 "맞다 혹은 틀리다" 식의 체크 방식이 중대한 사각지대를 숨기고 있다는 사실을 발견했습니다. 그들은 컴퓨터가 인간 전문가가 작성한 설명이 할당된 코드보다 실제로는 더 세밀한 수준(finer-grained)일 때, 정확한 코드를 맞추는 데 훨씬 더 어려움을 겪는다는 것을 발견했습니다.

연구팀은 인간 전문가가 텍스트에 SNOMMLT 코드를 라벨링한 수천 개의 사례를 포함하는 세 개의 대규모 스페인 의료 노트 컬렉션을 조사했습니다. 결정적으로, 이 전문가들은 특정 노트들을 "NARROW(좁은/세밀한)"라고 표시했는데, 이는 텍스트가 할당된 코드보다 더 구체적으로 상태를 설명하고 있음을 의미합니다. 예를 들어, 노트는 특정 유형의 방광 문제를 설명하고 있지만, 할당된 코드는 방광 질환이라는 더 넓은 범주일 수 있습니다. 연구진은 전통적인 텍스트 매칭 도구부터 고급 인공지능 모델에 이르기까지 다섯 가지 서로 다른 컴퓨터 시스템을 테스트하여 이 노트들에 대해 어떻게 수행되는지 살펴보았습니다. 그들은 일관된 패턴을 발견했습니다: 인간의 노트가 "NARROW"로 표시되었을 때, 컴퓨터 시스템은 노트가 완벽하게 일치할 때보다 정확한 코드를 재현하는 데 훨씬 더 자주 실패했습니다. 실제로, 그들이 테스트한 모든 시스템과 데이터셋에 걸쳐, 이러한 특정 'narrow' 노트에 대한 오류율은 다른 노트들에 비해 거의 두 배 높았습니다.

이 발견은 이 분야에서 성공을 측정하는 표준적인 방식에 도전합니다. 연구는 컴퓨터가 이러한 특정 노트들에 대해 정확한 목표를 맞추는 데는 자주 실패하지만, 그렇다고 해서 의학적 나무에서 완전히 경로를 벗어나 헤매는 것은 아니라는 점을 보여주었습니다. 목표를 놓쳤을 때, 컴퓨터는 종종 상위 범주나 관련 형제 용어와 같이 논리적으로 가까운 개념에 착륙하곤 했습니다. 연구진은 오류의 빈도와 오류가 정답에 얼마나 가까웠는지를 구분하는 "크레딧 갭(credit gap)"을 측정하는 방법을 도입했습니다. 그들은 "맞다 혹은 틀리다" 식의 단순한 점수와 나무 구조를 고려한 더 미묘한 점수 사이의 격차가 "NARROW" 노트에서 훨씬 더 크다는 것을 발견했습니다. 이는 표준적인 평가 방식이 단순히 약간 부정확한 것이 아니라, 시스템이 구체적인 설명과 일반적인 설명을 처리하는 방식의 실질적인 차이를 능동적으로 가리고 있다는 것을 의미합니다. 시스템은 무작위로 실패하는 것이 아니라, 인간의 입력이 매우 정밀할 때 최고 수준의 세부 사항을 맞추는 데 체계적으로 어려움을 겪고 있는 것입니다.

이 패턴이 단순히 데이터나 라벨의 특이한 현상이 아님을 보장하기 위해, 연구진은 신중한 감사를 실시했습니다. 연구진은 원래의 라벨이나 컴퓨터의 추측을 보지 않은 상태에서 세 명의 독립적인 의료 전문가를 통해 샘프트 노트를 재라벨링했습니다. 전문가들은 원래의 라벨과 87% 일치하였으며, 이는 "정확한(exact)" 노트와 "좁은(narrow)" 노트의 구분이 실제적이고 재현 가능하다는 것을 확인해 주었습니다. 또한 연구진은 컴퓨터가 단순히 학습 과정에서 본 적 없는 드문 코드 때문에 실패하는 것인지도 테스트했습니다. 이러한 요인들을 조정하더라도 패턴은 유지되었습니다: 시스템은 특정 노트에서 정확한 코드를 놓칠 가능성이 유의미하게 높았습니다. 연구진은 또한 컴퓨터가 한 번도 본 적 없는 코드인 "새로운(novel)" 사례들을 어떻게 처리하는지도 살펴보았습니다. 그들은 이러한 새로운 코드들 중 상당수가 시스템이 이전에 보았던 개념들과 연결되어 있다는 것을 발견했으며, 이는 시스템이 정확한 목적지가 생소하더라도 나무 구조를 탐색할 수 있음을 시사합니다.

이 연구의 함의는 이러한 의료 번역 도구를 구축하거나 사용하는 모든 이들에게 명확합니다. 연구는 단순히 전체 정확도 백분율을 보고하는 것만으로는 더 이상 충분하지 않다고 주장합니다. 시스템을 평가할 때는 일반적인 노트와 고도로 구체적인 노트에 대해 각각 어떻게 수행되는지를 나누어 보여주어야 합니다. 연구진은 이러한 세밀도(granularity) 라벨이 포함된 벤치마크의 경우, 가장 먼저 보고해야 할 것은 이 세부 수준별로 분리된 오류율이라고 제안합니다. 그래야만 틀린 답이 정답에 얼마나 가까웠는지를 측정하는 더 복적인 점수들을 추가할 수 있습니다. 이러한 접근 방식은 시스템이 어디에서 강하고 어디에서 약한지를 훨씬 더 명확하게 보여줄 것입니다. 이는 현재의 "일률적인(one-size-fits-all)" 점수가 마치 지도 읽는 사람에게 정확한 집 번호에 도착했는지 여부만 따져서 평가하면서, 그 사람이 가장 상세한 요청에 대해 매번 올바른 동네에는 도착했다는 사실은 무시하는 것과 같다는 점을 드러냅니다. 이 사각지대를 인식함으로써, 이 분야는 인간 언어의 복잡성과 인간의 건강에 대한 가장 미세한 세부 사항을 이해하려는 컴퓨터가 직면한 구체적인 과제를 진정으로 반영할 수 있는 더 나은 평가 방법으로 나아갈 수 있습니다.