From reference materials to examination results: a specification-anchored framework for version-defined qualitative properties

현대 의학의 세계에서, 혈액 속의 당 수치와 같이 단일한 수치를 측정하는 것을 넘어, 환자의 샘플을 특정 박테리아 유형을 식별하거나 유전적 돌연변이의 존재 여부를 결정하는 것과 같은 범주로 분류하는 복잡한 생물학적 데이터를 분석하는 진단 검사가 점점 늘어나고 있습니다. 이러한 검사들은 가공되지 않은 생물학적 데이터를 알려진 서열의 방대한 라이브러리와 비교하는 정교한 컴퓨터 프로그램에 의존합니다. 그 결과는 의사의 다음 단계를 안내하는 라벨이나 점수가 됩니다. 이러한 결과가 신뢰할 수 있으려면, 과학자들은 검사가 올바르게 작동하고 있는지 확인할 수 있어야 합니다. 전통적으로 이러한 검증은 물리적 샘플인 표준 물질에 의존해 왔으며, 실험실은 기기가 제대로 보정되었는지 확인하기 위해 이 샘플들을 테스트합니다. 그러나 이러한 물질을 관리하기 위한 새로운 표준이 등장했지만, 현대 실험실이 매일 생산하는 복잡하고 소프트웨어 중심적인 결과물에 대해서는 공백을 남겨두고 있습니다.

핵심적인 어려움은 이러한 디지털 결과가 어떻게 생성되는지에 있습니다. 단순한 측정값과 달리, 소프트웨어로 생성된 진단은 여러 움직이는 부품들이 함께 작동하여 만들어낸 산물입니다. 즉, 사용된 특정 컴퓨터 프로그램, 그 프로그램이 참조하는 유전 데이터베이스의 버전, 무엇을 일치로 간주할지를 결정하는 수학적 임계값, 그리고 무엇을 의사에게 보고할지를 결정하는 규칙 등이 모두 포함됩니다. 각 구성 요소는 독립적으로 변할 수 있습니다. 월요일에는 소프트웨어 업데이트가 발생할 수 있고, 화요일에는 데이터베이스 갱신이, 수요일에는 보고 규칙의 변경이 일어날 수 있습니다. 만약 어떤 실험실이 오늘 결과를 보고했는데, 동일한 샘플을 이러한 변화들이 일어난 후 다음 달에 다시 테스트한다면, 환자의 생물학적 상태가 변해서가 아니라 결과물을 만드는 '레시피'가 변했기 때문에 답이 달라질 수 있습니다. 이는 품질 관리 측면에서 문제를 일으킵니다. 디지털 도구들이 끊임없이 변화하고 있다면, 서로 다른 두 실험실이 실제로 동일한 것을 보고 있다고 어떻게 확신할 수 있을까요?

베이징 국립 임상 검사 센터의 린구이가오(Guigao Lin)라는 연구자는 이 문제에 대해 생각하는 새로운 방법을 제안했습니다. 이 논문은 새로운 유형의 측정을 발명하거나 검사의 근본적인 과학을 해결하겠다고 주장하는 것이 아닙니다. 대신, 결과가 특정 소프트웨어 지침 세트에 의해 정의될 때 그 결과가 정확히 무엇을 의미하는지 설명하기 위한 프레임워크를 제공합니다. 저자는 우리가 검사 결과를 정적인 사실로 취급하는 것을 멈추고, 특정 프로세스의 기록으로 취급하기 시작해야 한다고 주장합니다. 물리적 표준 물질이 그것이 어디에서 왔는지에 대한 이력을 가지고 있는 것처럼, 디지털 결과도 그것이 어떻게 만들어졌는지에 대한 이력을 가져야 합니다. 논문은 결과가 비교 가능하려면, 그 결과를 생성한 전체 '사양(specification)'을 고정해야 한다고 제안합니다. 이는 단순히 소프트웨어의 이름뿐만 아니라, 소프트웨어의 정확한 버전, 특정 데이터베이스 릴리스, 사용된 파라미터, 그리고 데이터에 적용된 규칙까지 기록하는 것을 의미합니다.

제안된 해결책은 모든 결과를 이 완전한 사양에 고정하는 것입니다. 저자는 결과가 의미를 갖기 위해 기록되어야 하는 최소한의 정보 목록을 설명합니다. 여기에는 사용된 알고리즘의 정체성, 관련된 모든 구성 요소의 상세한 버전 목록, 테스트가 설계된 탐색 범위, 그리고 테스트가 설명된 대로 실제로 실행되었음을 증명하는 기록이 포함됩니다. 결정적으로, 이 논문은 결과를 세 가지 별개의 층위로 분리할 것을 제안합니다. 첫 번째 층위는 유전 서열과 같은 가공되지 않은 증거입니다. 두 번째 층위는 특정 바이러스로 서열을 분류하는 것과 같은 소프트웨어의 결정입니다. 세 번째 층위는 그 분류를 바탕으로 내려지는 의학적 권고, 즉 해석입니다. 이러한 층위들을 분리함으로써, 과학자들은 두 실험실 사이의 불일치가 정확히 어디에서 발생했는지 이해할 수 있습니다. 한 실험실이 유전 서열을 아예 놓친 것입니까? 아니면 서열을 찾았지만 소프트웨어가 이를 걸러낸 것입니까? 혹은 발견된 내용을 서로 다른 의학적 가이드라인에 따라 다르게 해석한 것입니까?

이 접근 방식은 이러한 검사의 성능를 평가하는 방식을 변화시킵니다. 논문은 실험실이 얼마나 많은 '정답'을 맞혔는지만을 단순히 셀 수는 없다고 지적하는데, 왜냐하면 정답의 정의는 소프트웨어의 특정 버전과 테스트의 범위에 달려 있기 때문입니다. 만약 테스트가 특정 박테리아 세트를 찾도록 설계되었다면, 의도된 범위를 벗어난 다른 박테리아를 보고하지 않았다고 해서 그것이 실패는 아닙니다. 저자는 성능에 대한 주장이 결과의 특정 층위에 결부되어야 한다고 주장합니다. 예를 들어, 어떤 실험실이 바이러스를 탐지하는 데 뛰어나다고 주장한다면, 그 주장은 안전 필터 때문에 바이러스를 제외했을 수도 있는 최종 보고 층위가 아니라, 가공되지 않은 증거 층위를 기준으로 판단되어야 합니다. 마찬가지로, 시간이 흐름에 따라 결과를 비교할 때, 단순히 통과율만을 보는 것은 오해를 불러일으킬 수 있다고 논문은 경고합니다. 진정한 개선의 모습을 보기 위해서, 실험실들은 소프트웨어가 진화하더라도 변하지 않고 유지되는 고정된 기준점을 사용해야 합니다.

또한 이 논문은 샘플에서 발견된 가능한 모든 병원균을 나열하는 보고서와 같이 개방형 목록을 생성하는 테스트의 과제를 다룹니다. 이러한 경우, 테스트가 존재할 수 있는 모든 것을 찾아냈음을 증명하는 것은 불가능합니다. 저자는 이러한 테스트에 대해 경계가 정해진 영역(bounded domain)을 정의해야 하며, 테스트가 무엇을 찾을 수 있고 무엇을 찾을 수 없는지를 명확히 밝혀야 한다고 제안합니다. 이를 통해 우리는 무한한 미지의 영역을 대상으로 삼는 대신, 알려진 가능성의 범위 내에서 오경보나 탐지 누락과 같은 오류를 측정할 수 있습니다. 프레임워크는 확인된 항목, 탐지 한계 근처에 있는 항목, 그리고 단순히 테스트의 능력 밖인 항목을 구분해야 한다고 제안합니다. 이러한 구별은 특정 항목을 보고하지 않았다고 해서 테스트가 완벽하지 않다고 잘못 가정하는 것을 방지하는 데 도움이 됩니다. 때때로 항목을 보고하지 않는 것이 올바른 결과인데, 왜냐하면 그 항목이 애초에 테스트의 범위 안에 없었기 때문입니다.

궁극적으로, 이 연구는 점점 더 복잡해지는 분야에서 명확성과 정밀함을 요구하는 촉구입니다. 저자는 이 프레임워크가 모든 문제를 해결하거나 모든 테스트 결과를 즉각적으로 완벽하게 만들 것이라고 주장하는 것이 아닙니다. 대신, 이 새로운 사고방식이 실제로 실험실을 비교하고 시간이 흐름에 따라 성능을 추적하는 방식을 개선하는지 확인하기 위해 일련의 검증 가능한 아이디어, 즉 명제들을 제시합니다. 저자는 만약 우리가 결과의 층위를 분리한다면, 많은 겉보기 실패들이 실제로는 규칙이 적용되는 방식의 차이임을 발견하게 될 것이라고 말합니다. 만 만약 우리가 버전 변화를 주의 깊게 추적한다면, 소프트웨어 업데이트가 오류처럼 보이는 결과의 체계적인 변화를 일으킬 수 있지만, 이는 사실 드리프트(drift)일 뿐이라는 것을 알게 될 것입니다. 논문은 이러한 사양에 기반한 접근 방식을 채택함으로써, 의료계가 모호한 합의에서 벗어나 정밀하고 검증 가능한 비교로 나아갈 수 있으며, 이를 통해 의사가 결과를 받았을 때 그 결과가 정확히 무엇을 의미하며 어떻게 도출되었는지 알 수 있게 된다고 결론짓습니다.