PanVasc Research for AI assisted evidence analysis in panvascular intervention

방대한 의학 연구의 세계에서 의사와 과학자들은 새로운 치료법이 어떻게 작용하는지 이해하기 위해 거대하고 조직화된 임상 시험 도서관에 의존합니다. 이러한 시험들은 공공 데이터베이스에 등록되어 있으며, 모든 연구는 무엇을 측정할 계획인지, 얼마나 오래 진행될 것인지, 그리고 어떤 구체적인 결과를 희망하는지를 정확하게 명시합니다. 이 정보는 근거 기반 의학의 토대가 되며, 연구자들이 심장, 동맥, 정맥을 치료하는 다양한 접근 방식들을 비교할 수 있게 해줍니다. 그러나 데이터의 양이 증가함에 따라, 이러한 구체적인 세부 사항을 찾아내고 해석하는 작업은 인간 혼자만의 힘으로는 감당하기 벅찬 일이 되어가고 있습니다. 이는 인공지능에 대한 관심의 급증으로 이어졌으며, 컴퓨터 시스템이 이 복잡한 기록들을 읽고, 적절한 수치를 추출하며, 연구자들이 증거를 더 빠르고 정확하게 파악하도록 도울 수 있기를 기대하고 있습니다. 핵심적인 질문은 단순히 컴퓨터가 단어를 읽을 수 있는지 여부가 아니라, 사실을 지어내거나 정보의 출처를 놓치지 않으면서 데이터의 엄격한 규칙을 이해할 수 있는지 여부입니다.

연구팀은 바로 이 문제를 해결하기 위해 설계된 특정 소프트웨어를 테스트하기 위해 연구를 시작했으며, 신체 전반의 혈관을 치료하는 중재 요법에 초점을 맞추었습니다. 그들은 'PanVasc Research'라고 불리는 시스템을 구축했는데, 이는 의료 기록을 분석하는 디지털 비서 역할을 합니다. 이 비서가 진정으로 신뢰할 수 있는지 확인하기 위해, 연구진은 단순히 몇 개의 이야기를 요약하라고 시키는 대신, 50개의 실제 임상 시험 기록을 컴퓨터에 입력하고 주요 결과 변수나 연구 기간과 같은 구체적인 세부 사항을 추출하도록 하는 엄격한 테스트를 설계했습니다. 테스트를 더 어렵게 만들기 위해, 연구진은 컴퓨터에게 답을 요구하기 전에 기록에서 일부 정보를 의도적으로 삭제하였으며, 이를 통해 시스템이 모른다는 사실을 솔직하게 인정하는지, 아니면 추측하여 답을 지어내는지 확인했습니다. 또한, 연구진은 시스템이 특정 주장을 뒷받s는지 여부를 올바르게 판단할 수 있는지 확인하기 위해 100개의 다른 의료 시험 관련 문장들을 사용하여 시스템을 테스트했습니다.

실험 결과는 현재 기술의 명확하고 중요한 한계를 드러냈습니다. 컴퓨터가 기록에서 정확한 세부 사항을 복사하도록 요청받았을 때, 일반적인 방식을 사용한 경우 성공률은 약 4분의 1에 그쳤습니다. 연구진이 컴퓨터에게 답변하기 전에 자신의 작업을 재검토하라는 더 주의 깊은 지침을 주었을 때, 성공률은 40% 미만으로 향상되었습니다. 이러한 개선은 세심한 지침이 도움이 된다는 것을 보여주지만, 시스템은 여전히 절반 이상의 경우에 정답을 맞히는 데 실패했습니다. 정보가 누락된 테스트에서 컴퓨터는 심각한 어려움을 겪었으며, 데이터가 사라졌음을 인식하지 못하는 경우가 많았습니다. 연구진이 의료 문장의 의미를 이해하는 능력을 테스트했을 때, 시스템은 단순한 과반수 기준보다 나은 성과를 내지 못했으며, 정답률은 약 절반 정도였습니다. 이는 누군가가 무작위로 추측하는 것이 아니라 모든 질문에 대해 가장 흔한 답을 선택했을 때 기대할 수 있는 성공률과 같습니다.

결정적으로, 연구진은 컴퓨터의 규칙 준수 능력이 의미 이해를 보장하지 않는다는 것을 발견했습니다. 시스템에 올바른 소스 문서를 확인하고 텍스트의 올바른 섹션을 보고 있는지 확인하도록 프로그래밍할 수 있지만, 이러한 "안전 점검"이 데이터의 실제 의미에 대한 논리적 오류를 막아주지는 못했습니다. 실제로, 안전 점검 과정에서 컴퓨터가 형식 규칙을 완벽하게 따랐음에도 불구하고 결론이 틀렸기 때문에 잘못된 답이 최종 결과에 포함되는 경우가 있었습니다. 본 연구는 이 작은 컴퓨터 모델이 의학적 이해에 있어 돌파구를 마련했거나 복잡한 임상 시험 데이터를 해석하는 인간 전문가를 대체할 수 있다는 생각을 명시적으로 배제했습니다. 이 시스템은 새로운 진리를 발견하거나 다양한 질병의 미묘한 차이를 신뢰성 있게 해석하는 자율적인 과학자로서 기능할 수 없었습니다.

연구진은 자신들의 프레임워크가 정보의 출처를 찾는 작업과 그 의미를 이해하는 작업을 성공적으로 분리해냈지만, 현재의 기술은 후자(의미 이해)를 수행할 준비가 아직 되지 않았다고 결론지었습니다. 이 시스템은 정보의 출처를 추적하는 도구로서의 역할은 입증했으나, 인간의 감독 없이 정보를 해석하도록 신뢰받을 수는 없었습니다. 이 연구는 인공지능이 혈관 연구의 진정한 파트너가 되기 위해서는 단순히 더 나은 지침을 넘어, 단순히 단어를 데이터베이스에 매칭하는 수준을 훨씬 뛰어넘는 더 깊고 전문화된 의학적 개념 이해가 필요함을 시사합니다. 그때까지 이러한 디지털 비서의 역할은 데이터를 정리하는 데 국한되며, 환자의 치료 방식을 결정하는 최종적인 의학적 판단을 내리는 데는 쓰일 수 없습니다.