Governance-Bound Artificial Intelligence for Evidence-Linked Medicines Reliance Review: A Design Science Research Study

매년 국가 보건 기관들은 산더미 같은 서류 작업에 직면합니다. 기업이 새로운 의약품을 판매하고자 할 때, 해당 약물이 어떻게 제조되었는지, 체내에서 어떻게 작용하는지, 그리고 안전한지에 대한 수천 페이지의 데이터를 담은 방대한 서류(dossier)를 제출해야 합니다. 많은 국가, 특히 인력이 제한적인 국가에서는 이러한 문서를 검토하는 데 오랜 시간이 걸려 생명을 구하는 치료제에 대한 접근이 지연되기도 합니다. 이러한 과정을 단축하면서도 허점을 만들지 않기 위해, 규제 기관들은 '의존(reliance)'이라 불리는 전략을 채택했습니다. 처음부터 다시 시작하는 대신, 현지 기관은 다른 나라의 신뢰할 수 있는 기관이 이미 수행한 작업을 참고할 수 있습니다. 만약 그 신뢰할 수 있는 기관이 이미 해당 의약품을 승인했다면, 현지 팀은 그 평가를 기초로 삼을 수 있습니다. 그러나 이 과정은 여전히 매우 어렵습니다. 현지 팀은 여전히 원본 문서를 읽고, 제품이 정확히 동일한지 확인하며, 작은 차이점을 찾아내고, 자신의 결정을 설명하는 새로운 보고서를 작성해야 합니다. 이는 복잡한 구조를 탐색하고, 텍스트 속에 숨겨진 아주 작은 오류를 찾아내며, 모든 결론이 특정 근거에 의해 뒷받침되는지 확인하는 과정을 필요로 합니다. 만약 실수가 발생하거나, 그 논리가 근거 문서로 추적되지 않는다면, 결정 전체가 이의 제기를 받을 수 있으며 공중 보건을 위험에 빠뜨릴 수 있습니다.

남아프리카 공화국 웨스턴 케이프 대학교의 연구진은 인간 전문가를 대체하는 것이 아니라, 고도로 조직화된 조수 역할을 하는 새로운 종류의 컴퓨터 도구를 설계함으로써 이 문제를 해결했습니다. 그들은 이 도구를 RAiA라고 부릅니다. 연구진은 단순히 텍스트를 요약하는 프로그램을 만든 것이 아닙니다. 요약은 의학에서 중요한 아주 미세한 세부 사항을 놓칠 수 있기 때문입니다. 대신, 그들은 실제 데이터에 테스트하기 전, 구체적인 솔루션을 구축하고 그것이 어떻게 작동해야 하는지를 정확히 정의하는 데 집중하는 '디자인 과학 연구(design science research)' 방법을 사용했습니다. 그들의 목표는 인간 전문가가 최종 결정권을 확실히 유지하면서, 문서를 읽고 정리하는 힘든 작업을 처리할 수 있는 시스템을 만드는 것이었습니다. 그 결과, 이 프로토타입 시스템은 혼란스러운 서류 더미와 규제자가 작성해야 하는 명확하고 방어 가능한 보고서 사이를 잇는 가교 역할을 합니다.

이 설계의 핵심은 컴퓨터가 어떻게 행동해야 하는지를 규정하는 엄격한 규칙 세트입니다. 연구진은 의학처럼 이해관계가 걸린 환경에서 도구가 유용하려면 '거버넌스에 종속(governance-bound)'되어야 한다는 점을 깨달았습니다. 즉, 이 시스템은 스스로 결정을 내리거나 자신의 작업 내용을 숨기지 못하도록 안전장치가 설계되었습니다. 예를 들어, 이 시스템은 독자적으로 의약품을 승인하거나 거부할 수 없도록 설계되었습니다. 오직 잠재적인 문제를 강조하거나 서로 다른 서류 간의 연결 고리를 제안할 수 있을 뿐입니다. 컴퓨터가 사실을 지적할 때마다, 반드시 그 사실이 어디에서 왔는지 보여주어야 하며, 발견된 내용을 원본 문서의 특정 문장과 연결해야 합니다. 이를 통해 인간 검토자가 컴퓨터의 작업에 의문을 제기할 경우, 즉시 출처를 확인하고 검증할 수 있습니다. 또한 시스템은 모든 단계에 대한 상세한 로그를 기록하여, 작업이 올바르고 안전하게 수행되었음을 증명하는 추적 경로를 생성합니다.

이를 구축하기 위해 연구진은 의약품 서류 검토라는 거대한 과업을 작고 관리 가능한 단위로 나누었습니다. 그들은 시스템이 서로 다른 유형의 정보를 별도로 처리하도록 설계했습니다. 시스템의 한 부분은 화학 및 제조 세부 사항만을 살펴보고, 다른 부분은 임상 시험 결과에 집중하며, 세 번째 부분은 라벨링과 지침을 점검합니다. 이는 마치 전문가 팀이 자동차의 엔진을 점검하는 사람과 브레이크를 점검하는 사람이 따로 있는 것처럼, 한 사람이 모든 것을 한꺼번에 하려고 하는 대신 각자의 역할을 수행하는 것과 유사합니다. 시스템은 이러한 다양한 영역에서 정보를 수집하고 이를 하나로 모아 모순이나 누락된 부분을 찾습니다. 만약 제조 보고서에는 약물이 특정 공장에서 만들어졌다고 되어 있는데, 임상 시험 보고서에서는 다른 공장에서 만들어진 것으로 암시된다면, 시스템은 인간이 조사할 수 있도록 이 불일치를 표시합니다. 결정적으로, 시스템은 보수적으로 프로그래밍되어 있습니다. 즉, 아무것도 아닌 문제에 대해 경고를 하는 것이 실제 위험을 놓치는 것보다 낫다는 원칙을 따릅니다.

연구진은 또한 인간 전문가가 기계와 어떻게 상호작용하는지에 대해서도 세심한 주의를 기울였습니다. 인터페이스는 인간이 컴퓨터의 제안을 쉽게 수용, 수정 또는 거부할 수 있도록 설계되었습니다. 만약 컴퓨터가 실수를 하면 인간이 이를 바로잡을 수 있으며, 시스템은 왜 그 수정이 이루어졌는지 기록합니다. 이러한 피드백은 예측 불가능한 행동을 초래할 수 있는 컴퓨터의 '두뇌'를 즉각적으로 변화시키는 데 사용되지 않고, 대신 팀의 추후 신중한 검토를 위해 저장됩니다. 이러한 분리는 도구의 안정성과 신뢰성을 보장합니다. 또한 시스템은 암호화를 통해 영업 비밀이나 개인 데이터와 같은 민감한 정보를 보호하며, 허가된 사람만이 이를 볼 수 있도록 합니다. 컴퓨터는 이 개인 데이터를 학습에 사용할 수 없도록 설정되어 있어, 정보가 나중에 유출될 위험을 방지합니다.

연구진은 프로세스가 처음부터 끝까지 어떻게 흐르는지 보여주기 위해 이 시스템의 작동 버전인 프로토타입을 제작했습니다. 그들은 가상의 의약품 신청 서류를 사용하여 테스트를 진행했으나, 실제 기업의 기밀 데이터는 전혀 사용하지 않았습니다. 시연 결과, 시스템은 대용량 파일을 받아 적절한 섹션으로 분류하고, 관련 증거를 찾아내며, 인간 전문가가 검토하고 승인할 수 있는 보고서 초안을 작성할 수 있음을 보여주었습니다. 인간 전문가는 모든 단계에서 최종 권한을 가졌으며, 증거의 의미와 의약품의 안전 여부를 결정했습니다. 프로토타입은 이러한 설계가 가능하다는 것과 작업 흐름이 타당하다는 것을 입증했지만, 연구진은 이것이 아직 실제 현장에서 사용할 수 있는 완성된 제품은 아니라고 신중하게 밝히고 있습니다. 그들은 이 도구가 과정을 얼마나 빠르게 만드는지, 혹은 실제 문서에서 얼마나 정확하게 오류를 찾아내는지에 대해서는 아직 측정하지 않았습니다.

이 연구의 주요 기여는 새로운 종류의 컴퓨터 알고리즘이 아니라, 의약품 규제를 위한 신뢰할 수 있는 도구를 구축하는 방법론에 대한 청사진을 제시했다는 점입니다. 연구진은 인공지능 시스템이 거버넌스 규칙을 준-수하고, 개인 데이터를 보호하며, 인간이 통제권을 유지하도록 설계될 수 있음을 보여주었습니다. 그들은 다른 개발자들이 유사한 도구를 만들고자 할 때 따를 수 있는 10가지 가이드라인을 제공했습니다. 이 원칙들은 도구가 항상 증거와 연결되어야 하며, 독자적으로 결정을 내려서는 안 되고, 작업 내용이 감사 및 확인 가능하도록 설계되어야 함을 강조합니다. 시작 단계부터 이러한 규칙에 집중함으로써, 연구진은 규제자들이 안전을 타협하지 않으면서도 점점 복잡해지는 의약품 승인 업무를 관리할 수 있도록 돕는 모델을 만들어냈습니다.

이 연구는 기술이 어떻게 인간 전문가를 지원할 수 있는지에 대한 사고의 중요한 진전을 나타냅니다. 이는 인공지능이 인간의 판단을 대체해야 한다는 생각에서 벗어나, 어떻게 인간의 판단을 더 정보에 기반하고 효율적으로 만들 수 있는지에 집중합니다. 연구진은 적절한 설계가 있다면 컴퓨터가 문서 분류 및 점검과 같은 지루한 작업을 처리함으로써, 인간 전문가가 공중 보건을 보호하는 데 필수적인 복잡한 추론과 최종 결정에 집중할 수 있도록 할 수 있음을 입증했습니다. 비록 이 도구가 아직 프로토타입 단계이며 추가적인 테스트가 필요하지만, 그 설계 자체는 미래의 의약품 규제를 위한 안전하고 신뢰할 수 있으며 책임 있는 시스템을 만들기 위한 명확한 경로를 제시하고 있습니다.