A Closed-Loop Framework for Knowledge-Based Causal Model Refinement Using Process Mining and Human-AI Governance

당신이 거대한 미스터리를 풀려고 노력하고 있다고 상상해 보세요. 왜 어떤 사람들은 특정한 방식으로 병에 걸리는 반면, 다른 이들은 그렇지 않은 걸까요? 의학과 과학의 세계에서 연구자들은 **유향 비순환 그래프(Directed Acyclic Graphs, DAGs)**라고 불리는 특별한 지도들을 사용합니다. 이 지도들을 질병의 가계도라고 생각하면 되는데, 누가 누구와 친척인지를 보여주는 대신 무엇이 무엇을 유발하는지를 보여줍니다. 만약 당신이 "흡연"에서 "폐암"으로 선을 긋는다면, 그것은 흡연이 암을 유발한다고 말하는 것입니다. 이러한 지도들은 매우 중요한데, 만약 선을 잘못 그으면 당신의 조사 전체가 결함투성이가 되어, 질병의 원인을 엉뚱한 곳에서 찾게 될 수도 있기 때문입니다.

하지만 이 지도를 그리는 일은 까다롭습니다. 보통 전문가들은 책에서 읽었거나 임상 현장에서 목격한 내용을 바탕으로 연결 고리를 추측해야 합니다. 하지만 현실 세계는 무질서합니다. 사람들은 서로 다른 시기에 병에 걸리고, 어떤 이들은 전체 이야기가 드러나기도 전에 사망하며, 때로는 데이터가 혼란스럽게 보이기도 합니다. 이것은 마치 무작위로 섞인 영상 클립들만 보고 영화의 줄거리를 파악하려는 것과 같습니다. 큰 질문은 이것입니다: 현실 세계가 이토록 복잡할 때, 어떻게 하면 우리의 "인과관계" 지도가 실제로 정확하다고 확신할 수 있을까요? 바로 이 지점에서 한 과학자 팀이 인공지능의 도움을 받기로 결정했습니다. 인공지능이 전문가를 대체하기 위해서가 아니라, 초강력 탐정 역할을 수행하도록 하기 위해서 말이죠.

---

탐정과 AI: 폐쇄 루프(Closed-Loop) 미스터리

카롤린스카 연구소(Karolka Institutet)와 동료 연구자들을 만나보세요. 그들은 폐쇄 루프 프레임워크(closed-loop framework), 즉 미식 해결을 위한 "점검 및 균형" 시스템을 구축했습니다. 당신이 사건을 해결하려는 탐정(인간 전문가)이라고 상상해 보세요. 당신은 범죄가 어떻게 일어났는지에 대한 이론(초기 지도)을 가지고 있습니다. 보통은 그냥 기록하고 넘어가겠지만, 이 새로운 시스템에는 당신의 의견에 단순히 동조하는 것이 아니라, 직접 범죄 현장에 가서 증거를 확인하는 로봇 조수(AI)가 추가됩니다.

이들의 4단계 모험은 다음과 같이 진행됩니다:

1단계: 초기 이론 (전문가의 추측)
먼저, 인간 전문가(또는 그들을 위해 책을 읽는 AI 비서)가 이미 알고 있는 지식을 바탕으로 첫 번째 버전의 지도를 그립니다. 예를 들어, 그들은 "약물 A가 신장 질환을 일으키고, 이것이 다시 심장 문제로 이어진다"라고 생각할 수 있습니다. 이것이 그들의 시작 가설입니다. 좋은 추측이지만, 단지 추측일 뿐입니다.

2단계: 범죄 현장 조사 (프로세스 마이닝)
다음으로, 시스템은 환자의 실제 기록이라는 거대한 로그북을 살펴봅니다. 이는 환자가 언제 의사를 방문했는지, 약을 복용했는지, 혹은 검사를 받았는지에 대한 모든 기록이 담긴 거대한 일지와 같습니다. 이를 **프로세스 마이닝(Process Mining)**이라고 합니다. AI는 이 로그를 스캔하여 실제로 어떤 일이 순서대로 일어났는지 확인합니다. 신장 문제가 정말로 심장 문제보다 먼저 발생했나요? 아니 아니면 동시에 발생했나요? 혹은 환자가 심장 문제가 기록되기도 전에 사망했나요? AI는 발견된 사건의 타임라인에 엄격히 기반하여 새로운 지도를 그립니다.

3단계: 대결 (인간-AI 거버넌스)
이 부분이 가장 중요합니다. 시스템은 이제 "전문가의 추측"과 "AI의 범죄 현장 지도"를 나란히 놓습니다.

• 두 지도가 일치할 경우: 좋습니다! 이론이 탄탄해 보입니다.
• 두 지도가 일치하지 않을 경우: AI가 차이점을 지적합니다. "이봐요, 당신의 지도는 약물 A가 심장 문제로 이어진다고 하지만, 로그를 보면 이 집단에서는 심장 문제가 신장 문제보다 먼저 발생하는 경우가 많습니다."

여기서 핵심은, AI가 지도를 직접 수정할 권한은 없다는 점입니다. AI는 단지 "이상한 패턴을 발견했습니다. 지도를 수정하시겠습니까?"라고 말할 뿐입니다. 그러면 인간 전문가가 결정합니다. 그들은 "아, 당신 말이 맞군요! 제가 그 세부 사항을 놓쳤습니다"라고 할 수도 있고, "아니요, 그 이상한 패턴은 데이터상의 오류일 뿐이니 무시하세요"라고 할 수도 있습니다. 이를 통해 인간이 주도권을 유지하면서, 자신이 놓쳤을지도 모모를 발견하기 위해 AI를 활용하게 됩니다.

4단계: 최종 판결 (통계 모델링)
지도가 정교해지고 인간의 승인을 받으면, 시스템은 이론을 입증하기 위한 최적의 수학적 도구를 제안합니다. 예를 들어, "이제 사망이 주요 요인임을 알았으니, 정확한 답을 얻기 위해 '파인-그레이 모델(Fine-Gray model)'이라 불리는 특정 유형의 수학 도구를 사용하세요"라고 제안할 수 있습니다.

그들은 무엇을 발견했는가?

이 시스템이 실제로 작동하는지 테스트하기 위해, 연구자들은 단순히 추측하는 대신 대규모 시뮬레이션을 실행했습니다. 그들은 5,000명의 가상 환자와, 특정 약물(양성자 펌프 억제제, PPI)이 신장 및 심장 건강에 미치는 영향에 대한 알려진 "진실된 이야기"가 담긴 가상의 세계를 만들었습니다. 그들은 심지어 데이터 속에 "함정"을 설치했습니다. 실제 연결 고리처럼 보이지만 사실은 기록 시스템의 오류인 가짜 단서들을 심어둔 것입니다.

결과는 인상적이었습니다:

• "통제되지 않은" AI: AI가 인간의 확인 없이 지도를 수정하도록 내버려 두었을 때, AI는 함정에 빠졌습니다. AI는 가짜 단서를 실제 연결 고리로 받아들여 지도를 틀리게 만들었습니다.
• "통제된" 루프: 새로운 폐쇄 루프 시스템(AI가 제안하고 인간이 결정하는 방식)을 사용했을 때, 시스템은 가짜 함정을 100% 거부했습니다. 시스템은 그 이상한 패턴들이 실제 질병이 아니라 단순한 기록 오류임을 성공적으로 식별해 냈습니다.
• 진짜 이야기: 시스템은 해당 약물이 신장 문제를 일으키고, 이것이 심장 문제로 이어질 가능성이 높다는 것을 정확히 식별했으며, 많은 환자가 심장 문제가 완전히 연구되기 전에 사망했다는 사실도 정확히 짚어냈습니다.

그들은 또한 SCREAM 연구에서 나온 실제 환자 기록을 모사한 합성 데이터를 사용하여 "튜토리얼" 테스트를 진행했습니다. 시스템은 "사망"이 주요한 경쟁 위험(즉, 심장 사건이 발생하기 전에 많은 사람이 사망함)이라는 점을 성공적으로 포착했으며, 이를 처리하기 위한 적절한 수학적 도구를 제안했습니다.

이것이 왜 중요한가

이 논문은 모든 의학적 미스터리를 해결했거나 새로운 치료법을 찾아냈다고 주장하는 것이 아닙니다. 대신, 더 나은 사고방식을 제시합니다. 우리는 AI를 수백만 개의 기록을 스캔하여 패턴을 찾는 지치지 않는 탐정으로 사용할 수 있지만, 그 패턴이 타당한지 결정하기 위해서는 반드시 인간 전문가가 개입해야 한다는 것을 보여줍니다.

저자들은 이 방법이 컴퓨터의 추측을 너무 맹목적으로 신뢰하는 흔한 실수를 피하는 데 도움이 된다고 제안합니다. 우리의 초기 아이디어를 고정된 사실이 아닌 "테스트 가능한 가설"로 취급하고, 이를 실제 데이터와 끊임없이 대조함으로써, 우리는 질병이 어떻게 작동하는지에 대한 훨씬 더 신뢰할 수 있는 지도를 구축할 수 있습니다. 이것은 우리가 "A가 B를 유발한다"라고 말할 때, 단순히 추측하거나 지저한 데이터에 속지 않도록 보장하는 방법입니다. 이 시스템은 현재 오픈 소스 도구로 공개되어, 다른 과학자들이 자신만의 의학적 퍼즐에 이 "탐정과 조수" 접근법을 시도해 볼 수 있도록 초대하고 있습니다.