A Neurosymbolic Approach for Constructing Planning Domain Models from Clinical Narratives

문제 정의
복잡한 수술 워크플로(예: 복강경 충수 절제술)를 해석 가능한 계획 도메인 모델로 정형화하는 것은 여전히 중대한 과제로 남아 있다. 이러한 모델은 AI-in-the-loop 시스템, 수술 교육 시뮬레이터, 그리고 품질 개선에 필수적이지만, 기존의 접근 방식들은 임상 데이터의 특성을 다루는 데 어려움을 겪고 있다. 임상 서사는 비구조적이고 언어적으로 다양하며, 외과의에게는 당연하지만 논리적 일관성을 위해서는 필수적인 중간 단계들을 자주 생략한다. 순수하게 경험적인 기호적 방법론은 구조화된 상태-행동 궤적을 필요로 하는데, 이는 현실적으로 구하기 어렵다. 반면, 대규모 언어 모델(LLM)은 언어적 추출과 보정 능력은 갖추고 있으나, 귀납적 논리 추론에 취약하며, 실행 가능한 환경이나 깨끗한 도메인 설명과 같은 외부 지원이 없을 경우 지나치게 단순하거나 논리적으로 타당하지 않은 모델을 생성하는 경향이 있다. 더욱이, 임상 분야는 확률적 결과를 포착할 수 있는 확률적 모델링을 요구하는데, 이는 결정론적인 LLM 기반 정형화 도구에서 흔히 결여되는 기능이다.

방법론: NSPIN 프레임워크
저자들은 비구조적인 임상 서사로부터 확률적 계획 도메인 모델(구체적으로 PPDDL, Probabilistic Planning Domain Definition Language)을 유도하도록 설계된 신경-기호(neurosymbolic) 프레임워크인 NSPIN을 소개한다. 이 프레임워크는 LLM의 언어적 유연성과 기호적 유도의 논리적 엄밀성 사이의 간극을 네 가지 단계에 걸쳐 메운다.

1. 스키마 생성: 사전 학습된 LLM이 도메인의 자연어 설명을 바탕으로 공식적인 도메인 스키마($P_0$)를 생성한다. 이 스키마는 유형화된 객체 범주(예: 기구, 해부학적 구조), 관찰 술어(상태 속성), 그리고 액션 술어(수술 단계)를 정의한다. 이 단계에서의 액션 스키마는 문법적으로는 유효하지만 전제 조건(preconditions)과 효과(effects)가 비어 있는 상태이며, 이후의 탐색 공간을 제한하는 고정된 어휘 역할을 한다.
2. 시퀀스 생성: 이 단계는 원시 수술 기록을 구조화되고 접지된(grounded) 술어 시퀀스로 변환한다. 이는 두 가지 하위 단계로 구성된다.
   • 정보 추출: LLM은 텍스트로부터 접지된 술어 시퀀스를 추출한다. 확률성을 처리하기 위해 $K$개의 후보 시퀀스를 생성하고, 술어 유지를 위한 다수결 필터링, 인자 접지를 위한 합의 투표, 그리고 시간적 순서 배치를 위한 가중 Kemeny 순위 집계(weighted Kemeny rank aggregation)를 사용하여 이를 통합한다.
   • 시퀀스 보정(Imputation): hands-on: 외과의들이 암묵적인 단계를 생략한다는 점을 인식하여, 프레임워크는 LLM의 내부 세계 모델을 활용해 논리적 연속성을 위해 필요한 누락된 중간 액션이나 관찰을 추론한다. 추출과 마찬가지로, $K$개의 후보 보정치를 생성하고 이를 집계하여 최종적으로 풍부해진 시퀀스($S$)를 생성하며, 이는 완전한 워크플로를 나타낸다.
3. 계획 모델 구축:
   • 데이터 기반 유도: 탐욕적(greedy)이고 커버리지 기반인 유도기가 풍부해진 시퀀스로부터 초기 PPDDL 액션 스키마를 구축한다. 관찰 컨텍스트를 바탕으로 전제 조건을 추정하고, 최대 가능도(maximum-likelihood) 결과 빈도를 바탕으로 확률적 효과를 추정하며, 낮은 확률의 효과는 필터링한다.
   • LLM 정교화: 데이터 기반 유도가 비필수적인 전제 조건을 포함할 수 있는 가짜 상관관계 문제를 해결하기 위해, LLM이 유도된 전제 조건을 정교화한다. LLM은 충족된 컨텍스트와 실패한 컨텍스트를 바탕으로 수정안을 제안하며, 검증 성능을 저하시키지 않는 경우에만 변경을 수용한다. 이를 통해 전제 조건이 단순히 연관된 것이 아니라 의미론적으로 접지되도록 보장한다.
4. 평가: 생성된 모델은 홀드아웃(held-out)된 수술 기록 세트를 통해 관찰 세트와 후속 액션을 예측하는 능력을 평가받는다.

주요 기여
본 논문은 세 가지 주요 기술적 기여를 한다.

1. NSPIN 프레임워크: LLM 기반의 추출/보정과 기호적 유도 및 정교화를 결합하여, 비구조적인 수술 기록을 공식적인 확률적 PPDDL 도메인으로 변환하는 새로운 신경-기호 접근법을 제시한다.
2. 암묵적 지식 보정: 사전 학습된 LLM을 활용하여 수술 기록의 공백을 메움으로써, 논리적 계획의 일관성을 위해 필수적이지만 인간 작성자에 의해 자주 생략되는 잠재적인 임상 액션과 전제 조건을 추론한다.
3. 실증적 검증: 9명의 외과의로부터 얻은 2,660개의 실제 복강경 충수 절제술 기록 데이터셋을 통한 포괄적인 평가를 통해, 신경-기호 접근 방식이 순수 LLM 기반 베이스라인보다 미학습 워크플로에 대한 일반화 성능이 뛰어남을 입증한다.

결과
저자들은 NSPIN을 두 가지 LLM 전용 베이스라인(제로샷 하나와 인컨텍스트 예시를 사용한 하나) 및 마지막 LLM 정교화 단계가 없는 NSPIN 변형 모델과 비교 평가하였다. 주요 결과는 다음과 같다.

• 보정의 효능: 보정된 데이터로 학습된 모델은 모든 지표(Top-1/Top-3 정확도 및 음의 로그 가능도)에서 원시 추출 데이터로 학습된 모델보다 크게 우수한 성능을 보였다. 이는 복구된 암묵적 정보가 정확한 모델링에 결정적임을 확인시켜 준다.
• 정교화의 영향: LLM 정교화 단계는 차기 액션(next-action) 예측 지표를 실질적으로 향상시켰다. 구체적으로, 이는 진정한 액션 불허율(True Action Disallowed Rate, TADR)을 감소시켰으며, 이는 정교화된 전제 조건이 순수 데이터 기반 버전보다 덜 제한적이고 관찰된 워크플로와 더 잘 호환됨을 나타낸다.
• 신경-기호 방식의 우월성: NSPIN(정교화 포함)은 관찰 예측 및 차기 액션 예측 모두에서 모든 LLM 전용 베이스라인을 능가했다. 정교화되지 않은 기호 모델은 초기에 신경망 베이스라인보다 성능이 낮았으나, 의미론적 정교화가 추가되면서 NSPIN이 이를 추월하였다. 이는 LLM의 절차적 사전 지식을 경험적 데이터에 접지하기 위해 기호적 검증이 필수적임을 보여준다.
• 질적 일치성: 전문가 검토 결과, 보정된 단계들(예: 근막 폐쇄, 충수 기저부 고정)이 임상적으로 정확하며, 정교화된 전제 조건이 단순한 기술적 연관성이 아닌 실제 임상적 필요성을 정확히 반영하고 있음이 확인되었다.

의의
본 논문은 NSPIN이 신뢰할 수 있고 배포 가능한 임상 AI를 지원할 수 있는, 해석 가능하고 일반화 가능한 수술 절차 모델을 구축하는 경로를 제공한다고 주장한다. 비구조적인 서사를 확률적 계획 도메인으로 성공적으로 정형화함으로써, 이 접근 방식은 다음과 같은 다운스트림 애플리케이션을 가능하게 한다.

• 희귀한 합병증 및 절차적 변이를 포착함으로써 수술 시뮬레이터 개선.
• 수술 기록의 자동 검토 가능.
• 외과의 및 의료 기관 간의 체계적인 차이를 추적함으로써 품질 개선 활동에 정보 제공.
• 미래의 자율 수술 시스템을 위한 기초 마련.

저자들은 자신들의 접근 방식이 임상 환경에서의 구조화된 데이터 부족과 암묵적 액션의 빈번한 발생 문제를 해결함으로써, 순수 기호적 방식이나 순수 신경망 방식에 대한 강력한 대안을 제공한다고 강조한다.